한국연구재단 김민수 교수팀 대용량 그래프 데이터 처리 프로그램 ‘GStream 2.0’ 개발
PCI-E SSD와 GPU들을 이용한 GStream 2.0 기술 처리 절차.
[대전=일요신문] 박하늘 기자 = 컴퓨터 한 대만으로 320억개 간선 규모의 데이터를 500초 만에 처리하는 기술이 국내연구진에 의해 개발됐다.
한국연구재단은 대구경북과학기술원(DIGIST) 김민수 교수 연구팀이 인간 두뇌 신경망의 1/400 크기에 해당되는 대용량 그래프 데이터를 컴퓨터 한 대로 처리할 수 있는 ‘GStream 2.0’ 기술을 개발했다고 7일 밝혔다.
연구팀은 컴퓨터 한 대의 PCI-e SSD에 데이터를 저장하고, SSD로부터 GPU 메모리에 비동기적 방식으로 스트리밍하면서 동시에 GPU의 수천 개 계산 코어들을 이용해 데이터를 분석하는 새로운 접근 방법을 시도해 기존의 통신 비용과 메모리 사용량 문제점들을 해결했다.
그 결과, GStream 2.0 기술은 두 개의 GPU와 두 개의 PCI-e SSD를 장착한 컴퓨터 한 대만으로 320억개 간선 규모의 데이터를 500초 만에 처리했으며 최대 2560억 개 간선 규모의 대용량 데이터를 처리하는데 성공했다. 이는 슈퍼컴퓨터로도 처리하기 어려운 분량이다.
연구팀은 이번 연구성과로 뇌과학 및 인공지능 분야에서 사용되는 신경망 형태의 데이터 처리, 사물인터넷(IoT) 데이터 기반의 사이버보안 등에 널리 활용돼 초대규모 심층 인공신경망을 구현할 수 있는 기반이 될 것으로 기대하고 있다.
이번 연구성과는 지난 6월28일 세계적 학술대회인 ‘2016 ACM 시그모드(SIGMOD)에서 발표됐다.
ynwa21@ilyodsc.com