KISTI, 대용량 과학데이터 전송 미들웨어 개발... '전송속도 3분의1 단축'

국내 연구진이 막대한 용량의 과학 연구 데이터를 더욱 신속하고 효율 높게 전달하는 기술을 개발했다. 과학 연구 분야는 물론 상업 이용도 가능, 대용량 정보를 기반으로 하는 다양한 산업에 활용될 것으로 전망된다.

한국과학기술정보연구원(KISTI·원장 직무대행 문영호)은 노서영 대용량데이터허브실장이 이끄는 연구팀이 미국 페르미국립가속기연구소, 오크리지 국립연구소(ORNL)와 함께 대용량 데이터 전송 미들웨어인 '빅데이터 익스프레스'를 개발했다고 15일 밝혔다.

KISTI 연구진이 빅데이터익스프레스 미들웨어가 탑재된 전송 서버를 점검하는 모습
KISTI 연구진이 빅데이터익스프레스 미들웨어가 탑재된 전송 서버를 점검하는 모습

'빅데이터 익스프레스'는 대형 연구 장비의 영상 데이터 전송 과정에서 생기는 문제점을 해결하기 위한 미들웨어다. 현재 유럽핵입자물리연구소(CERN)의 대형 강입자 충돌기(LHC) 실험은 연간 50페타바이트(PB·기가바이트의 100만배 규모)의 데이터를 생산한다. 대형 시놉틱 관측 망원경(LSST)은 연간 10PB, 천문망원경 SKA 프로젝트는 60PB 용량의 데이터를 각각 쏟아낸다.

기존 데이터 전송 방법으로는 PB 규모의 데이터 전송에 터무니없이 많은 시간이 소요된다. 과학 데이터 전송에는 '그리드 파일 전송 프로토콜'(GridFTP) 주로 쓰인다. 이런 가운데 데이터 전송에 경유 장비가 많거나 다양한 전송 노드를 쓸 경우 속도는 급락한다. 전송 파일이 많을 때 발생하는 LOSF(낮은 메모리 입출력 속도로 인한 지연) 문제도 원인이 된다.

빅데이터 익스프레스는 망의 환경을 최적화하는 프로토콜 및 소프트웨어(SW)의 집합체다. 새로 개발한 MBTM 프로토콜, SW정의네트워크(SDN)를 비롯한 다양한 SW 요소를 이용한다. 이들은 적용된 망 안의 다른 신호를 배제, 전송 속도를 높인다. LOSF 문제는 여러 개의 파일을 먼저 압축한 후 전송하는 방법으로 해결했다.

빅데이터 익스프레스의 아키텍쳐 개요
빅데이터 익스프레스의 아키텍쳐 개요

빅데이터 익스프레스 기술을 이용할 경우 기존 대비 전송 속도가 30% 증가한다고 설명했다. 5만개 이상의 파일을 한 번에 전송할 경우 속도가 100배나 빨라진다.

연구팀은 이 기술이 다양한 분야의 상업 이용도 가능하다고 설명했다. 현재는 PB급 데이터 전송 수요가 없지만 상업용 데이터 전송 시장이 대용량화되면 활용도가 커진다.

노서영 실장은 “거대 과학에서 요구되는 대용량의 과학 데이터를 손쉽고 신속하게 전송하고 분석할 수 있는 환경을 구축할 수 있게 됐다”면서 “국내 데이터 집약형 연구의 가속화가 기대된다”고 말했다.

대전=김영준기자 kyj85@etnews.com