5G가 아닌 보편적인 인터넷환경에서도 고화질·대용량 VR 콘텐츠를 스트리밍으로 본다.
한국뉴욕주립대학교(총장 김춘호) 컴퓨터과학과 류지훈 교수팀(학생 백두인·강한길)은 초고해상도 VR 콘텐츠를 실시간으로 무선 전송하는 기술을 2년간 연구 끝에 개발하는 데 성공했다. 초고해상도 VR 콘텐츠를 스트리밍하는 인지 과학 기반의 딥러닝 콘텐츠 인코딩 기술을 개발한 것이다.
류 교수팀 연구 결과는 모바일 인터넷 인프라 환경이 우수한 국내 스트리밍 시장은 물론 인터넷 환경이 비교적 좋지 않은 해외를 중심으로 각광받을 신기술로 주목받을 전망이다.
사용자에게 연속적으로 고화질 VR 콘텐츠를 제공하기 위해서는 시시각각 변하는 사용자 머리와 눈동자 움직임을 정확히 예측해야 한다. 이를 위해서는 시각 추적 장치 등 특별한 장비를 필요로 하는 단점이 있다. 현재 범용 장비에서 다양한 사용자의 머리와 시각 움직임을 정확히 추적하는 방법을 찾지 못했다.
연구팀은 '인간의 인지능력'에 기반한 딥러닝 기술 'SALIENCY'를 콘텐츠 인코딩 기술에 적용했다. 실시간으로 변하는 사용자 움직임에 인공지능 기술 'CNN(Convolutional Neural Network)'을 적용해 콘텐츠에서 중요한 부분을 고화질로 버퍼에 구축해 예측하기 어려운 다양한 사용자 움직임에 대응할 수 있게 했다.
추가적으로 버퍼링하는 콘텐츠 양은 전체 스트리밍하는 콘텐츠양 10%에도 미치지 않지만 이로 인해 사용자는 높은 수준의 동영상 체감 품질을 지속적으로 느낄 수 있다.
<인터뷰> 류지훈 한국뉴욕주립대학교 컴퓨터과학과 교수
“현재 VR 콘텐츠는 모바일 디바이스에서 스트리밍이 안 됩니다. VR 콘텐츠 파일 사이즈가 너무 크기 때문입니다.”
류지훈 교수는 '초고해상도 VR콘텐츠 무선전송 기술' 개발 배경을 이같이 설명했다. VR 콘텐츠는 유튜브나 넷플릭스 조차도 방대한 콘텐츠 데이터 때문에 스트리밍 서비스를 제공하지 못하는 실정이다. 고화질 VR콘텐츠를 사용자가 제공받기 위해서는 미리 콘텐츠를 다운받아 놓아야 가능하다.
류 교수는 컴퓨터과학과 학생 2명과 VR·360° 콘텐츠 파일 사이즈를 줄이면서 사용자는 마치 원본을 보는 것처럼 착시현상을 일으키는 인지과학 기반의 인코딩 방법을 연구하는 데 2년간 역점을 뒀다.
그는 “초고해상도 VR콘텐츠 무선전송 기술은 이미 쓰이는 콘텐츠 전송 시스템을 발전시켜 실용성이 높다”면서 “소스 코드를 대외에 공개, 모든 기업이 활용할 수 있다”고 말했다.
그는 학생들을 엔지니어급 인재로 키우는데 시간을 제일 많이 투자했다. ICT·인지과학 등 다양한 분야의 지식을 습득해야하기 때문이다. 현재 관련 기술 특허 출원도 마친 상태다.
“학생들과 함께 연구하면서 많은 어려움을 겪었습니다. 하지만 학생들이 이번 연구로 정보통신기획평가원장상도 수상하고 박사논문도 제출했습니다. ICT 명품인재를 배출했다는 점에서 보람을 찾습니다.”
안수민기자 smahn@etnews.com
