덱스터스튜디오는 과학기술정보통신부와 정보통신기획평가원이 추진하는 '자유시점 미디어 압축·복원·렌더링 기술개발' 사업에 주관사로 참여한다고 28일 밝혔다.
이 사업은 4D 가우시안 스플래팅 기반 자유시점 미디어의 고효율압축 및 복원과 장면 편집, 실시간 렌더링 핵심 기술을 개발하고 관련 국제 표준을 만드는 게 핵심이다. 덱스터 스튜디오를 비롯해 서울대·연세대·포항공대·성균관대·한국방송공사(KBS) 등이 참여한다.
3D 가우시안 스플래팅은 촬영한 여러 장의 사진을 AI로 실시간 렌더링해 사실적인 3D 공간을 생성하는 기술이다. 몇 장의 사진을 학습시키면 AI가 촬영되지 않은 각도의 이미지까지 추론해 3D 모델링 없이 공간을 구현한다. 여기에 시간 축을 더한 4D 가우시안 스플래팅은 움직임과 변형, 물리 역학까지 반영한 동적 장면을 실시간 렌더링해, 시청자가 다양한 각도로 시점을 자유롭게 조정할 수 있게 한다. 이 기술은 XR과 피지컬AI 등에 활용되며 글로벌 경쟁이 본격화된 분야다.
다만 가우시안 스플래팅은 수백만 개의 정보를 저장해야 하는 초고용량구조에 포맷이 폐쇄적이어서 모바일 및 XR기기에서 실시간 스트리밍에 제약이 있다는 지적을 받아왔다. 덱스터는 외산 솔루션에 의존하지 않고 독자 기술을 확보하는 한편 제작 효율을 높이는 고효율 압축·복원·렌더링 표준 기술 개발을 추진한다.
연구는 다양한 조건에서 자유시점 미디어 데이터를 확보해 4D 가우시안 생성 모델을 학습시키고 AI가 데이터 중요도를 판단해 경량화하는 압축 체계를 구축하는 방식으로 진행된다. 이후 상용 VFX 제작 파이프라인과 연계해 영화·OTT·방송에 적용, 제작 효율을 실증한다.
송재원 덱스터 R&D연구소장은 “자유시점 미디어의 자산화를 통해 상업적 라이선스 판매 등 새로운 부가가치 창출도 가능하다”고 설명했다.
최다현 기자 da2109@etnews.com
