이벤트 카메라 영상을 일반 카메라 영상처럼 쉽고 정확하게 보정하는 기술이 나왔다. 이벤트 카메라는 로봇이나 자율주행차의 고속 동작이나 야간 작동 때 눈 역할을 수행하는 고성능 카메라다.
주경돈 UNIST 인공지능대학원 교수팀은 일반 영상 보정에 쓰이는 체커보드로 이벤트 영상을 보정할 수 있는 컴퓨터 비전 보정 기술을 개발했다고 1일 밝혔다.
자율주행차나 로봇에 탑재한 카메라는 동작 과정에서 렌즈에 왜곡이 생겨 외부 사물이 휘거나 위치를 잘못 인식할 수 있다. 표준적 보정 기법인 체커보드를 이용해 이 왜곡을 미리 계산하고 보정하는 이유다.
문제는 이벤트 영상이 체커보드로 보정하기 어렵다는 점이다.
체커보드는 검은색과 흰색 격자가 반복된 체스판 모양의 여러 보정판 위에서 격자가 만나는 꼭짓점과 실제 위치를 비교해 얼마나 어긋났는지를 보정한다. 반면 이벤트 카메라는 일반 카메라와 달리 화면 전체가 아닌 밝기에 변화가 있을 때만 '이벤트'로 기록하기 때문에 보정의 기준점이 되는 꼭짓점 정보가 없다.
주 교수팀은 이 꼭짓점을 이벤트 영상 데이터에서 바로 찾아내는 기술을 개발했다. 꼭짓점을 직접 찾는 대신 선을 먼저 찾고, 그 선들이 만나는 주변에서 이벤트가 가장 적은 지점을 꼭짓점으로 잡는 방식이다. 기존 꼭짓점에서는 밝기 변화가 서로 상쇄돼 이벤트 정보가 거의 생기지 않는 반면, 선 형태의 경계에서는 정보가 뚜렷하게 나타난다는 수학적 분석 결과에 착안했다.
주 교수팀은 선의 흐릿함을 줄이는 기술도 개발했다. 이벤트 카메라는 픽셀마다 밝기가 변한 순간을 따로따로 기록하기 때문에, 카메라나 보정판이 움직이는 동안 생긴 이벤트를 그대로 모으면 같은 격자 선이라도 서로 다른 시간의 위치가 겹쳐져 번져 보인다. 이러한 흩어진 이벤트를 한 기준 시점에 맞춰 흐릿하던 격자 선을 또렷하게 만들었다.
주경돈 교수는 “정확한 카메라 보정은 비전 기술 고도화의 출발점”이라며 “실제 환경에서 동작하는 로봇, 자율주행, AR·VR 기술과 서비스 발전에 기여할 것으로 기대한다”고 말했다.
이번 연구 성과를 담은 논문은 미국 덴버에서 3일 개막하는 컴퓨터 비전 분야 국제학회 '컴퓨터 비전 및 패턴 인식학회(CVPR)' 하이라이트 논문으로 선정됐다.
울산=임동식 기자 dslim@etnews.com
