[ICT 명품인재 양성사업]연세대, VR/AR 헤드셋 지원 핸즈프리인터페이스 장치 개발 성과

연세대 글로벌융합공학과 김시호·백종수 교수 연구팀은 가상현실(VR) 및 증강현실(AR) 헤드셋을 지원하는 핸즈프리 입력 인터페이스 장치를 개발했다. 별도 컨트롤러 없이 사용자 얼굴 표정 제스처를 입력 명령으로 사용한다.

핸즈프리 VR/AR 인터페이스 시스템 개요
핸즈프리 VR/AR 인터페이스 시스템 개요

현재 VR·AR 기기 대부분은 양손에 쥐는 형태 리모컨이나 헤드셋 측면에 달린 버튼 등 별도 입력장치를 사용한다. 음성 인식도 VR·AR기기 입력 인터페이스 장치로 사용한다. 하지만 이러한 인터페이스 장치는 헤드셋 착용으로 외부 시야가 없는 상태 사용자에게 불편하다.

연구팀이 고안한 인터페이스는 인체에 무해한 적외선 전파 특성을 이용한다. 적외선 전파로 사용자 얼굴 표정에 따른 얼굴 피부 수축 및 이완을 감지하고 이를 입력 신호로 이용한다.

적외선 발광부와 수광부를 서로 일정한 거리를 두고 배치하면 적외선 수광부에는 일정한 양의 적외선이 감지된다. 적외선이 피부에 완전 접촉하게 되면 공기 중으로 퍼져나가는 대신 피부층을 타고 반사 및 굴절이 일어나며 퍼져 나간다. 이때 사용자가 얼굴 근육을 움직이면 적외선 센서 사이에서 피부의 수축과 이완이 발생하고 적외선 측정값 변화로 이어진다. 이렇게 사용자 눈 깜빡임에 따라 측정된 피부 움직임은 VR 및 AR 공간에서 손을 사용하지 않는 입력 커맨드로 활용할 수 있다.

인터페이스는 선택, 드래그&드랍, 확대, 축소 등 명령을 지원한다. 좌우 눈 밑의 센서를 통해 눈 깜박임으로 인한 근육 움직임을 감지하며 감지된 정보와 머리 움직임 정보를 종합해 사용자 의도를 알아낸다. 이 기술은 HMD 뿐만 아니라 AR전용 안경형(EGD) 헤드셋 장치에도 적용 가능하다.

인터페이스 구현에 필요한 하드웨어와 소프트웨어를 저가로 구현 가능할 수 있다는 게 큰 장점이다. 헤드셋에 부착할 적외선 센서 수나 위치 가변성이 뛰어나 사용자 맞춤형 디바이스도 제작할 수 있다. 또 기존 헤드셋에 일반적으로 장착되어 있는 헤드트래킹(Head Tracking) 센서 데이터나 향후 헤드셋에 적용될 아이트래커 등 데이터와 연동해 더욱 다양한 얼굴 제스처를 입력 신호로 사용 가능하다.

이에 따라 총기류를 사용하는 FPS 게임이나 자동차 휠을 사용하는 레이싱 게임, 직접 손으로 물건을 집어봐야 하는 어드벤처 게임 등에 적용할 수 있다. 필수적으로 손을 사용해야 하는 고난도 작업 환경에도 활용 가능하다.

사물인터넷(IoT)에도 적용 가능하다. AR글라스를 착용한 채로 소파에 앉아서 TV를 보다가 손 하나 까딱하지 않고 에어컨을 작동시키거나 세탁기를 돌리고 현관문을 열어줄 수 있는 혁신적 입력장치로 활용할 수 있다.

연구팀은 동일한 원리를 이용해 AR 헤드셋 장치에 적용 가능한 입력 인터페이스 장치를 연구하고 있다. 기술을 더욱 발전시켜 헤드셋 착용자 표정을 인식하는 기술을 개발할 계획이다. 상대방 표정을 직접 보고 그에 따라 반응 할 수 있으므로 아주 자연스런 인터페이스로 발전 가능성도 지니고 있다.

권상희기자 shkwon@etnews.com