울산과학기술원(UNIST)이 눈짓으로 로봇을 조종하는 스마트 콘택트렌즈를 개발했다. 렌즈를 끼고 안구를 돌리면, 안구 방향으로 로봇팔이 움직인다. 무겁고 복잡한 기존 확장현실(XR) 기기를 대신할 차세대 인간-기계 인터페이스 기술로 주목받고 있다.
정임두 UNIST 기계공학과 교수팀은 센서를 렌즈에 인쇄하는 특수 기술과 저해상도 센서 신호를 고해상도로 복원하는 인공지능(AI) 기술을 결합해, 로봇 팔을 원격 제어하는 스마트 콘택트렌즈를 개발했다고 15일 밝혔다.
정 교수팀은 스마트 콘택트 렌즈 위에 100개(10x10)의 빛 검출 센서를 집적해 인쇄했다. 이 센서는 눈을 움직일 때마다 달라지는 빛 분포의 차이에 따라 시선 방향을 추적한다. 위·아래·좌·우는 물론 대각선 방향까지 추적해 구분할 수 있다. 이 시선 정보를 받아 로봇팔이 움직이고, 눈 깜박임 정보를 받으면 물건을 집을 수 있다.
정 교수팀은 둥근 렌즈 표면에 센서를 직접 인쇄하는 '메니스커스 픽셀 프린팅(MPP)' 기술을 자체 개발해 적용했다. 이 기술은 노즐 끝에서 나오는 미량의 센서 잉크를 렌즈 표면에 콕콕 찍어 인쇄한다. 일반 센서 제작 공정과 달리 센서 패턴을 새기기 위한 마스크가 필요 없고, 다양한 안구 곡률에 따라 개별 맞춤형 렌즈를 만들 수 있다.
렌즈라는 작은 공간 탓에 나타나는 낮은 신호 해상도 문제는 AI 기술을 결합해 해결했다. 렌즈에는 100개 센서가 있지만, 정 교수팀은 AI 딥러닝 기반 초해상도 기술을 적용해 최대 6400개(80x80)의 센서가 있는 것과 같은 신호 데이터를 확보했다. 데이터 재구성에 필요한 시간도 0.03초로 짧아 정보는 실시간 로봇 팔에 전달된다.
안구 모형을 이용한 로봇팔 제어 실험에서 눈동자 움직임으로 물체를 집고 옮기는 동작까지 가능했고 방향 인식 정확도는 99.3%를 기록했다.
정임두 교수는 “별도 컨트롤러 없이 시각 정보를 로봇 제어 신호로 직접 변환하는 인간-기계 상호작용 시스템 구현이 가능하다는 것을 증명했다”며 “증강현실 기반 산업용 로봇 원격 제어, 재난·재해 환경에서 탐사 로봇 운용, 국방 분야 무인체계 및 드론 조종, 의료 및 재활 지원 시스템, 스마트 모빌리티 인터페이스 등 다양한 분야로 확장할 수 있다”고 말했다.
연구 결과는 '어드밴스드 펑셔널 머티리얼즈'에 공개됐고, 전면 표지 논문으로 출판될 예정이다.
울산=임동식 기자 dslim@etnews.com
