한국과학기술원(KAIST) 연구진이 현실 세계 물리 특성을 이해하고 스스로 판단·행동하는 단계로 나아가 빛과 물질의 상호작용, 공간 인식, 미래 상황 예측, 행동 계획을 아우르는 피지컬 AI 핵심 기술을 개발했다. 차세대 자율 시스템 구현을 앞당길 것으로 기대된다.
KAIST는 윤성의 전산학부 교수팀이 △유리처럼 투명한 물체를 정확히 인식하는 기술 △빛·물질 상호작용을 분석해 주변 환경을 이해하는 기술 △사진 한 장으로 로봇이 목적지를 찾아가는 기술 △미래 상황을 예측해 행동을 계획하는 기술을 개발했다고 6일 밝혔다.
인식·물리 이해·미래 예측·행동계획 전 과정을 하나의 기술 흐름으로 연결했다는 점에서 의미가 있다.
이번 연구성과는 세계 최고 권위 AI 학회인 ICLR 2026, CVPR 2026에서 구두 발표 2편과 하이라이트 논문 2편 등 총 4편의 논문으로 발표됐다. 특히 이들 학회 구두 발표는 각기 약 1.13%, 0.8%만 선정돼 연구 독창성·우수성을 국제적으로 인정받은 것으로 볼 수 있다.
투명 환경 시각 인식 기술(글린트)의 경우, AI가 유리와 같은 투명한 물체도 정확하게 인식할 수 있도록 했다. 유리에 반사된 모습과 유리 뒤 물체를 분리해 분석하는 기술로, AI가 투명한 환경에서도 장면을 정확하게 이해할 수 있도록 했다.
연구팀은 또 라디오GS(빛·재질을 이해하는 장면 복원 기술)를 개발, 빛이 물체에 닿아 반사되고 퍼지는 과정까지 AI가 이해하도록 했다. 빛과 물체의 상호작용을 AI가 학습하도록 만들어, 조명이 달라져도 물체 재질과 주변 환경을 더욱 정확하게 이해할 수 있도록 했다.
이와 함께 비주얼-RRT(이미지 기반 로봇 경로 계획 기술)를 개발, 시각 정보를 실제 행동으로 연결했다. 현재 로봇이 보는 장면과 목표 사진을 비교하며 스스로 이동 경로를 찾아가는 식이다. 실제 로봇 실험에서도 사진 한 장만으로 목적지에 성공적으로 도달해 서비스 로봇 및 자율주행 로봇 등 다양한 분야에 활용될 가능성을 확인했다.
마지막으로 연구팀은 미래 예측 기반 행동계획 기술(클래드)을 개발, AI가 행동하기 전에 미래 상황을 예측하고 가장 적절한 행동을 계획하도록 했다. 행동 결과를 미리 예측한 뒤 가장 효과적인 행동을 선택하도록 만든 기술이다. 이를 통해 복잡한 환경에서도 높은 성공률로 작업을 수행할 수 있다.
윤성의 교수는 “이번 성과가 자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술 발전에 기여하기를 기대한다”고 말했다.
김영준 기자 kyj85@etnews.com
