구글의 인공지능(AI) 프로그램 개발사 '딥마인드'가 AI로 훈련시킨 휴머노이드 로봇의 일대일 축구 경기를 공개했다.
투오마스 하르노야 연구원이 이끄는 구글 딥마인드 연구팀은 지난 10일(현지시간) 국제학술지 '사이언스 로보틱스'에 심층 강화 학습(DRL)으로 훈련시킨 소형 이족보행 로봇 연구 결과를 발표했다.
연구팀이 공개한 영상에는 두 대의 소형 휴머노이드 로봇이 일대일 축구 경기를 치르는 모습이 담겼다.
로봇은 공을 차고, 슛을 막고, 허둥거리며 공을 쫓아 경기장을 가로지른다. 공을 차기 위해 팔을 휘두르기도 하고 쿵하고 넘어지기도 하지만 금세 일어난다. 무릎을 굽혀 날아온 공을 받기도 한다.
서툰 모습이 귀엽게 보이지만 연구팀은 “로봇들은 고도로 전략적인 플레이를 펼치고 있다”며 “공이 어떻게 움직이는지 배우고, 상대방의 다음 움직임을 예상하면서 한 수 앞을 내다보기 위해 노력하고 있다”고 설명했다.
연구팀은 이를 훈련시키기 위해 먼저 컴퓨터 시뮬레이션을 통해 △땅에서 일어나기 △훈련되지 않은 상대를 상대로 골을 넣는 방법 등 두가지 DRL을 훈련시켰다. 이어 DRL 세트를 학습한 로봇과 부분적으로 학습한 로봇을 무작위로 짝지어 일대일 축구 경기를 진행해 가상으로 훈련을 진행했다.
연구팀은 “두 번째 단계에서 로봇은 이전에 배운 기술을 결합해 전체 축구 경기에 맞게 다듬고, 상대의 행동을 예측해 행동하는 방법을 배웠다”며 “모든 행동을 유동적으로 전환했다”고 전했다. DRL 프레임워크 덕분에 축구공을 차거나 슈팅하고, 슛을 막고, 신체로 목표물을 방어하는 방법 등 기존 능력을 향상시키는 플레이를 곧바로 배웠다는 설명이다.
DRL을 통해 학습시킨 로봇의 성능은 스크립트로 수동 제어한 로봇과 비교하면 더욱 두드러진다. DRL 훈련 로봇은 181% 더 빠르게 걷고, 302% 더 빠르게 회전하고, 넘어졌다가 일어나는 시간도 63% 단축됐다.
또한 발을 바꾸고 회전하는 등 새로운 동작까지 구현해냈다. 이는 스크립트화된 로봇으로는 구현하기 매우 어려운 움직임이라고 연구팀은 설명했다.
연구팀은 “원활하고 효율적인 방식으로 동작을 전환했으며, 공의 움직임을 예측해 상대의 슛을 차단하는 방법도 배웠다”며 “축구뿐만 아니라 다른 많은 작업에도 이와 유사한 DRL 접근 방식을 활용하면 이족 보행 로봇의 움직임과 실시간 적응 기능을 더욱 향상시킬 수 있을 것”이라고 말했다.
서희원 기자 shw@etnews.com
