음성에 담긴 미묘한 감정을 파악해 아바타 표정을 바꿀 수 있는 기술이 나왔다. 학습 과정에서 보지 못한 감정까지 표현할 수 있고, 감정 표현 정확도는 최신 기술보다 약 14%p 높다. 아바타, 상담 AI, 영상 콘텐츠 등에 필요한 가상 얼굴을 보다 자연스럽고 정확하게 만들 수 있다.
김태환 UNIST 인공지능대학원 교수팀은 음성 대화 속에서 감정 정보를 추출하고 이에 대응해 적절한 감정으로 얼굴 표정을 바꾸는 인공지능(AI) 모듈 'C-MET(Cross-Modal Emotion Transfer)'를 개발했다고 18일 밝혔다.
C-MET은 음성 대화에 담긴 감정의 '변화량'을 얼굴 표정의 '변화량'으로 전환한다. 중립적 음성과 감정이 실린 음성의 차이(벡터)를 방향과 크기의 숫자 정보로 계산하고, 이 벡터에 따른 표정 변화를 얼굴에 반영한다.
음성 속에 사실과 감정이 섞여 있어도 감정 신호를 읽어내고, 같은 문장이라도 어조 차이를 파악해 입꼬리, 눈썹, 눈 주변 움직임 등을 담아 표정을 바꾼다. 기존 '슬픔', '기쁨' 같은 이름표를 붙인 학습 방식이 아닌 두 감정 사이의 변화량을 학습하기 때문이다. 그래서 비꼼이나 공감, 카리스마 등 미묘하거나 섬세한 감정도 반영할 수 있다. 감정이 담긴 음성을 입력 정보로 사용하기에 기존에 감정을 표현한 고품질 참조 이미지도 필요없다.
실험 결과 최신 얼굴 표정 편집 기술인 '이디톡(EDTalk)'보다 감정 표현 정확도가 14%p 이상 높게 나타났다. 부품처럼 끼워 쓸 수 있는 C-MET로 이디톡 표정 인코더를 대체해 실험한 결과, MEAD 데이터셋 기준 감정 정확도는 41.99%에서 55.91%로 향상됐다.
또 다른 말하는 얼굴 생성 모델 'PD-FGC'에 적용한 결과, 감정 정확도는 33.36%에서 36.82%로 높아졌다. 두 모델 모두에서 추론 속도는 더 빨라졌다.
김태환 교수는 “학습용 참조 이미지 없이 음성 정보만으로 얼굴 표정을 바꿀 수 있어 기존 방식의 한계를 해결했다”며 “가상 인간 제작, 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 폭넓게 활용할 수 있을 것”이라고 말했다.
이 연구 성과를 담은 논문은 인공지능 및 컴퓨터 비전 분야 국제학회 'CVPR 2026'에 채택됐다.
울산=임동식기자 dslim@etnews.com