에이아이트릭스는 지난 6일(현지시간)부터 11일까지 인도 하이데라바드에서 개최된 세계 최대 규모 음성·음향·신호처리 학술대회 'ICASSP 2025'에서 총 2편의 논문이 채택됐다고 15일 밝혔다.
채택된 논문은 △운율 프롬프팅을 통한 안정적인 화자 적응형 텍스트-음성 합성 △얼굴 이미지 기반 제로샷 음성 합성 성능 향상을 위한 개선된 얼굴-음성 매핑 기법이다.
첫 번째 논문에서는 소량의 음성 데이터로도 특정 화자의 말투와 억양을 자연스럽게 재현하는 화자 적응형 TTS(Stable-TTS) 프레임워크를 제안했다. 해당 모델은 기존의 화자 적응형 음성 합성 모델들이 가진 불안정한 음질 문제를 해결하고자 개발된 기술로, 제한적이고 노이즈가 섞인 환경에서도 안정적인 음성 합성이 가능하다.
화자 적응형 음성 합성 방식은 사전 학습에 사용된 고품질 음성 샘플을 운율 언어 모델(PLM)과 사전 보존 학습에에 활용해 안정적인 합성 능력을 유지한다. 이를 통해 한층 더 자연스럽고 안정적인 음성 생성이 가능하며, 음성 품질이 낮거나 샘플이 적더라도 자연스럽고 화자 유사도가 높은 음성을 생성하는 데 효과적임을 입증했다.
에이아이트릭스는 얼굴 이미지만을 기반으로 자연스러운 음성을 생성하는 제로샷 TTS 모델을 개발했다. 이 모델은 얼굴 이미지에서 유추할 수 있는 화자의 특성을 추출하고, 이를 운율 정보와 결합해 사실적이고 자연스러운 음성을 생성한다. 특히 기존 얼굴 기반 음성 합성 모델보다 더 정교하게 얼굴 정보와 음성 스타일을 매핑해 음성의 자연스러움이 크게 향상됐다.
한우석 에이아이트릭스 연구원은 “이번 연구는 제한된 데이터만으로도 자연스럽고 안정적인 음성 생성이 가능함을 입증했다”며 “텍스트 기반 LLM을 넘어 음성과 이미지를 결합한 멀티 모달 LLM으로 확장하기 위한 발판”이라고 말했다.
정용철 기자 jungyc@etnews.com
