AI 통역 새 시대 연다…딥엘, 말뜻 넘어 감정까지 전달

빅 싱 딥엘 엔지니어링 총괄이 미국 샌프란시스코 믹스헤일로 오피스에서 한국 기자단과 인터뷰하고 있다. [사진=현대인 기자]

“자신의 말을 설명하려고 할 때는 그 말에 담긴 감정적 맥락을 이해하는 것이 정말 중요합니다. 새로운 AI 모델은 화자의 미묘한 뉘앙스를 번역된 언어로 거의 그대로 옮겨 담을 수 있습니다.”

빅 싱 딥엘 엔지니어링 총괄은 최근 미국 샌프란시스코 믹스헤일로 오피스에서 한국 기자단과 만나 차세대 음성 AI 모델 '오러(Aura)'에 대해 이같이 설명했다.

'오러'는 화자의 어조와 감정, 강세, 발화 속도 변화를 지속적으로 분석해 번역 음성에 반영한다. 말뜻만으로는 전달하기 어려운 미묘한 뉘앙스까지 살려 자연스러운 대화를 돕는다. 딥엘 보이스의 온라인 회의·대면 대화·응용프로그램인터페이스(API)에서 이용할 수 있다.

한국어와 영어, 스페인어 등 8개 언어를 지원한다. 한국어의 존댓말과 같은 언어별 특성도 반영한다. 이를 위해 화자의 목소리와 억양, 발화 내용을 구분하는 학습 기법을 적용했다.

싱 총괄은 “이 모델을 훈련시키기 위해 순수하게 오디오 데이터만을 사용했다”면서 “존댓말을 어떻게 사용하는지, 감정이 어떻게 표현되는지 등은 일반적으로 텍스트보다 오디오에 더 많이 담겨 있다”고 설명했다.

엔드투엔드 기술로 번역 속도를 높였다. 이 기술은 음성을 텍스트로 바꿔 번역한 뒤 다시 음성으로 생성하는 기존 단계식 구조와 달리 음성을 직접 처리하는 방식이다.

싱 총괄은 “일반적인 번역의 경우 문장이 필요하지만, 오디오 우선 번역의 경우 모델에서 의도를 들을 수 있기 때문에 문장이 없어도 이미 그 의도를 파악한다”면서 “문장이 끝나기 전부터 의도를 파악해 통역 지연 시간을 줄인다”고 말했다.

빅 싱 딥엘 엔지니어링 총괄이 미국 샌프란시스코 믹스헤일로 오피스에서 한국 기자단과 인터뷰하고 있다.

구글·오픈AI 등 빅테크와의 차별점으로는 언어 이해에 대한 전문성을 내세웠다. 범용 AI가 검색·추론·콘텐츠 생성 등 다양한 작업을 수행하도록 개발되는 반면, 딥엘은 언어의 정확성과 맥락, 미묘한 표현을 전달하는 데 역량을 집중한다는 설명이다.

딥엘이 지난 6월 인수한 믹스헤일로와의 기술 시너지도 강조했다. 믹스헤일로의 저지연 오디오 전송 기술에 딥엘의 번역 AI를 결합해 대규모 행사에서도 실시간 통역을 제공하는 방식이다. 싱 총괄은 믹스헤일로 공동창업자이자 전 최고경영자(CEO)로, 인수 이후 딥엘에 합류해 기업용 음성 API와 대규모 실시간 통역 기술 고도화에 참여하고 있다.

싱 총괄은 “믹스헤일로는 대규모 환경에 강점이 있다. 드림포스, 워크데이, 시스코 등 대규모 행사에서 필요한 모든 번역 서비스를 믹스헤일로가 담당했다”고 말했다.

딥엘은 향후 기업 행사뿐 아니라 스포츠 중계와 외부 서비스로 음성 번역 기술의 활용 범위를 넓힐 계획이다.

싱 총괄은 “또한 미국 내에서 스포츠 행사 지원도 점차 확대해 나가고 있다”면서 “이러한 스포츠 행사를 유럽 및 다른 국가들로 어떻게 확대해 나갈 수 있을지 모색하고 있다”고 말했다.

샌프란시스코=현대인 기자 modernman@etnews.com