일레븐랩스가 복잡한 설정 없이 모델 선택만으로 자연스러운 대화형 음성 인공지능(AI) 에이전트를 구축할 수 있는 음성 대 음성(STS) 모델 '일레븐 리얼타임'을 공개했다.
음성 인식부터 발화 구간 감지, 대화 차례 전환, 거대언어모델(LLM), 음성 합성까지 음성 에이전트 구현에 필요한 구성 요소를 하나의 시스템으로 통합했다. 기존에는 자연스러운 대화형 음성 에이전트를 구축하려면 각 구성 요소를 개별적으로 선택하고 조합·조정해야 했다.
일레븐 리얼타임은 개발자가 모델을 선택하는 것만으로 음성 에이전트를 구축할 수 있도록 지원한다. 빠르고 자연스러운 대화에 최적화된 '일레븐 리얼타임 v1 미니'와 복잡한 작업 수행에 특화된 '일레븐 리얼타임 v1 맥스' 두 버전을 제공한다.
v1 미니는 AI 어시스턴트, 교육용 튜터, 게임·엔터테인먼트용 대화형 캐릭터 등에 적합하다. v1 맥스는 고객 지원, 잠재 고객 선별, 외부 도구를 호출해 정보를 조회하거나 작업을 수행하는 다단계 업무 등에 활용할 수 있다.
두 모델 모두 한국어와 일본어를 포함한 90개 이상 언어를 지원한다. 일레븐랩스가 제공하는 1만7000개 이상 음성 라이브러리에서 원하는 목소리를 선택할 수 있다. 자연스러운 대화 차례 전환과 사용자 발화 중 끼어들기 대응, 도구 호출 기능도 지원한다.
성능 검증도 받았다. 글로벌 AI 모델 평가업체 아티피셜 애널리시스(AA)의 지난달 평가에서 v1 맥스는 음성 기반 추론 능력을 측정하는 '빅 벤치 오디오'에서 정답률 98.8%를 기록했다. 질문 종료 후 응답 시작까지 걸리는 시간은 0.57초였다. 리더보드에서 v1 맥스보다 빠르며 정확도까지 높은 모델은 없었다.
대화 중 침묵과 차례 전환, 끼어들기 등에 대한 대응 능력을 평가하는 '풀 듀플렉스 벤치'에서는 v1 미니와 v1 맥스가 각각 95.8%와 94.1%를 기록했다.
일레븐 리얼타임은 음성·채팅 에이전트 플랫폼 '일레븐에이전트'와 '리얼타임 API'를 통해 제공된다. 일레븐에이전트에서는 모델 선택만으로 기존 워크플로우와 지식베이스, 가드레일 등을 유지하면서 사용할 수 있다.
리얼타임 API는 오픈AI 리얼타임 API와 호환된다. 기존 이용자는 코드 연결 대상과 모델 이름만 변경하면 활용할 수 있다.
일레븐랩스 관계자는 “한국어를 포함한 90개 이상 언어를 지원하는 일레븐 리얼타임으로 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해나갈 계획”이라고 말했다.
한편 일레븐랩스는 최근 영상을 분석해 장면에 맞는 음악과 효과음을 자동으로 생성하는 '인스턴트 사운드트랙'을 출시했다. 사용자가 영상을 업로드하면 내용을 분석해 오리지널 음악을 생성하고 효과음이 필요한 장면을 찾아 영상 시간대에 맞춰 소리를 배치한다.
박종진 기자 truth@etnews.com
