카카오는 인공지능(AI) 모델 오케스트레이션 능력 평가 지표 논문이 세계 최고 권위 AI 학회로 꼽히는 '국제표현학습학회(ICLR) 2026'에서 채택됐다고 3일 밝혔다.
ICLR은 구글, 메타 등 글로벌 빅테크 기업들이 주력 연구를 선보이는 AI 분야 최고 학술대회다. 올해 제출된 논문 1만9000여건 중 상위 28%만 채택됐다.
이번 카카오 논문은 거대언어모델(LLM)의 처리 능력을 실제 서비스 환경에 맞춰 평가하는 데 초점을 맞췄다. 기존 LLM 벤치마크와 달리, 복잡한 사용자 요청을 해석해 적절한 도구를 호출하고 다양한 작업 간 의존 관계를 관리하는 '오케스트레이션' 능력을 평가할 수 있는 프레임워크를 제시했다.
이번 오케스트레이션 벤치마크는 여행·쇼핑·금융·일정 등 17개 서비스 도메인과 100여개 가상 도구를 포함해 구성했다. 사용자 요청 변경이나 추가 질문과 같은 실제 서비스 상 대화 흐름을 토대로 시나리오를 구축해 실용성을 높였다.
모든 평가 데이터는 AI 학습용 데이터를 선별·가공하는 AI 어노테이터를 통해 구축됐다. 한국어와 영어를 지원하며, 한국어는 문화적 특성과 맥락을 반영해 평가 정확도·신뢰도를 높였다.
카카오는연구 개발 성과의 자유로운 활용을 위해 해당 논문을 오픈소스 플랫폼 '깃허브'에 공개했다.
카카오 관계자는 “오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구로, 스스로 판단하고 이행하는 에이전틱 AI로 진화하는 현 시점에서 의미있는 연구 성과”라면서 “에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정이며, 카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 계획”이라고 말했다.
현대인 기자 modernman@etnews.com
