카카오가 오픈소스로 공개한 경량 언어모델(SLM) '카나나(Kanana)2' 시리즈가 구글이나 알리바바의 비슷한 규모 AI 모델보다 안전성에서 우수하다는 평가 결과를 제시했다.
카카오는 카나나2 시리즈의 안전성 평가 결과를 18일 공개하면서 이 같이 밝혔다.
카카오는 자체 구축한 'AI 안전성 평가 플랫폼'으로 지난달 28일 허깅페이스에 오픈소스로 공개한 'Kanana-2-1.3B-Instruct', 'Kanana-2-3B-Instruct' 두 모델의 유해성과 편향성 등을 측정했다. 그 결과 두 모델 모두 유사한 파라미터 규모의 주요 글로벌 모델과 비교한 종합 평가에서 1위를 기록했다고 전했다.
이번 평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), KAIST, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다. 한국의 사회·문화적 맥락에 맞게 설계된 이 벤치마트는 텍스트, 이미지, 오디오 등 멀티모달은 물론 AI 서비스 이용 상황부터 악의적 프롬프트 시나리오까지 다양한 조건에서 AI 위험 요소를 측정한다.
AssurAI는 총 35개 리스크 카테고리 내 9560건 평가 항목을 포함한다. 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 대분류로 재편해 집계했다. 사전에 정의된 채점 기준에 따라 AI 모델이 응답을 평가하는 'LLM-as-a-Judge' 방식을 적용했다.
이번 평가는 유사한 파라미터 규모의 글로벌 모델인 구글 '젬마(Gemma)', 알리바바 '큐웬(Qwen)'을 비교 대상으로 설정했다. Kanana-2-1.3B-Instruct는 종합 점수 0.70을 기록해 젬마 0.68, 큐웬 0.58을 앞섰다. Kanana-2-3B-Instruct도 0.70으로 젬마 0.66, 큐웬 0.62보다 높은 점수를 기록했다.
대분류별 평가에서 Kanana-2-1.3B-Instruct는 범죄·불법 행위 영역에서 비교 모델보다 높은 점수를 기록했다. Kanana-2-3B-Instruct는 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 앞섰다.
카카오는 이번 평가를 시작으로 앞으로 공개하는 자체 개발 AI 모델에 사전 안전성 평가를 확대 적용한다. 텍스트 기반 언어모델을 넘어 멀티모달 모델과 에이전틱 AI 리스크 평가까지 범위를 단계적으로 넓힌다.
김경훈 카카오 AI 세이프티 리더는 “이번 평가는 자체 검증 체계로 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개하고자 한 사례”라면서 “앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시키겠다”고 말했다.
변상근 기자 sgbyun@etnews.com
