인공지능(AI) 트렌드 분석 플랫폼 전문 기업 뉴엔AI(대표 배성환)는 자사의 거대언어모델(LLM) 'QuettaLLMs(모델명: QuettaLLMs-27B-Koreasoner-V3)'가 국내 AI 성능 평가의 표준으로 꼽히는 'K-AI 리더보드'에서 종합 1위를 달성했다고 10일 밝혔다.
과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 관리하는 'AI 허브' 기반의 'K-AI 리더보드'는 한국 현지 환경에 최적화된 AI 성능을 공인하는 평가 체계다. K-AI 리더보드는 한국어 특유의 문화적·언어적 이해도를 측정하는 'CLIcK'과 변호사·회계사 등 전문직 자격시험을 바탕으로 고난도 추론 능력을 평가하는 'KMMLU-Pro' 등 엄격한 벤치마크를 통해 순위를 결정한다.
뉴엔AI는 이번 1위가 단순한 모델 규모의 경쟁을 넘어선 '벤치마크 최적화 전략'에 있다고 평가했다. 최근 LLM 시장은 파라미터(매개변수)의 크기뿐만 아니라 미세조정(Fine-tuning) 데이터의 질, 양자화 및 전이 학습 전략에 따라 실질적인 성능이 결정되는 추세다.
뉴엔AI는 다년간 온라인 트렌드 데이터를 분석하며 축적해온 고품질의 구어체 데이터셋을 학습에 투입해 성능을 극대화했다. 자체 최적화 알고리즘을 통해 베이스 모델이 가진 본연의 추론 능력은 보존하면서도, 한국어 특유의 문법적 미묘함과 맥락 이해도는 비약적으로 향상시켰다는 자체 분석이다.
실제 평가 결과에서도 뉴엔AI의 저력은 증명됐다. 한국어 지식 측정 지표인 'CLIcK'에서 0.794점, 복합 추론 능력을 평가하는 'KMMLU-Pro'에서 0.676점을 기록하는 등 전 분야에서 고른 고득점을 획득하며 기술적 완성도를 입증했다.
이번 모델 개발을 주도한 뉴엔AI 김광수 부장은 “이번 성과는 모델의 규모보다 데이터에 대한 깊은 이해와 수행 과제에 최적화된 학습이 한국어 특화 성능을 결정짓는 핵심임을 입증한 사례”라며, “앞으로도 한국어 맥락에 최적화된 고성능 언어모델을 지속적으로 고도화해 국내 AI 생태계 발전에 기여할 것”이라고 강조했다.
이경민 기자 kmlee@etnews.com
