[뉴스줌인] 독파모 2차전, 벤치마크 1위도 탈락…'사용성'이 승부 갈랐다

류제명 과학기술정보통신부 제2차관이 18일 서울 종로구 정부서울청사에서 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과를 발표하고 있다. 벤치마크 평가, 전문가 평가, 사용자 평가를 병행하는 2차 단계평가를 종합한 결과 업스테이지, SK텔레콤, LG AI연구원 정예팀이 다음단계로 진출했다. 이동근기자 foto@etnews.com

독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 단계 평가에서 당락은 가른 지표는 모델 성능보다 사용성이었다.

류제명 과학기술정보통신부 제2차관은 18일 정부서울청사에서 열린 독파모 2차 단계평가 결과 브리핑에서 “모티프테크놀로지스의 '모티프 3'가 글로벌 벤치마크 점수에서 눈에 띄는 성과를 보여준 건 사실”이라면서 “다만 상당히 무게중심이 있었던 사용성·활용성 측면에서는 다른 모델들에 비해 낮은 평가를 받았다”고 설명했다.

이번 2차 단계평가는 △벤치마크 평가(배점 40점) △전문가 평가(배점 35점) △사용자 평가(배점 25점)로 이뤄졌다.

앞서 '모티프 3'는 2차 단계 평가 결과를 앞두고 발표된 글로벌 AI 성능 평가 기관 아티피셜 애널리시스 종합성능지수(AAII)에서 47점으로 4개팀 중 가장 높은 점수를 기록하며 눈길을 끌었다.

AAII가 포함된 벤치마크 평가의 배점은 40점이다. 이 가운데 AAII는 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 차지했다. 다만 실제 4개 팀의 벤치마크 평가 평균은 22.5점으로, 1위와 4위 간 격차는 4점이었다. 40점 만점에서 30점을 넘은 팀은 없었다.

벤치마크를 제외한 나머지 영역의 배점은 60점이다. 특히 전문가 평가와 사용자 평가를 통해 모델의 실제 활용 가능성, 산업 생태계 기여, 서비스 적용성 등을 종합 평가했다.

전문가 평가(배점 35점)는 외부 전문가 10명으로 구성된 전문가위원회를 통해 △개발 전략 및 기술(10점) △개발 성과 및 계획(10점) △파급효과 및 기여계획(15점)을 평가했다. 그 결과 4개팀 평균은 28.8점이며, 1위와 4위 간 점수 격차는 2.4점에 그쳐 세 영역 중 가장 경쟁이 치열했다.

사용자 평가(배점 25점)는 49명의 AI 전문 사용자 평가(15점)와 일반 국민 평가(10점)를 기반으로 AI 사용성 등에 대한 평가를 진행했다. 4개 정예팀 평균은 17.6점이며, 1위와 4위 간 점수 격차는 5점으로 평가 항목 중 가장 컸다.

과기정통부는 “사용자 평가는 단순 AI 모델이 보여주는 성능에서 나아가, 다양한 사용자들이 AI 모델을 사용하며 체감하는 사용성과 효능감까지 종합 평가하기 위해 마련됐다”며 “모델 개발을 넘어 실사용자 관점의 AI 서비스 제공 역량까지 갖추도록 유도한다는 점에서 중요한 의의를 갖는다”고 설명했다.

3개 통과팀에 대한 전문가위원회 호평도 실제 현장 실증에 초점이 맞춰졌다. 업스테이지는 포털 '다음'과 '타임리' 플랫폼 연계, 퓨리오사AI 신경망처리장치(NPU)와의 하드웨어 결합 기술실증(PoC)이, SK텔레콤은 대규모 상용 서비스 탑재와 국방·제조·법무 분야 실증이, LG AI연구원은 글로벌 협업 전략과 안전·신뢰성 관리 체계가 각각 근거로 제시됐다.

정부는 일반 국민의 눈높이에서도 사용성 평가가 이뤄질 수 있도록 일반 국민 185명이 참여한 국민평가를 2차 단계평가에 새롭게 도입했다. 다만 일반 국민 평가는 당락에 실질적 영향을 미치지 않은 것으로 나타났다.

정부는 이번에는 지표별 1위 기업은 공개하지 않았다. 각 영역의 점수 격차가 근소했다는 이유에서다. 모든 평가 영역에서 일관되게 1위를 차지한 팀도 없었던 것으로 확인됐다.


류 차관은 “각 벤치마크 평가, 전문가 평가, 사용자 평가 모두 격차가 아주 미세했다”면서 “특별히 어떤 항목이 결정적이었다고 보기 어려울 정도로 각 항목별 1위 기업과 2~3위 간의 격차가 종합적으로 만들어 낸 결과”라고 설명했다.

정현정 기자 iam@etnews.com