국가대표 인공지능(AI) 모델을 가리는 '독자 AI 파운데이션 모델'(독파모) 2차 단계평가 결과, LG AI연구원과 SK텔레콤이 각 2개 평가항목에서 1위에 오른 것으로 나타났다. 3차 단계평가 진출에 실패한 모티프테크놀로지스는 1개 평가항목에서 1위를 기록했다.
과학기술정보통신부는 20일 독파모 2차 단계평가 벤치마크·전문가·사용자 등 5개 평가 항목별 1위 기업과 점수, 평균 점수를 공개했다. 최근 2차 평가 관련 투명성 문제가 지속 제기되는 상황이 AI 생태계 발전에 도움되지 않는다고 판단해 1차 단계평가 발표 시와 동일한 수준에서 평가 정보를 제공한 것이다.
앞서 글로벌 벤치마크 평가에서 한국 모델 중 유일하게 40점대를 기록한 모티프가 2차 단계평가에서 탈락하자 일각에서 평가결과의 공정성과 공신력에 대한 문제제기가 지속됐다.
40점 만점의 벤치마크 평가는 아티피셜 애널리시스(AA)의 AI 인덱스 평가와 한국지능정보사회진흥원(NIA) 한국 특화 벤치마크로 각각 진행됐다.
2차 단계평가에 처음 도입된 AA의 AI 인덱스(AAII) 평가에서는 모티프가 1위를 차지했다. AAII 테스트 결과를 25점 만점으로 스케일링해 최종 점수를 도출, 11.9점을 받았다. 4개팀 평균 점수는 9.48점이다.
수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등 7개 항목에 대한 NIA 벤치마크에서는 SK텔레콤(13.4점)이 1위였다. NIA에서 평가 결과를 도출하고 15점 만점 스케일링해 최종 점수에 반영, 4팀 평균 점수는 13.05점으로 기업 간 편차가 가장 작았다.
35점 배점의 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 10명의 외부 전문가로 평가위원회를 구성해 진행했다. 닷새 간 서면평가와 Q&A를 병행한 결과, 1위는 LG AI연구원(29.5점)이었다. 평균 점수는 28.75점이었다.
전문가 평가위원회는 모티프와 기존 정예팀 간 공정 경쟁 지원을 위해 4개 컨소시엄 동의를 받아 모티프팀의 국내 AI생태계 파급효과 평가는 새로운 독자 AI 모델 기반이 아닌 기존 AI 모델의 현장확산 실적과계획까지 폭넓게 종합 고려했다. 공정성을 위해 위원별 평가점수 최고·최저점은 제외했다.
또 15점 만점 AI 전문 사용자 평가는 AI 스타트업 대표 49명이 참가해 컨소시엄별 AI 사용 웹사이트를 기반으로 AI 사용성을 검증, SK텔레콤이 11.6점으로 최고점을 확보했다. 평균 점수는 10.53점이었다.
역시 2차 평가에서 처음 도입된 국민 평가는 신청자 1400여명 중 총 185명이 참여, 절대평가를 진행해 10점 만점으로 환산했으며 LG AI연구원이 7.6점으로 1위였으며 평균 점수는 7.03점으로 나타났다. 2차 평가 대상 4개 컨소시엄 중 업스테이지는 유일하게 평가항목별 1위 기록이 없다.
과기정통부는 “독파모 프로젝트는 단순 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니”라며 “다양한 기업들이 이번 프로젝트 결과에 머무르지 않고 각자 AI 모델과 기술을 지속 발전시켜 국내 AI 생태계에서 가치를 인정받고 실제 현장에 활용·확산될 수 있도록 정책 지원을 확대하겠다”고 밝혔다.
박종진 기자 truth@etnews.com
