AI 스타트업 비드래프트(VIDRAFT, 대표 김민식)가 인공지능(AI)의 메타인지 능력을 정량 측정하는 벤치마크 'FINAL Bench'를 허깅페이스와 GitHub에 공개했다.
공개 이후 허깅페이스 데이터셋 인기순위 상위권에 올랐으며, FINAL Bench를 기반으로 구축한 'FINAL Bench Leaderboard'는 허깅페이스 '금주의 스페이스'에 선정됐다. '금주의 스페이스'는 매주 공개되는 AI 웹 애플리케이션 가운데 일부를 선정해 소개하는 프로그램이다.
메타인지는 스스로의 판단을 점검하고 오류를 인식·교정하는 능력을 의미한다. 기존 AI 평가 지표인 MMLU, GPQA, HumanEval 등은 최종 정답의 정확도를 중심으로 측정해 왔으며, 자기 오류 인식 및 수정 과정에 대한 평가는 제한적이었다.
FINAL Bench는 수학, 과학, 철학, 의학, 경제, 역사 등 15개 학문 분야 100개 과제로 구성됐다. 각 과제에는 모델이 오답에 이르기 쉬운 조건을 포함했으며, 모델이 오류를 인식하고 수정하는 과정을 △과정 품질 △메타인지 정확도 △오류 복구 △통합 깊이 △최종 정답 등 5개 지표로 구분해 측정하도록 설계됐다.
비드래프트에 따르면 자기교정 구조를 적용했을 때 성능 변화는 오류 복구 지표에서 주로 나타났다. 이는 모델의 자기 수정 능력을 별도 축으로 분리해 분석할 수 있음을 보여준다고 설명했다.
관련 논문 'FINAL Bench: Measuring Functional Metacognitive Reasoning in LLMs'는 국제 학술대회 게재를 신청한 상태다. 평가 데이터셋과 채점 코드, 심판 프롬프트는 허깅페이스와 GitHub에 공개돼 있으며, 외부 연구자와 개발자도 활용할 수 있다.
김민식 대표는 “메타인지 개념을 AI 평가 체계에 적용해 자기 점검 과정을 측정하도록 설계했다”며 “기존 정확도 중심 평가와는 다른 관점의 분석 틀을 제시하는 것이 목적”이라고 밝혔다.
비드래프트는 서울AI허브 입주 기업으로, 다양한 AI 모델과 서비스를 공개해 왔다. 허깅페이스 리더보드 상위권 기록, 해외 연구기관 주관 평가 참여, 공공·민간 오픈이노베이션 프로그램 선정 등의 이력을 보유하고 있다.
이원지 기자 news21g@etnews.com
