교사용 AI 평가 플랫폼 '클리포' 운영사 데이터드리븐(대표 고동완)은 자사 AI 채점이 한국정보통신기술협회(TTA) 공인시험의 텍스트 답안 항목에서 교사 채점과의 일치도(QWK) 0.952를 기록했다고 밝혔다. 이미지(0.945)·음성(0.925)·영상(0.852)을 포함한 4개 항목 모두 목표 기준을 크게 웃돌았다.
이 기술은 과학기술정보통신부 '맞춤형 교육을 위한 과정 중심 평가·학습진단 인공지능 기술 개발' 과제(2023~2026, 전문기관 정보통신기획평가원)를 통해 4년간 개발돼 클리포에 적용됐다. 이번 시험은 교육현장과 과학기술정보통신부·정보통신기획평가원의 제3자 검증 요구에 따라 TTA를 통해 진행됐으며, 시험성적서(TTA-26-02012)는 지난 8월 21일 발급됐다.
시험은 교사가 부여한 등급(상·중·하)을 기준으로 AI 채점 결과와의 일치도를 QWK(이차 가중 카파)로 측정했다. 목표 기준은 텍스트 0.85, 이미지 0.80, 음성 0.75, 영상 0.70이었다. 이 가운데 텍스트 채점 시험은 학교급별 전 과목의 수행평가 평가지에서 나온 표본 1,311건을 대상으로 했으며, 평가지마다 형식과 채점 기준이 다르다.
QWK는 단순 일치율과 다르게 우연에 의한 일치를 보정하고, 점수 차이가 클수록 불일치를 더 크게 반영한다. 1이면 완전 일치, 0이면 우연 수준을 의미한다. 카파 값 해석에 널리 쓰이는 랜디스와 코크(Landis & Koch, 1977)의 기준은 0.81 이상을 '거의 완전한 일치'로 보는데, 이번 시험은 4개 항목 모두 이 구간에 들었다.
데이터드리븐은 “채점이 정확할수록 선생님이 결과를 다시 확인하는 수고가 줄어든다”며 “채점 부담을 덜어 드리고, 그 시간을 학생 피드백에 쓸 수 있도록 돕는 것이 목표”라고 밝혔다.
클리포는 수행평가와 서·논술형 평가의 채점부터 학생 피드백, 학교생활기록부(생기부)의 세부능력 및 특기사항(세특) 기록까지 잇는 교사용 평가 서비스다. 손글씨 답안과 그림·표가 섞인 답안도 인식해 채점한다. 교사가 채점요소별 피드백과 채점 근거를 확인하여 최종 점수를 결정한다. 피드백은 학생마다 잘한 점과 보완할 점을 짚어 준다.
한편, 데이터드리븐은 공교육 교사와 학생을 위한 AI 서비스를 개발하는 에듀테크 기업이다. 교사가 평가 기준을 세우고 최종 판단을 내리도록 하는 '교사 중심' 원칙 아래, 수행평가와 서·논술형 평가의 AI 채점, 피드백, 학교생활기록부 세특 기록을 지원하는 플랫폼 '클리포'를 운영하고 있다. 과학기술정보통신부 연구개발 과제를 통해 과정중심평가 AI 채점 기술을 개발했다. 2026년 10월 기준 전국 5,600여 개 학교에서 교사들이 클리포를 이용하고 있다.
고동완 데이터드리븐 대표는 “수행평가와 서·논술형 채점은 생각의 전개 과정을 읽어 내는 고도의 판단이 필요한 일이다. 평가 전문가인 선생님의 암묵지가 중요하게 작용하며 많은 시간과 노력이 드는 만큼, 교원업무 경감이 절실한 분야”라며 “이번 성과를 뜻깊게 생각하지만, 시험의 기준도 결국 선생님들이 채점한 점수였다. AI가 최종 점수를 결정하는 것이 아니기 때문에, 선생님을 제대로 돕고 학생 성장에 도움이 되는 피드백을 제공할 수 있도록 계속 고도화하겠다”고 말했다.
이원지 기자 news21g@etnews.com
