숭실대학교 소프트웨어학부 박찬준 교수 연구실 송민수 학부연구생이 참여한 논문 2편이 자연어처리(NLP) 분야 국제학술대회 'EMNLP 2026'의 메인 컨퍼런스와 Findings에 각각 채택됐다고 밝혔다.
EMNLP(Empirical Methods in Natural Language Processing)는 자연어처리 분야를 대표하는 국제학술대회다. 학부생이 학부 과정에서 수행한 연구를 바탕으로 2편의 논문을 국제 학술대회에 게재했다. 두 편의 논문 모두 학부 과정에서 수행한 연구 결과를 바탕으로 작성됐다는 점에서 의미가 있다.
두 논문은 인공지능의 성능과 평가 결과를 보다 정확하게 분석하는 방법을 다룬다. 인공지능이 문제를 해결하는 과정과 여러 AI의 평가 결과가 실제 사람의 판단과 어떻게 다른지를 분석했다.
메인 컨퍼런스에 채택된 'Auditing MCQA Benchmarks through Probability Landscapes'는 AI의 객관식 문제 풀이 결과를 분석하는 방법을 제안한 연구다. 연구진은 AI가 정답을 맞혔는지뿐 아니라 각 답변에 부여한 확률까지 함께 분석해 AI가 어려움을 겪는 문제와 추가적인 검토가 필요한 문항을 찾는 방법을 제시했다.
Findings에 채택된 'Beyond Consensus: Downward Bias and Role Asymmetry in Multi-Agent LLM Judges for Subjective Evaluation'은 여러 AI가 합의한 평가가 사람의 판단과 얼마나 일치하는지를 분석한 연구다.
한국어 에세이와 요약문을 대상으로 실험한 결과, 여러 AI의 합의보다 하나의 AI가 독립적으로 평가한 결과가 사람의 판단에 더 가까운 경우가 나타났다. 또 '엄격한 심사위원'과 같은 특정 역할을 부여할 경우, 평가 점수가 낮아지는 경향도 확인했다.
연구진은 이번 연구를 통해 AI의 성능과 평가 결과를 신뢰성 있게 분석하기 위해서는 최종 결과뿐 아니라 판단 과정과 평가 방식까지 함께 고려해야 한다고 설명했다.
송민수 학부연구생은 “학부 과정에서 연구를 시작해 국제 학술대회에 두 편의 논문을 발표할 수 있어 뜻깊다”며 “연구 과정에서 여러 시행착오를 겪었지만, 문제를 스스로 정의하고 실험을 통해 답을 찾아가는 과정에서 많이 배울 수 있었다. 앞으로도 이번 성과에 안주하지 않고 좋은 연구를 이어가는 연구자로 성장하고 싶다”고 소감을 밝혔다.
박찬준 교수는 “학부생이 연구에 참여하는 데 그치지 않고 스스로 연구를 주도해 국제 학술대회에 두 편의 논문을 게재했다는 점에서 의미가 있다”며 “연구의 전 과정을 경험하며 독립적으로 연구를 수행할 수 있는 역량을 키워가고 있다는 점도 의미 있게 보고 있다”고 말했다. 이어 “앞으로도 학부생들이 자신의 아이디어를 연구 성과로 발전시킬 수 있도록 연구실 차원의 지원과 지도를 이어가겠다”고 밝혔다.
조호현 기자 hohyun@etnews.com