법률 분야에서 거대언어모델(LLM)의 추론 과정이 답변 정확도 향상에 핵심적인 역할을 한다는 내용의 로앤컴퍼니 연구 논문이 세계적인 인공지능(AI) 학회에서 채택됐다.
로앤컴퍼니는 'AI Achieves a Perfect LSAT Score' 논문이 '국제머신러닝학회(ICML) 2026'의 'AI4Law' 워크숍에서 최종 채택됐다고 9일 밝혔다.
국제머신러닝학회는 신경정보처리시스템학회(NeurIPS), 국제표현학습학회(ICLR)와 함께 세계 3대 인공지능(AI) 학회로 꼽힌다. 로앤컴퍼니가 참여하는 AI4Law 워크숍은 법률 추론, 법률 분야 AI 평가, 사법 접근성 영역에서 AI를 활용한 최신 연구 동향을 발표하고, 향후 기술 방향을 모색하는 자리다.
연구진은 미국 로스쿨 입학시험(LSAT)을 활용해 GPT-5, 클로드 오퍼스 4, 제미나이 2.5 프로, 딥시크-R1, 키미 K2 씽킹 등 8개 주요 AI 모델의 성능을 평가했다. 이 중 딥시크-R1과 키미 K2 씽킹은 LAST 180점 만점을 기록했다.
연구진은 평가 결과를 바탕으로 프롬프트, 답지 순서, 다중 샘플링, 사고 단계, 추론 과정 검증 등 다양한 요소가 모델 답변 정확도에 미치는 영향을 분석했다. 사고 단계와 추론의 수준이 성능 향상에 결정적 요인임을 밝혀냈다.
특히 모델의 추론 과정을 보다 정교하게 검증하기 위해 프로세스 보상 모델(PRM)을 활용해 법률 전문가가 사고의 과정을 직접 채점하고, 추론 수준이 높은 답안을 선택하는 실험을 진행했다. 그 결과 소형 증류 모델의 답변 정확도가 51.9%에서 63.6%로 11.7%포인트(P) 상승하며, 논리적 추론의 정밀함이 정확도를 높이는 핵심이라는 것을 증명했다.
연구를 주도한 법률AI연구소 구본무 AI 리서치 연구원은 “미국 로스쿨 입학시험은 논리 구조를 파악하고, 논증을 평가하는 시험으로 추론 능력을 평가하기 가장 적합하다”면서 “법률 분야에서 LLM의 추론 과정의 중요성을 입증한 연구라는 점에서 향후 법률 AI 서비스의 답변 정확도 향상에 큰 도움을 줄 것으로 기대된다”고 말했다.
현대인 기자 modernman@etnews.com
