고려대학교 서홍석 컴퓨터학과 교수 연구팀이 인공지능(AI)의 고난도 연쇄 추론 능력을 획기적으로 높이는 학습·평가 체계 'CRIT(Cross-modal multi-hop Reasoning over interleaved Image-Text)'을 개발했다고 6일 밝혔다.
기존 AI는 글이나 그림을 단편적으로 이해하는 데는 뛰어나지만, 흩어진 여러 단서를 연결해 단계적으로 추론하는 문제에서는 한계를 지닌다. 일부 AI 평가 방식의 경우, 특정 정보만으로도 답을 맞힐 수 있어 AI 모델의 실제 복합 추론 능력을 충분히 검증하지 못한다는 문제가 있었다.
CRIT는 AI 모델이 텍스트와 이미지 등 서로 다른 형태의 정보를 함께 이해(교차-모달)하고 여러 단계를 거쳐 결론에 도달하는 능력(멀티홉 추론)을 향상시키기 위해 제안됐다. 핵심은 텍스트와 시각 정보가 서로를 보완하도록 설계된 문제 구조다. CRIT는 자연 이미지, 영상, 과학논문 등 다양한 자료에서 텍스트와 시각 정보를 함께 활용해야만 답할 수 있는 문제를 자동으로 생성한다.
연구팀은 내용 속 개체, 속성, 개체 간 관계를 그래프 형태로 구조화하고, 이를 기반으로 질문과 정답을 생성하는 방식을 도입해 문제의 일관성과 근거성을 동시에 확보했다. 모델이 실제로 다양한 정보를 통합하고 여러 단계를 거쳐 추론하는지를 정밀하게 평가할 수 있다.
CRIT 데이터로 AI 학습을 진행한 결과, 일상 영상·이미지 분석부터 논문 및 도표 해석에 이르기까지 다양한 영역에서 추론 성능이 기존 대비 최대 두 배 이상 향상됐다. 최신 모델들조차 위 영역에서 전반적으로 낮은 성능을 보인다는 점을 감안하면 놀라운 성과다.
연구팀은 이번 성과가 단순한 정보 인식을 넘어, 여러 정보 조각을 연결해 근거 기반으로 사고하는 인공지능으로 나아가는 중요한 단계가 될 것으로 기대하고 있다. 특히 과학 문헌 분석, 교육 콘텐츠 이해, 복합 문서 검색, 시각-언어 기반 AI 비서 등 실제 응용 환경에서의 활용 가능성이 클 것으로 전망했다.
본 연구 성과는 지난 6월 3일부터 7일까지 미국 콜로라도 덴버에서 개최된 AI 분야 최고 국제 학술대회 'CVPR 2026'에 채택, 발표됐다. 특히 학부생들이 제1저자와 공저자로 참여했다는 점에서 의미가 크다. 이번 연구는 ICT명품인재양성사업, AI스타펠로우십지원, 대학ICT연구센터(ITRC)의 지원을 받아 수행됐다.
조호현 기자 hohyun@etnews.com