
KAIST(한국과학기술원) 문화기술대학원 임경태 교수 연구팀이 사람이 컴퓨터를 사용하는 것처럼 웹 화면을 보고 다양한 업무를 수행하는 인공지능(AI) 모델 'KORMo-Web(콜모 웹)'을 공개했다.
KORMo-Web은 사용자가 한국어나 영어로 명령을 내리면 웹 화면을 이해하고, 마우스 클릭과 키보드 입력을 통해 실제 작업을 수행하는 AI 에이전트다. 특히 40억 개 매개변수(4B)의 소형 모델 하나로 개인 컴퓨터에서 실행할 수 있으며, 웹사이트마다 별도의 API를 연결하거나 복잡한 자동화 환경을 구성하지 않아도 된다는 점이 특징이다.
예를 들어 챗GPT를 활용해 발표자료를 준비하고, 클로드로 최신 연구를 조사한 뒤 노션에 내용을 정리하는 작업을 수행할 수 있다. 네이버 쇼핑과 쿠팡에서 상품을 검색하거나 이메일을 작성·발송하고, 인스타그램과 유튜브 등 온라인 커뮤니티에서 활동하는 것도 가능하다.
연구팀은 이러한 활용 사례를 보여주기 위해 실제 웹사이트에서 수행하는 40가지 작업을 4분으로 압축한 시연 영상도 함께 공개했다. KORMo-Web의 가장 큰 특징은 웹사이트의 HTML이나 DOM 구조에 의존하는 기존 자동화 방식과 달리, 사람이 실제로 보는 웹 화면과 웹 사용 기록을 중심으로 학습했다는 점이다.
연구팀은 한국인이 자주 이용하는 주요 웹사이트를 포함해 한국어와 영어 웹 환경에서 1천만 건 이상의 웹 화면 기반 학습 샘플을 구축했다. 이를 활용해 버튼, 입력창, 메뉴 등 화면의 개별 요소가 어디에 있고, 어떤 의미와 기능을 갖는지 세밀하게 학습시키는 원자 단위 웹 사전학습을 수행했다.
여기에 10만 건 이상의 한국어·영어 웹 사용 궤적을 추가로 학습시켜, 단순히 화면을 인식하는 것을 넘어 여러 웹사이트를 이동하며 복잡한 작업을 수행하도록 했다.
일반적인 언어모델이 방대한 텍스트를 학습해 언어를 이해하듯, 웹 에이전트 역시 대규모 웹 화면을 먼저 학습해 웹 환경 자체를 이해하도록 설계했다는 것이 연구팀의 설명이다.
연구팀은 실제 웹사이트에서 작업을 수행하는 대표적인 벤치마크인 'Online-Mind2Web'을 통해 모델의 성능을 검증했다.
영어 300개, 한국어 312개 등 총 612개 실제 웹 작업을 대상으로 평가한 결과, KORMo-Web-4B는 영어와 한국어 모두 42.3%의 작업 성공률을 기록했다. 이는 동일한 평가에서 비교한 공개 가중치 웹 에이전트 가운데 가장 높은 수치로, 기존 최고 비교 모델 대비 영어는 9.6%포인트, 한국어는 22.1%포인트 높았다.
더 큰 규모의 KORMo-Web-9B는 영어 51.0%, 한국어 48.1%의 성공률을 달성했다.
특히 연구팀은 기존 주요 GUI 에이전트 벤치마크 4종을 한국어 웹 환경에 맞춰 사람이 직접 구축한 한국어 평가데이터도 함께 공개한다. 이는 영어 중심으로 발전해 온 웹 에이전트 기술을 국내 웹 환경에서도 체계적으로 평가할 수 있는 기반이 될 것으로 기대된다.
이번 공개에는 해외 오픈소스 모델 Qwen3.5를 기반으로 개발한 4B·9B 모델뿐 아니라, 연구팀이 자체 개발한 KORMo 파운데이션 모델 계열을 활용한 'KORMo-Web-11B'도 포함된다.
임경태 교수는 “퇴근 후 집에서도 내 컴퓨터에 일을 시킬 수 없을까 하는 생각에서 연구를 시작했다”며 “기존 웹사이트에 맞춰 별도의 API를 연결하기보다 AI가 사람처럼 화면을 이해하고 직접 컴퓨터를 사용하는 환경을 만드는 것이 목표”라고 설명했다. 이어 “작은 AI 모델도 웹 환경을 충분히 이해하도록 학습하면 다양한 실생활 업무를 수행할 수 있다”며 “앞으로는 개인 컴퓨터에서 실행되는 AI가 사용자를 대신해 일상적인 웹 업무를 처리하는 방향으로 발전시키고 싶다”고 밝혔다.
연구팀은 KORMo 프로젝트의 오픈소스 철학을 이어 모델 가중치와 대규모 학습 데이터, 웹 사용 궤적, 한국어 평가데이터 및 Chrome 확장 프로그램 코드를 공개한다. 누구나 직접 실행해 볼 수 있도록 설치 가이드와 시연 영상도 함께 제공한다.
이원지 기자 news21g@etnews.com