우리 연구진이 인공지능(AI)의 가장 큰 위험으로 지적돼 온 '과도한 확신' 문제를 해결할 새로운 접근법을 제시했다. AI가 모르는 상황을 스스로 인식하도록 하는 학습 방법을 개발, AI 전반의 신뢰성을 높일 기반을 마련했다.
한국과학기술원(KAIST·총장 이광형)은 백세범 뇌인지과학과 석좌교수팀이 딥러닝에서 널리 사용돼 온 '무작위 가중치 초기화(신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위 설정하는 방식)'가 AI 과신을 유발하는 근본 원인일 수 있음을 규명했다고 27일 밝혔다.
실제 무작위로 초기화된 신경망에 임의의 데이터를 입력한 결과, 아직 아무것도 배우지 않은 상태임에도 높은 확신도를 보이는 현상이 확인됐다. 이런 특성은 생성형 AI에서 사실과 다른 내용을 만들어내는 환각(존재하지 않는 정보를 그럴듯하게 만들어내는 현상) 문제로 이어질 수 있다.
연구팀은 해결 실마리를 우리 두뇌에서 찾았다. 우리는 태어나기 전부터 외부 자극 없이도 '자발적 신경 활동(외부 입력 없이 스스로 발생하는 뇌 신호)'으로 신경회로를 형성한다.
연구팀은 이 개념을 인공신경망에 적용, 실제 학습에 앞서 무작위 노이즈(의미 없는 임의의 입력 데이터) 입력으로 짧은 사전 학습을 수행하는 '예열 단계'를 도입했다. 이는 AI가 본격적으로 학습하기 전, 스스로 불확실성을 조정하는 과정에 해당한다. 즉, 실제 데이터를 배우기 전 '나는 아직 아무것도 모른다'는 상태를 먼저 학습하는 것이다.
예열을 거친 AI 모델은 기존 과신 편향이 크게 완화됐다. 확신도를 낮춰 '모른다'고 판단하는 능력이 뚜렷하게 향상됐다. 학습 데이터와 다른 분포의 데이터를 구별하는 '분포 밖 데이터 탐지'에서도 높은 성능을 보였다.
백세범 석좌교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며, “정확도를 높이는 것을 넘어 AI가 스스로의 불확실성을 판단하는 원리를 제시했다”라고 설명했다.
천정환 KAIST 뇌인지과학과 석사가 제1저자로 참여한 이번 연구는 '네이처 머신 인텔리전스'에 4월 9일 온라인 게재됐으며, 주목할 만한 논문으로 선정돼 '뉴스 앤 뷰스'에도 소개됐다.
김영준 기자 kyj85@etnews.com
