양자 컴퓨팅으로 '강인한 인공지능(AI)'을 훨씬 효율적으로 학습시킬 수 있는 기법이 개발됐다. 양자 컴퓨팅의 강력한 연산 능력으로 기존 계산 비용을 최대 5분의 1로 줄인 것이 핵심이다.
윤성환 UNIST 인공지능대학원 교수팀과 김중헌 고려대 전기전자공학부 교수팀은 양자 알고리즘을 이용해 '강인한 강화학습'의 계산 비용을 획기적으로 줄인 학습 기법(QRIM)'을 개발했다고 6일 밝혔다.
강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾는 학습 방식이다. 하지만 실제 환경이 학습한 상황과 조금만 달라도 성능이 떨어진다. 맑은 날 도로 상황만 학습한 자율주행차는 비나 눈이 내리면 제대로 대응하지 못할 수 있다.
이를 보완한 기법이 '강인한 강화학습'이다. 현장에서 발생할 수 있는 '최악의 상황'을 미리 찾아내고 대비하도록 AI를 훈련한다.
문제는 이 '최악의 상황'을 찾는 과정이 매우 비효율적이라는 점이다. 안전성을 위해 환경 변수의 정밀도를 높일수록, 컴퓨터가 계산해야 하는 경우의 수가 기하급수적으로 늘어난다. 가능한 모든 경우의 수를 하나씩 확인해야 해서 변화 가능성이 많을수록 계산 비용도 폭증한다.
공동 연구팀은 여러 경우의 수를 동시에 계산하는 양자 컴퓨팅 '중첩'의 원리로 이 문제를 해결했다. 양자 컴퓨터는 0과 1의 상태를 동시에 지닐 수 있어, 수많은 환경 후보군을 단 하나의 양자 상태 안에 동시에 표현하는 것이 가능하다. 전통적인 고전 컴퓨터 기반의 AI가 최악의 변수를 찾기 위해 모든 시나리오를 차례대로 계산했다면, 연구팀이 개발한 QRIM 기법은 수많은 미래 위험 요소를 양자 공간에 한꺼번에 띄워두고 한눈에 스캔하는 방식으로 패러다임을 바꿨다.
QRIM을 활용하면 현장에서 발생할 수 있는 최악의 상황을 빠르게 찾아낸다. 학습한 만 개의 시나리오를 검토할 때 만 번을 계산하지 않고 단 백 번의 계산으로 같은 결과를 얻을 수 있기 때문이다. 실험 결과 QRIM은 기존 대비 약 20~30% 수준의 계산량만으로 더 강력한 성능을 나타냈다.
윤성환 교수는 “강인한 강화학습의 가장 큰 병목 구간인 '최악의 상황 탐색'을 양자 알고리즘으로 해결했다”며 “양자 컴퓨팅이 AI의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례”라고 말했다.
이번 연구 성과는 세계 3대 AI학회인 '국제머신러닝학회(ICML) 2026'에 채택됐다. 특히 올해 서울 코엑스에서 개최되는 ICML 2026에 본회의 논문으로 이름을 올린 양자 AI 분야 연구 중, 국내 연구진이 주도한 성과 중 유일하게 포함돼 한국 AI 기술 위상을 한 단계 높였다는 평가다.
울산=임동식 기자 dslim@etnews.com
