서강대학교는 정근홍 교수 연구팀이 양자 인공지능 분야의 최대 난제로 꼽혀온 '배런 플래토(barren plateau)' 문제를 해결하고 화학물질의 독성을 예측하는 새로운 양자 회로 설계법을 개발했다고 25일 밝혔다.
화학물질의 독성을 예측하는 일은 신약 개발, 화학 사고 예방, 유해 물질 규제 등에서 핵심적인 과제다. 실험을 통해 독성을 하나하나 확인하려면 막대한 비용과 시간, 동물실험이 필요하다. 이 때문에 인공지능으로 독성을 미리 걸러내는 연구가 활발히 이뤄져 왔다.
최근에는 양자컴퓨터를 이용한 인공지능(양자 기계학습)이 주목받고 있다. 양자 인공지능 회로를 깊게 쌓을수록 학습에 필요한 신호가 지수적으로 약해져 결국 학습이 멈춰버리는 현상, 이른바 '배런 플래토(barren plateau, 황량한 고원)' 문제가 있었다.
연구팀은 세 가지 기법을 하나로 묶은 통합 회로 설계(DRU+IB+SAE)를 개발했다. 우선 분자 정보를 회로 여러 층에 반복해서 다시 넣어주는 데이터 재업로딩(data re-uploading, DRU)으로 회로의 표현력을 높였다. 다만 연구팀은 이 기법이 큐비트가 여러 개인 회로에서는 오히려 성능을 떨어뜨리고 초기 조건에 민감해진다는 한계를 함께 규명했다.
이어 회로를 '아무 일도 하지 않는 상태'에 가깝게 출발시키는 항등 블록 초기화(identity-block initialization, IB)로 학습 시작 시점의 불안정성을 잡았다. 반복 입력되는 정보가 서로 상쇄되지 않도록 짝수 번째 입력층의 부호를 반대로 뒤집는 부호 교대 각도 인코딩(SAE)을 세계 최초로 고안해 적용했다.
이번 연구에서 가장 주목할 점은 배런 플래토 현상이 사실상 사라졌다는 것이다. 기존 양자 신경망은 회로를 깊게 쌓거나 큐비트 수를 늘릴수록 학습에 쓰이는 기울기 신호가 지수적으로 작아져 일정 규모 이상에서는 학습 자체가 불가능해진다. 이 '규모의 벽'이 그동안 양자 인공지능을 실제 문제에 적용하지 못하게 만든 근본 원인이었다.
이번 연구는 양자컴퓨팅의 이점이 '양자적으로 생성된 데이터'에만 국한된다는 기존 통념과 달리, 잘 설계된 양자 회로는 일반적인 화학 데이터에 대해서도 실질적인 이점을 줄 수 있음을 보여줬다. 특히 제안된 구조는 오류 보정이 완비된 미래형 양자컴퓨터가 아니라 현재 수준의 양자 하드웨어(NISQ 시대)에서 바로 구현할 수 있는 규모다.
정근홍 교수는 “이번 성과의 핵심은 어느 한 가지 아이디어가 아니라, 데이터 재업로딩(DRU)과 항등 블록 초기화(IB), 부호 교대 각도 인코딩(SAE)을 하나의 회로 안에 유기적으로 결합한 통합 설계에 있다”라며 “세 가지 기법은 각각만으로는 한계가 뚜렷했지만, 서로 맞물리자 깊은 회로에서도 학습이 유지되는 결과로 이어졌다”고 설명했다.
조호현 기자 hohyun@etnews.com