포스텍(POSTECH) 연구팀이 성능은 유지하면서 연산량을 99% 이상 줄이는 획기적인 기술을 개발, 고성능 AI를 스마트폰에서도 실행할 수 있는 수준으로 만들었다.
포스텍은 노준석 전자전기공학과 교수 연구팀이 중국 칭화대 선전 국제대학원, 하얼빈공대, 홍콩시티대 연구팀과 공동으로 복소값 신경망 양자화 기반 초경량 AI 프레임워크를 개발했다고 7일 밝혔다. 연구성과는 최근 '네이처 커뮤니케이션즈(Nature Communications)'에 게재됐다.
스마트폰으로 영화를 보고, 내비게이션으로 길을 찾는다. 이 모든 과정에는 '신호 처리'가 필요하다. 그런데 이 신호는 단순히 세기뿐 아니라 '언제 도달하는가'라는 타이밍 정보, 즉 '위상'을 함께 갖고 있다. 이를 표현하기 위해 '실수'와 '허수'로 이루어진 '복소수'라는 수학적 개념이 사용되며, 이를 활용한 '복소값 신경망'이 홀로그램, 무선 통신, 레이더 영상 분석 등 첨단 분야에서 주목받고 있다. 위상 정보까지 정밀하게 처리할 수 있어 훨씬 더 풍부한 표현이 가능하기 때문이다.
하지만 복소값 신경망은 계산량이 매우 많아 스마트폰 같은 소형 기기에서는 사용하는 데 한계가 있었다. AI 모델을 가볍게 만드는 '양자화' 기술이 있지만, 기존 방식은 실수 기반 신경망을 기준으로 설계되어 복소값 신경망에 적용하면 위상 정보가 흐트러지는 등 성능이 떨어졌다. 특히, 위상에 민감한 기술에서는 아주 작은 오차도 화질 저하로 이어졌다.
연구팀은 복소수를 이루는 '실수부'와 '허수부'를 따로 처리하지 않고 동시에 고려하는 '공동 양자화' 기법을 고안했다. 기존에는 복소수를 두 개의 숫자로 나눠 각각 압축하는 과정에서 두 값 사이의 관계가 깨지며 위상 정보가 틀어졌는데, 연구팀은 두 요소를 하나로 묶어 처리해 이러한 문제를 줄였다. 여기에 중요한 부분에는 높은 정밀도를 유지하고 덜 중요한 부분은 과감히 줄이는 '적응형 혼합 정밀도 학습' 전략도 더했다.
홀로그램 실험 결과, 기존 최첨단 모델(HoloNet) 대비 연산량은 99.1%, 메모리 사용량은 99.8% 줄었다. AI가 해야 할 계산이 약 100분의 1로 줄고, 저장공간은 500분의 1 수준으로 줄었다는 뜻이다. 그럼에도 영상의 화질을 나타내는 지표(PSNR)는 약 4dB(데시벨) 향상됐다. 음성·무선 신호 분류, 레이더 표적 인식 등 분야에서도 연산량을 약 85% 이상 줄이면서 정확도는 유지했다. 스마트폰에서 실행했을 때는 기존보다 최대 389배 빠른 속도를 기록하기도 했다.
노준석 교수는 “거대한 서버에서만 돌아가던 고성능 물리 연산 AI가 스마트폰이나 소형 기기 안으로 들어올 수 있다는 가능성을 처음으로 열었다”라며, “경량 AR·VR 홀로그램, 자율주행 차량 레이더, 차세대 통신망, 휴대형 의료기기까지 다양한 분야에 활용될 것”이라고 했다. 이번 연구는 과학기술정보통신부·한국연구재단 중견연구자지원사업 지원으로 진행됐다.
포항=정재훈 기자 jhoon@etnews.com
