광주과학기술원(GIST·총장 임기철)은 김승준 AI학과 교수팀이 인공지능(AI)이 사물을 잘못 인식하도록 유도해 AI의 취약점을 찾아내는 새로운 '적대적 공격*' 기법 'LSAA'를 개발했다고 20일 밝혔다.
자율주행차는 카메라 영상에서 도로, 보행자, 차량 등을 식별해 주변 상황을 파악한다. 이때 영상의 각 화소(픽셀)가 어떤 사물이나 배경에 해당하는지 판별하는 AI 기술인 '의미 분할(Semantic Segmentation)'이 활용된다. 하지만 시각 인식 AI는 사람의 눈으로 구별하기 어려운 작은 영상 변화에도 사물을 잘못 인식할 수 있다.
연구팀은 AI가 학습 과정에서 사물의 특징을 수치로 표현하고 정리하는 내부 공간인 '잠재 공간(Latent Space)'에 주목했다. 이 공간에서 특징이 비슷하게 표현되는 대상은 AI가 서로 혼동할 가능성이 있다는 점에 착안했다.
연구팀이 개발한 LSAA(Latent Space-Aware Adversarial Attack)는 AI가 학습 과정에서 형성한 내부 정보를 분석해 인식 오류를 일으키기 쉬운 대상을 찾고, 영상에 미세한 변화를 가해 AI가 사물을 잘못 인식하도록 유도하는 기술이다. LSAA는 잠재 공간의 정보를 활용해 영상의 각 화소에서 정답을 제외하고 AI가 가장 혼동하기 쉬운 대상을 찾아낸 뒤, 해당 대상으로 잘못 인식하도록 영상에 미세한 변화를 가한다.
특히 영상에 변화를 가할 때마다 혼동하기 쉬운 대상을 다시 선택해, AI의 인식 상태 변화에 맞춰 공격 방향을 조정하도록 했다.
연구팀의 비교 실험결과, 도심 주행 영상에서 원본 영상의 평균 사물 영역 일치도(mIoU)가 68.35%였던 AI 모델은 LSAA를 적용했을 때 0.41%를 기록했다. 같은 조건에서 기존 공격 기법을 적용했을 때의 2.04%보다 낮은 수치로, LSAA가 더 큰 인식 오류를 유도한 것으로 나타났다. 혼동하기 쉬운 대상을 처음에 한 번만 선택했을 때 mIoU는 9.45%였지만, 영상 변화에 따라 대상을 계속 갱신했을 때는 0.41%까지 낮아졌다. 이는 AI의 인식 상태 변화에 맞춰 공격 대상을 갱신하는 방식이 인식 오류를 유도하는 데 효과적임을 뒷받침한다.
김승준 교수는 “AI가 어떤 대상을 혼동하는지는 학습 과정에서 형성된 내부 정보에 이미 담겨 있다”며 “이번 연구는 이러한 정보를 활용해 시각 인식 AI의 취약점을 효과적으로 찾아낼 수 있음을 보여준 것으로, 향후 자율주행차와 로봇에 쓰이는 AI의 안전성과 신뢰성을 검증하는 데 기여할 것으로 기대한다”고 말했다.
전남광주=김한식 기자 hskim@etnews.com
