금융보안원(원장 박상원)이 추론 인공지능(AI) 모델이 출현하면서 금융권 내 AI 에이전트 도입이 증가할 것으로 전망하면서 보안 위협을 체계적으로 정리한 보고서를 공개했다.
AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤 환경을 분석하고 필요한 도구를 활용해 인간 개입 없이 자율적으로 목표를 수행하는 AI 시스템을 뜻한다. 기존 거대언어모델(LLM) 기반 AI가 정보를 제공했다면, AI 에이전트는 여러 가지 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다.
향후 금융권에 AI 에이전트 도입 본격화로 보안 위협에 노출되면, 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려가 크다.
따라서 외부 도구 연동에 따른 위험을 함께 고려해야 한다. AI 에이전트가 사용자의 정당한 지시와 외부 데이터에 숨겨진 공격자의 악의적인 지시를 구분하지 못하면 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자 요청으로 착각할 가능성이 있다.
또 AI 에이전트에 연동되는 도구의 수와 종류가 증가하면서 공격 발생 가능성도 커졌다. 일반적으로 사용자는 에이전트 도구 전체를 확인하기 어려워 숨겨진 악성 행위를 식별하기 어렵다.
현재 법체계는 AI가 독립적으로 행동한 문제를 명확히 다루지 못해 AI 에이전트 행동에 대한 책임 소재도 불분명하다. 기본적으로 AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축, 사람의 검토·승인 절차 도입, 최소 권한 부여와 관리 등이 필요하다.
금융보안원은 금융회사가 AI 에이전트의 자동화 편의성을 적극 활용하는 동시에, 잠재적 보안 위협을 충분히 인지하고 종합적인 AI 보안 체계를 구축할 수 있도록 지속적으로 지원할 계획이다.
박두호 기자 walnut_park@etnews.com
