금융보안원이 금융권 AI 에이전트의 보안 점검을 강화한다.
금융보안원은 '금융분야 AI 에이전트 보안 평가 기준'을 개발했다. 올해 말까지 시범 적용해 점검 항목과 방법을 보완하고, 내년부터 정식 점검기준으로 적용할 계획이다.
AI 에이전트는 주어진 목표에 따라 스스로 계획을 세우고 외부 시스템과 도구를 이용해 실제 작업을 수행하는 인공지능이다. 직접 실행할 권한을 갖는다. 이에 잘못된 판단이 실제 업무 피해로 이어질 수 있다.
금융보안원은 국내외 AI 에이전트 보안 위협과 대응 방안을 분석해 17개 점검 항목을 마련했다. 이를 실제 공격을 시도해 AI의 취약점을 찾는 'AI 레드티밍'에 반영했다.
점검 범위도 AI의 답변과 내부 지시문 유출 여부 등에서 실제 업무 실행 과정으로 넓힌다. AI에 필요한 수준의 권한만 부여했는지, 외부 도구를 사용할 때 승인 절차를 거치는지, 정해진 업무 범위를 지키고 결과를 확인하는지 등을 살핀다. 자율 실행을 제한하거나 필요할 때 중단할 수 있는지도 확인한다.
시범 적용 과정에서는 금융회사마다 다른 AI 구현 방식과 각 항목의 점검 가능 여부를 확인해 평가기준을 보완한다. 최종 평가기준은 올해 발간하는 리포트에 공개할 예정이다.
박상원 금융보안원장은 “AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 다른 보안 리스크를 수반한다”며 “금융권 AI 에이전트의 위험을 실질적으로 검증하고 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 지원하겠다”고 말했다.
박두호 기자 walnut_park@etnews.com
