“책임 없는 AI 에이전트, 모든 작업 검증·통제해야”

생성형AI가 만든 이미지
생성형AI가 만든 이미지

인공지능(AI) 에이전트 확산으로 보안 패러다임이 재정의되고 있다. 기존 '제로 트러스트' 기반 접근제어 체계에 더해, 자율적으로 동작하는 에이전트의 행동까지 관리해야 한다는 요구가 커지고 있다. 단순한 신원 확인을 넘어 모든 작업을 실행 단위마다 점검해야 한다는 의미다.

지투 파텔 시스코 사장 겸 최고제품책임자(CPO)는 최근 RSA 콘퍼런스에서 “우리는 수십년간 인간을 보호하기 위해 보안을 구축했지만 이제 이를 AI 에이전트에 적용해야 한다”며 “보안은 접근 제어를 넘어, 실제 행동까지 검증·통제하는 단계로 확장돼야 한다”고 강조했다.

현재 보안 체계는 외부 침입을 막는 데 집중하던 기존 방식에서 벗어나, 내부에 들어온 사용자와 기기도 계속 확인하는 '제로 트러스트' 체계로 바뀌고 있다. 여기에 막대한 자율성을 부여받은 AI가 늘자 이들의 신뢰성 확보가 새로운 과제로 떠오른 것이다.

파텔 사장은 에이전트가 스스로 계획하고 시스템에 접근해 작업을 자율적으로 수행하는 '디지털 동료'지만 책임감은 없는 존재라고 지적했다. 특히 챗봇은 단순히 '잘못된 답변'을 내놓는데 그치지만 AI 에이전트는 승인되지 않은 결제나 데이터 삭제처럼 되돌릴 수 없는 결과를 발생시킨다고 설명했다.

그는 AI 에이전트로부터 인간과 시스템을 보호해야 한다면서 '행동제어(Action control)'의 필요성을 강조했다. 24시간 모든 행동을 단위별로 검증하고 이상 행위를 차단하는 AI 시스템이 필요하다는 것이다. 필요한 시점에만 최소 권한만 부여하고, 작업 종료 즉시 회수해야 한다는 원칙도 제시했다.

그러면서 에이전트 보안을 자동화하기 위해 보안 프레임워크 '디펜스클로(Defense Claw)'를 공개했다. 에이전트가 어떤 작업을 수행하는지와 외부 서버 연결 여부 등을 실시간으로 점검하고, 잠재적 보안 위협을 사전에 차단한다.

파텔 사장은 “디펜스클로의 모든 도구들은 깃허브를 통해 오픈소스(무료)로 제공된다”며 “진짜 적은 경쟁사가 아닌 '공격자'이기 때문에 우리는 상호 협력해야 한다”고 강조했다.

마이크로소프트(MS)도 이번 행사에서 유사한 문제의식을 제시했다.

MS는 AI 에이전트를 단순한 도구가 아닌 조직 내 새로운 '디지털 주체'로 규정하고, 이에 맞춰 보안 체계 전반의 재설계가 필요하다는 점을 언급했다. AI 에이전트는 행동 검증과 정책 기반 통제를 통해 신뢰를 확보해야 하는 관리 대상이며, 인간과 동일한 수준에서 보호·관리돼야 한다는 설명이다.


바수 작칼 MS 보안부문 부사장은 “AI 에이전트는 자동으로 신뢰할 수 있는 대상이 아니라, 보안 관점에서 검증을 거쳐야 하는 관리 대상”이라며 “조직은 에이전트를 지속적으로 평가하고 통제할 수 있는 자체적 기준과 체계를 구축해야 한다”고 말했다.

행동제어 보안 필요성
행동제어 보안 필요성

박진형 기자 jin@etnews.com