“에이전트의 행동을 이해할 수도, 지켜볼 수도, 격리할 수도 없다면 그것은 배포할 준비가 되지 않은 것이다.” 영국 국가사이버보안센터(NCSC)가 지난 5월 내놓은 문장이다. 기준을 성능이 아니라 통제 가능성에 뒀다. 일례로 월요일 아침의 구매 담당자를 떠올려 보자. 주말 사이 AI 에이전트가 원자재를 발주했다. 수량도 거래처도 지난주와 다르다. 팀장의 “왜 이렇게 발주했는가?”라는 질문에 답하려면 무엇이 달라져야 할까.
발주 내역에는 참조한 재고 자료와 적용한 납기 조건, 구매 기준이 남아 있어야 한다. 정해둔 금액을 넘거나 거래처가 바뀌면 실행을 보류하고 담당자가 근거를 살펴 승인하거나 수정을 요청하도록 한다. 문제가 생겼을 때 대응할 사람도 정해둬야 한다. 그래야 “확인해보겠습니다”라는 말이 실제 조치로 이어진다.
판단·기록·소명의 공백은 다른 업무에도 생긴다. 고객 정보 조회와 금융 거래, 채용에서도 조직은 무엇을 맡겼고 어떻게 실행됐는지 설명할 수 있어야 한다.
통제는 성능의 문제가 아니다. 보안 현장에서는 위협이 현실화됐다. 글로벌 보안기업인 그레이노이즈가 9월 9일 공개한 분석에 따르면, 한 공격자가 수백 개의 AI 에이전트를 동원해 48개국 395개 조직의 시스템을 침해했다. 공격자가 정한 국가별 제외 조건도 일부 지켜지지 않았다. 실행 능력이 뛰어나다고 정해진 범위까지 잘 지키는 것은 아니라는 경고다.
국내에서도 경고가 나왔다. 금융보안원은 9월 17일 세미나에서 금융권을 겨냥한 AI 에이전트 기반 공격 시도를 소개했다. 데이터와 시스템을 연결하는 응용프로그램 인터페이스(API)가 주요 공격 표적으로 떠오르고 있다며 보안관리 강화를 강조했다. 업무를 위해 연결한 통로가 공격의 경로도 될 수 있는 것이다.
외부 공격과 내부 에이전트의 잘못된 실행은 서로 다른 문제다. 다만 접근 범위를 정하고, 이상 행동을 발견해 멈출 체계가 필요하다는 점은 같다.
이러한 관리 책임은 법에서도 강화되고 있다. 9월 11일 시행된 개정 개인정보 보호법과 시행령은 사업주·대표자의 최종 책임을 명시하고 개인정보 보호책임자(CPO)의 권한과 책임을 강화했다. 고의·중과실에 따른 반복 위반이나 대규모 피해 등 법정 요건에 해당하면 전체 매출액의 최대 10%까지 과징금을 부과할 수 있다.
사전 예방 투자와 보호 체계 운영 노력은 과징금 감경에 반영한다. 체계를 갖췄다고 감경이 보장되지는 않지만, 사고 전에 무엇을 준비하고 운영했는지가 중요해진 것이다. AI를 활용하는 조직 역시 업무를 맡기는 단계부터 개인정보를 어떻게 보호하고 그 과정을 누가 살필지 정해둬야 한다.
그렇다면 어디서부터 준비해야 할까. NCSC는 실제 시스템이나 데이터에 연결하기 전에 시스템을 책임질 사람, 접근을 승인할 사람, 행동을 지켜볼 사람, 사고를 검토할 사람, 멈출 사람을 정하라고 권고했다. 이들에게 개입할 권한도 줘야 한다고 강조했다.
담당자가 있어도 기록을 보려면 다른 부서에 요청해야 하고, 이상 징후를 발견해도 상사의 결재 없이는 멈출 수 없다면 대응은 늦어진다. 실행을 보류했다고 질책부터 받는다면 다음에는 주저할 수 있다. 책임을 맡긴다는 것은 판단할 정보와 시간을 주고, 필요한 조치를 뒷받침한다는 뜻이어야 한다.
모든 일을 사람이 다시 확인할 필요는 없다. 범위가 분명하고 되돌리기 쉬운 업무부터 시작해 권한과 기록, 중단 절차가 작동하는지 살피면 된다. 권리와 안전에 큰 영향을 미치는 판단은 더 엄격히 확인해야 한다. 담당자가 응답하지 않을 때의 처리와 이미 실행된 일을 바로잡는 절차도 시험해야 한다. 이런 준비에는 시간과 비용이 든다.
월요일 아침 그 화면에 이름이 적혀 있는 이유가 여기 있다. 그 이름은 판단의 근거를 살피고 필요할 때 개입하며 잘못을 바로잡을 사람이 있다는 뜻이다. 이런 준비가 쌓일수록 조직은 AI에 더 많은 일을 믿고 맡길 수 있다. 결국 혁신의 기술은 사람과 AI가 각자의 역할을 다하며 더 나은 판단과 실행을 함께 만들어갈 수 있도록 신뢰의 기반을 설계하는 일이 아닐까.
김태형 단국대 대학원 데이터지식서비스공학과 교수·정보융합기술·창업대학원장