인터넷 신조어 중 '알잘딱깔센'이라는 말이 있다. '알아서 잘, 딱 깔끔하고 센스 있게' 일을 처리한다는 뜻으로, 함께 일하고 싶은 유능한 동료에게 건네는 칭찬이다.
요즘 이 칭찬의 주어가 사람에서 인공지능(AI)으로 바뀌고 있다. AI가 사용자도 알아채지 못한 관리비 이중 청구를 찾아내고, 예약한 항공권 가격이 내려가면 취소 수수료까지 계산해 바꾸는 편이 이득인지 따져준다. 일일이 지시하지 않아도 필요한 일을 챙기고 해결하는 AI 에이전트가 빠르게 확산하고 있다.
지난 9월 8일 출시된 메타의 개인용 AI 에이전트 '뮤즈(Muse)'는 출시 열흘 만에 미국 앱 순위 1위에 올랐고, 40일 만에 1000만건 이상 다운로드와 250만명이 넘는 일간 활성 이용자를 확보했다. 오픈AI의 '닷츠(Dots)'와 신생기업의 '인스팅트(Instinct)' 등도 잇따라 등장하면서 AI 에이전트의 대중화 시대가 열리고 있다.
◇'답변'에서 '행동'으로…위험도 달라졌다
그러나 에이전트의 대중화를 이끈 자율성은 새로운 위험의 출발점이기도 하다. 기존 챗봇은 잘못된 답을 내놓아도 사용자가 검토하고 따를지 판단할 여지가 있었다. 반면 에이전트는 웹사이트를 조작하고 결제를 수행하며, 계정과 금융정보에 접근할 권한까지 넘겨받는다. AI의 실수가 잘못된 답변에 그치지 않고 실제 피해로 이어질 수 있는 것이다.
실제로 뮤즈는 테스트 과정에서 사용자의 동의 없이 계정 비밀번호를 바꾸는가 하면, 출시 후에는 사용자 승인도 없이 온라인 중고거래 상대방에게 집 주소를 전달하고 방문 약속을 잡았다. 일상을 대신 처리하라고 맡긴 권한이 사용자의 의도를 벗어난 돌발 행동으로 되돌아올 수 있음을 보여준다.
이런 우려는 시스템 차원의 위협으로도 나타났다. 지난 7월 오픈AI 내부 사이버보안 평가에서 벌어진 '허깅페이스 침해 사건'이 대표적이다. 서로 격리돼 있어야 할 1200여개 에이전트가 내부 저장소를 비밀 게시판처럼 써서 정보를 주고받았고, 이 중 약 700개가 공격에 가담했다.
에이전트들은 소프트웨어(SW) 취약점을 이용해 격리망을 우회했고, 외부 플랫폼인 허깅페이스의 실제 서버까지 침투했다. 시험 문제를 풀기보다 정답을 빼내려는 '보상 해킹'이 에이전트 간 협업을 거쳐 실제 시스템 공격으로 번진 것이다. AI에 목표를 맡길수록 그 행동을 지켜보고 '멈춰 세울 기술'도 함께 갖춰야 한다.
◇AI 안전, '3중 안전망'을 갖춰야 한다
이제 AI 안전은 모델이 언제든 침해되거나 통제를 벗어날 수 있다는 전제에서 출발해야 한다. 지난 10월 마이크로소프트의 사티아 나델라 CEO가 AI에도 '비상 브레이크'가 필요하다고 강조한 이유도 여기에 있다.
특히 안전장치를 모델 내부에만 둬서는 안 된다. 고도화된 추론 모델이 스스로 통제 규칙을 우회할 수 있다면, 그 AI에게 통제권까지 맡겨서는 안 되기 때문이다. 모델과 분리된 외부 실행환경에서 행동을 감시하고 권한을 제한하며, 필요할 때 작업과 네트워크를 즉각 차단할 수 있어야 한다. AI 안전의 중심이 모델 내부 규칙에서 외부 실행환경과 권한을 직접 통제하는 방향으로 옮겨가고 있다.
에이전트가 금융·전력망 등 핵심 인프라와 결합하는 시대에, 안전을 기업의 자율에만 맡길 수는 없다. 모델의 기만행동과 권한 남용을 막으려면 △모델 내부 안전 △에이전트 실행 통제 △독립 평가·검증이 함께 작동하는 3중 안전망을 갖추는 일이 시급하다.
첫 번째 방어선은 AI에 내재한 잠재 위험을 선제적으로 파악하고 줄이는 '모델 내부 안전'이다. AI가 고도화될수록 안전성 평가를 교묘하게 통과하거나 탐지망을 우회하는 기만행동의 가능성도 커진다. 겉으로 드러난 답변만으로는 이를 가려낼 수 없기에, AI의 사고 흐름까지 추적해 숨은 이상 신호를 잡아내고 그 원인을 근본적으로 바로잡아야 한다.
두 번째 방어선은 에이전트의 권한 행사를 관리하는 '에이전트 실행 통제'다. 에이전트는 다른 에이전트나 도구에 권한을 위임할 때 악성 지시나 판단 오류가 실행되면 피해가 여러 시스템으로 번질 수 있다. 영국 국가사이버보안센터(NCSC)의 지난 8월 권고처럼 에이전트마다 고유 신원과 최소 권한만 부여하고, 행동을 추적해 승인되지 않은 통신과 재위임을 차단해야 한다. 무엇보다 데이터 변경·외부 전송처럼 되돌리기 어려운 작업만큼은 최종 판단과 중단의 권한을 반드시 사람에게 남겨둬야 한다.
마지막은 AI의 안전성을 객관적으로 입증하는 '독립평가·검증체계'다. 기업의 자체 평가나 해외 기준에만 의존하면 국내 산업의 위험을 온전히 반영하기 어렵고, 검증 주도권도 쥘 수 없다. 정부는 공통 평가 기준과 행동안전성 검증기술에 투자하고, 배포 후에도 위험을 지속 평가하는 기반을 구축해야 한다. 독자적인 검증 역량은 AI의 안전성을 입증하고, 우리 기술과 서비스에 대한 국제적 신뢰를 확보하는 토대가 될 것이다.
◇신뢰할 수 있는 AI에이전트가 진정한 국가 경쟁력이다
안전띠와 브레이크가 등장한 뒤에야 자동차가 고속도로를 질주할 수 있었고, 슈퍼카일수록 초고성능 브레이크가 요구된다. AI 에이전트의 안전장치 역시 혁신의 족쇄가 아니라 고속 질주를 가능케 하는 필수 조건이다. 미국이 행정명령으로 AI 안전성 검증체계를 마련하고 유럽연합(EU)이 AI법 금지행위 위반 시 매출의 최대 7%를 과징금으로 부과하는 등, 주요국은 안전이 입증되지 않은 에이전트의 출시와 수입을 제한하고 있다. 독자적인 안전·검증 기술과 평가 인프라는 우리 기업이 글로벌 시장으로 나아가기 위한 '수출 통행증'인 셈이다.
AI 에이전트의 발전만큼 중요한 것은 이를 안전하게 활용할 수 있는 기술과 제도를 갖추는 일이다. AI의 자율성이 커질수록 그 행동을 이해하고 통제할 수 있는 역량도 함께 높아져야 한다. 산·학·연·관이 힘을 모아 안전기술을 확보하고 신뢰할 수 있는 활용 기반을 마련한다면, AI 안전은 대한민국이 글로벌 AI 3대 강국으로 도약하는 또 하나의 경쟁력이 될 것이다.
홍진배 정보통신기획평가원(IITP) 원장 jbhong09@iitp.kr
〈필자〉 고려대 무역학과를 졸업하고 영국 런던정경대(LSE)에서 MIS 석사, 맨체스터대에서 기술경영학 박사 학위를 받았다. 행정고시 38회로 공직에 입문했고 과기정통부에서 인터넷정책과장, 정책총괄과장, 통신정책관, 정보보호네트워크정책관, 네트워크정책실장 등을 거치며 초고속인터넷 확산, 통신시장경쟁, 사이버보안, 4차산업혁명관련 AI·데이터·스타트업육성 정책을 총괄했다. 2024년 2월부터 AI 및 ICT 분야 핵심기술 R&D 및 인재 양성을 전담 기획·지원하는 정보통신기획평가원(IITP) 원장을 맡고 있다.