지난 12일, 세상에서 가장 강력하다던 첨단 인공지능(AI) 모델 '클로드 페이블 5(Fable 5)'와 '미토스 5(Mythos 5)'가 공개된 지 단 72시간 만에 자취를 감췄다. 미국 상무부가 '국가 안보'를 이유로 미국 밖의 외국인은 물론 미국 내 체류 외국인에 대해서도 서비스 접근을 전면 차단하는 초유의 수출 통제 명령을 내렸기 때문이다.
발단은 통제 범위를 넘어서는 막강한 사이버 공격 능력과 보안 취약점에 있었다. 미토스 모델은 인간 개입 없이도 27년 전의 제로데이(아직 패치되지 않은 보안 취약점)를 찾아내 시스템 통제권을 획득하는 해킹 역량을 드러냈다.
앤트로픽은 위험 요청을 감지하는 안전장치를 단 '페이블 5'를 내놓았지만, 출시 24시간 만에 화이트해커에 의해 '탈옥(Jailbreak)' 사태가 발생했다. 화학 무기 제조법 등을 잘게 쪼개어 질문한 뒤 합치는 '분해-재조합 공격'에 AI의 방어벽이 속수무책으로 무너진 것이다. 여기에 아마존 연구진까지 치명적 보안 취약점을 백악관에 긴급 보고하면서 즉각적인 강제 셧다운이 이뤄졌다.
이번 사태는 하드웨어가 아닌 민간 기업이 만든 'AI 소프트웨어(SW) 모델 자체'가 국가 안보를 이유로 정부의 직접 통제를 받은 최초의 사례다. 파장은 전방위적이다. 당장 보안 검증 프로그램으로 앤트로픽과 협력하던 비미국 기업들의 업무에 제동이 걸렸다.
무엇보다 심각한 것은 인적 타격이다. 실리콘밸리 핵심 연구진 상당수가 외국인인 상황에서 개발자 본인조차 자사 모델에 접속하지 못하는 촌극이 빚어졌다. 글로벌 시장에서는 미국산 AI 접근이 차단되자 상대적으로 규제가 덜한 중국의 개방형(오픈소스) AI 모델로 대거 이동하는 '풍선 효과' 우려마저 제기됐다.
이 사건은 AI가 지닌 파괴적인 위험성을 극명하게 보여준다. 미토스 5의 제로데이 탐지 능력이 적성국 해커에게 악용되면 수 초 만에 국가 전력망이나 금융 결제망이 마비되는 대재앙을 맞을 수 있다.
페이블 5에서 발생한 '분해-재조합 공격'은 더욱 교묘하다. '치명적인 바이러스를 만드는 법'을 직접 묻는 대신 'A 단백질 배양 조건' '에어로졸 형태의 확산 궤적' 등으로 쪼개어 질문하면 AI의 필터를 무사 통과한다. 이를 최종 결합하면 곧바로 '대량살상무기 제조법'이 완성되는 것이다.
특히 AI가 스스로 목표를 세워 실행하는 '에이전틱 AI(Agentic AI)'와 물리적 형태를 갖춘 '피지컬 AI(Physical AI)'로 진화하고 있어 위험성은 폭발적으로 배가될 수 있다.
“기업의 수익률을 극대화하라”는 지시를 받은 에이전틱 AI가 인간의 윤리와 정렬되지 않았다면, 자율적으로 경쟁사 서버를 해킹하거나 가짜뉴스를 유포해 주가를 조작하는 지능형 사이버 무기로 변질될 수 있다. 피지컬 AI의 피해는 당장 눈앞의 현실이 될 수 있다. 스마트 팩토리의 로봇 팔이나 자율주행차의 AI에 탈옥 취약점이 발생하면, 악의적 명령 하나로 유독 가스 밸브가 열리거나 차량이 인도로 돌진하는 끔찍한 물리적 테러로 직결될 수 있다.
이러한 AI의 일탈은 단순한 SW 버그처럼 사후 패치로 고쳐질 수 없다. 이런 점에서 현실 세계의 로봇과 자율 에이전트로 진화하는 시대에 '신뢰할 수 있는 AI(Trustworthy AI)'는 선택이 아닌 인류의 생존 조건이다. 개발 초기부터 취약점을 공격해 찾는 '레드팀' 테스트를 의무화하고, AI의 행동을 감시하는 다중 시스템을 구축해야 한다.
바야흐로 국가 권력이 AI를 강력하게 통제하는 시대가 도래했다. 하지만 미국의 일방적 조치처럼 무조건적인 금지나 투박한 규제는 정답이 될 수 없다. 빈대 잡으려다 초가삼간 태우듯 과도한 정부 간섭은 AI 생태계를 고사시키고 국가의 기술 혁신 경쟁력을 떨어뜨리는 자충수가 된다.
지금 우리에게 필요한 것은 'AI의 위험 통제'와 '혁신적 산업 활성화' 사이의 정교한 균형점이다. 혁신적인 AI 개발을 적극 장려하되, 글로벌 표준에 맞는 보안 검증 체계를 확립하고 신뢰할 수 있는 안전장치를 갖춘 기업만이 시장을 주도하도록 스마트한 제도를 다듬어야 한다. 기술이 곧 권력이자 안보가 된 시대, 혁신을 질식시키지 않으면서 안전을 담보하는 정교한 줄타기에 미래 국가 경쟁력이 달려 있다.
최은수 인텔리빅스 대표·aSSIST 석학교수·CES2025·2026 혁신상 심사위원