우리나라를 비롯한 많은 국가들은 혁신을 촉진하면서도 신뢰할 수 있는 인공지능(AI) 서비스를 제공하기 위해 다양한 국가 정책을 추진하고 있다. AI는 단순히 질문에 답하는 생성형 AI를 넘어 새로운 국면에 맞이하고 있다. 스스로 목표를 설정하고 외부 시스템과 상호작용하며 다른 AI나 인간과 협업하는 '에이전틱 AI' 시대로 진입하고 있다. 미국은 2025년 1월 행정명령을 통해 AI 리더십의 유지·강화와 혁신 촉진을 국가 핵심 정책으로 공식화했다. 이러한 변화에 따라 국제전기통신연합-전기통신표준부문(ITU-T)을 비롯한 주요 국제 표준화 기구에서도 에이전틱 AI 표준화 논의가 본격화되고 있다.
에이전틱 AI는 목표 지향적 의사결정, 계획·실행, 결과에 대한 피드백을 반복하는 자율적 순환 구조가 특징이다. 업무 맥락을 이해하고 애플리케이션 프로그래밍 인터페이스(API), 데이터베이스, 외부 서비스와 연동해 스스로 행동한다. 개인 비서, 정보기술(IT) 운영 자동화, 공급망 관리, 사이버 보안 대응 등 다양한 분야에서는 다중 AI 에이전트 협업 성과가 이미 나타나고 있다. 특히 보안 분야에서는 대규모 로그를 실시간 분석해 이상 징후를 탐지하고 대응을 자동화하는 사례가 대표적이다.
그러나 자율성이 확대될수록 위협 또한 커진다. 안전성과 개인정보보호 규제 위반, 권한 오·남용, 의사결정의 불투명성으로 인한 신뢰 상실, 대규모 개인정보 수집에 따른 프라이버시 침해 위험이 대표적이다. 더 나아가 위·변조된 자격증명이나 에이전트간 사칭은 의사결정의 신뢰 기반을 붕괴시킬 수 있으며, 다중 에이전트 환경에서는 단일 취약점이 연쇄적으로 확산될 가능성도 높다. 또 자율적 판단의 결과에 대한 책임 주체가 불명확해지는 문제도 중요한 과제로 남는다.
이에 대한 대응의 핵심은 신뢰 관리를 설계 단계부터 내재화하는 것이다. 에이전틱 AI는 에너지, 의료, 원자력, 채용 등 고 영향 분야에 활용될 수 있으므로 위험 평가, 위험 관리, 이용자 보호 방안이 필수적이다. 기술적으로는 디지털 신원(DID), 검증 가능한 자격증명(VC), 강력한 인증·인가, 행위 감사와 추적성을 기본 기능으로 구현하고, 최소권한과 제로 트러스트 원칙을 적용해야 한다. 관리 측면에서는 역할 분리, 위임 정책, 비상 중지 장치, 윤리·안전 가드레일이 요구되며, 법·제도적으로는 책임 귀속 기준과 위험 등급별 규제가 마련돼야 한다.
우선순위 과제로는 △에이전트 AI 전 주기를 포괄하는 신원·인증·권한 관리 관행과 표준 확립 △의사결정 추적성과 책임성을 보장하는 감사 체계 구축 △고 영향 사용에 대한 신뢰·안전성 평가 및 인증 제도 도입 △전문 인력 양성과 책임성 교육 △국제 표준화 참여를 통한 상호운용성 확보가 제시된다.
이러한 과제가 실효성을 갖기 위해서는 인공지능전략위원회 산하 보안 태스크포스(TF)를 중심으로 공공·산업·학계가 유기적으로 참여하는 국가 거버넌스 체계와 단계적 이행 로드맵이 필수적이다. 보안 TF는 정책, 기술, 표준, 규제를 연결하는 조정·통합의 중심축이다. 단기적으로는 공공·민간 파일럿 사업을 통해 에이전틱 AI 신뢰 관리 가이드라인을 검증·고도화해야 한다. 중장기적으로는 표준, 인증, 규제 체계를 연계해 혁신과 안전의 균형을 제도화할 필요가 있다. 에이전틱 AI가 주는 기회는 인공지능전략위원회 보안 TF 주도의 선제적 신뢰 관리 거버넌스가 구축될 때 비로소 지속 가능한 혁신으로 이어질 수 있다.
에이전틱 AI는 우리에게 큰 기회와 동시에 전례 없는 위협을 준다. 기회를 실질적 성과로 이어가기 위해서는 신뢰 관리를 선제적으로 설계하고, 이를 바탕으로 에이전틱 AI 기반 서비스와 응용을 구현하며, 법과 제도로 이를 일관되게 뒷받침해야 한다. 지금 우리에게 필요한 것은 실행 가능한 신뢰 체계 구축과 이를 뒷받침할 구체적인 행동 계획이다.
염흥열 순천향대 정보보호학과 명예교수 hyyoum@sch.ac.kr