인공지능(AI)이 인간의 명령을 단순 수행하는 단계를 넘어 스스로 계획을 수립하고 실행하는 'AI 에이전트' 시대가 열린 가운데, 산·학·연·관 전문가들이 AI 에이전트 안전성과 신뢰성을 확보하기 위한 새로운 위험 완화 원칙이 필요하다고 강조했다.
김명주 AI안전연구소장은 26일 국제인공지능윤리협회(IAAE)가 개최한 '2026 ASC(AI Safery Compass) 컨퍼런스'에서 “AI 에이전트는 사람과 달리 상식선이라는 것이 없기 때문에 하나에서 열까지 가이드라인을 제시해줘야한다”면서 “상식이나 양심을 가진 존재가 아니라는 것을 전제하고 최소한의 권한만 부여하는 것이 중요하다”고 강조했다.
AI안전연구소는 'AI 에이전트 활용 안전 8원칙'을 소개했다. 주요 내용은 △검증된 최신 모델 사용 △민감정보 내부 저장 금지 △최소 권한 부여 △검증되지 않은 외부 서비스 연결 제한 △불필요한 플러그인 설치 금지 △고위험 행위 사용자 직접 확인 △이상 징후 발생 시 즉시 중단 등이다.
김 소장은 최근 싱가포르 AI안전연구소와 공동 연구한 '에이전틱 위험 관리 컴패니언 리포트' 내용을 공유하면서 “설계할 때부터 에이전트에 대해 최소한의 권한만 부여하고 모든 행동을 추적할 수 있도록 감사 가능성을 염두에 둬야한다”면서 “배포할 때도 작은 영역부터 단계적으로 늘려가는 식으로 점진적인 배포가 필요하다”고 설명했다.
또 운영 중에는 위급 시 시스템을 단절시키는 중단 가능성(킬 스위치)과 설명 가능성, 중요한 결정마다 사람이 개입하는 인간의 감독(Human-in-the-loop) 구조가 유지되어야 한다는 점도 강조됐다.
이재형 한국인터넷진흥원(KISA) 팀장은 “AI가 업무 실행 주체가 되는 시대에 보안을 고려하지 않고 활용한다면 AI는 '자동화된 리스크 생성기'가 될 수 있다”면서 “기업 내 직원들이 승인받지 않고 개별적으로 에이전트를 도입해 PC 권한을 맡기는 '쉐도우 에이전트' 역시 새로운 보안 위협으로 부상했다”고 경고했다.
KISA는 지난해 'AI 보안 안내서'를 개발·배포한 데 이어, 올해는 에이전트 AI 보안 위협을 중심으로 내용을 고도화할 예정이다. 또 'AI 제로 트러스트 성숙도 모델 연구'도 진행 중으로 연내 가이드라인을 발표한다는 계획이다.
김동환 포티투마루 대표는 “AI 윤리나 안전성, 신뢰 부분은 문제가 터지기 전까지는 시급하지 않은 과제로 여겨지는 경우가 많다”면서 “단순히 시스템을 만드는 것이 중요한 것이 아니라 경영진들이 의지를 가지고 내부적으로 거버넌스를 확립하고 실행하는 것이 중요하다”고 밝혔다.
전창배 국제인공지능윤리협회 이사장은 “AI의 자율성이 확대될수록 인간이 이를 통제하기 어렵고 오판이나 해킹 발생 시 피해 규모는 과거와 비교할 수 없이 커질 것”이라며 “AI 에이전트의 진정한 가치는 얼마나 똑똑한가가 아니라 얼마나 안전하고 신뢰할 수 있는가에서 판가름 날 것”이라고 강조했다.
정현정 기자 iam@etnews.com
