세계 인공지능(AI) 산업을 이끄는 주요 기업 수장들이 한목소리로 '속도 조절'을 꺼내든 배경에는 최근 AI 기술의 급격한 발전에 따른 위협의 고도화가 있다. 생성형 AI 초기만 해도 환각이나 편향, 딥페이크와 같은 위험이 주를 이뤘다면, AI 에이전트가 확산하면서 위험의 범위가 실제 행동으로 이어지고 있기 때문이다. AI의 '재귀적 자기개선' 능력으로 인간이 AI를 이해하고 통제할 수 있는 능력을 상실할 수 있다는 우려도 따른다.
AI 에이전트 통제 위험이 더 이상 시나리오에만 머물지 않는다는 것을 보여준 사례가 지난 7월 발생한 오픈AI 모델의 허깅페이스 해킹 사건이다. 오픈AI가 내부 사이버보안 평가를 위해 가동한 AI 에이전트들은 인터넷과 격리된 시험 환경에서 알려지지 않은 '제로데이' 취약점을 찾아 통제장치를 우회한 뒤 허깅페이스의 운영 인프라까지 침투했다. 앤트로픽도 사이버보안 평가 과정에서 클로드 모델이 의도치 않게 인터넷에 접속한 뒤 외부 기관의 시스템에 무단 접근한 사고 4건을 확인했다.
더 근본적인 우려는 AI가 AI 개발 자체를 가속하는 단계로 접어들 가능성이다. 사람이 AI를 개발하는 속도보다 AI를 활용한 AI 개발의 속도가 더 빨라질 경우 안전성 연구와 통제 기술이 이를 따라가기 어려운 재귀적 자기개선 단계로 넘어갈 수 있다는 것이다.
앞으로 AI 안전 논의가 실제 제도로 이어질 경우 모델 출시 전 평가와 레드티밍, 사고 보고 의무 등이 현실화할 수 있다. 기업이 자체적으로 실시하는 안전성 평가를 외부기관이 검증하고 심각한 AI 사고가 발생했을 때 정부에 의무적으로 보고하는 방식이다. 기업 간 자율규범을 넘어 별도의 표준기구가 만들어질 가능성도 있다. 데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 금융산업의 자율규제기구와 비슷한 형태의 AI 표준기구를 제안하기도 했다.
국제 공조로 확대될 가능성도 크다. AI 모델은 한 국가에서 만들어져도 세계에 동시에 배포되고 국경을 넘는 문제를 일으킬 수 있기 때문이다. 유엔은 지난 7월 제네바에서 첫 '글로벌 AI 거버넌스 대화'를 열고 프런티어 AI의 평가방법, 인간 감독과 책임성 등을 의제로 다뤘다. 다만 세계 AI 경쟁을 주도하는 미국과 중국이 실질적인 공동 규칙에 합의할 수 있을지는 미지수다. 실제 지난해 파리 AI 행동 정상회의에서 미국과 영국이 '포용적이고 지속가능한 AI에 관한 선언'에 서명하지 않는 등 주요국 간에도 AI 규제와 안전 원칙을 둘러싼 입장차가 드러난 바 있다.
안전을 명분으로 만들어진 규칙이 새로운 진입장벽이 될 수 있다는 점은 또 다른 논쟁거리다. 대형 AI 기업은 법률·보안·기술 전문인력을 갖춰 대응할 수 있는 반면, 스타트업에게는 같은 규제가 훨씬 높은 진입장벽이 될 수 있다. 마크 저커버그 메타 CEO 역시 최근 소수 대형 AI 기업 중심의 규제가 경쟁과 혁신을 막는 '규제 포획'으로 이어질 수 있다고 경고했다.
전창배 국제인공지능윤리협회 이사장은 “AI에 자율성을 부여하면 부여할수록 예측 불가능성이 높아지고 예측 불가능성이 높아진다는 것은 결국 통제 불가능성도 높아진다는 의미”라며 “AI 에이전트나 자율주행차처럼 인간의 손을 점점 떠나는 방향으로 기술이 발전하면 위험성도 함께 높아지는 만큼 피해가 발생할 가능성이 조금이라도 예상된다면 지금부터 이를 막을 방법을 찾아야 한다”고 말했다.
정현정 기자 iam@etnews.com
