오픈AI의 생성형 인공지능 챗GPT가 생물학적 무기나 독극물 제조에 관련된 질문에 고등학교 수준의 지식만으로도 실행할 수 있을 정도로 상세한 정보를 제공한 사례가 있었던 것으로 알려졌다. 오픈AI는 해당 이용자들의 계정을 정지했지만 수사 당국에 별도로 통보하지는 않았다.
25일(현지시간) 미 월스트리트저널(WSJ)은 오픈AI가 2025년 여름 챗GPT의 기능을 개선한 이후 세계 각국에서 생물무기와 독성 물질을 둘러싼 문의가 수백건 접수됐다고 보도했다. 회사 측은 이들 문의의 대부분이 독극물 제작과 관련된 내용이었다고 설명했다.
오픈AI 내부에서는 일부 답변이 생물학을 고등학교 수준으로 배운 사람도 이해하고 실행할 수 있을 만큼 구체적이었다는 평가가 나왔다.
생물학 및 테러 대응 분야 전문가들도 일부 응답이 실제 인명 피해를 일으키는 데 활용될 수 있을 정도로 정밀했다고 본 것으로 전해졌다. 다만 위험한 질문을 던진 모든 이용자가 동일한 수준의 답변을 받은 것은 아니며, 정확한 사례 수는 공개되지 않았다.
질문 중에는 병원체를 공기 중에 퍼뜨리는 형태로 바꾸는 방법, 바이러스의 백신 방어력을 약화시키는 방법, 독성 물질을 만드는 방법 등이 포함된 것으로 전해졌다. 한 이용자는 독성 물질 제조와 관련한 질문을 하면서 가족을 해치는 데 사용할 수 있다는 취지의 발언까지 한 것으로 알려졌다. 다만 이들이 실제 범행을 준비하고 있었는지, 아니면 AI의 대응 능력을 시험하려 했는지는 확인되지 않았다.
AI가 대규모 재난을 일으킬 가능성을 연구하는 퓨처오브라이프연구소의 함자 초드리 국가안보정책 책임자는 AI가 생물학 지식을 가진 개인의 범행 준비를 지원할 수 있다고 우려했다. 범행 계획을 세우거나 필요한 물질을 확보하는 과정뿐 아니라, 전문 인력과 자원을 가진 테러 조직이 실패한 실험을 분석하고 후속 시도를 개선하는 데 악용될 가능성도 있다는 설명이다. 안전 기능을 제거하기 쉬운 저비용 오픈소스 AI 모델 역시 위험 요소로 거론됐다.
이 같은 문제 제기는 AI의 생물학·화학 관련 처리 능력이 빠르게 향상된 데서 비롯됐다. 챗GPT가 처음 등장한 2022년에는 오픈AI 내부에서도 해당 분야의 답변 능력이 뛰어나지 않다고 판단했지만, 이후 성능이 높아지면서 대화를 길게 이어가는 과정에서 안전 필터를 피할 가능성이 내부 검증을 통해 확인됐다. 일부 이용자는 허구의 가족 이야기를 앞세워 위험한 제조법을 알려 달라고 요구하는 방식으로 차단 시스템을 우회하기도 했다. 오픈AI는 현재 관련 안전 기능을 보완해 이 같은 요청을 차단하고 있다고 밝혔다.
생물무기와 관련한 위험 질문은 앤스로픽의 클로드, 구글의 제미나이, 일론 머스크의 그록 등 다른 AI 서비스에도 제기된 것으로 전해졌다. 시스코 연구진 역시 여러 차례 대화를 이어간 끝에 일부 안전장치를 우회해 생물무기 악용 가능성이 있는 정보를 얻은 것으로 알려졌다. 연구를 이끈 에이미 창 AI 위협·보안연구 책임자는 악의적인 이용자의 끈질긴 우회 시도를 모든 경우에 완벽하게 차단하는 것은 어렵다고 지적했다.
반대로 안전 기능을 지나치게 강화하면 정상적인 연구 활동까지 제한할 수 있다는 문제도 있다. 생물학 정보는 병원체를 악용하는 데만 쓰이는 것이 아니라 감염병 대응과 백신, 치료제 개발에도 필수적이기 때문이다. 오픈AI는 검증된 연구기관과 연구자에게 제한이 완화된 AI 모델을 제공하는 방안을 마련했지만, 복잡한 승인 과정으로 인해 실제 활용이 늦어질 수 있다는 지적이 나온다.
실제 감염병 대응 과정에서도 과도한 차단이 문제가 된 사례가 있었다. 2026년 5월 크루즈선 MV 혼디우스호에서 한타바이러스 감염이 집단적으로 발생했을 당시 미국 질병통제예방센터(CDC) 관계자들은 AI를 활용해 확산 양상을 분석하려 했다. 하지만 AI가 '병원체'라는 표현이 포함된 질문을 위험한 요청으로 판단해 답변을 거부하면서 작업에 차질이 생겼다. 앤스로픽 측은 이후 CDC가 정부 전용 모델이 아닌 일반 모델을 사용한 사실을 확인하고 적절한 활용 방법을 안내했다고 법원 제출 문건을 통해 밝혔다.
위험한 질문을 감지한 뒤 이용자 계정을 어떻게 처리할 것인지도 논란거리다. 오픈AI는 관련 질문을 한 계정을 차단했지만 경찰이나 수사기관에 신고하지는 않았다. 현재 미국 연방법에는 AI 기업이 무기 제작이나 위해 행위와 관련한 문의를 반드시 제한하거나 당국에 보고하도록 규정한 조항이 없다. 일부 주에서 관련 법안을 마련했지만 개인정보 보호와 AI 산업 발전에 대한 우려가 맞물리면서 신고 여부는 대체로 기업의 판단에 맡겨진 상태다.
오픈AI는 모든 AI 모델을 공개하기 전 안전성 검토를 거치며, 사람에게 위해를 가할 수 있는 지침이나 실행 계획을 생성하지 않도록 훈련한다고 밝혔다. 다만 특정인이 곧 타인을 해칠 가능성을 뒷받침하는 구체적이고 신뢰할 만한 정보가 확인되면 수사기관에 알리는 것이 회사의 원칙이라고 설명했다.
이원지 기자 news21g@etnews.com
