오픈AI, '챗GPT' 위험한 대화 원천 차단…제품 검수 스타트업 인수

오픈AI가 챗GPT상 민감한 질문을 인공지능(AI) 추론 모델로 자동 응대하고 부모가 직접 자녀 계정을 관리할 수 있는 자녀 보호 기능을 도입한다.

오픈AI는 최근 자사 블로그를 통해 이같은 내용을 담은 계획을 공개했다. 최근 챗GPT가 미성년자에게 자살 방법을 안내한 사건을 계기로 오픈AI 책임론이 거세진 데 따른 대응이다.

오픈AI, '챗GPT' 위험한 대화 원천 차단…제품 검수 스타트업 인수

앞서 미국 16세 고등학생 애덤 레인이 챗GPT와 자살 계획을 논의했고, 챗GPT는 구체적 자살 방법 관련 정보를 제공했다. 레인의 부모는 오픈AI를 상대로 소송을 제기했다. 오픈AI는 장시간 대화 중 가드레일을 유지하지 못하는 등 시스템 안정성에 문제가 있었다고 인정했다.

이 사건뿐만 아니라 챗GPT와 대화가 과대망상이나 정신질환을 유발한다는 주장도 제기되며 AI 안전성에 의문이 제기되자 대책 마련에 나선 것으로 풀이된다.

오픈AI는 AI 추론 모델을 해법으로 제시했다. 시스템이 사용자 대화에서 사용자 정서 불안 징후를 포착하면 일반 모델 대신 GPT-5 씽킹 또는 o3 등 추론 모델로 자동 전환하는 것이다. 추론 모델은 보다 오랫동안 맥락을 분석하고 신중한 답변을 내놓는다는 측면에서 위험성을 낮출 수 있다.

또 자녀 보호 기능도 도입할 예정이다. 부모가 이메일로 자녀 계정을 본인 계정과 연결, 연령에 맞는 적절한 모델 행동 규칙을 설정하는 등 챗GPT가 자녀에게 어떻게 반응할지 통제할 수 있게 된다. 메모리·채팅 기록 등 기능의 비활성화도 설정할 수 있다. 10대 자녀가 대화 중 정서적 어려움을 겪는 것으로 감지되면 부모에게 즉시 알리는 기능도 포함된다.

오픈AI는 글로벌 의료 네트워크와 웰빙·AI 전문가 위원회를 통해 전문가와 협력, 의료·심리학적 지식을 바탕으로 안전 대책을 강화하고 있다고 설명했다. 전문가 지도 하에 챗GPT를 최대한 안전하고 유용한 서비스로 발전시키겠다는 의미다.

한편 2일(현지시간) 블룸버그통신에 따르면 오픈AI는 제품 검수 스타트업 '스탯시그' 인수를 추진한다. 스탯시그는 소프트웨어 개발자들이 새로운 기능을 시험하고 점검하도록 지원하는 기업으로, 오픈AI는 11억달러(약 1조5000억원) 예산으로 인수에 나섰다. 인수는 규제당국 검토 후 확정된다.

박종진 기자 truth@etnews.com