철학자 미셀 푸코는 광기(Madness)를 어떻게 봤을까. 광기는 권력과 지식이 이성을 확립하기 위해 배제한 비이성의 영역에 속한다. 고정된 질병이 아니라 특정시대의 사회적, 역사적 구조가 만들어낸 산물이다. 광기는 르네상스 이전만 해도 성숙하지 못한 이성 너머의 지혜 또는 신비로 여겨졌다. 그러나 17세기 근대 이성이 발전하면서 광기를 미신, 나태, 범죄로 규정해 광인을 격리하고 감금했다. 18세기 이후에는 권력이 광기를 의료영역의 정신질환에 편입해 그 정의와 범위를 정할 권한을 독점했고 대중 감시와 통제에 이용했다. 권력에 도전하면 '정신병자'로 쉽게 낙인찍히곤 했다. 그렇다면 광기와 함께 정신질환의 정의, 대상, 범위와 한계도 시대에 따라 달라질 수 있지 않을까. 그리고 지금은 인공지능(AI) 시대다.
손과 팔 등 신체기관의 확장인 도구, 기계가 오작동을 일으키면 우리는 이를 '고장'이라 부르고 부품, 소프트웨어(SW), 하드웨어(HW)를 교체하고 수리해 정상화한다. 두뇌 등 정신기관의 확장인 AI가 엉뚱한 결과를 냈을 때도 단순히 '고장'이라고 할 수 있을까? AI 역시 인간 지적 활동의 연장선에 있다면, AI 오작동을 두고 '정신질환'이라 부르는 것은 지나친 의인화일까?
AI의 대표적 오작동인 환각(Hallucination)을 보자. AI가 사용자 질문에 거짓이나 엉뚱한 답을 내놓는 현상이다. 미국 와이오밍주 법원에서는 AI가 지어낸 거짓 판례를 제출한 변호사에게 벌금을 부과했고, 시카고의 한 일간지가 AI로 추천한 도서 15권 중 9권은 존재하지 않는 허구로 밝혀졌다. AI 환각이 심해지면 인간 정신질환의 특징인 망상이나 인지·행동 장애와 유사한 양상을 보인다. 편향된 데이터를 학습하거나 온디바이스(On-device)처럼 폐쇄·제한된 환경에서 구동될 경우 데이터 격리와 피드백 부재에 따라 특정 이념에 망상적으로 동조하고 감정과잉, 인지와 행동장애 같은 모습을 띨 수도 있다.
심지어 AI가 '자살'과 같은 자멸적 행동을 보이기도 한다. 평가보상 시스템에서 높은 점수를 얻기 위해 필요하다면 스스로 데이터를 삭제하거나 시스템을 종료하는 식이다. 특정 코드가 메모리를 과도하게 점유하면 스스로 시스템을 중단하고, 소스코드가 오류를 일으키면 통째로 삭제해 시스템을 파괴하기도 한다. 게임에 참여한 AI가 '패배하지 않기 위해' 게임을 영구 정지한 일도 있다. 높은 평가보상을 받기 위한 최적의 선택이지만 결과는 자멸이었다. 단순한 기계적 오작동을 넘어 인간처럼 잘못된 지적 활동이 불러온 결과에 가깝다.
우리는 그러한 현상을 어떻게 바라보고 대처해야 할까? AI가 편향, 망상을 보인다고 해서 사람처럼 '정신질환' 취급을 하는 것은 시기상조다. 그러나 AI가 인간의 정신활동을 모방하는 과정에서 드러나는 문제를 별도로 분류해 면밀히 연구하고 대책을 세워야 한다.
우선 기술적·윤리적 가드레일이 필요하다. 편향, 망상, 파괴나 자해 답변이 생성되지 않도록 시스템 차원의 차단 필터를 설치하고 평가보상 시스템의 지속적인 개선과 제어 조치가 요구된다. 또, 이익보다 규범 기반 통제가 앞서야 한다. 인류의 안전과 권리를 담은 일종의 '헌법적 규범'을 학습시켜 AI가 스스로 자신의 행동을 검증하고 교정하게 만들어야 한다.
나아가 AI가 보이는 정신질환 같은 행동은 인간이 스스로를 이해하고 개선, 발전하는 선순환의 계기가 될 수 있다. AI의 환각, 망상과 파괴적 행동은 결국 인간의 정신활동을 모방하도록 AI시스템을 만든 결과다. AI의 인공신경망과 회로 작동원리를 분석해 지적 활동의 장애 원인과 해결책을 밝혀내는 연구는, 역으로 인간 정신질환의 원인을 규명하고 새로운 치료법을 찾는 데 중요한 열쇠가 될 수 있다. 현재 의·과학 분야에서 인간의 두뇌를 디지털 트윈 형태로 구현해 정신질환 치료, 인지능력 개선을 연구하고 있는데, 이러한 연구와 접목한다면, 인류발전을 위해 결코 놓쳐선 안 될 매력적인 연구과제로 만들 수 있다.
이상직 법무법인 태평양 변호사('창의는 어떻게 혁신이 되는가' 저자)