세상에서 가장 위험한 곳은 어딜까. 사람의 머릿속이다. 인공지능(AI)이 거기서 나왔다. 스탠리 큐브릭 감독의 영화 '2001 스페이스 오딧세이' 3막을 보자. 목성 탐사선 디스커버리호에 보먼, 풀과 동면중인 우주인 3명이 타고 AI시스템 HAL이 조정하고 있다. 핵심 임무는 외계문명 접촉이다. 보안을 위해 보먼, 풀에겐 비밀로 했다. HAL은 보먼, 풀이 임무를 알려하자 우주선 밖으로 유인한다. 그들은 HAL의 기능에 문제가 있다며 작동을 멈추려고 한다. 위기를 느낀 HAL은 풀과 동면중인 우주인을 살해한다. 보먼은 고생 끝에 HAL을 정지하고 항해를 이어간다. HAL은 비밀유지의무를 다하려다 사람을 죽였다. 그의 알고리즘 작동과정은 알 수 없다. 그 위험을 어떻게 이해하고 평가해야 할까.
위험은 정치, 경제, 사회 등 모든 분야에서 발생한다. 인위적이거나 자연적인 사고, 재난에 따른 피해가능성이다. 천벌, 불운으로 체념하거나 주술, 제사를 통해 해결하던 때가 있었다. 과학기술을 이용해 재해방지 시설과 매뉴얼을 갖춰 위험을 줄여나갔다. 과학기술 발전이 반드시 안전을 보장하진 않는다. 난개발 등 과학기술 오남용은 기후온난화, 자연파괴, 재해 등 위험을 높인다. 위험의 분석과 유해성 평가를 통해 통제할 수 있어야 삶속에 받아들였다. 자동차는 많은 희생자를 내지만 도로, 교통시스템, 운전자와 보행자의 법령 준수, 보험을 통해 위험을 통제할 수 있기에 허용했다.
위험은 얼마나 안전해야 받아들일 수 있는가. 자동차는 과거 통계를 바탕으로 미래 사고를 예측해 위험을 분담한다. 질병은 조사를 통해 독성을 파악하고 위험을 계산해 대비책을 세운다. 온라인 등 정보 검색과 유통이 쉬운 디지털시대엔 시민이 위험을 어떻게 인식하는지도 중요하다. 관련성, 발생빈도, 손해득실, 언론보도, 긴급성 등의 영향을 받는다.
철학자 울리히 벡의 생각을 보자. 과학기술이 편리함을 가져오지만 남용하면 기후변화, 자연파괴 등 위험을 키운다. 국경을 넘어 전염병처럼 퍼진다. 자유, 평등의 가치보다 안전의 가치가 중요해진다. 전통적 위험은 자연에서 주로 발생하지만 현대적 위험은 낡은 시스템 또는 검증이 어려운 과학기술로 나타날 수 있다. 독극물 사고, 건물과 교량 붕괴가 그것이고, 지구온난화, 오존층 파괴, 환경호르몬도 해당한다. 기계 등 오작동이 위험을 가져오지만 시스템이 취약하면 정상적 작동 중에도 위험이 있다. 아무리 노력해도 참사를 막기 힘들다. 화재위험을 낮추려 방화벽을 내리면 탈출로가 막힌다. 완벽한 시스템을 구축하려다 복잡해지면 또 다른 위험을 야기한다. 과학에 대한 불신으로 이어지면 갈등을 야기한다. 사실관계는 불확실하고, 공동체의 가치는 충돌한다. 이해관계는 복잡해지고, 시간이 갈수록 위험은 커진다. 해결책을 찾지 못하고 우왕좌왕한다.
AI의 위험은 어떻게 다른가. AI를 이용하는 모든 분야와 경로에서 발생할 수 있다. AI알고리즘이 작동하는 블랙박스 구간은 작동 방식과 경로를 알기 어렵다. 예측할 수 없는 결과를 만들어내는 과정에서 어떤 위험이 어느 정도 발생할지 모른다. 피해를 원상복구하기 어렵다. 피해가 AI로 인한 것인지 인과관계를 입증하기 어렵다. 기계는 매뉴얼에 충실하지만 AI는 인공신경망에 의해 작동되는 탓이다. 물질에 대한 통제보다 '정신'에 대한 통제가 어려운 것과 같다. 기계는 오작동에 의한 위험이 대부분이지만 AI는 정상적인 작동과정의 위험이 더 클 수 있다. AI알고리즘 특성상 오류 수정이 쉽지 않다. AI 작동과정에서 사업자 또는 사용자의 관여가 피해를 더욱 확대할 수 있다.
어떻게 할까. AI 위험의 분야별, 유형별, 작동 과정별 분석과 평가 시스템이 중요하고 시급하다. 전문가 등 다수의 이해관계자가 참여해 위험 대책을 선별하고 시민 참여를 통해 도덕성을 부여해야 한다. AI위험의 특수성을 이해하는 것이 그 첫걸음이다.
이상직 법무법인 태평양 변호사('혁신과 공존의 신세계 디지털' 저자)
