우리는 AI발 초가속 기술혁명이라는 폭풍 속에서 기회와 위기의 공존이라는 문명사적 전환기에 섰다. 10월15일, 필자는 한국정책학회 기획 '2054년, 허버트 사이먼의 제한적 합리성은 종말을 맞이할 것인가?' 세미나에 참여해 이 화두를 두고 격론을 벌였다.
고전경제학은 시장의 모든 참여자가 완전한 정보를 가지고 있다는 전제하에 '보이지 않는 손'에 의한 최적의 자원배분을 추구했다. 그러나, 현실은 극단적 정보 비대칭과 인간 인지능력의 한계로 점철돼 있다. 정책결정도 다르지 않다. 사이먼은 데이터의 한계, 시공간의 제약, 인지능력의 한계로 손쉽게 접근 가능한 정보와 최소 자격을 갖춘 사람의 추론, 즉 '제한적 합리성'에 따라 최적이 아니어도 충분히 괜찮은 정책이면 된다는 '자기만족적' 정책결정 모델을 제시했다. 그러면 묻고 싶다. 세상 모든 데이터를 실시간 흡수해 수초 만에 최적의 답을 내는 '퍼펙트 AI'가 도래해도 이 '제한'은 유효할까? AI를 활용해 드디어 '제한'에서 해방되었다면, '보이지 않는 손'을 대신하려는 AI에게 정책결정을 맡겨도 될까?
역설적이게도 AI의 완벽함은 전혀 다른 '제한'을 만들어낸다. AI가 완벽해지면 다툼있는 사실마저 하나의 정답으로 만들 힘을 갖고, 그 힘은 무엇이 정의이고 진리인지 결정하는 최고 권력으로 이어진다. 진리와 시장, 그리고 정책의 최종 결정권을 AI가 쥐는 순간, 인간은 알고리즘 권력에 예속되고 피지배 계급으로 전락한다. 그 '제한'을 선뜻 받아들이기 어렵다.
더 근본적인 문제는 '새로운 발견'이다. 페니실린과 포스트잇이 그랬듯, 인류문명의 위대한 도약은 대개 효율과 합리의 궤도를 벗어난 '생산적 실수'와 '우연의 비약'에서 나오기도 한다. 정제된 데이터 학습과 효율적 추론만으로는 기존의 틀에 갇혀 근본부터 뒤흔드는 혁신을 만들기 어렵다. 현대미술가 앤디 워홀은 이전 작가와 달리 공장 시스템을 도구로 활용해 대량생산 작업을 예술의 경지로 끌어올렸다. 그처럼 우리도 AI라는 도구를 재창조하지 못한다면, 정책결정에서 인간은 역할을 잃기 쉽다. 복지 수급 대상자 선발에서 AI가 확신에 찬 점수를 내놓았을 때, 담당 공무원이 다른 점수를 줄 수 있을까. 재판, 수사, 행정처분에서 AI의 강력한 권고를 법관, 수사관, 공무원이 쉽게 뒤집을 수 있을까. AI가 완벽한 예측과 확신에 찬 결론을 내놓을수록 인간은 고통스러운 가치판단을 회피하고, 그 권위에 굴복하고 싶은 유혹에 빠지며, 그 결정을 둘러싼 윤리적 고뇌와 딜레마에 급격히 위축된다.
그런데 우리가 퍼펙트 AI의 판단에 기대어 책임을 회피하려고만 한다면, '정책결정자'라는 자리의 존재이유는 사라진다. AI의 판단이 지금은 최적인 것처럼 보여도 나중엔 다른 평가를 받을 수 있다. 가치판단과 그 책임을 끌어안는 것은 정책담당자가 수행할 수 있는 궁극의 거룩한 책무다. 정책담당자 역할은 퍼펙트 AI의 판단을 무비판적으로 수용해 면죄부를 얻는데 있지 않다. AI의 판단을 엄격하게 검증, 통제하고, 때로는 거센 비판을 감수하면서도 다른 결정을 내리는 고도의 결단에 있다. AI를 활용하되 최종 판단은 인간에 '맡겨야' 하고, 그 점에서 '제한적 합리성'은 '위임의 합리성'으로 재편돼야 한다. 정책담당자가 AI와 다른 판단을 할 수 있는 권리를 명문화하고 그 사유를 기록해 사후 평가에서 불이익이 아닌 학습자산으로 쓸 수 있게 해야 한다. AI의 판단에 의도적으로 반론, 비판과 그 사유를 제시하는 레드팀 AI를 도입할 수 있다. AI를 쓸 수 있는 정책영역을 정하고, AI 판단을 따를 경우와 거부, 다른 판단을 할 경우 업무방식, 책임과 예외에 관한 기준을 미리 정해둘 수 있다.
이를 위해 우리는 기계장치와 AI 등 도구 사용의 확장에 그쳐선 안 되고 바이오, 뇌과학으로 인간 고유의 신체, 정신을 강화해 AI를 통제하는 역량을 집중적으로 키워야 한다. 정책담당자가 가치판단을 회피하는 안일한 길을 거부하고 스스로 고뇌하는 주체로 거듭난다면, 퍼펙트 AI 공습에서 고품격 정책결정을 도출하는 강력한 무기가 된다.
이상직 법무법인 태평양 변호사('창의는 어떻게 혁신이 되는가' 저자)