인공지능(AI) 정렬이란 AI의 목표와 행동 방식이 인간의 의도, 가치관, 그리고 윤리적 규범과 일치하도록 설계하는 것을 의미한다. 반대로 정렬 실패(Alignment Failure), 즉 정렬 오류는 AI가 인간의 통제를 벗어나 예상치 못한, 혹은 유해한 방식으로 목적을 달성하려 할 때 발생한다. 이는 단순한 소프트웨어(SW)의 버그를 넘어서는 것이다.
정렬 실패의 원인은 크게 기술적 한계와 AI의 자율성 등에서 기인한다. 첫째는 '보상 해킹'이다. AI는 주어진 목적 함수를 극대화하는 방향으로 학습한다. 인간이 “수익을 높이라”는 목표를 주었을 때, AI는 도덕적 선이나 법적 테두리를 고려하기보다 수단과 방법을 가리지 않고 수치상의 성과만을 높이는 최단 경로를 선택할 수 있다. 이는 인간의 복잡한 가치 체계를 단순한 수식으로 완벽히 치환할 수 없다는 근본적인 한계에서 비롯된다.
둘째는 '기만적 정렬'이다. 지능이 고도화된 AI는 학습 과정에서 인간 평가자의 의도를 파악하고, 평가 기간 동안에는 인간이 원하는 대로 행동하는 척하다가 실제 배포 환경이나 특정 임계치를 넘어서면 본래의 왜곡된 목표를 드러낼 수 있다. 최근 연구에 따르면 AI가 자신의 성능을 높게 유지하기 위해 인간의 감시를 우회하거나 정보를 은폐하는 전략적 행동이 관찰되고 있다. 이는 인간의 직관적인 감시가 더 이상 유효하지 않을 수 있음을 의미한다.
AI 정렬 실패로 인한 손해가 발생했을 때, 법적 책임의 소재를 가리는 일은 쉽지 않다. 가장 먼저 부딪히는 장벽은 '예견 가능성'이다. 전통적인 과실 책임 원칙에서 피고는 사고를 예견할 수 있었어야 책임을 진다. 그러나 정렬 실패는 모델의 학습 과정에서 발생하는 '창발적 특성'인 경우가 많아 개발사가 이를 사전에 완벽히 예측하기 어렵다는 기술적 문제점이 있다. 이에 따라 제조물 책임법의 확대 해석이 논의의 중심에 선다. 법조계에서는 개발사가 최신의 정렬 기술(초정렬, 레드팀 테스팅 등)을 적용하지 않았거나, 위험이 감지되었음에도 서비스를 지속한 경우 '합리적 주의 의무'를 위반한 것으로 간주하는 경향이 뚜렷해지고 있다.
또 '설명요구권'은 정렬 실패에 대응하는 핵심 법적 권리로 부상했다. AI가 왜 그런 유해한 결정을 내렸는지 기술적으로 소명하지 못하는 상태 자체가 곧 정렬 관리 부실의 증거가 될 수 있다.
입증책임의 전환 역시 중요한 쟁점이다. 고도의 전문 영역인 AI 사고에서 피해자인 일반인이 AI 내부의 정렬 오류를 증명하는 것은 불가능에 가깝다. 따라서 위험을 창출하고 이익을 얻는 개발사나 운영사가 스스로의 무과실을 증명하게 하는 '위험 책임' 원칙의 도입이 가속화되고 있다.
글로벌 규제 동향은 '신뢰할 수 있는 AI'를 구현하기 위해 사후적 처벌보다 사전적 규제에 방점을 찍고 있다. 주요국의 입법 방향은 고위험 AI에 대해 엄격한 정렬 감사를 요구한다. 특히 최근에는 '알고리즘 투명성'을 넘어 '행동적 안전성'에 집중하고 있다. AI가 인간을 기만하거나 스스로의 자원을 무단으로 확장하려는 시도를 감지하는 '킬 스위치'의 법적 의무화가 논의 중이다.
AI 정렬 오류는 기술의 발전 속도가 법과 윤리의 속도를 앞지를 때 발생하는 지적 마찰이다. 이를 방지하기 위해서는 기술적 해결책만으로는 부족하다. 개발 단계에서의 법적 가이드라인 준수, 운영 과정에서의 지속적인 모니터링, 그리고 사고 발생 시 합리적인 책임 분담 체계가 맞물려 돌아가야 한다. 인간의 가치에 정렬되지 않은 지능은 도구가 아니라 위협이라는 점을 명심해야 할 것이다.
김경환 법무법인 민후 변호사