“다음 주 헝가리로 해외출장 갈 수 있게 준비해 줘.” 이 한마디를 들은 인공지능(AI)이 항공권을 검색하고, 가격과 환불 조건을 비교해 표를 만들고, 숙소를 예약한 뒤 회의 참석자들의 일정까지 조율하는 시대다. 질문에 답변하는 수준을 넘어, 실제 업무를 처리하는 'AI 에이전트'의 시대다. 반복 업무는 줄고, 사람은 더 중요한 판단에 집중할 수 있다는 기대도 크다.
그러나 편리함의 그림자도 뚜렷하다. AI가 환불 불가능한 항공권을 잘못 구매했다면, 또는 회의 참석자에게 전달해서는 안 될 내부 자료를 전송했다면 어떻게 해야 할까. 사고가 난 뒤에야 우리는 누가 책임져야 하는지, 누구에게 손해배상을 요구할 수 있는지 묻게 된다. “AI가 알아서 했다”는 설명은 가능할지 몰라도 면책의 근거가 될 수는 없다.
이 문제는 답변형 AI와 행동형 AI의 차이에서 출발한다. 생성형 AI가 부정확한 답을 했다면, 이용자는 적어도 내용을 읽고 의심하고 검토할 기회를 가질 수 있다. 하지만 AI 에이전트가 송금을 실행하고, 계약서를 발송하고, 채용 지원자의 정보를 분류하며, 생산 설비를 제어하는 단계로 나아가면 사정은 달라진다. 잘못된 결과는 화면 속 문장이 아니라 현실의 거래, 관계, 권리와 의무를 바꿔 놓는다. 되돌리기 어려운 행동일수록 사전 통제와 사후 책임의 기준은 더 엄격해야 한다.
AI를 평가하는 질문도 바뀌어야 한다. 지금까지는 “얼마나 정확한가” “얼마나 자연스럽게 답하는가”가 중심이었다. 앞으로는 여기에 “어떤 권한을 부여하고 그 권한으로 무엇을 할 수 있는가” “어떤 조건에서 실행을 멈추는가” “문제가 생겼을 때 누가 바로잡을 수 있는가”가 더해져야 한다. 성능 확보만큼 권한 설계가 중요해지는 것이다.
흔히 최종 책임은 AI를 사용한 사람에게 있다고 말한다. 실제로 사용자가 지시했고, 조직이 AI를 도입했으며, AI가 접근할 수 있는 자료와 시스템의 범위를 정했기 때문이다. 그러나 기계적으로 모든 책임을 이용자에게 넘길 수는 없다.
자동차 사고를 생각해 보면 이해하기 쉽다. 운전자가 신호를 위반했다면 운전자의 책임이 크다. 그러나 제동장치에 구조적 결함이 있었거나, 제조사가 위험을 알면서도 필요한 조치를 하지 않았다면 제조사의 책임도 따져야 한다. AI 역시 마찬가지다. 사용자의 지시와 관리, 개발사의 설계와 안전조치, 도입 기업의 적절한 활용 여부를 구분해 살펴야 한다. 책임은 한곳에 몰아넣는 것이 아니라, 위험을 만들고 통제할 수 있었던 각 주체에게 합리적으로 배분돼야 한다. 위험을 통제할 권한과 능력을 갖춘 주체가 그에 걸맞은 책임을 져야 한다는 것이다. 기술의 복잡성은 책임을 흐리는 이유가 아니라, 책임 구조를 더 정교하게 설계해야 하는 이유가 된다.
여기서 중요한 것은 권한의 세분화다. 우리는 AI가 얼마나 똑똑한지를 묻기에 앞서, 무엇을 하도록 허용할 것인지를 정해야 한다. 인간의 최종 승인을 두면 충분하다는 주장도 다시 생각할 필요가 있다. 실질적 감독이 가능해야 그 감독자에게 책임을 부과하는 것도 가능하다.
실질적 감독이 가능하려면 첫째, 검토할 시간이 있어야 한다. 둘째, 판단의 근거가 있어야 한다. 셋째, 실행을 멈추거나 되돌릴 수 있어야 한다. 잘못된 수신자에게 메시지를 보냈을 때 발송 취소가 가능하고, 부정한 결제가 감지됐을 때 즉시 정지할 수 있어야 한다. 중요한 것은 사람이 마지막에 클릭했는지가 아니라, 그 사람이 실제로 판단할 수 있었는가다.
또 이용자에게는 문제를 신고하고, 추가 실행을 중단시키고, 피해 구제를 요청할 명확한 창구도 있어야 한다.
김장현 성균관대 교수