“질문은 대화가 아니다. 권한을 설계하는 일이다.”
지난 글에서 우리는 에이전트를 활용했던 일부 조직에서 판단·기록·소명의 생긴다고 짚었다. 그렇다면 다음 질문은 분명하다. 인공지능(AI)이 결정을 내렸을 때, 우리는 누구에게 질문해야 하는가.
많은 조직이 AI에게 묻는다. “왜 이 거래처를 골랐나.” “왜 이 지원자를 탈락시켰나.” 에이전트는 가격과 재고, 납기와 과거 데이터를 종합한 결과라고 즉시 답한다. 그러나, 문제는 그 답이 실제 판단의 경로를 보여주느냐는데 있다. 어떤 데이터를 우선했고 어떤 기준을 적용했으며 어떤 선택지를 배제했는지가 남아 있지 않다면 그 설명은 결과 뒤에 붙은 사후 해석일 수 있다. 아무리 정교한 문장이라도 판단의 근거를 대신할 수는 없다. 설명 가능한 답과 책임질 수 있는 결정은 다르다.
2024년 에어캐나다는 챗봇의 잘못된 안내가 어디까지 기업의 책임인지 보여준 사례를 남겼다. 조부모상을 당한 한 승객에게 챗봇은 여행을 마친 뒤에도 할인 운임을 신청할 수 있다고 안내했지만, 실제 규정은 달랐다. 분쟁이 재판으로 이어지자, 회사는 챗봇이 제공한 정보에 책임질 수 없다고 주장했다. 그러나 재판부의 판단은 명확했다. 챗봇은 독립된 주체가 아니라 에어캐나다 웹사이트의 일부이며, 고객에게 웹페이지와 챗봇 중 어느 정보를 믿어야 하는지 다시 확인할 의무를 지울 수 없다는 것이었다.
챗봇이 잘못된 정보를 말하는 데서 사건이 끝났다면, 에이전트는 그 정보를 바탕으로 항공권을 다시 발권하고 환불을 거절하며 고객 계정을 바꿀 수 있다. 즉, 답변의 오류가 곧 실행의 오류로 이어지는 구조인 것이다. 그래서 에이전트의 권한이 커질수록 '무엇을 할 수 있는가'보다 '무엇을 혼자 결정하게 둘 것인가'가 먼저 정해져야 한다.
이 사례는 단순히 챗봇이 잘못된 정보를 제공한 사건이 아니다. 스스로 판단하고 실행하는 에이전트가 업무 현장으로 들어올수록 더 무겁게 받아들여야 할 경고이다. 진짜 위험은 AI의 오답 그 자체보다, 조직이 그 판단을 자신의 결정처럼 활용하다가 결과가 기대와 다르면 “AI가 그렇게 했다”며 책임의 경계를 흐리는 데 있다. 따라서 AI에 실행 권한을 부여하는 것과 책임까지 넘기는 것은 전혀 다른 문제다. 기술의 자율성이 커질수록, 그 결과를 설명하고 감당할 인간과 조직의 책임은 더욱 선명해져야 한다.
우리에게 질문은 세 갈래로 나뉘어야 한다.
첫째, 에이전트에게는 '왜'보다 '어떻게'를 물어야 한다. 어떤 데이터와 지침을 읽었는지, 어떤 도구를 호출했는지, 어떤 선택지를 버렸는지를 보여줘야 한다. 답변이 아니라 추적 가능한 실행 기록이 필요하다. 기록되지 않는 판단은 검증할 수 없고, 검증할 수 없는 판단은 위임해서는 안 된다.
둘째, 업무 책임자에게는 '무엇을 맡겼는가'를 물어야 한다. 1억원의 발주와 일정 변경, 고객 보상은 같은 수준의 자동화 대상이 아니다. 어디까지 AI가 실행하고 어느 지점에서 사람이 승인하는지, 예외 상황에서 누가 즉시 멈추는지를 미리 정해야 한다. 승인 버튼 하나를 남겨두는 것으로 인간 감독이 완성되지는 않는다. 사람이 판단을 이해할 시간과 권한을 함께 가져야 한다.
셋째, 조직에게는 '어떤 결과를 감수할 것인가'를 물어야 한다. 미국 국립표준기술연구소(NIST)의 AI 위험관리체계가 거버넌스·맥락 파악·측정·관리를 함께 제시하는 이유도 여기에 있다. 위험은 기술 부서가 혼자 측정하고 끝낼 문제가 아니다. 업무의 목적, 허용할 손실, 보호할 권리, 중단 권한을 조직 전체가 합의해야 한다.
물론 모든 결정을 사람에게 되돌리자는 뜻은 아니다. 그렇게 하면 에이전트의 가치는 사라진다. 핵심은 위험의 크기에 맞춰 질문의 깊이를 달리하는 것이다. 반복적이고 되돌릴 수 있는 일은 넓게 맡기되, 권리·안전·큰 비용이 걸린 판단은 더 촘촘하게 기록하고 더 이른 지점에서 사람에게 되돌려야 한다.
질문은 통제를 늘리는 장치가 아니다. 조직이 AI에게 맡긴 판단의 목적과 한계를 스스로 확인하는 장치다. 질문할 수 없는 조직은 위임할 준비도 없다.
AI에게 질문하는 일은 책임을 AI에게 넘기는 일이 아니다. 오히려 반대다. AI가 할 수 있는 일을 정확히 기록하게 하고, 사람과 조직이 끝까지 답해야 할 자리를 분명히 하는 일이다. 결국 혁신의 기술은 AI에게 더 많은 일을 맡기는 기술이 아니다. AI의 답을 들은 뒤, 누가 마지막으로 책임 있게 말할 것인지를 정해두는 기술이다.
김태형 단국대 대학원 데이터지식서비스공학과 교수·정보융합기술·창업대학원장