인공지능(AI) 에이전트 기술 발전이 눈부시다. “AI 에이전트? AI가 여행지를 검색하거나 호텔을 예약해주는 게 아니라, 아예 여행 일정 전체를 세팅하는 것이 가능해?” 하던 게 얼마 전이었다. 이제 AI 에이전트는 인간을 넘어선 정확성과 효율성으로 여러 에이전트가 동시에 작동하여 업무 전반을 수행하는 멀티-에이전트 환경으로 빠르게 넘어가는 중이다. 실로 AI 오피스라 불러도 무방할 정도다.
그렇다면 이제 AI를 믿고 핵심 업무를 맡겨도 되는가? 아직은 아니다. 고성능의 에이전트 다수가 동시에 움직이면서, 현실은 고도화되는 대신 혼란스러워지고 사고의 위험성이 커진다. 앞서 '오피스' 표현을 썼지만, 실제 사무실을 운영해보면 개별 직원들의 업무 역량 이상으로 전체 업무를 관리 감독하고 조율하는 일이 중요해진다. 업장 규모가 작을 때는 고용주가 직접 관리할 수 있지만 규모가 커질수록 관리 인력을 따로 써야 하고, 그 인력의 중요성이 다른 어떤 영역보다 커지게 된다. AI 시스템도 다르지 않다.
예로 응급실 운영을 효율화하는 AI를 도입했다고 가정해 보자. 거기에는 대기 시간을 줄이는 에이전트, 의료진 과로를 줄이는 에이전트, 병상 회전율을 높이는 에이전트 등이 동시 투입되어 각자 최선을 다한다. 하지만 여기에 우선순위를 정하고 업무를 조율하지 못한다면, 경증 환자는 서둘러 퇴원하고 중증 환자의 치료는 지연되며 병상 배정은 계속해서 바뀔 것이다. 모든 에이전트가 각자의 역할을 다했지만, 그렇기 때문에 전체 시스템은 질서 없는 혼란에 빠지는 것이다.
피지컬 AI 환경에서 이 문제는 더 심각해진다. 여러 자율 이동체가 좁은 공간에 동시에 진입할 때, 각각은 충돌을 피하고자 최적 경로를 계산한다. 개별 테스트에서는 완벽했지만, 다수가 동시에 작동하면 서로를 피하다 멈추고, 다시 움직이다 멈추는 연쇄 반응이 발생한다. 결국 아무도 움직이지 못하는 교착상태(Deadlock)가 되며 사고는 없었지만 목표도 달성되지 않았다. 이것은 안전한 성공이 아니라 지능적인 실패다.
그래서 AI 분야에서 관리자 역할의 기술들이 등장하고 있다. 중앙에서 전체 보상을 고려해 학습하고 분산 실행하는 구조(CTDE), 상위에서 에이전트 간 충돌을 조정하는 오케스트레이션 구조, 충돌 가능성을 사전에 점검하는 형식 검증, 정책 충돌을 제어하는 제약 기반 최적화 등이다. 문제는 이 기술들의 신뢰성이다.
업장 규모가 커지다 보니 관리 감독 전담자를 추가 투입하는 셈인데, 관리 인력은 무엇보다도 '믿을 수 있는' 사람이어야 한다. 그는 다수 인력이 움직이는 데 우선순위를 정하고, 직원들의 갈등을 예방하거나 해결하며, 전체 사무실이 사회 규범과 회사 방침에 맞는 방향으로 움직이게끔 유도해야 한다. 이것이 다중 에이전트 환경에서 관리 시스템의 역할이다.
다시 말해 AI 시스템이 개별 에이전트들의 업무를 질서 있게 교통정리를 하려면 전체 시스템이 무엇을 위해 움직이는지, 돌발 상황에서 무엇을 우선시해야 하는지, 그 과정에서 절대 해서는 안 되는 행위(금기)가 무엇인지가 명확히 정해야 한다. 이 설계를 우리는 AI 신뢰성이라 한다. 이것은 단순 기술을 넘어 업무의 목적과 사회 규범 준수라는 가치관의 영역이 된다. 따라서 또 다른 전문 기술, 그리고 해당 기술을 숙지한 전문가들이 필요해진다.
AI 기술 경쟁이 국제적으로 치열해지는 가운데 미래의 승부는 다중 에이전트 시스템을 누가 더 잘 세팅하느냐에서 갈릴 가능성이 크다. 다중 에이전트 시스템의 가능성은 에이전트간 협업 시스템이 효과적일 때 극대화되고, 그것을 가능케하는 것은 AI 신뢰성의 기술 체계다. AI 업계에서 신뢰성 기술과 전문가 양성이 무엇보다 시급한 이유가 여기에 있다.
박지환 한국인공지능·소프트웨어산업협회 초거대AI추진협의회원·씽크포비엘 대표 jihwan.park@thinkforbl.com