“AI 에이전트에게 생각할 시간과 토큰을 더 주면 당연히 똑똑해질 것이라는 막연한 기대를 버려야 합니다. 통제 장치가 없는 자율성은 결국 예산 탕진과 기술 부채로 이어집니다.”
김유신 메가존클라우드 매니저는 오는 9월 16일 잠실 한국광고문화회관에서 열리는 'AI 에이전트 가드레일 & 거버넌스 실전 세미나'에 앞서 가진 인터뷰에서 “이제 기업의 진짜 실력은 '만들 수 있는가'가 아니라 '멈추고 제어할 수 있는가'에서 갈린다”고 말했다.
김유신 매니저는 현장에서 실제 가치를 만드는 것은 단일 AI 모델의 성능이 아니라, 지능을 시스템 레벨에서 제어하는 '하네스(Harness) 관제탑'이라고 강조했다. 그는 AI의 성과를 보기에 앞서 뒤에서 새어나가는 비용과 복잡도를 막아줄 브레이크 시스템을 먼저 설계해야 할 시점이라고 덧붙였다.
김 매니저는 메가존클라우드에서 AI 스페셜리스트(Specialist)로 재직하며 애저(Azure) AI 분야의 프리세일즈와 컨설팅을 담당하고 있다. 25년 IT 경력의 마이크로소프트 AI MVP, 공식 인증 강사(MCT)로 활동하며 기업의 AI 도입 전략을 이끌어 왔고, 최근에는 신간 『AI 에이전트 개발의 함정』을 출간했다.
김 매니저는 “멈추고 제어할 수 있는” 체계를 갖추기 위해 기업이 내년에 대비해서 미리 준비해야 할 선행 과제로 3가지를 꼽았다.
첫째는 '에이전트 거버넌스 3대 요소(신원·권한·불변 감사) 구축'이다. 그는 “에이전트마다 고유 ID를 발급하고, 권한을 태스크 단위로 최소화하며, 모든 변경 이력을 위변조 불가능한 불변(WORM) 감사 로그로 적재하는 인프라가 필요하다”고 말했다.
둘째는 '삭제 가능성(Deleteability)' 중심의 설계다. 그는 “코딩 비용이 낮아질수록 무계획적인 증축이 일어난다”며 “신규 기능 도입 시 구체적인 폐기 조건과 탈출 경로를 명시하고, 언제든 안전하게 도려낼 수 있는 격리 구조를 갖춰야 한다”고 말했다.
셋째는 상호운용성 및 온디바이스(에지) 환경 대응이다. 그는 “이종 에이전트 간 협업 프로토콜에 대비하고, 로컬 에지 기기의 분산 트랜잭션이 중앙 관제 시스템에 유실 없이 동기화되는 파이프라인을 준비해야 한다”고 강조했다.
김 매니저는 이 같은 중장기 과제에 앞서, 기업이 지금 당장 손대야 할 영역으로 'AI 핀옵스(FinOps)'와 토큰 비용 관리를 제시했다. 거버넌스 체계를 갖추기 전이라도 우선 새고 있는 비용부터 손봐야 한다는 취지로 풀이된다.
그는 AI 핀옵스 대응을 위한 실전 방안으로 3가지를 들었다. 첫째는 '비용 가시성의 정밀한 분할'이다. “API 청구서를 마이크로서비스, 모델, 담당 팀 단위로 구체적으로 쪼개어 지출 주체를 명확히 매핑해야 주인 없는 비용이 발생하는 것을 막을 수 있다”고 말했다.
둘째는 '절감액의 기술 부채 상환 재투자'다. “최적화를 통해 절감한 예산의 최소 20% 이상은 시스템 정화, 중복 코드 통합, 검증망 강화에 쓰도록 아키텍처 예산으로 강제 배정하는 규율이 필요하다”고 설명했다.
셋째는 '3단계 검증 체계 구축'이다. “신속한 자동 검증, 고위험 경로에 대한 인간의 교차 검토(Human-in-the-loop), 런타임 모니터링을 결합해 비용 낭비와 기술적 문제를 단계별로 검증해야 한다”고 강조했다.
여기에 더해 토큰 비용 관리를 위해 즉시 실행해야 할 과제도 제시했다. 그는 “변하지 않는 시스템 지침이나 도구 정의를 프롬프트 최상단에 고정하는 '정적 접두사(Static Prefix) 기반 프롬프트 캐싱'으로 비용의 절반 이상을 차지하는 '다시 읽기 비용'을 최대 80%까지 줄일 수 있다”고 말했다.
그는 이어 “세션 및 시간당 예산 임계치를 설정하고, 에이전트가 동일 파일을 반복 수정하는 비효율적 탐색이나 무한 루프에 빠질 때 API 호출을 즉시 강제 종료하는 '실시간 서킷 브레이커'를 도입해야 한다”고 말했다. 또한 그는 “모든 작업에 고비용 모델을 쓰지 않고, 고난도 추론과 단순 요약·검증 작업을 분리해 단가가 저렴한 경량 모델(SLM)이나 오픈 웨이트 모델로 자동 라우팅되도록 게이트웨이를 구성하는 '지능형 하이브리드 라우팅'도 필요하다”고 덧붙였다.
한편 김유신 매니저는 9월 16일 잠실 한국광고문화회관에서 열리는 'AI 에이전트 가드레일 & 거버넌스 실전 세미나'에서 AI 핀옵스와 토큰관리 전략에 대해 발표할 예정이다.
이번 행사에서는 장동인 KAIST AI대학원 교수, 박종성 동원그룹 CIO, 한정우 다이닝브랜즈그룹 IT전략 매니저, 이예찬 당근 SW엔지니어 등이 가드레일과 거버넌스 측면에서 에이전트 운영 노하우에 대해 발표한다. 행사에 관한 자세한 정보는 행사 홈페이지(https://conference.etnews.com/conf_info.html?uid=521)에서 확인할 수 있다.
유은정 기자 judy6956@etnews.com