한국과학기술원(KAIST·총장 배충식) 연구진이 세계 최초로 AI 에이전트 계산 비용과 에너지 소비를 분석했다. 기존 생성형 AI보다 질문 한 건당 최대 136.5배 많은 에너지를 사용하는 것으로 나타났다.
KAIST는 유민수 전기 및 전자공학부 석좌교수팀이 AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 사용하는지를 세계 최초로 체계적으로 분석했다고 5일 밝혔다.
연구팀은 AI 에이전트를 단순 프로그램이 아니라, 데이터센터 서버와 그래픽처리장치(GPU)가 지속적으로 처리해야 하는 워크로드(컴퓨터가 수행해야 하는 전체 계산 작업)로 정의하고, 실제 실행 과정에서 발생하는 계산량과 에너지 소비를 분석했다.
AI 에이전트는 기존 단계별 추론(CoT: AI가 사람처럼 생각 과정을 하나씩 전개하며 답을 찾는 방식)과 달리 반복적으로 여러 차례 대형 언어 모델 호출(LLM Invocation)을 수행하는 것으로 나타났다.
언어 모델을 반복 호출하면서 응답 시간도 크게 증가했다. AI 에이전트의 답변 시간은 최대 153.7배 늘어났으며, 외부 도구가 작업을 수행하는 동안 GPU는 전체 실행 시간의 최대 54.5% 를 아무 계산도 하지 못한 채 대기하는 것으로 분석됐다. 즉, AI가 더 복잡한 일을 수행할수록 GPU를 충분히 활용하지 못하는 비효율이 발생하는 것이다.
연구팀은 AI 에이전트가 사용하는 전력도 데이터센터 규모에서 분석했다. 현재 상용 AI 서비스 수준인 700억 개의 매개변수(파라미터)를 가진 대형 언어 모델을 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41와트시(Wh) 전력을 소비했다. 이는 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 높은 수준이다.
또한 하루 137억 건의 AI 에이전트 요청이 발생하는 미래 환경을 가정해 분석한 결과, 데이터센터 전력 수요는 약 198.9기가와트(GW)에 이를 것으로 추정됐다.
유민수 석좌교수는 “이번 연구는 단순히 AI가 더 똑똑해지는 것을 넘어, 그 지능을 구현하고 유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 첫 사례”라며, “향후 AI 에이전트가 보편화되는 시대에는 AI 데이터센터 인프라 뿐만 아니라 AI 에이전트 모델과 전력 인프라까지 통합적으로 공동 설계해 최적화하는 접근이 더욱 중요해질 것”이라고 밝혔다.
이어 “최종 사용자가 AI 서비스를 활용하는 데 소요되는 비용을 획기적으로 절감하고, 동시에 지속가능한 AI 인프라를 구축하기 위한 연구와 투자가 필수적”이라고 강조했다.
이번 연구는 김지인 박사과정 학생이 제1저자로 수행했으며, IEEE HPCA에서 지난 2월 발표됐다. 연구팀은 논문에서 활용한 AI 에이전트 구현 기술과 벤치마크를 오픈소스로 공개해 세계 연구자들이 후속 연구에 활용할 수 있도록 했다.
김영준 기자 kyj85@etnews.com
