대규모언어모델(LLM)의 추론 비용이 향후 급격히 낮아질 것이라는 전망이 나왔다. 다만 인공지능(AI) 고도화에 따라 토큰 수요가 급증하면서 전체 추론 비용은 오히려 증가할 수 있다는 분석이다.

가트너는 “2030년까지 1조 파라미터 규모의 LLM의 추론 비용이 2025년 대비 90% 이상 하락할 것”이라고 30일 전망했다.

생성형 AI 모델이 처리하는 토큰 단가가 떨어질 것이란 분석이다. 토큰은 생성형 AI 모델이 처리하는 기본 데이터 단위다. 가트너는 이번 분석에서 토큰을 약 3.5바이트(....