한국과학기술원(KAIST·총장 이광형)이 대규모 AI 서버를 구축하기 전, 그 성능·효율을 미리 검증할 수 있는 '가상 실험장'을 개발했다. 막대한 비용·시간 소요를 막을 수 있다.
KAIST는 박종세 전산학부 교수팀이 개발한 거대언어모델(LLM) 서비스 인프라 시뮬레이터 연구가 컴퓨터 시스템 성능 분석 분야 세계적 권위 학회인 'ISPASS 2026'에서 최우수 논문상을 수상했다고 29일 밝혔다.
연구팀이 개발한 'LLMServingSim 2.0'은 복잡한 AI 서비스 환경에서 다양한 하드웨어(HW)·소프트웨어(SW) 조합을 가상 분석할 수 있다. 값비싼 대규모 서버 인프라 구축없이 다양한 설계안을 실험·검증할 수 있다.
기존 그래픽처리장치(GPU) 중심 환경을 넘어 신경망처리장치(NPU), 메모리 내에서 연산을 수행하는 프로세싱 인 메모리(PIM) 등 다양한 HW 환경을 지원한다.
상용화되지 않은 미래형 AI 반도체를 가상 데이터센터 환경에서 미리 시험해볼 수 있다. 특정 반도체를 적용했을 때 서비스 속도가 얼마나 향상되는지, 전력 소모는 얼마나 줄어드는지, 수만 대 규모의 서버 환경에서도 안정적으로 동작하는지 등을 재현·분석할 수 있다.
실제 AI 서비스 운영 과정에서 발생하는 데이터 처리, 요청 분배, 메모리 활용 등 복잡한 동작을 시스템 수준에서 재현해 현실에 가까운 성능 평가가 가능하다. 특히 여러 서버 자원을 분리·연결해 사용하는 분산형 인프라 환경까지 분석할 수 있다. 차세대 AI 데이터센터 연구에도 활용 가능성이 크다.
박종세 교수는 “AI 서비스 경쟁력은 모델 자체뿐 아니라 이를 안정적이고 효율적으로 운영하는 인프라 기술에서 결정된다”며 “이번 시뮬레이터가 연구자와 산업계가 차세대 AI 인프라를 더욱 빠르고 효율적으로 개발하는 데 중요한 기반이 되길 기대한다”고 말했다.
이번 연구는 전산학부의 조재홍·최현민 석사과정 학생이 공동 1저자로 연구를 주도했다.
김영준 기자 kyj85@etnews.com
