현재 챗GPT 같은 거대언어모델(LLM) 서비스는 대부분 고가의 그래픽처리장치(GPU) 서버에 의존해 운영되고 있습니다.
이러한 구조는 서비스 규모가 커질수록 비용과 전력 소모가 급격히 증가하는 한계를 안고 있는데요. 한국과학기술원(KAIST) 연구진이 GPU 의존 구조의 한계를 해결할 수 있는 차세대 AI 인프라 기술을 개발했습니다.
KAIST는 전산학부 박종세 교수를 중심으로 한 애니브릿지(AnyBridge) AI 팀이 GPU에만 의존하지 않고 다양한 AI 가속기를 통합해 LLM을 효율적으로 서비스할 수 있는 차세대 AI 인프라 소프트웨어를 개발했다고 1월 30일 밝혔습니다. 해당 기술은 카카오가 주최한 '4대 과학기술원×카카오 AI 육성 프로젝트'에서 대상을 수상했어요.
이번 프로젝트는 카카오와 KAIST, GIST, DGIST, UNIST 등 4대 과학기술원이 공동으로 추진한 산학 협력 프로그램으로, AI 기술을 기반으로 한 예비 창업팀들의 기술력과 사업성을 종합적으로 평가해 우수 팀을 선발했습니다.
애니브릿지 AI는 KAIST 박종세 교수(대표)를 중심으로 권영진 교수, 허재혁 교수가 함께 참여한 기술 창업팀으로, AI 시스템과 컴퓨터 아키텍처 분야에서 축적한 연구 성과를 바탕으로 산업 적용이 가능한 기술을 개발하고 있습니다.
또한 미국 실리콘밸리 AI 반도체 시스템 스타트업 삼바노바(SambaNova)의 공동창업자이자 스탠포드대 교수인 쿤레 올루코툰(Kunle Olukotun)이 자문위원으로 참여해, 글로벌 시장을 염두에 둔 기술 개발과 사업 확장을 함께 추진하고 있습니다.
애니브릿지 팀은 GPU 중심 인프라의 비용·전력 문제를 분석한 결과, 그 근본 원인이 특정 하드웨어 성능에 있는 것이 아니라 GPU를 비롯해 NPU(AI 계산에 특화된 반도체), PIM(메모리 안에서 AI 연산을 처리하는 차세대 반도체) 등 다양한 AI 가속기를 효율적으로 연결·운용할 수 있는 시스템 소프트웨어 계층이 부족하다는 데 있다고 판단했습니다.
이에 애니브릿지 팀은 가속기 종류와 관계없이 동일한 인터페이스와 런타임 환경에서 LLM을 서비스할 수 있는 통합 소프트웨어 스택을 제안했습니다. 특히 GPU 중심으로 고착화된 기존 LLM 서빙 구조의 한계를 지적하고, 여러 종류의 AI 가속기를 하나의 시스템에서 함께 활용할 수 있는 '멀티 가속기 LLM 서빙 런타임 소프트웨어'를 핵심 기술로 제시해 프로젝트 심사 과정에서 높은 평가를 받았습니다.
이 기술을 통해 특정 벤더나 하드웨어에 종속되지 않으면서도, 작업 특성에 따라 가장 적합한 AI 가속기를 선택·조합할 수 있는 유연한 AI 인프라 구조 구현이 가능합니다. 연구진은 이 기술이 LLM 서비스의 비용과 전력 소모를 줄이고, 확장성을 크게 높일 수 있을 것으로 보고 있습니다.
최성훈 기자 csh87@etnews.com