모레가 AMD 그래픽처리장치(GPU) 기반 인공지능(AI) 추론 비용을 최적화하는 토큰 팩토리 소프트웨어(SW) 솔루션을 제시했다.
조강원 모레 대표는 4일 웨스틴 서울 파르나스에서 열린 'AMD 어드밴싱 AI 월드투어 서울 2026' 키노트 세션에 참석해 서비스 환경에서 구현하는 해당 솔루션을 소개했다. 데이터센터 사업자가 토큰 팩토리로 진화하는 데 필요한 SW 전략을 제시한 것이다.
조 대표는 “데이터센터가 AI 토큰을 생산하는 토큰 팩토리로 바뀌면서 경쟁의 기준이 GPU 보유량에서 토큰당 비용으로 옮겨가고 있다”며 “새 모델과 새 가속기가 빠르게 쏟아지는 상황에서 GPU 성능을 가치 있는 실제 비즈니스로 바꾸는 것은 결국 SW”라고 말했다.
데이터센터가 토큰 팩토리로 진화하는 과정은 간단하지 않다. 거의 매달 새로운 오픈소스 모델이 출시될 때마다 이를 빠르게 최적화해 서비스해야 하고, 세대와 벤더가 다른 GPU마다 별도의 최적화도 필요하다. 대규모 전문 엔지니어링 역량과 시간이 필요해 데이터센터 사업자가 직접하기는 부담이다.
모레는 개별 GPU의 커널·추론 엔진 최적화부터 클러스터 레벨의 분산 추론까지 전 계층을 직접 개발했다. AMD ROCm, vLLM, SGLang 등 오픈소스에 기여하고 있다.
모레 'MoAI 인퍼런스 프레임워크'는 신규 모델 최적화 지원, AMD GPU 세대별 최적화, 데이터센터 규모 이기종 분산 추론을 하나의 SW 스택으로 제공한다. 최신 오픈소스 모델을 AMD 인스팅트 MI355X에서 추론할 때 일반적인 서비스 조건 기준 엔비디아 B200 대비 두 배 이상 처리량을 확보했다.
조 대표는 “GPU를 확보하는 것만으로 소버린 AI 경쟁력이 완성되지는 않는다”며 “새 모델을 바로 서비스할 수 있는 소프트웨어와 대규모 클러스터를 안정적으로 운영하는 역량이 함께 갖춰져야 한다”고 강조했다.
이어 “AMD 기반 인프라에서도 최고 수준의 추론 효율을 낼 수 있음을 입증, 한국 소버린 AI 인프라 선택지를 넓히는 데 기여하겠다”며 “데이터센터 사업자가 AMD 기반 토큰 팩토리로 가장 빠르게 전환할 수 있도록 지원하겠다”고 덧붙였다.
모레는 AMD 클러스터뿐 아니라 엔비디아 GPU로 서비스를 운영 중인 사업자가 기존 인프라를 재구축하지 않고 AMD GPU를 더해 하나의 클러스터로 운영하는 이기종 분산 추론도 지원하고 있다.
엔비디아 GPU가 프롬프트 처리를, AMD GPU가 응답 생성을 나눠 처리하는 구성에서 동종 GPU 클러스터 대비 약 1.7배 처리량을 기록했다.
이번 AMD 어드밴싱 AI 월드투어 행사는 국내에서 개최됐다. 모레뿐 아니라 LG전자, 노타, 망고부스트 등 AMD의 AI 컴퓨팅 인프라 분야 국내 파트너가 대거 참여했다. 과학기술정보통신부도 'Building Korea's AI Nation' 주제 패널 토론에 참석했다.
박종진 기자 truth@etnews.com
