망고부스트, AI 추론 최적화 소프트웨어 출시

망고부스트, AI 추론 최적화 소프트웨어 출시

망고부스트는 인공지능(AI) 추론 성능과 효율성을 높이는 시스템 최적화 소프트웨어 '망고 거대언어모델(LLM) 부스트'를 출시했다고 16일 밝혔다.

사용자는 아마존웹서비스(AWS) 마켓플레이스에서 소프트웨어를 내려받아 이용할 수 있다.

망고부스트는 망고 LLM 부스트를 적용한 뒤 LLM을 구동할 경우 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성할 수 있다고 소개했다.

이를 위해 △효과적인 시스템 스케줄 조정 △커널 최적화 △독자적인 데이터 프리페칭(Prefetching) 기술 △최신 그래픽처리장치(GPU) 기반의 모델 양자화 기술 등을 사용했다고 설명했다.

망고 LLM부스트는 엔비디아, AMD 등의 GPU와 모두 호환이 가능하다. 또 라마, 믹스트랄, 젬마, 큐웬2, 라바, 파이3, 카멜레온, 미니CPM, GLM-버전4 등 다양한 멀티모달 AI 모델에서 검증됐다.

망고부스트는 해당 솔루션을 향후 주요 클라우드 서비스 공급자(CSP)로 확대 출시할 예정이며, 자체 서버(On-Premise) 배포도 지원할 계획이다.

망고 LLM 부스트를 적용하면 성능을 최대 12.6배 높일 수 있는 것으로 나타났다. (출처:망고부스트)
망고 LLM 부스트를 적용하면 성능을 최대 12.6배 높일 수 있는 것으로 나타났다. (출처:망고부스트)
망고 LLM 부스트를 적용하면 비용을 최대 92% 줄일 수 있는 것으로 나타났다. (출처:망고부스트)
망고 LLM 부스트를 적용하면 비용을 최대 92% 줄일 수 있는 것으로 나타났다. (출처:망고부스트)

박진형 기자 jin@etnews.com