AI 추론 플랫폼 기업 프렌들리 AI(FriendliAI)는 NVIDIA와 공식 런칭 파트너로 참여해 NVIDIA의 최신 AI 모델인 'Nemotron 3' 모델을 자사 플랫폼을 통해 제공한다고 밝혔다.
이번 협력을 통해 기업과 개발자는 별도의 복잡한 인프라 구축 없이 프렌들리 AI의 플랫폼에서 Nemotron 3 Nano 모델을 손쉽게 배포하고 운영할 수 있다. 프렌들리 AI는 빠른 응답 속도와 비용 효율성을 강점으로 내세우며, 실제 서비스 환경에 적합한 AI 운영 환경을 제공한다. 프렌들리 AI의 고성능 추론 환경에서 Nemotron 3 모델을 사용해 AI 에이전트를 안정적으로 운영할 수 있다.
전병곤 프렌들리 AI 대표는 “Nemotron 3와 FriendliAI 플랫폼의 결합은 AI가 스스로 판단하고 작업을 수행하는 '에이전틱 AI'를 보다 현실적인 비용과 성능으로 구현할 수 있게 하는 중요한 계기”라며 “기업들이 대규모 AI 서비스를 운영하는 데 필요한 성능과 효율성을 동시에 제공하는 것이 목표”라고 말했다.
Nemotron 3 모델은 복잡한 추론과 논리적 판단이 필요한 작업에 특화된 AI 모델로, 하이브리드 Mamba-Transformer 기반의 Mixture-of-Experts(MoE) 아키텍처를 가진다. Nano 모델은 100만 토큰 컨텍스트와 함께 소프트웨어 개발, 금융, 유통, 사이버 보안 등 다양한 산업 분야에 활용할 수 있도록 설계됐다. 특히 계산 자원을 효율적으로 사용하는 구조를 적용해, 성능을 유지하면서도 운영 비용을 줄일 수 있도록 한 점이 특징이다.
프렌들리 AI 플랫폼에서 Nemotron 3 Nano 모델을 실행할 경우 최적화된 GPU 활용과 MoE 서빙 최적화 기술, 자동 확장 기능(Autoscaling)을 통해 안정적인 성능을 제공한다. 전용 환경(Dedicated Endpoints)을 사용할 경우 기존 방식 대비 GPU 비용을 50% 이상 절감할 수 있다. 또한 OpenAI와 호환되는 API를 지원해 기존 AI 서비스와의 연동도 용이하다.
전 대표는 “AI 도입을 검토하는 기업들에게 가장 큰 고민은 비용과 운영 복잡성”이라며 “프렌들리 AI 는 고성능 AI를 보다 쉽고 합리적으로 활용할 수 있는 인프라를 지속적으로 제공할 것”이라고 밝혔다.
한편 프렌들리 AI는 전용 AI 추론, 서버리스 API, 컨테이너 기반 솔루션을 통해 48만 개 이상의 AI 모델을 지원하고 있으며, 스타트업부터 대기업까지 다양한 고객의 프로덕션 환경에서 AI 추론 서비스 운영을 지원하고 있다.
이원지 기자 news21g@etnews.com
