노타가 아마존웹서비스(AWS) 인공지능(AI) 전용 칩 환경에서 기업 고객이 자사 AI 모델 성능을 극대화할 수 있게 지원한다.
노타는 AWS 공인 파트너 자격으로, 트레이니움 등 AWS AI 칩 환경에서 고객의 AI 모델이 최고 성능을 발휘할 수 있게 경량화·튜닝 서비스를 제공한다.
AI 최적화 전문인력이 부족한 기업 고객 대상 AWS 고성능 AI 칩 환경에 맞게 AI 모델을 튜닝, 비용 효율화와 추론 성능 개선을 지원하는 게 핵심이다. 노타는 AI 인프라 비용 효율화와 모델 추론 성능 개선이 필요한 고객의 모델에 맞춘 기술 진단과 튜닝을 수행한다.
고객은 AWS AI 칩이 제공하는 우수한 가격 대비 성능과 에너지 효율을 자사 워크로드에서 온전히 활용할 수 있게 된다.
구체적으로 대규모 AI 모델 학습에 최적의 토큰 경제성을 제공하도록 AWS가 자체 설계한 AI 학습 전용 칩 AWS 트레이니움, 고성능 추론을 낮은 비용으로 제공하도록 설계된 AI 추론 전용 칩인 AWS 인퍼런시아 도입을 검토하는 기업에 도움이 될 전망이다.
AI 모델 경량화부터 하드웨어별 최적 배포까지 전 과정을 지원하는 노타 '넷츠프레소' 기반 AI 모델 튜닝 서비스를 출시한다. AI 모델 크기를 최대 90% 이상 축소하면서도 정확도를 유지하는 기술 지원이다. 서비스는 기술검증(PoC) 및 진단, 모델 포팅·경량화, 성능 튜닝 단계로 구성된다.
노타는 AWS 트레이니움·인퍼런시아 환경에서 거대언어모델(LLM) 튜닝 경험을 축적해왔다. 일례로 320억개 파라미터 규모 고성능 언어 모델에 노타의 경량화 기술을 적용해 모델 크기를 68% 줄이고 정확도 손실을 1% 미만으로 유지하는 성과를 달성한 바 있다.
채명수 노타 대표는 “노타는 AWS 칩 성능을 고객이 자사 모델에 온전히 활용할 수 있도록 모델 튜닝을 지원한다”며 “AWS AI 칩 기반 인프라 도입을 검토하는 기업 고객에 실질적 비용 효율화 성과를 제공하겠다”고 말했다.
박종진 기자 truth@etnews.com
