노타가 퓨리오사AI 데이터센터용 신경망처리장치(NPU)에서 LG AI연구원의 독자 인공지능(AI) 파운데이션 모델 'K-엑사원 236B'를 최적화했다.
K-엑사원 236B는 약 2360억개 파라미터 규모 거대 모델로 여러 전문가 모델을 선택적으로 활용하는 전문가혼합(MoE) 구조를 채택하고 있다. 최적화 과정에서 각 전문가 모델이 안정적으로 작동하도록 하는 정교한 기술이 필요한데 노타가 NPU 환경에 최적화하며 주요 평가에서 정확도를 유지해냈다.
노타는 모델 전체를 다시 조정하는 방식이 아닌 성능 저하가 발생할 수 있는 일부 구간을 정밀하게 분석하고 필요한 부분에 최적화를 적용, 성능 손실을 최소화했다.
특히 모델 크기를 약 71% 줄여 메모리 부담을 낮추면서 과학 추론, 지시 이해, 수학 문제 해결 등 주요 평가 항목에서 원본 모델과 유사한 정확도를 유지했다.
자체 평가 환경 기준 노타가 최적화한 모델은 과학 추론 항목(GPQA) 79.80점, 지시 이해 항목(IFBench) 68.98점, 수학 문제 해결 항목(AIME25) 88.57점을 기록했다. 원본 모델 성능은 각각 79.1점, 67.3점, 92.8점으로 최적화 이후 3개 평가 단순 평균 기준 원본 대비 약 99.2% 정확도를 보였다.
채명수 노타 대표는 “소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것”이라며 “이번 성과는 퓨리오사AI 데이터센터용 NPU, LG K-엑사원, 노타 최적화 기술이 결합해 대형 AI 모델 실제 운영 가능성을 확인한 사례”라고 말했다.
박종진 기자 truth@etnews.com
