생성형 인공지능(AI)이 시범 단계를 지나 상용 서비스로 자리 잡으면서, 기업의 고민이 모델 성능에서 운영 비용으로 옮겨가고 있다. 더 똑똑한 모델을 만드는 일보다, 만든 모델을 안정적으로 돌리며 수익을 내는 일이 당면 과제가 됐다. 이와 함께 무게중심은 '학습'에서 '추론(서빙)'으로 이동하고 있다.
학습과 추론은 비용 발생 구조가 다르다. 학습은 모델을 만드는 시점에 대규모 연산이 한 번에 집중되는 일회성 작업에 가깝다. 반면 추론은 사용자가 서비스를 쓸 때마다 연산이 끊임없이 발생한다. 트래픽이 늘면 추론 연산도 그만큼 늘어난다. 이는 사용자와 매출이 늘수록 그래픽처리장치(GPU) 사용료도 함께 불어난다는 의미다. 즉, 서비스 규모와 비용이 비례하는 한, 추론 단가를 낮추지 못하면 성장이 곧 적자로 이어진다.
업계도 이 변화를 공식화하고 있다. 백준호 퓨리오사AI 대표는 지난 4월 '레니게이드 2026 서밋'에서 2030년까지 구축될 AI 데이터센터의 약 70%가 추론 영역에 집중될 것이라며, 반복적인 추론 비용을 낮추는 것이 데이터센터 설계의 핵심이 될 것이라고 진단했다. 시장은 성능보다 운영 효율이 생존을 가르는 국면으로 들어선 것이다.
거대 인프라를 운영하는 글로벌 빅테크는 일찍이 답을 인프라 이원화에서 찾았다. 무거운 학습 작업은 범용 GPU에 맡기고, 반복적으로 발생하는 추론은 자체 설계한 전용 칩으로 분담시키는 방식을 택했다. 구글은 학습과 추론에 자체 칩 텐서처리장치(TPU)를 운영한다. 아마존은 학습용 트레이니움(Trainium)과 추론용 인퍼런시아(Inferentia)를 나눠 쓴다. 메타도 자체 추론 칩 MTIA를 데이터센터에 투입하고 있다.
이들이 막대한 비용과 시간을 들여 칩을 내재화하는 이유는 분명하다. 추론은 연산 패턴이 비교적 단순하고 예측 가능해, 전용 칩으로 처리할 때 전력과 비용을 크게 줄일 수 있기 때문이다. 학습이라는 무거운 짐은 범용 GPU에 남기되, 매일 반복되는 추론만큼은 효율을 극대화한 전용 칩에 분담시키는 셈이다. 워크로드를 성격에 따라 나누는 이 전략이 대규모 AI 서비스의 수익성을 떠받친다.
국내에서 추론 워크로드 분담의 대안으로 주목받는 것이 추론 전용 칩 '신경망처리장치(NPU)'다. NPU는 추론 작업을 GPU보다 낮은 전력과 비용으로 처리하도록 설계된 전용 반도체다 그러나 시장의 실제 도입 속도는 기대만큼 빠르지 않다. 전환을 가로막는 장벽이 크게 세 가지다.
첫째는 생태계 성숙도 격차다. GPU의 강점은 흔히 알려진 것처럼 '어떤 모델이든 바로 돌아간다'는 데 있지 않다. 엔비디아 CUDA를 중심으로 파이토치, 텐서플로우 같은 표준 프레임워크 생태계가 공고히 구축되어 있어, 모델을 바꾸더라도 기존 코드와 도구를 거의 그대로 재사용할 수 있다는 점이 핵심이다. NPU는 이 표준 생태계 바깥에 있어, 사용자는 전용 컴파일러와 프레임워크로 코드를 옮기는 변환 과정을 새로 거쳐야 한다.
둘째는 이 변환에 따르는 소프트웨어 종속성과 전환 공수다. 이미 CUDA 환경에 익숙한 개발 조직이 국산 NPU 전용 도구로 코드를 컴파일하고 검증하려면 추가 인력과 시간이 소요된다. “칩 자체 가격이 저렴하더라도, 전환 과정에서 발생하는 잠재적 비용이 기업의 도입을 망설이게 만드는 것이다.
셋째는 시장의 관성이다. 비용 부담은 인지하고 있으나 당장은 GPU로 감당할 수 있다는 판단이 현재 시장 전반에 깔려 있다. 검증된 환경을 두고 굳이 먼저 위험을 감수할 이유가 없다는 일종의 '심리적 저항선'이 작용하는 셈이다.
이 장벽을 낮추려는 시도는 칩 제조사와 클라우드 양쪽에서 나타나고 있다. 리벨리온, 퓨리오사AI 등 국내 NPU 제조사가 하드웨어 성능과 전력 효율을 끌어올리는 한편, 국내 클라우드 사업자(CSP)들은 칩을 직접 사지 않고 빌려 쓰는 NPUaaS(서비스형 NPU)로 진입 문턱을 낮추고 있다.
움직임은 사업자별로 갈린다. 삼성SDS는 올 하반기 퓨리오사AI의 2세대 NPU 'RNGD(레니게이드)'를 기반으로 한 NPUaaS를 삼성 클라우드 플랫폼(SCP)에서 선보일 예정이다. KT클라우드는 앞서 리벨리온 NPU 기반 서비스를 운영해왔다. 가비아 역시 리벨리온 NPU 기반의 NPUaaS를 제공하고 있으며, 단순한 칩 대여를 넘어 추론 프레임워크 최적화 컨설팅까지 함께 지원한다. 이는 기업이 가장 부담스러워하는 코드 전환 공수를 운영 단계에서 덜어주려는 접근이다. 하드웨어만으로는 풀리지 않는 전환 장벽을, 상단의 소프트웨어 운영 역량으로 메우려는 시도가 이어지는 것이다.
다만 이런 접근이 NPU 생태계의 구조적 한계를 단번에 푸는 것은 아니다. 컨설팅 기반 지원은 사람이 직접 메우는 방식이라, CUDA 생태계가 오랜 시간 쌓아온 범용성을 그대로 대체하기는 어렵다. CSP의 운영 역량은 전환 장벽을 완전히 없애기보다, 기업이 그 장벽을 넘는 초기 비용을 낮추는 쪽에 가깝다.
인프라 다변화의 성패는 칩 수급량이 아니라 전환 장벽을 누가 더 낮추느냐에 달려 있다. 같은 NPU 하드웨어를 손에 쥐고도, 그 위에서 어떤 운영 전략과 소프트웨어 역량을 쌓느냐에 따라 사업자 간 격차가 벌어질 전망이다.
이경민 기자 kmlee@etnews.com
