셍성형 인공지능(AI) 기술이 단순한 학습을 넘어 기업 경영과 공공 서비스의 생존 전략으로 자리 잡은 가운데, 'AI 에이전트' 중심의 추론 시대를 선도할 국산 신경망처리장치(NPU) 생태계의 청사진이 공개됐다.
국내 대표 AI 반도체 기업인 퓨리오사AI와 IT 인프라 전문 기업 시스원은 14일 서울 플라자호텔에서 AI NPU 혁신을 주제로 한 '2026 K-NPU 테크 웨이브(K-NPU Tech Wave)'를 공동 주최했다.
콘퍼런스의 핵심 화두는 '학습'에서 '추론'으로의 AI 시장 패러다임 전환과, 이에 따른 신경망처리장치(NPU)의 새로운 수요 창출이었다. 참가자들은 AI 에이전트 서비스가 본격화되면서 폭발적으로 증가하는 추론 워크로드를 감당하기 위해서는 전력 효율성과 가성비가 극대화된 전용 반도체가 필수적이며, 그 최적의 대안이 바로 NPU라는 점에 입을 모았다.
행사의 문을 연 퓨리오사AI 백준호 대표는 환영사를 통해 “퓨리오사AI가 스타트업으로 시작해 지난 9년 반 동안 연구 개발을 지속해 올 수 있었던 바탕에는 대한민국 반도체 및 IT 산업의 고도화된 인적 자원과 정부 및 벤처 생태계의 과감한 지원이 있었다”며 소회를 밝혔다.
백 대표는 이어 “기술적으로는 이미 세계적인 수준의 자신감을 확보했다”며 “퓨리오사AI의 2세대 AI 가속기 칩인 '레니게이드(RNGD)'는 올해 초 양산 단계에 진입하여 실제 서비스에 적용되기 시작했다”고 했다. 그는 “과거에는 여건이 조성된 환경 속에서 연구 개발에 집중했다면, 지금부터는 글로벌 빅테크 기업들이 주도하며 부가 가치를 독점하고 있는 AI 반도체 시장에서 우리만의 새로운 생태계를 만들어 나가야 하는 중요한 출발점”이라며, “메모리 반도체의 성공을 넘어, 국산 NPU 칩과 이를 둘러싼 솔루션 생태계가 대한민국의 새로운 미래 성장 동력이 될 것”이라고 했다.
퓨리오사 NPU의 총판을 맡은 시스원 김영주 대표는 “우리는 지금 생성 및 추론 AI의 폭발적 성장과 가파른 기술 혁신의 시대를 관통하고 있지만, 기존 CPU와 GPU 중심의 인프라가 초래하는 고비용 구조와 전력 부족 문제는 지속 가능한 AI 혁신을 가로막는 거대한 장벽이 되고 있다”고 했다. 김 대표는 “퓨리오사 AI의 차세대 NPU 레니게이드는 기존 시장의 패러다임을 바꿀 초저비용·초고효율의 혁신적인 게임 체인저”라며, “시스원이 지난 40여 년간 축적해 온 인프라 통합 기술과 엔지니어링 역량을 결합해 공공, 금융, 기업 시장에 안정적으로 안착할 수 있도록 완벽한 인공지능 전환(AX) 전략을 지원하겠다”고 밝혔다.
기조 발표를 맡은 한국지능정보원(NIA) 김은주 본부장은 'NPU와 AI 주권: 공공의 역할과 전략'을 주제로 정부의 강력한 K-클라우드 전략과 실질적인 NPU 확산 사업의 현황을 소개해 주목을 받았다.
김 본부장은 “과거 과기정통부와 함께 국산 MPU와 국내 클라우드 기업을 접목하는 실증 단계를 거쳐, 이제는 본격적인 확산 시장을 열어야 할 때”라며, “그 첫 단추로 공공 분야에서 보유하고 있는 방대한 CCTV 인프라를 AI 기반 실시간 모니터링 체계로 전환하는 프로젝트를 기획했다”고 소개했다. 현재 공공 CCTV는 대부분 인력의 육안 모니터링에 의존해 사후 역추적용 후행 조치 수단에 머물고 있으나, 이를 NPU 기반의 AI 기술로 전환하여 사전적 예방 체계로 바꾸겠다는 구상이다.
정부는 올해부터 5년간 공공이 보유한 5만 대 이상의 CCTV를 국산 NPU 기반 AI 모니터링 체계로 전환할 계획이다. 올해는 이미 한국도로공사, 울산광역시 등이 선정되어 지자체 및 기관 보유 CCTV의 약 45%를 NPU 기반 시스템으로 바꾸는 사업이 시행 중이다. 또한 국방부(해군)에서도 해안 경계 등을 위해 국산 AI 모니터링 체계 전환 사업에 약 70억 원 규모의 예산을 투입해 추진하고 있다.
김 본부장은 “AI 시장은 학습 중심에서 추론 중심으로 급격히 전환되고 있으며, 2030년이 되면 추론 시장의 비중이 학습 시장을 넘어설 것”이라고 전망했다. 이어 “우리가 프로세싱 칩 시장에서 취약했지만, 개화하는 추론 시장과 온디바이스 AI, 휴머노이드 로봇 등 정부 드라이브 과제와 맞물려 NPU 기술 성장과 생태계 안착을 이룬다면 충분히 글로벌 경쟁력을 가질 수 있다”고 분석했다.
퓨리오사AI 강지훈 CRO는 두번째 연사로 나서 2세대 NPU RNGD의 독창적인 하드웨어 및 소프트웨어 아키텍처와 구체적인 성능 지표를 공개했다.
강 CRO는 “인퍼런스(추론)가 AI 산업의 주된 키워드가 되면서 토큰(Token) 소비량이 기하급수적으로 늘고 있고, 새로 짓는 데이터 센터의 약 70%가 추론 수요를 타깃으로 하고 있다”며, “한정된 에너지 자원 안에서 얼마나 파워 효율적으로 토큰을 생성하느냐가 핵심 과제”라고 짚었다.
퓨리오사AI가 양산 중인 'RNGD'는 고대역폭메모리인 HBM 48GB를 탑재하고, TSMC의 5나노미터(nm) 공정을 적용해 410억 개의 트랜지스터를 집적한 칩이다. 가장 큰 특징은 경쟁사인 엔비디아)의 고성능 그래픽처리장치(GPU) 대비 소비 전력이 180W(TDP) 수준에 불과하다는 점이다. 기존 GPU 서버가 대당 6~10kW를 소모해 특수 데이터 센터가 아니면 랙당 1~2대밖에 꽂지 못하는 것과 달리, RNGD 카드는 8개를 한 서버에 장착해도 총 전력 소모가 3kW 내외다. 이에 따라 기존 레거시 전산실 환경에서도 공랭식 쿨링만으로 충분히 하이퍼 인프라를 구축할 수 있어 공간 및 상면 효율이 극대화된다. 벤치마크 결과 엔비디아의 대표적인 추론용 카드와 비교해 랙당 40%에서 최대 70% 더 많은 토큰을 생성한다고 했다.
강 CRO는 기술적 핵심으로 '텐서 컨트랙션 프로세서(TCP:Tensor Contraction Processor)' 아키텍처를 소개했다. 행렬 곱과 벡터 연산 등 AI 추론에 필수적인 수학적 연산만을 하드웨어 파이프라인에 그대로 구현하고, 일반화를 위해 성능과 전력을 희생시키던 하드웨어 기반 다이나믹 스케줄링이나 캐시 메모리 요소를 배제했다는 설명이다. 이를 통해 연산 시 전력과 데이터 이동을 최소화했으며, 매 실행 시마다 성능 편차가 발생하는 GPU와 달리 항상 균일하고 예측 가능한 최고 성능을 보장한다.
또한 업계의 가장 큰 장벽으로 꼽히는 엔비디아의 독점 소프트웨어 생태계 '쿠다(CUDA)'에 대해서도 자신감을 피력했다. 강 CRO는 “과거에는 로우 레벨 코딩 장벽이 컸으나, 최근 'AI 에이전트'가 등장하면서 다른 칩으로의 코드 포팅과 프로그래밍을 자동화해 주는 시대가 열렸다”며, “이미 오픈AI 호환 API 엔드포인트, VLM 인터페이스 호환 서빙 프레임워크, 쿠버네티스 플러그인 등 기존 인프라를 그대로 대체하는 '드롭인 리플레이스먼트'가 가능한 풀스택 소프트웨어 환경을 완벽히 구축했다”고 밝혔다. 아울러 현재 퓨리오사AI는 기존 제품보다 10배에서 30배 향상된 처리 용량을 가진 하이퍼스케일러용 차세대 칩을 개발 중이라고 덧붙였다.
시스원의 AI 인프라 부문을 총괄하는 강경원 이사는 '레니게이드(RNGD)로 구현하는 고효율 저비용 AX 전략'을 통해 수요 기업들이 가장 궁금해하는 실제 도입 및 대안 운영 사례를 발표했다.
강 이사는 자동차에 비유해 “동네 마트에 장을 보러 가는데 굳이 비싸고 기름 많이 먹는 슈퍼카(학습용 대형 GPU)를 탈 필요가 없다. 목적에 맞는 전기차(추론 전용 NPU)로도 충분하다”며 가성비 패러다임의 당위성을 설명했다.
시스원은 단순히 하드웨어를 유통하는 총판의 역할을 넘어, 맞춤형 AI 플랫폼 설계부터 구축, 모델 포팅, 최적화 튜닝, 사후 유지보수까지 풀 사이클을 지원하고 있다. 특히 자체 보유한 'AI 솔루션 실증 센터'를 통해 고객의 거대언어모델(LLM)이나 AI 알고리즘이 국산 NPU에서 제대로 구동되는지 사전에 완벽히 검증하는 개념검증(PoC) 프로그램을 상시 운영하고 있다. 전담 엔지니어가 모델 커팅과 컴파일 최적화 튜닝까지 지원함으로써 도입 기업의 불확실성을 제로화한다는 전략이다.
이날 강 이사는 실제 공공기관과 기업의 AX 전환 성공 사례를 구체적인 수치와 함께 공개했다. AI 검색 솔루션을 도입하려던 한 공공기관의 경우, 당초 엔비디아 고성능 GPU 서버(H200 기반) 도입을 검토했으나 급등하는 서버 가격과 전산실 전력 부족 문제에 부딪혔다. 이에 시스원은 실증 센터에서 사전 검증을 거쳐 8개의 레니게이드가 탑재된 NPU 서버로 설계를 변경했다. 결과적으로 기존 GPU 인프라 도입 대비 구축 비용을 약 30% 절감했으며, 전력 소모량 30% 감소, 납기 8주 단축, 전산실 상면 공간 절반 이하 축소라는 획기적인 성과를 거두어 다음 달 최종 구축을 앞두고 있다.
강 이사에 이어 최정진 삼성SDS 그룹장은 초고효율 AI서비스 삼성 플라우드 플랫폼의 서비스형 NPU(NPUaaS)를 소개했고 장정훈 와이즈넛 최고기술책임자(CTO)가 '공공 AI 어플라이언스의 기준을 세우다'를 주제로 발표했다. 또한 홍석환 두다지 대표는 'GPU에서 NPU로: 기존 AI 인프라를 살리는 전환 전략'을 주제로 강연을 마무리 했다.
한편 이번 '2026 K-NPU 테크 웨이브'는 대한민국 AI 주권을 지키기 위한 기술적 토대와 유통·운영 전략이 결합된 연대 체계를 보여주었다는 점에서 의의를 지닌다. 아무리 뛰어난 칩이 있어도 실제 기업 환경에 맞춰 안정적으로 설계하고 24시간 운영하는 엔지니어링 역량이 없다면 시장 확산이 불가능하기 때문이다.
행사에 참여한 전문가들은 “국산 NPU의 성공이 단일 칩의 성능 고도화를 넘어, 반도체 칩과 서버 하드웨어, 그 위에서 구동되는 소프트웨어 프레임워크, 그리고 최종 애플리케이션 및 AI 에이전트 레이어까지 이어지는 '풀스택 생태계'의 완성에 달렸다”면서 “대량 양산 체계의 안정성과 공공·민간의 긴밀한 거버넌스 구축이 향후 글로벌 대전환기 속에서 한국형 소버린 AI의 미래를 좌우할 핵심 열쇠가 될 것”이라고 전망했다.
이경민 기자 kmlee@etnews.com
