에이전틱 인공지능(AI) 확산으로 연산 병목이 심화하는 가운데, '메모리 중심 컴퓨팅' 전환이 해법으로제시됐다.
김정호 KAIST 교수는 23일 성남 분당구 딥엑스 본사에서 열린 인사이트 포럼에서 “AI는 단순 챗봇을 넘어 스스로 생각하고 행동하는 에이전트로 진화하고 있다”며 “거대언어모델(LLM) 추론 성능의 승부처는 연산 능력이 아니라 메모리 대역폭”이라고 짚었다.
데이터 규모가 커질수록 모델 성능을 좌우하는 요소가 '계산'에서 '데이터의 효율적 공급'으로 이동한다는 설명이다. 특히 AI가 동영상·사진 등 대용량 데이터를 다루는 멀티모달로 확장되면서 메모리 처리 속도뿐만 아니라 용량도 핵심 변수로 부상했다.
핵심 기술로는 MCP를 꼽았다. 그는 “에이전트 간(A2A) 통신과 MCP는 파편화된 AI 도구를 하나로 연결하는 기술”이라며 “NPU 경쟁력은 하드웨어·소프트웨어·기기가 서로 소통하며 일을 처리하는 생태계를 누가 먼저 구축하느냐에 달렸다”고 말했다.
다만, 대규모 데이터 이동에 따른 병목 해결은 남은 과제다. 연산 장치와 메모리 사이에서 칩 연산 성능을 끌어올리는 것만으로는 한계가 있고, 데이터 이동 자체가 지연과 전력 소모를 키워 전체 효율을 떨어뜨린다는 설명이다.
김 교수는 “GPU와 HBM 공급 부족, 첨단 패키징 제약에 따른 칩 인프라 공급 병목, 데이터센터 등 물리적 인프라의 한계, 대규모 자본 조달 부담이 AI 확장을 가로막고 있다”며 “이를 해소하려면 메모리 중심 컴퓨팅으로의 전환이 필수적”이라고 강조했다.
메모리 중심 컴퓨팅은 연산 장치와 메모리 간 이동을 줄여 고비용·고전력 구조를 완화하는 데 초점을 맞춘 접근이다.
국내 AI 반도체칩 스타트업 딥엑스도 온디바이스 AI 시대를 겨냥한 NPU 솔루션을 지속 고도화할 방침이다. 딥엑스에 따르면 자사 NPU(DX-H1 기준)는 GPU 대비 전력 비용을 약 85% 절감할 수 있다. 차세대 칩 'DX-M2' 양산도 준비 중이다. 2027년까지 삼성 2나노 공정 기반 개발을 바탕으로 5W 이하 전력에서 온디바이스 생성형 AI 구동이 목표다.
박유민 기자 newmin@etnews.com
