고대역폭메모리(HBM)에 쏠려 있던 인공지능(AI) 메모리 경쟁이 메모리 안에서 연산을 하는 프로세싱인메모리(PIM)로 넓어지고 있다. AI가 학습에서 추론·온디바이스로 옮아가면서, 데이터를 그래픽처리장치(GPU)로 나르는 전력과 시간이 새 과제가 됐기 때문이다.
업계는 PIM을 HBM 대체가 아니라 보완재로 본다. 학습과 초고속 연산은 HBM이, 전력·발열이 민감한 추론과 엣지는 PIM이 맡는 그림이다. 고대역폭플래시(HBF)가 용량을 키운다면, PIM은 데이터 이동 자체를 줄인다.
PIM은 저장만 하던 메모리에 작은 연산 회로를 넣어, 데이터가 있는 자리에서 일부 계산을 끝내는 기술이다. 중앙처리장치(CPU)나 GPU까지 데이터가 왕복하지 않아 병목과 전력을 줄인다.
유회준 KAIST 교수는 이달 SK하이닉스 기고를 통해 HBM과 함께 이후 AI 데이터 병목 극복에 쓰일 주요 기술로 PIM과 HBF, 컴퓨트익스프레스링크(CXL) 3가지 기술을 주목했다.
그는 “AI 병목 현상은 더 이상 단일 칩 수준에서 해결할 수 있는 문제가 아니다”라며 “수십 년 동안 당연하게 여겨져 온 접근 방식, 즉 프로세서와 메모리를 분리하고 버스로 연결하는 방식에 대한 재검토가 필요하다”고 진단했다.
그는 이어 “압축·양자화 같은 소프트웨어 최적화는 효과를 냈지만 한계에 가깝고, 연산 장치가 먼 메모리에서 데이터를 계속 끌어오면 병목은 남는다”며 “이제는 중심 축이 메모리로 이동하고 있으며, 데이터를 멀리 보낼 것인가, 데이터가 있는 곳에서 처리할 것인가를 고민해야 한다“고 설명했다.
삼성전자는 저전력 D램에 PIM을 넣은 'LPDDR5X-PIM'을 상용 제품으로 밀고 있다. 지난달 미국 스탠퍼드대 핫칩스 2026에서 사양을 처음 구체적으로 공개했다. 온디바이스 추론용으로, 기존 저전력 D램 대비 처리 속도 약 2배, 초당 토큰 처리량 약 3배를 제시했다. 내부 연산 대역폭은 초당 614기가바이트(GB)로 일반 입출력(76.8GB)의 8배 수준이다.
연구 발표를 맡은 황가람 삼성전자 엔지니어는 “AI 표준 메모리는 HBM이지만, 거대언어모델이 작아지고 효율화되면서 HBM이 항상 최선은 아닐 수 있다”며 “고대역폭과 저전력을 같이 내는 LP-PIM을 개발했다”고 설명했다.
삼성전자는 이달 '세미콘 타이완 2026'을 통해 LPDDR5X-PIM을 올해 말 또는 내년 초 양산할 계획이라고 밝혔다. HBM 경쟁과 별도로, 추론과 스마트폰·엣지에서 먼저 시장을 열겠다는 전략이다.
SK하이닉스의 PIM은 그래픽 D램에서 출발했다. 'AiM(Accelerator-in-Memory)'은 GDDR6에 연산 회로를 넣은 칩이다. 데이터가 메모리 뱅크에 있는 자리에서 곱셈·누적을 일부 끝내 GPU로 오가는 양을 줄인다. 이 칩을 여러 장 묶어 가속기 카드로 만든 것이 'AiMX'다.
이와 같은 추세는 최근 데이터센터 HBM 쪽으로 확장했다. 올해 세미콘 타이완에서 김호식 부사장은 커스텀 HBM 개념을 소개하며, 스택 맨 아래 베이스다이에 연산 기능을 넣는 구조를 제시했다. 뱅크 안 PIM이라기보다 메모리 패키지 바로 밑에서 계산하는 방식에 가깝다. 데이터가 GPU까지 왕복하지 않게 하자는 것이다. 김 부사장은 이 구조로 거대언어모델(LLM) 추론 성능을 최대 5.15배 높일 수 있다고 강조했다.
업계 관계자는 “삼성전자와 SK하이닉스는 D램과 HBM, 패키징을 같이 갖고 있어 연산 메모리를 넣는 구조에 대응하기 쉽다”며 “삼성전자는 폰과 온디바이스에서 양산 레퍼런스를 만들고, SK하이닉스는 기존 PIM 검증을 발판 삼아 HBM 생태계 안에 연산을 심으려 한다”고 설명했다.
이형두 기자 dudu@etnews.com
