메모리 병목은 프로세서의 연산 속도를 메모리의 데이터 공급 속도가 따라가지 못해 시스템 전체 성능이 떨어지는 현상이다. 연산과 메모리 간 성능 격차가 벽처럼 가로막는다는 의미에서 '메모리 월(Memory Wall)'로도 불린다.
이 개념은 1995년 미국 컴퓨터과학자 윌리엄 울프와 샐리 매키가 발표한 논문에서 처음 제시됐다. 연산장치와 메모리를 분리한 폰 노이만 구조에서 데이터는 둘 사이를 끊임없이 오간다. 데이터가 많아지면 처리해야 할 데이터가 연산장치에 도달하지 못해 컴퓨팅 장치가 대기하는 상황이 발생한다.
인공지능(AI) 시대 들어 문제는 더 커졌다. 미국 UC버클리 연구진이 발표한 논문에 따르면 지난 20년간 서버 연산성능은 6만배 늘었지만 메모리 대역폭은 100배 증가에 그쳤다. 거대언어모델(LLM)은 답변을 만들 때마다 방대한 데이터를 메모리에서 불러와야 해 연산 능력보다 데이터 전달 속도가 성능을 좌우한다. 값비싼 그래픽처리장치(GPU)를 늘려도 메모리가 받쳐주지 못하면 제 성능을 낼 수 없다.
메모리 병목은 반도체 산업 지형도 바꿨다. 데이터 저장 역할에 머물던 메모리가 AI 성능을 결정하는 핵심 부품으로 떠올랐다. D램을 수직으로 쌓아 데이터 통로를 넓힌 고대역폭메모리(HBM)가 대표적이다.
최근에는 AI 수요 급증에 따른 메모리 공급 부족을 가리키는 의미로도 쓰인다. 투자은행 UBS는 내년 HBM 수요가 올해보다 91% 늘어 공급을 10%가량 웃돌 것으로 내다봤다. SK하이닉스는 HBM·D램·SSD 등 서로 다른 메모리간 데이터 이동이 새 병목으로 떠올랐다며 전체 메모리 계층 최적화가 필요하다고 강조했다. 최태원 SK그룹 회장도 올해 열린 '컴퓨텍스 2026'에서 이같은 메모리 병목이 2030년까지 이어질 것으로 전망했다.
박준호 기자 junho@etnews.com
