SK가 AI 데이터센터(AIDC)에 더 많은 메모리를 탑재하고 추론 효율을 높인 '서비스형 메모리(MaaS·Memory as a Service)' 전략으로 AI 팩토리 경쟁에 나선다. AI 인프라 최대 병목이 그래픽처리장치(GPU)에서 메모리로 옮겨가면서, 메모리 반도체 리더십을 앞세워 AI 토큰 생산성에서 차별화를 꾀한다는 전략이다.
정석근 SK하이퍼 대표는 8일 한국정보통신진흥협회(KAIT)가 주최한 디지털인사이트포럼 특별강연에서 “AI 산업 경쟁의 새로운 병목은 메모리”라며 “추론 수요가 급증하며 고대역폭메모리(HBM)뿐 아니라 D램, SSD로 이어지는 메모리 계층의 생산 효율성이 부각됐다”고 밝혔다.
AI 추론 증가는 토큰 소비량과 직결된다. 추론 과정에서 입력 정보를 저장하는 KV캐시는 모델 대형화와 장기 기억, 에이전트 반복 작업으로 계속 불어나고 있다. AI 워크로드에서 추론이 차지하는 비중은 2025년 25.4%에서 2030년 42.6%로 급증할 전망이다.
정 대표는 “AI 추론 특성상 메모리가 많으면 효율이 난다”면서 “다만 연 단위 계약에서 수년간 장기공급계약으로 바뀌는 등 메모리 확보가 어려워지면서 동일한 자원으로 효율적으로 지능을 생산하는 역량이 중요해졌다”고 강조했다.
SK가 추진하는 서비스형 메모리(MaaS)는 이 병목을 겨냥했다. 메모리 칩을 한 번 팔고 끝내는 것이 아닌 고객의 AI 모델과 애플리케이션에 맞춰 메모리 구성과 소프트웨어를 함께 제공하는 개념이다. SK AIDC에 계층화한 메모리를 추가로 투입하고 데이터 위치와 이동을 SW로 최적화해 토큰 생산성을 높이는 방식이다.
정 대표는 AIDC 경쟁 지표도 바뀌었다고 진단했다. GPU 보유량이 곧 역량이던 '용량의 시대'에서 메가와트당·와트당·달러당 토큰을 따지는 '생산성의 시대'로 넘어왔다는 것이다. 그는 “똑같은 전기와 GPU를 가지고도 토큰 생산성이 다를 것”이라며 “MaaS는 메모리 리더십을 AI 팩토리 생산성으로 전환하는 전략”이라고 설명했다.
AI팩토리 핵심 경쟁 조건은 매출과 현금흐름, 지속가능성과 재투자다. 1GW 용량의 AIDC를 확보하는데 약 100조원의 막대한 자본이 투입되며, 수요층인 하이퍼스케일러도 한정돼있다. 글로벌 경쟁도 치열하다. 최근 급부상하는 인도의 경우 AIDC 구축비가 국내의 60~70% 수준이며 20년 세금감면 등을 앞세워 GW급 수주를 늘리고 있다.
정 대표는 한국의 차별점으로 메모리 경쟁력을 중심으로 전력·냉각, 설계·구축(EPC), 실산업 수요를 묶은 통합 생태계를 제시했다. AI 모델이 전략 자산이 되면서 입지 선택에서 비용보다 신뢰가 중요해졌다는 점도 강조했다.
정 대표는 “AI 인프라 자산은 미군기지와 같다”며 “기지를 선택하는 데 땅값이 싸다고 하지는 않을 것”이라고 부연했다. 메모리 생산 기반과 제반시설, 구축 노하우를 앞세워 AIDC 전략적 요충지로 떠오를 모멘텀이 충분하다는 것이다.
SK는 전담법인 SK하이퍼 중심의 AIDC 풀스택 역량을 내세웠다. 정부 지원에 더해 그룹의 건설·발전·반도체·통신 역량을 하나로 묶는 오케스트레이션 전략으로 토큰 생산성을 높이고 글로벌 AI 토큰 팩토리 핵심 거점으로 도약한다. 현재 300MW의 데이터센터 인프라를 2030년까지 5GW 규모로 확대한다는 구상이다.
이날 개회사를 맡은 최재유 포럼 공동의장(전 미래창조과학부 제2차관)은 “한 기업의 역량만으로 글로벌 경쟁력을 갖춘 생태계를 완성하기 어렵다”며 “우리나라가 보유한 반도체·전력·ICT·제조 역량을 하나의 AIDC 생태계로 결집하고 이를 통합 패키지 형태로 수출할 수 있는 경쟁력을 확보해야 한다”고 제언했다.
박준호 기자 junho@etnews.com
