개벽을 통해야만 인공지능(AI) 신천지에서 생존할 수 있다. 호기와 위기는 항상 쌍으로 붙어 다니는 빛과 그림자와 같다. 한국 반도체의 위기 요인을 한마디로 요약하면, 메모리 강국이면서도 AI 메모리 방향의 주도권을 쥐고 있지 못하다는 점이다.
'세계 메모리 1위인 우리가 주도권을 쥐지 못하다니'하고 놀랄 수도 있다. 그러나 부끄럽게도 한국 메모리는 아직도 저 동네, 특히 미국 컴퓨터 회사, AI 회사들이 정해 주는 기능이나 구조에 의존하고 있다.
데이터 센터 가격에서 그래픽처리장치(GPU)와 메모리 가치의 비율이 8대 2 정도라는 것만 보면 알 수 있다. 한국이 1위라고 자랑스러운 고대역폭 메모리(HBM) 구조 역시 실제 응용에서는 GPU 회사들이 주도했다고 할 수 있다. 위기는 언제라도 메모리 공급자를 바꿀 수 있는 주도권을 그들이 쥐고 있다는 점에서 상존한다.
아무리 새로운 AI 반도체라고 하더라도 종래 컴퓨터의 소프트웨어(SW) 구조를 그대로 사용한다는 점이다. AI가 인간 두뇌의 연산 방식을 흉내 내고 있다고 하더라도, 전체적으로는 종래 컴퓨터 구조인 '폰 노이만' 구조를 채택하고 있다.
프로그램을 메모리에 넣어두고 연산기(Processor)가 AI 프로그램을 수행하고 이 과정에서 필요한 데이터를 다시 메모리와 주고받는 구조다. 연산이나 판단, 그리고 메모리 기능이 한 개의 신경세포에서 동시에 일어나는 사람의 두뇌와는 근본적으로 다르다.
AI 반도체라고 이름 붙이는 이유는 답을 얻기 위해서 사용하는 계산법이 인간 두뇌를 흉내 내고 있다는 점 때문이다. 어정쩡한 이러한 형태가 한국 반도체에 위기와 기회를 동시에 제공하고 있다.
이때 에너지가 과도하게 사용된다. 기존 반도체 구조로 엄청난 단순 연산(주로 곱셈 후 덧셈)을 빠르게 수행하고 수행 과정에서 메모리와 통신하는데 많은 에너지가 필요하기 때문이다. 과도한 에너지 사용은 주위를 뜨겁게 만들고, 이를 식히기 위해 다시 에너지를 사용하는 악순환을 낳는다. 필요한 에너지 충당을 위해서 원자력 발전소라도 지어야 할 판이다.
기회는 여기에 있다. 진정한 AI 반도체, 즉, 메모리 셀 자체를 인간의 뇌와 유사하게 변형시켜 AI 연산을 메모리에서 자체적으로 수행하는 것이다. GPU에 의지하지 않고 말이다. 이 때 D램(DRAM)이나 낸드플래시 메모리 구조를 크게 변화시키지 않으면 좋을 것이다.
이러한 시도는 메모리 구조를 그대로 사용하고, AI 연산의 담당하는 논리회로 일부를 메모리로 옮겨두는 PIM(Processor in Memory)과는 근본적으로 다르다. PIM은 국부적으로 성공 사례가 발표되고 있다. 그러나, 'AI 반도체 개벽'은 이러한 국부적인 성공으로는 불가능하다. 기존 메모리에 AI 연산 기능을 첨가하는 정도의 PIM에서는 기존 포 노이만 기반 SW를 사용하는 데 엄청난 불편이 예상되기 때문이다.
진정한 AI 반도체는 메모리 셀 자체에 AI 연산을 심는 구조 변환과 동시에 사용자가 편하게 사용할 수 있는 컴파일러를 포함하는 SW의 대변환이 요구된다. 개벽이라고 할 만한 대변환이 필요한 것이다. 연산과 메모리가 분리돼 연산 일정만 신경 쓰는 기존 컴파일러와는 다르게 새로운 AI 메모리 셀에서는 AI 연산 모델과 메모리를 대응하는 기능이 컴파일러에 들어가야 한다.
현재 AI 반도체의 과도한 에너지 사용, 그리고 가격, 크기 등이 AI의 지속 가능성의 걸림돌이 되고 있다. 새로운 AI 반도체 개벽의 요구가 메모리 강국인 한국에 AI 반도체 주도권을 쥘 기회를 제공하고 있다. AI 메모리 셀의 변화에 맞추어서 컴파일러와 SW가 뒤따라와야 하기 때문이다.
한국 반도체는 호황기다. 호황기가 1~2년은 지속될 것이라는 의견이 지배적이다. AI라는 호재를 만나서다. DRAM 여러 개를 적층으로 쌓아서 만든 HBM이 주도하고 있다.
고속으로 메모리 데이터를 사용해야 하는 AI 특히 거대언어모델(LLM) 요구와 맞아떨어졌기 때문이다. 덩달아서 종래 DRAM 역시 가격이 오르면서, 한국 반도체가 이중으로 즐거움을 누리고 있다. HBM에 제조 역량을 할당함으로써 DDR DRAM의 공급이 달리기 때문이다.
한국에는 최고의 메모리 기술과 동시에 가용한 최고의 SW 인재를 가지고 있다. 실기하지 않으려면 장기적인 연구 청사진을 제시하고 실행하는 정부와 산·학·연 의 정신개벽이 필요할 뿐이다.
박영준 라이팩 최고 기술·마케팅 책임자(CTMO)·전 서울대 전기공학부 교수 ypark@snu.ac.kr