[반도체]HBM4는 시작일 뿐…AI 메모리의 진짜 승부는 '이 네 글자'

올해 초 삼성전자가 세계 최초로 6세대 고대역폭메모리 HBM4 양산을 시작하고 SK하이닉스와 마이크론이 뒤를 이으면서 AI 반도체 시장의 시선이 'HBM 다음'으로 빠르게 옮겨가고 있다. 

HBM은 D램 여러 장을 수직으로 쌓아 데이터 통로를 넓힌 메모리로 그동안 AI 가속기 성능을 좌우하는 핵심 부품으로 꼽혀 왔다. 그러나 HBM 하나만으로는 풀 수 없는 한계가 드러나면서 업계는 이를 보완할 여러 기술을 동시에 키우는 중이다. 일반인에게는 생소한 이 기술들을 짚어 본다.

◇ CXL, 메모리를 '나눠 쓰는' 기술

GPU 한 개에 붙일 수 있는 HBM 용량에는 물리적 한계가 있다. AI 모델이 커질수록 이 용량 제약이 발목을 잡는다. 이를 해결하는 기술이 CXL(컴퓨트 익스프레스 링크)이다. 

서로 다른 장치들이 메모리를 공유할 수 있게 연결해, AI 서버가 쓸 수 있는 메모리 용량을 효과적으로 늘려 준다. 쉽게 말해 칩마다 따로 쓰던 메모리를 한곳에 모아 두고 여러 GPU가 필요한 만큼 꺼내 쓰는 방식이다. 

시장조사기관 욜에 따르면 CXL 시장은 2022년 170만 달러 규모에 불과했지만 올해 21억 달러, 2028년 약 160억 달러로 커질 전망이다. 삼성전자는 CXL 2.0 기반 D램 모듈 'CMM-D'의 고객 샘플 출하를 마치고 양산에 들어갔고, SK하이닉스도 96GB 제품 인증을 마친 뒤 128GB 제품 인증을 진행하고 있다.

◇ PIM, 메모리가 직접 계산한다

기존 컴퓨터는 메모리에 저장된 데이터를 프로세서로 옮겨 계산한 뒤 다시 메모리로 돌려보낸다. 이 데이터 이동에 시간과 전력이 크게 든다. 

PIM(프로세싱 인 메모리)은 연산 회로를 메모리 칩 안에 직접 심어, 메모리가 AI 연산의 핵심인 행렬 계산을 스스로 처리하고 결과값만 GPU로 보낸다. 데이터를 옮기는 과정 자체를 줄이는 것이다. 

업계에서는 PIM을 적용하면 기존 구조보다 에너지 효율이 수십 배 높아질 수 있다고 본다. SK하이닉스는 이미 PIM 기반 가속기 'AiM'을 실제 응용 분야에 적용해 연산 효율을 입증했다.

◇ SOCAMM2, 데이터센터에 들어온 저전력 모듈

SOCAMM2는 스마트폰에 쓰이던 저전력 D램(LPDDR)을 서버용으로 끌어온 메모리 모듈이다. AI 데이터센터의 전력 소비가 급증하면서 등장했다. 기존 서버용 메모리(DDR5 RDIMM)보다 전력을 적게 쓰면서도 떼었다 붙일 수 있는 모듈형 구조라 유지·보수가 쉽다. 

마이크론은 256GB 제품 샘플을 출하했는데, CPU 한 개에 최대 2TB까지 메모리를 붙일 수 있고 같은 작업을 RDIMM으로 처리할 때보다 전력을 3분의 2 이상 줄인다고 밝혔다. 차지하는 면적도 약 3분의 1 수준이라 액체로 식히는 서버에 유리하다. 엔비디아가 서버 메모리로 저전력 D램을 채택하면서 수요가 빠르게 늘고 있다. 

삼성전자는 SOCAMM2를 업계 최초로 양산 단계에 올렸고, SK하이닉스도 주요 고객사와 샘플 테스트를 진행 중이다.

◇ LPDDR6, 온디바이스 AI의 토대

LPDDR6는 저전력 D램의 최신 규격이다. 스마트폰이나 노트북 등 기기 자체에서 AI를 구동하는 '온디바이스 AI'에 최적화돼 있다. 데이터 처리 속도를 크게 끌어올리면서 전력 효율도 개선했다. 

데이터가 오가는 통로를 기존 16비트에서 24비트로 넓혔고, 국제 반도체 표준화 기구 JEDEC는 전력 소비가 이전 세대보다 약 20% 낮아진다고 확인했다. 가벼운 작업을 할 때는 통로 한쪽만 켜고 나머지는 잠재워 전력을 아끼는 기능도 들어갔다. SK하이닉스와 삼성전자 모두 LPDDR6 제품을 공개했다.

이들 기술은 메모리의 역할 변화를 공통적으로 보여준다. 그동안 메모리는 데이터를 저장만 하는 부품이었지만 이제는 직접 계산하거나(PIM), 여러 장치가 나눠 쓰거나(CXL), 전력을 아끼는(SOCAMM2·LPDDR6) 능동적 부품으로 바뀌고 있다. AI가 더 크고 빨라질수록, 메모리를 둘러싼 이 경쟁의 무게는 더 커질 것으로 보인다.

(썸네일 사진 출처: SK하이닉스 공식 보도)