AI 성능의 병목을 푸는 열쇠, 메모리…HBM과 DRAM 기술, 어디까지 왔나

AI 반도체 경쟁의 중심이 연산 능력에서 메모리로 이동하고 있다. 현재 AI 성능을 좌우하는 핵심 요소는 더 많은 계산을 빠르게 처리하는 GPU와 CPU 자체가 아니라 이 칩들이 필요한 데이터를 얼마나 빠르게 공급받을 수 있느냐에 있다. 

최근 AI 모델은 파라미터 수가 기하급수적으로 늘었고 한 번에 처리하는 데이터 양도 커졌다. 계산 장치는 빨라졌지만 데이터를 불러오는 속도가 따라오지 못하면 고성능 칩도 제 성능을 내지 못하는 구조가 굳어졌다. 

(사진 출처: 삼성전자 홈페이지)

이 때문에 GPU에는 고대역폭 메모리 HBM이 사실상 필수 부품이 됐고 CPU에는 서버용 DRAM의 역할이 다시 강조되고 있다.

HBM은 기존 메모리와 구조부터 다르다. 여러 장의 DRAM 칩을 수직으로 쌓고 그 사이를 미세한 관통 전극으로 연결해 하나의 덩어리로 만든 뒤 GPU 옆에 아주 가까이 붙인다. 데이터가 이동하는 거리가 짧아지고 동시에 오가는 통로 수가 크게 늘어나면서 대역폭이 급격히 커진다. 

전력 소모도 같은 대역폭 기준으로는 더 낮다. 이 방식은 대형 AI 모델을 학습시키거나 추론할 때 GPU가 기다리는 시간을 줄이는 데 결정적인 역할을 한다. 반면 일반 DRAM은 메인보드 위 슬롯에 장착돼 CPU와 일정 거리 떨어져 있다. 

신호 안정성과 호환성이라는 제약이 크기 때문에 구조를 단숨에 바꾸기 어렵다. 대신 공정을 미세화하고 모듈 구조를 바꿔 속도와 용량을 단계적으로 끌어올리는 방식으로 발전해왔다.

2026년 초 현재 HBM 기술은 HBM3E 세대가 주력 양산 단계에 올라 있다. HBM3E는 이전 세대보다 더 높은 전송 속도와 용량을 제공하며 최신 AI 가속기의 기본 사양으로 자리 잡았다. 차세대인 HBM4는 국제 표준이 확정되면서 본격적인 양산 준비 단계로 넘어갔다. 

HBM4는 인터페이스 폭이 더 넓어지고 스택당 처리량이 크게 늘어날 것으로 예상된다. 다만 HBM은 메모리 칩만 만든다고 끝나는 제품이 아니다. 

GPU와 함께 패키지로 완성돼야 하기 때문에 첨단 패키징 공정이 병목으로 작용한다. 이 때문에 수요가 급증해도 공급을 단기간에 늘리기 어렵고 HBM 시장은 2026년에도 타이트한 수급이 이어지고 있다.

HBM과 DRAM을 실제로 공급하는 기업은 소수다. 글로벌 시장에서 의미 있는 양산 능력을 가진 곳은 SK하이닉스와 삼성전자 그리고 마이크론 세 곳이다. 

SK하이닉스는 2026년 기준 HBM 시장에서 가장 앞선 위치에 있다. HBM3E를 대량으로 안정적으로 생산할 수 있는 수율과 패키징 역량을 갖춘 점이 강점으로 평가된다. 이 회사는 이미 차세대 HBM4 개발과 양산 준비도 병행하고 있다. DRAM 부문에서도 최신 공정 기반의 DDR5 제품과 서버용 고용량 모듈을 확대하고 있다.

삼성전자는 HBM 경쟁에서 한동안 고객 인증 지연이라는 과제를 안고 있었지만 2025년 하반기부터 주요 AI 가속기 고객의 요구 조건을 충족시키는 데 성공했다. 

이후 HBM3E 공급을 확대하며 다음 단계인 HBM4로 무게 중심을 옮기는 모습이다. DRAM 분야에서는 미세 공정 전환과 함께 대용량 DDR5 칩을 기반으로 서버와 데이터센터 시장 공략을 강화하고 있다.

마이크론은 상대적으로 늦게 HBM 시장에 진입했지만 빠른 속도로 존재감을 키우고 있다. 2026년 출하 물량이 이미 대부분 계약된 상태라는 평가가 나올 만큼 수요가 몰리고 있다. 이 회사는 HBM3E를 주력으로 공급하면서 HBM4 양산을 준비 중이며 DRAM 공정에서도 차세대 노드 전환을 통해 경쟁력을 확보하려 하고 있다.

CPU 쪽 메모리인 DRAM의 변화도 눈에 띈다. 서버용 DDR5는 이미 표준 세대로 자리 잡았고 속도는 6400MT/s 수준이 주류로 올라왔다. 여기에 더해 최근 주목받는 기술이 MRDIMM이다. 

MRDIMM은 모듈 내부에 버퍼와 멀티플렉싱 구조를 적용해 같은 DRAM 칩을 사용하면서도 CPU가 체감하는 대역폭을 크게 늘리는 방식이다. 인텔을 중심으로 데이터센터 플랫폼에서 채택이 확대되고 있으며 코어 수가 계속 늘어나는 서버 CPU 환경에서 메모리 병목을 완화하는 수단으로 평가된다.

이제 AI 시대의 반도체 경쟁은 더 빠른 계산 능력만으로 승부가 나기 어렵다. GPU는 HBM 없이는 제 성능을 낼 수 없고 CPU 역시 DRAM 대역폭과 용량이 뒷받침되지 않으면 확장에 한계가 생긴다. 

현재의 메모리 기술은 AI 성능의 상한선을 결정하는 핵심 요소로 자리 잡았으며 HBM과 DRAM을 얼마나 안정적으로 공급하고 진화시키느냐가 반도체 산업의 새로운 경쟁 축으로 굳어지고 있다.