[반도체]HBM3E와 HBM4의 차이, 세상에서 가장 쉽게 이해하기

AI 연산이 커질수록 그래픽처리장치(GPU)의 성능은 계산 코어 수보다 메모리 대역폭에 의해 좌우된다. 연산 장치가 아무리 많아도 데이터를 제때 공급받지 못하면 멈춰 선다. 

이 데이터를 공급하는 장치가 고대역폭메모리(HBM)이다. HBM은 여러 장의 D램을 위로 쌓아 올린 뒤 실리콘관통전극(TSV)이라는 미세한 금속 통로로 수직 연결한 구조이다. 평평하게 꽂는 일반 메모리와 달리, 연산 칩 바로 옆에서 초고속으로 데이터를 밀어 넣는 방식이다.

현재 AI 서버 시장의 중심에 있는 제품은 HBM3E이다. 이 세대는 1024비트 인터페이스를 사용한다. 비트 수는 한 번에 지나갈 수 있는 데이터 통로의 개수이다. 1024개의 선이 동시에 데이터를 보낸다. 핀당 속도는 약 9.6~10Gbps 수준이다. 

이를 모두 합치면 스택 하나에서 초당 약 1.2테라바이트(TB)의 데이터를 처리한다. 적층은 8단과 12단이 주력이었고, 고용량 제품은 48GB까지 구성된다. AI 가속기 하나에 8개 스택이 장착되면 총 대역폭은 8TB에 가까워진다. 초거대 언어모델 학습에서 필요한 방대한 매개변수가 이 통로를 통해 이동한다.

HBM4는 구조 단계에서부터 큰 변화가 있었다. 인터페이스 폭이 2048비트로 확장되어 데이터 통로가 두 배로 넓어진다. 핀당 속도도 12Gbps 이상을 목표로 설계가 진행되고 있다. 통로 폭과 속도가 동시에 확대되면서 스택당 이론적 대역폭은 2TB를 넘어선다. 

제조사 발표 기준으로는 2.3TB 이상이 제시된다. 적층 구조는 12단을 기본으로 16단까지 확대된다. 스택당 용량은 64GB 구성이 가능하다. AI 서버 한 대가 탑재하는 메모리 총량은 수백GB 단위로 상승한다.

HBM4에서 눈에 띄는 변화는 제어 구조이다. 기존 세대에서는 메모리 제어 기능이 GPU 내부에 집중됐다. HBM4는 일부 제어 로직이 메모리 쪽으로 이동한다. 메모리 스택 안에 더 많은 회로가 들어가고 데이터 오류 보정과 전력 관리 기능이 강화된다. 

고속 신호 전송 과정에서 발생하는 왜곡을 줄이기 위한 채널 설계도 새롭게 정의된다. 전력 소모를 낮추기 위한 전압 구조 조정도 포함된다. 같은 데이터량을 이동시키는 데 필요한 에너지가 줄어드는 방향이다.

적층 기술 역시 정교해진다. 여러 개의 D램을 수직으로 쌓을수록 발열과 전력 손실이 증가한다. 이를 해결하기 위해 미세 공정이 적용되고 TSV 간격이 줄어든다. GPU와 메모리를 연결하는 인터포저 면적도 확대된다. 

2026년 2월 들어 삼성전자가 6세대 고대역폭 메모리인 HBM4의 양산 출하를 공식 시작했다는 소식이 전해졌다. 삼성전자는 HBM4 개발을 하며 맞닥뜨린 무수한 기술적 난제를 하나하나 해결해가며 HBM4 개발을 완료했다. 

기존 HBM3E는 1024개의 데이터 선을 동시에 사용하는 구조였다면 HBM4는 이 통로를 2048개로 확대했다. 길이 두 배로 넓어진 고속도로를 만들면서 차량 충돌 없이 시속을 올려야 하는 상황과 유사했다. 신호 간섭이 커지면 데이터 오류가 발생한다. 고속에서 작은 흔들림도 전체 시스템 불안정으로 이어진다.

여기에 적층 수가 늘어나면서 열 문제가 겹쳤다. HBM은 여러 장의 메모리 칩을 위로 쌓는다. 층이 많아질수록 아래쪽 칩은 열에 더 취약해진다. 열이 제대로 빠져나가지 않으면 동작 속도를 유지하기 어렵다. 12단, 16단까지 쌓는 구조에서 발열과 전력 밀도는 개발 단계의 가장 큰 부담이었다. 

수직으로 연결된 미세한 금속 통로가 조금만 어긋나도 스택 전체가 불량이 된다. 칩 하나의 문제가 아니라 전체 묶음이 폐기되는 구조다.

삼성전자는 이 문제를 공정 정밀도 개선으로 대응했다. 칩을 위아래로 연결하는 금속 통로를 만드는 과정에서 균일도를 높였다. 미세 구멍을 뚫고 금속을 채우는 작업의 오차를 줄였다. 적층 과정에서 발생하는 미세한 틀어짐을 최소화했다. 그 결과 수직 연결 불량을 낮추고 생산 수율을 끌어올렸다.

고속 신호에서 발생하는 흔들림을 줄이기 위한 회로 설계도 바뀌었다. 데이터가 지나가는 길을 더 정교하게 설계하고 신호를 안정적으로 밀어주는 구동 회로를 강화했다. 일부 제어 기능을 메모리 쪽으로 옮겨 데이터 오류를 스스로 보정하도록 구성했다. 연산 칩에 집중돼 있던 부담을 분산하는 방식이다. 

전력 관리도 핵심이었다. 속도가 올라갈수록 전력 소모는 크게 증가한다. 삼성은 동작 전압을 낮추고 전력 효율을 개선하는 방향으로 설계를 조정했다. 같은 데이터를 이동시키면서 쓰는 에너지를 줄이는 방식이다. 

발열을 낮추기 위한 열 확산 구조도 강화됐다. 패키지 기판 면적을 키우고 열이 빠져나가는 경로를 개선했다. 여러 층으로 쌓인 칩이 과열되지 않도록 설계했다.

이 모든 과정을 거쳐 삼성은 핀당 11.7Gbps 속도를 안정적으로 확보했고 최대 13Gbps까지 구현 가능하도록 설계했다고 공개했다. 스택당 대역폭은 약 3TB 이상 수준으로 제시됐다. 이는 기존 HBM3E 대비 크게 확대된 수치다.