HBM은 어떻게 삼성전자와 SK하이닉스의 무대가 되었나

(사진 출처: 네이버 증권)

최근 삼성전자와 SK하이닉스 주가가 연일 폭등하면서 시장의 자금을 빨아들이는 블랙홀이 되었다. 이런 측면에서만 보면 반도체 슈퍼사이클은 이미 시작된 것 같다. 

당연히 그 중심에는 HBM에 대한 기대감이 있다. 엔비디아를 포함한 전 세계의 반도체 설계 기업들이 HBM 공급을 위해 삼성전자와 SK하이닉스에 손을 내밀고 있기 때문이다. HBM이 대체 뭐길래 삼성전자와 SK하이닉스만 만들 수 있다는 걸까.  

정작 HBM이 무엇인지, 왜 이 기술이 삼성전자와 SK하이닉스 두 회사의 독무대가 되었는지 아는 사람은 많지 않다. 전 세계 수십 개의 반도체 기업이 존재하지만 HBM을 대량으로 만들 수 있는 곳은 단 세 곳뿐이다. 

그리고 그 중 두 곳이 한국 기업이다. 마이크론이 뒤늦게 따라붙었지만 여전히 시장의 75% 이상은 삼성전자와 SK하이닉스가 차지한다. 세계에 반도체 기업이 몇 개인데 왜 HBM을 할 줄 아는 기업은 거의 없을까.

인텔도 있고 TSMC도 있고, 일본과 대만에도 기술력 있는 회사가 수두룩한데 무슨 이유로 전 세계가 한국의 두 기업을 중심으로 돌아가는지가 궁금해진다. 현재 HBM 시장이 가지고 있는 의의는 반도체 시장에서 한 세대에 한 번 나올까 말까 한 ‘진입 불가능한 영역’이 생겼다는 데 있다.

이번 기사에서는 과연 HBM의 진입장벽에는 어떤 비밀이 숨어 있는지를 자세하게 파헤쳐 본다.

도대체 HBM3E와 HBM4가 무엇인가.

HBM은 ‘고대역폭 메모리(High Bandwidth Memory)’의 줄임말이다. 말 그대로 데이터를 훨씬 빠르게 주고받는 차세대 반도체 메모리다. 일반 컴퓨터 메모리가 한 줄 도로라면 HBM은 16차선 고속도로에 가깝다. 

한 번에 처리할 수 있는 데이터 양이 많고 속도 역시 수 배 빠르다. 이 때문에 인공지능(AI) 학습용 그래픽처리장치(GPU)나 슈퍼컴퓨터처럼 엄청난 연산이 필요한 장비에는 반드시 들어간다. 최근 삼성전자와 SK하이닉스가 급등한 이유도 여기에 있다.

HBM3E는 현재 시장에서 가장 많이 쓰이는 최신 세대 제품이다. 이름 끝의 ‘E’는 ‘확장(Extended)’을 뜻한다. 기존 HBM3보다 속도와 전력 효율이 한 단계 더 개선됐다. 초당 최대 1.3테라바이트(TB) 데이터를 오갈 수 있어 엔비디아의 최신 AI 칩 ‘H200’ 같은 제품이 채택하고 있다. 쉽게 말해 HBM3E는 지금 AI 서버의 핵심 부품이다.

HBM4는 다음 세대 제품으로 아직 양산은 시작되지 않았지만 2026년 전후로 시장에 등장할 전망이다. HBM4에는 GPU와 메모리를 물리적으로 더 가까이 붙이는 기술이 적용된다. 데이터 이동 거리를 줄여 속도를 높이고 발열과 전력 손실을 줄이는 구조다.

삼성전자와 SK하이닉스는 모두 이 HBM4 개발 경쟁에 사활을 걸고 있다. 이미 하이닉스는 HBM3E 시장에서 선두를 차지했고 삼성전자는 HBM4 세대에서 기술 우위를 되찾겠다는 전략을 세운 상태다. 앞으로 AI 칩 성능 경쟁은 GPU보다도 ‘HBM을 누가 더 잘 만들어서 공급하느냐’로 판가름날 가능성이 크다.

AI 서버에 HBM이 꼭 필요한 이유

인공지능이 처리해야 할 데이터 양이 폭발적으로 늘었기 때문이다. AI 모델은 수십억 개의 데이터를 동시에 불러오고 계산하지만 기존 메모리로는 이 속도를 감당할 수 없다. GPU의 나머지 모든 부품이 아무리 빨라도 데이터를 기다리느라 멈춰 서는 ‘병목 현상’이 생긴다. 

HBM은 이 문제를 해결하기 위해 고안된 고속 메모리다. 칩을 세로로 여러 장 쌓아 올리는 구조를 사용해 데이터가 위아래로 동시에 흐를 수 있는데 GPU 옆에 밀착해 배치되기 때문에 데이터 이동 거리도 짧고 지연이 거의 없다. 

결과적으로 GPU가 쉴 틈 없이 연산을 이어갈 수 있다. 전력 효율이 높다는 점도 강점이다. 일반 메모리보다 훨씬 적은 전력으로 같은 연산을 처리할 수 있어 AI 데이터센터의 전력 부담을 줄인다. GPU가 엔진이라면 HBM은 연료 공급라인이라고 할 수 있고, 이 메모리가 막히면 AI 성능도 즉시 떨어진다.

삼성전자와 SK하이닉스는 원래부터 HBM을 만들 줄 알았나.

삼성전자와 SK하이닉스가 처음부터 HBM을 만든 건 아니다. 두 회사 모두 오랫동안 DRAM으로 대표되는 일반 메모리를 주력으로 해온 기업이다. DRAM은 PC나 스마트폰에 들어가는 표준형 메모리로 오랫동안 메모리 시장의 주류였다.

HBM은 2013년경 미국의 그래픽 메모리 업체 AMD와 SK하이닉스가 공동 개발하면서 처음 세상에 나왔다. 당시 SK하이닉스는 기술적 모험을 감수하며 3차원 적층 구조라는 새로운 방식에 뛰어들었다. 

삼성전자는 조금 뒤에 합류해 자체 HBM 라인을 구축했고 이후 HBM2와 HBM2E 세대부터 본격적으로 경쟁에 들어갔다. 재미있게도, AI가 없던 시절에 삼성전자와 SK하이닉스가 HBM 개발을 시도한 이유는 완전히 다른 곳에서 시작된다. 

2010년대 초반 반도체 산업의 관심은 지금 같은 인공지능(AI)이 아니라 그래픽이었다. 

게임·영상 산업이 급성장하며 GPU의 연산 속도가 비약적으로 향상되던 시기다. 4K와 8K 해상도, 3D 렌더링, 가상현실(VR) 등 초고화질 그래픽 기술이 잇달아 등장하면서 연산 능력은 빠르게 늘었지만 속도를 받쳐줄 메모리에서 문제가 생겼다.

또 다른 수요처는 슈퍼컴퓨터와 고성능 컴퓨팅(HPC) 분야였다. 과학 시뮬레이션, 기상 예측, 영상 분석 같은 연구용 계산에서는 한 번에 방대한 데이터를 처리해야 하지만 기존 DRAM으로는 대역폭이 턱없이 부족했다. 

게다가 전력 소모까지 높아 효율도 떨어졌다. 업계는 고속성과 저전력 효율을 동시에 갖춘 새로운 메모리를 원했고 그 해답이 HBM이었다.

결국 HBM은 2010년대 초반 게임과 영화에 쓰이는 그래픽 카드의 고해상도 처리와 슈퍼컴퓨터의 연산 경쟁이라는 두 가지 산업적 압박이 낳은 산물이었다. 

그러나 아이러니하게도 훗날 인공지능 시대가 열리면서 AI 학습용 GPU가 이 두 가지 특성을 동시에 요구하게 됐다. 덕분에 한때 틈새 기술로 여겨졌던 HBM이 AI 반도체 시장의 주인공으로 부상하게 되었다.

다른 글로벌 기업들이 HBM에 손대지 않은 이유는.

HBM을 만드는 기업은 전 세계에 손에 꼽힌다. 현재 사실상 삼성전자, SK하이닉스, 마이크론(Micron) 이 세 곳뿐이다. 이 세 회사가 전 세계 HBM 시장의 100%를 나눠 갖고 있다. 그만큼 진입장벽이 높다는 뜻이다.

여기서 의문이 생긴다. 2010년부터 HBM의 중요성이 드러났다면 왜 세계의 수많은 반도체 기업들은 HBM을 개발하려 시도하지 않았을까? 하필 왜 삼성전자와 SK하이닉스만 나란히 개발에 성공한 것일까?

엄밀히 말하면 다른 반도체 기업들 입장에서는 굳이 HBM을 만들 필요가 없었기 때문이다. 이제 와서 보면 오판이라고 할 수도 있지만 그 당시에는 지극히 자연스러운 판단이었다. 수요가 폭발했다고 하면서 만들 필요성을 느끼지는 못했다니, 앞뒤가 안 맞는 것 같지만 엄연한 사실이다.

자세히 설명하면 이렇다. 그 시절 메모리 산업의 주류는 자고 일어나면 시장이 두 배로 커져 있는 스마트폰과 PC에 들어가는 일반 DRAM이었다. 수요가 넘치고 가격도 안정적이었다. 기업 입장에서는 이미 돈이 되는 제품을 계속 찍어내는 편이 훨씬 안전했다.

반면 HBM은 구조가 전혀 달라 새 장비와 공정, 인력이 모두 필요했다. 공정이 복잡하고 불량률이 높아 단가도 비쌌다. 그리고 HBM은 스마트폰과 하등 상관이 없었기 때문에 더욱 관심에서 멀어졌다.

일단 그 모든 난제를 극복하고 만들어낸다 하더라도 당시 반도체 산업의 작은 일부였던 게임용 GPU와 슈퍼컴퓨터 시장만 가지고는 수지타산을 맞출 수가 없었다.

작은 시장에서 수요가 폭발해 봤자 여전히 작은 시장이었기 때문이다. 그 결과 대부분의 회사가 위험 대비 수익이 맞지 않는다며 손을 뗐다.

하지만 삼성전자와 SK하이닉스는 달랐다. 두 회사는 이미 DRAM 시장의 절대 강자였지만 그만큼 성장의 한계를 체감하고 있었다. DRAM 시장은 가격 경쟁이 심해질수록 수익성이 무너지는 구조였고, 이들 두 회사의 기술력은 세계 최고였지만 시장은 점점 원가 싸움으로 변해가고 있었다.

그래서 두 회사 모두 새로운 돌파구가 필요했다. 그 때 눈에 들어온 것이 바로 HBM이다. 시장은 작았지만 기술 장벽이 높았기 때문에 어차피 다른 영역에서 새로운 반도체를 만들어야 한다면 HBM에서 한 번 해보자는 전략이 채택되었다.

당시엔 삼성전자와 SK하이닉스, 두 회사 모두 ‘AI 시대’를 내다본 게 아니라 단순히 ‘메모리 가격 전쟁에서 벗어날 길’을 찾고 있었던 셈이다. 그러나 아이러니하게도 그 선택이 훗날 AI 반도체 붐이 일면서 완벽히 들어맞았다.

마이크론은 어떻게 한국 기업 외의 유일한 HBM 생산 기업이 되었나.

마이크론의 시작은 삼성전자와 SK하이닉스보다 한참 늦었다. HBM 시장이 생각보다 커지는 것을 보고서야 방향을 틀었기 때문이다. 허겁지겁 기존 DRAM 공정과 설비를 바탕으로 HBM 개발팀을 신설하고 2020년대 초부터 공격적인 투자를 시작했다.

마이크론이 뒤늦게 출발하고도 빠르게 따라잡을 수 있었던 이유는 이 회사가 이미 세계 3위의 메모리 기업이었기 때문이다. HBM은 완전히 새로운 기술이 아니라 DRAM 기술의 최상위 확장판이다. 

수십 년간 축적한 공정 노하우와 장비, 소재, 인력, 자본이 이미 갖춰져 있었기에 단기간에 개발 속도를 끌어올릴 수 있었다. 반면 인텔이나 TSMC, 키옥시아, 윈본드 같은 기업들은 전문 분야가 다르다. 

인텔은 CPU 중심이고 TSMC는 칩 위탁생산(파운드리)에 집중한다. 키옥시아는 낸드플래시 전문, 윈본드는 소형 메모리 중심이어서 HBM의 적층형 구조를 구현할 경험이 부족하다. 기술을 흉내 낼 수는 있어도 실제 양산은 불가능한 구조다.

HBM의 수율 문제도 진입장벽을 높였다. 수직으로 칩을 쌓는 3D 적층 구조 특성상 오차가 미세하게만 나도 제품 전체가 폐기된다. DRAM 한 장의 수율이 95%라도 8층으로 쌓으면 전체 수율은 66% 수준으로 떨어진다. 

이런 공정 난도를 감당하면서도 원가를 맞출 수 있는 회사는 초정밀 제조 경험을 쌓은 대형 메모리 기업뿐이고, 이것이 한국 기업 외에는 마이크론뿐이었다.

결국 마이크론은 시장에 늦게 뛰어들었지만 이미 갖춰진 기술 인프라로 추격에 성공한 유일한 비(非)한국 기업이 됐다. 반면 다른 반도체 회사들은 메모리 기술의 기초 체력 자체가 부족해 여전히 진입하지 못하고 있다. 

SK하이닉스는 어떻게 삼성전자를 앞지를 수 있었나. 특별한 기술적 비밀이 있었던 것인가.

가장 큰 차이는 ‘쌓는 기술’에 있다. HBM은 얇은 메모리 칩을 여러 장 포개서 하나로 만드는 구조인데 이 때 층과 층 사이를 얼마나 정밀하게 붙이고 열을 얼마나 잘 빼느냐가 수율을 결정한다. 

SK하이닉스는 이 과정을 ‘MR-MUF’라는 독자 기술로 해결했다. MR은 칩을 녹여 붙이는 리플로우 공법이고 MUF는 칩 사이 빈 공간을 특수 수지로 메워 굳히는 방식이다. 이 둘을 조합해 만든 MR-MUF는 칩이 휘는 현상을 줄이고 열이 잘 빠져나가게 만들어 수율을 높이는 데 유리하다. 

쉽게 말하면 삼성전자는 얇은 테이프로 층을 붙이는 방식(TC-NCF 공법)이라면 SK하이닉스는 열로 녹여 단단히 굳히는 방식인 셈이다. 비슷해 보이지만 결과 차이는 크다. 이런 구조 덕분에 SK하이닉스의 HBM은 안정성이 높고 불량률이 낮다는 평가를 받는다.

HBM은 아주 얇은 반도체를 층층이 붙이는 방식이다 보니 한 층이라도 불량이 나면 전체 칩을 폐기해야 하기 때문에 미세 공정의 작은 오차도 치명적이다. 그래서 하이닉스는 당장 혁신보다는 확실한 품질을 우선했다. 

이런 보수적인 접근이 결과적으로는 시장의 신뢰로 이어졌다. 엔비디아를 비롯한 글로벌 GPU 제조사들이 SK하이닉스 제품을 먼저 채택한 이유도 여기에 있다. SK하이닉스는 HBM3E 양산을 업계에서 가장 먼저 시작했고 고객사들의 품질 테스트를 가장 빠르게 통과했다. 

반면 삼성전자는 퀄리티 인증이 지연되며 시장 진입 시점이 늦어졌고 결과적으로 HBM3E 시장의 주도권이 하이닉스로 넘어갔다. 때문에 삼성전자는 HBM4 세대부터 미세 공정 전환과 새로운 접합 방식을 한꺼번에 시도하며 ‘한방 역전’을 노리는 중이다. 

결국 지금 SK하이닉스는 더 현실적이어야 하고, 삼성전자는 더 혁신적이어야 한다. 삼성전자 입장에서는 신공정 양산에 성공하면 단숨에 판을 뒤집을 수 있지만 실패하면 수율이 떨어지고 시장 신뢰가 흔들릴 수 있다는 위험이 공존한다.

삼성전자의 마지막 한 방은 어디에 있나.

삼성전자가 쓴 방식은 간단히 말해 칩과 칩 사이에 얇은 필름을 끼워 넣고 열과 압력으로 눌러 붙이는 구조다. 다리미로 두꺼운 종이 여러 장을 한 번에 붙이는 것과 비슷하다. 

필름이 녹으면서 접착 역할을 하고 각 층의 회로를 이어주는 형태인데 문제는 이 과정에서 열과 압력이 고르게 퍼지지 않으면 일부 층이 휘거나 들뜰 수 있다는 점이다. 적층이 많아질수록(12단, 16단처럼) 이 문제가 커지기 때문에 수율 확보가 어려워진다. 

게다가 이 필름은 전기를 통하지 않게 만드는 절연성 재료라 열을 잘 내보내지 못한다. 칩 안쪽에서 발생한 열이 갇히면 성능이 떨어지고 불량률이 높아질 수 있다. 

결국 삼성전자는 “이 필름 방식으로 여러 층을 안정적으로 쌓고 동시에 발열도 해결하겠다”는, 두 가지 난제를 한 번에 잡는 고난도 도전을 택한 셈이다. 

삼성전자가 쓰려는 필름 방식은 실패하면 리스크가 크지만 제대로 자리잡기만 하면 제조비를 크게 줄일 수 있다. 액체 재료를 주입하고 굳히는 SK하이닉스의 방식은 공정이 복잡하고 시간이 오래 걸리지만 필름 방식은 정형화된 얇은 필름을 깔고 눌러 붙이면 되기 때문이다. 

말하자면 수작업으로 본드칠하던 것을 스티커 한 장으로 바꾸는 셈이다. 이 때문에 생산 속도도 더 빨라질 가능성이 높다. 액체가 굳을 때까지 기다릴 필요가 없으니 적층 작업을 더 빠르게 끝낼 수 있다. 

또 필름을 이용하면 칩 사이 간격을 더 얇게 조절할 수 있고 층마다 미세하게 두께를 조정할 수도 있다. 설계 자유도가 높아지면 메모리 구조나 회로 배치에 여유가 생기고 앞으로 더 높은 적층 기술(16단 이상)을 구현할 때 공간을 절약할 수 있다. 

품질 편차가 줄어드는 것도 장점이다. 액체를 쓰면 흐름과 기포 같은 변수 때문에 균일하게 굳히기 어렵지만 필름은 일정한 두께로 고르게 붙일 수 있어 생산 안정성을 높일 수 있다. 

열이나 전기를 제어하는 부분에서도 필름 안에 열을 잘 전달하는 소재나 미세한 금속층을 섞어 넣을 수 있기 때문에 열이 쌓이지 않고 빠르게 빠져나가게 설계할 여지가 있다. 이렇게 되면 전력 손실이 줄고 칩 전체 효율도 올라간다. 

마지막으로 공정 호환성 측면에서도 유리하다. 필름 방식은 기존 반도체 접합 공정과 비슷한 장비를 그대로 쓸 수 있어 전환 비용이 낮다. 반면 SK하이닉스의 액체 수지 방식은 완전히 다른 장비와 소재를 요구하기 때문에 신규 투자 부담이 크다. 

물론 이 모든 장점은 ‘완벽히 성공했을 때’의 얘기다. 아직은 발열과 접착 균일성, 수율 문제가 동시에 해결되지 않았고 기술 난이도가 높은 만큼 실패할 경우 손실도 크다. 그래서 삼성전자는 최근 방향을 약간 틀어 하이브리드 본딩(hybrid bonding)과 같은 차세대 접합 기술을 추가로 연구하고 있다.

앞으로 더욱 빨라질 AI 시대의 속도전에서 한국 반도체 업계를 책임지는 두 기업의 행보가 주목된다.