낸드를 쌓아 HBM 옆에 붙이다…‘HBF’ 파일럿 라인 연내 가동

AI 반도체 시장의 무게중심이 모델을 만드는 학습에서 실제 서비스를 돌리는 추론으로 옮겨가면서, 고대역폭메모리(HBM) 옆자리를 노리는 새로운 메모리가 상용화 문턱에 다가섰다. 고대역폭플래시(HBF)다.

HBF는 HBM과 만드는 방식이 같다. 반도체 칩을 수직으로 여러 층 쌓고, 칩을 관통하는 미세한 구멍에 전극을 심어 위아래를 잇는 실리콘관통전극(TSV) 기술로 연결한 뒤 GPU 바로 옆에 붙인다. 다른 점은 무엇을 쌓느냐다. HBM은 D램을 쌓지만 HBF는 스마트폰과 SSD에 쓰이는 낸드플래시를 쌓는다.

낸드는 전원이 꺼져도 데이터가 남고 값이 싸지만 읽는 속도가 D램보다 1000배가량 느리다. HBF는 이 약점을 병렬 처리로 우회한다. 낸드 칩 한 장을 수많은 작은 구역으로 쪼갠 뒤, 16장을 쌓아 수천 비트 폭의 통로 하나에 물린다. 읽기 하나하나는 여전히 느리지만 수천 개를 동시에 돌리면 단위 시간당 흘러나오는 데이터양은 커진다. 

같은 낸드를 일반 SSD에 넣으면 초당 14기가바이트가 나오지만, HBF로 포장하면 초당 1.6테라바이트가 나온다. 포장 기술만으로 100배가 벌어지는 것이다.

성능표를 보면 성격이 분명하다. HBM4는 한 덩어리에 36~48기가바이트를 담고 초당 1.6테라바이트를 낸다. HBF는 같은 속도에 512기가바이트를 담는다. 8~16배 용량이다. 대신 데이터를 요청하고 받기까지 걸리는 시간이 HBM의 10~100배이고, 전력은 두 배가량 먹으며 쓰기는 10만 번 정도가 한계다.

그래서 용도가 갈린다. HBF가 담는 것은 AI 모델의 ‘가중치’다. 가중치는 학습을 마친 모델이 갖고 있는 수천억 개의 숫자로, 추론 중에는 바뀌지 않고 읽는 순서도 미리 정해져 있다. 

필요해지기 한참 전에 미리 읽어두면 느린 속도가 문제가 되지 않는다. 반면 대화 내용을 임시로 쌓아두는 KV 캐시는 단어 하나 나올 때마다 새로 쓰기 때문에 낸드 수명이 버티지 못한다. 이 부분은 HBM에 남는다. HBF는 HBM을 밀어내는 것이 아니라 둘을 함께 쓰는 구조다.

경제적 효과가 이 기술의 본질이다. 지금은 GPU 개수가 메모리 용량에 묶여 있다. 1조 개 파라미터짜리 모델은 가중치만 2테라바이트인데 HBM은 GPU에 붙박이로 딱 붙어 나오므로, 메모리를 늘리려면 GPU를 더 사는 수밖에 없다. HBF 몇 덩어리로 가중치를 옮기면 GPU 수와 연결망, 전력이 함께 줄어든다. 

스택 값 자체는 HBM과 비슷하지만 담기는 용량이 10배여서 기가바이트당 단가는 10분의 1이 된다. 낸드가 싸서가 아니라, 원가의 대부분이 적층과 패키징이기 때문이다.

개발을 주도하는 곳은 미국 샌디스크다. 지난해 7월 기술자문위원회를 꾸리고 8월 SK하이닉스와 규격 표준화 양해각서를 맺었다. 올해 2월 25일에는 캘리포니아 밀피타스 본사에서 표준화 컨소시엄 킥오프 행사를 열고, 세계 최대 개방형 데이터센터 협의체인 OCP 산하에 전담 조직을 만들었다. 

샌디스크가 독점을 포기하고 표준화에 나선 이유는 분명하다. 하이퍼스케일러들은 공급처가 하나뿐인 부품을 수십억 달러짜리 시스템에 넣지 않는다. 시장을 키운 뒤 그 안에서 가장 큰 몫을 갖겠다는 계산이다.

샌디스크는 지난 4월부터 소재·부품·장비 업체들과 접촉하며 시제품 생산 라인 구축에 들어갔다. 생산지로는 일본이 유력하다. 라인은 하반기 완공돼 연말께 가동에 들어가며, 일정을 반년가량 앞당길 수 있다는 관측도 나온다. 첫 샘플은 올 하반기 SK하이닉스 등 고객사에 공급되고, HBF를 얹은 AI 추론 장치 샘플은 내년 초 나온다.

SK하이닉스는 적층을 맡는다. 샌디스크가 낸드를 만들고 SK하이닉스가 이를 쌓는 분업이다. HBM에서 다져온 적층·패키징 기술을 낸드로 옮기는 셈이다. 

회사는 지난달 컴퓨텍스에서 HBF 실물을 세계 최초로 공개했다. 앞서 발표한 논문에서는 엔비디아 GPU 옆에 HBM 8덩어리와 HBF 8덩어리를 함께 붙이는 구조를 제시했는데, 시뮬레이션에서 HBM만 썼을 때보다 전력당 성능이 최대 2.69배 개선됐다.

삼성전자는 아직 공식 발표를 내지 않았다. 2020년대 초부터 연구해왔고 관련 특허를 확보 중인 것으로 알려졌다. 파운드리의 14나노급 공정을 낸드의 회로 부분에 적용하는 방식을 검토하고 있다. 목표 시점은 2027년이다.

일본 키옥시아는 샌디스크와 20년 넘게 공장과 연구개발을 공유하는 합작 파트너로, 사실상 같은 실리콘을 쓴다. 지난해 8월 5테라바이트급 HBF 시제품을 만들었고, 회사 측은 데이터센터보다 현장에 놓이는 소형 서버의 추론 용도를 겨냥한다고 밝혔다. 마이크론은 HBF에 대해 아무 입장을 내놓지 않았다.

수요 쪽에서는 엔비디아와 AMD, 구글이 거론된다. 엔비디아 젠슨 황 최고경영자는 올해 1월 CES에서 추론 시대에는 HBM만으로 메모리 병목을 풀 수 없다며 차세대 가속기 베라 루빈에 저장장치를 GPU에 직접 연결하는 ICMS 플랫폼을 넣겠다고 밝혔다. 

여기에 HBF를 중간 계층으로 끼워 넣는 것이 자연스러운 경로다. 다만 엔비디아와 AMD 모두 HBF 채택 여부를 공식화하지 않았다.

시장 형성 시점을 두고는 전망이 엇갈린다. SK하이닉스는 2030년 무렵 수요가 본격화할 것으로 본다. HBM 설계를 주도한 카이스트 김정호 교수는 2038년을 기점으로 HBF가 HBM 시장을 넘어설 것이라는 장기 전망을 내놨다.

(썸네일 사진 출처: Tom's Hardware)