데이터센터의 숨은 병목, GPU에 가려진 DDR5 이야기

DDR5는 CPU가 직접 읽고 쓰는 주기억장치 RAM의 규격 이름이다. 그동안 눈에 잘 띄지 않던 이 규격이 최근 데이터센터 하드웨어를 논할 때 반복적으로 등장하고 있다. 

메모리는 예전부터 컴퓨터 시스템의 기본 부품이었지만 생성형 AI가 확산되면서 상황이 달라졌다. 성능 문제가 가격과 공급, 서버 설계 경쟁으로 이어지기 시작했고 최근에는 RAM 시세가 급등하는 흐름까지 나타나며 데이터센터 비용 구조를 좌우하는 핵심 요소로 부상했다.

(사진 출처: 다나와 홈페이지 캡쳐)

DDR5를 이해하려면 서버 안에서 CPU와 메모리가 맡는 역할부터 짚을 필요가 있다. 가장 먼저, CPU를 요리사에 비유하면 RAM은 재료를 펼쳐 두는 작업대에 가깝다. 

요리사가 아무리 숙련돼 있어도 작업대가 좁거나 재료를 꺼내는 속도가 느리면 전체 조리 시간이 늘어난다. DDR5는 국제 반도체 표준기구 JEDEC이 정한 다섯 번째 세대 DDR SDRAM으로 서버와 PC에서 CPU가 직접 읽고 쓰는 주기억장치다. 

이전 세대보다 한 번에 오가는 데이터 양이 늘고 같은 전력을 쓰면서 더 빠른 속도를 낼 수 있도록 설계됐다.

생성형 AI 서비스에서 DDR5는 어떤 역할을 맡을까. DDR5는 주로 GPU에 데이터를 올리기 전과 계산이 끝난 뒤를 담당한다. AI가 문장을 만들어내는 순간은 GPU가 맡지만 그 전후 과정은 대부분 CPU에서 처리된다. 사용자의 질문을 해석하고 필요한 자료를 찾은 뒤 결과를 정리해 전달하는 단계다. 

대표적인 예가 RAG로 불리는 검색증강생성이다. 질문과 관련된 문서를 먼저 찾고 그 내용을 바탕으로 답을 만드는 방식이 여기에 해당한다.

이 때 쓰이는 벡터 데이터베이스는 문서를 숫자 벡터로 바꿔 저장해 두는 시스템으로, 도서관의 색인 카드와 비슷하다. 이런 검색과 전처리, 결과 전달 구간에서 서버가 동시에 처리할 수 있는 요청 수와 응답 지연 시간은 DDR5의 용량과 대역폭에 크게 좌우된다.

그래서 2026년 들어 DDR5는 갑자기 수급과 가격 이슈의 중심에 섰다. 시장조사업체 트렌드포스는 2026년 1분기 범용 DRAM 계약 가격이 전 분기보다 55~60% 오를 수 있다고 전망했다. 

메모리 업체들이 수익성이 높은 서버용 제품과 HBM에 선단 공정과 신규 생산 능력을 우선 배분하면서 다른 제품의 물량이 줄었다는 설명이다. 여기에 미국의 대형 클라우드 사업자들이 DDR5 물량을 미리 확보하면서 나머지 수요자들은 더 높은 가격을 감수해야 하는 상황도 겹쳤다.

실제 가격 급등은 주요 기업 실적 전망 기사에서도 확인된다. 로이터는 DDR5 DRAM 가격이 2025년 4분기에 세 배 이상 뛰었다고 전했다. 지역별 현물 시장에서도 과열 신호가 포착됐다. 

트렌드포스는 중국 현물 시장에서 256GB 서버용 DDR5 모듈 하나가 4만 위안 이상에 거래되고 100개들이 한 박스 가격이 수백만 위안에 달했다고 전했다. 현물 시장 특성상 변동성은 크지만 물건이 부족해졌다는 신호로 읽힌다. 여기에 검사와 패키징을 담당하는 후공정 비용도 오르고 있다. 

가격 문제와 함께 기술적인 병목도 동시에 드러나고 있다. 서버 CPU는 해마다 코어 수가 늘고 네트워크와 저장장치에서 들어오는 데이터도 커지고 있다. 

반면 메모리가 CPU로 들어오는 통로인 메모리 채널 수는 플랫폼 설계로 정해져 있어 쉽게 늘리기 어렵다. 채널은 도로의 차선과 비슷하다. 차선 수가 제한되면 차량이 아무리 많아도 흐름이 막힌다. 현재 고성능 서버 플랫폼은 이 한계를 밀어내기 위해 채널 수를 늘려 왔다.

인텔의 Xeon 6900 계열과 AMD의 EPYC 9005 투린 모두 12채널 DDR5를 지원한다. 업계에서는 차세대 서버 CPU가 16채널로 이동할 가능성도 거론된다.

이 병목을 풀기 위한 해법도 동시에 움직이고 있다. 하나는 MRDIMM이다. 기존 DDR5와 같은 슬롯을 사용하면서 모듈 내부 설계를 바꿔 채널당 대역폭을 높이는 방식이다. 인텔은 파트너들과 표준 DRAM 모듈의 대역폭을 두 배로 늘리는 접근을 소개하고 있다. 

또 다른 하나는 CXL이다. PCIe 기반으로 설계된 CXL은 서버 외부에 있는 메모리를 연결해 필요할 때 더 큰 메모리 공간을 쓰게 해준다. CXL 컨소시엄 자료에 따르면 Milvus RAG 클러스터에서 CXL로 연결한 DRAM을 활용했을 때 로컬 메모리만 사용한 경우보다 벡터 검색 성능이 두 자릿수 가까이 개선됐다.

이제 AI 서비스의 성능과 비용은 GPU 숫자만으로 결정되지 않는 단계에 들어섰다. 서버의 작업대 역할을 하는 DDR5의 크기와 데이터가 오가는 통로의 설계가 함께 맞물려야 전체 효율이 나온다. 

DDR5는 생성형 AI가 데이터센터에 어떤 비용 부담과 병목을 만들고 있는지를 가장 직관적으로 보여주는 지표가 됐다. GPU와 HBM이 전면에 서 있는 동안 DDR5는 공급과 가격, 플랫폼 설계 경쟁 속에서 AI 인프라의 숨은 변수로 자리 잡고 있는 것이다.