계산하고 싶은 AI, 놀고 있는 GPU...AI 서비스의 고질병, ‘추론 병목’

대규모 언어모델이 실제 서비스에서 답변을 생성하는 과정은 일반적으로 ‘추론(inference)’이라고 불린다. 추론은 학습이 끝난 모델이 사용자의 질문을 입력받아 한 글자씩 토큰(token)을 만들어 내는 단계다. 

이 과정은 계산량이 많이 필요할 것이라는 우리의 고정관념과는 달리 실제로는 연산 능력보다 메모리 접근 속도에 더 크게 영향을 받는 것으로 알려져 있다. 최근 글로벌 AI 업계에서 ‘추론 병목(inference bottleneck)’이라는 표현이 반복적으로 등장하는 배경이다.

언어모델은 답변을 생성할 때 이전에 생성한 모든 토큰의 정보를 참고한다. 이를 위해 모델 내부에서는 ‘키-밸류 캐시(KV cache)’라는 구조를 사용한다. 

KV 캐시는 모델이 과거 문맥을 기억하기 위해 저장해 두는 데이터 묶음으로 대화가 길어질수록 저장해야 할 양이 계속 늘어난다. 이 캐시는 주로 GPU의 고대역폭 메모리(HBM)에 저장되는데, 매 토큰을 생성할 때마다 이 캐시를 반복해서 읽고 쓰는 과정이 발생한다. 

이 때 계산 유닛은 대기 상태에 가깝고 메모리에서 데이터를 가져오는 속도가 전체 처리 속도를 제한하는 경우가 많다.

이 현상은 학습 단계와 비교하면 차이가 더 크게 드러난다. 학습은 대규모 행렬 연산을 장시간 수행하며 GPU의 연산 자원을 최대한 활용한다. 반면 추론은 짧은 계산과 빈번한 메모리 접근이 반복된다. 

이 때문에 GPU 성능을 나타내는 연산 지표가 높아도 실제 서비스 환경에서는 초당 생성 가능한 토큰 수가 기대만큼 나오지 않는 상황이 발생한다. GPU는 바쁜 척을 하면서 실제로는 메모리를 기다리고 있다는 것이다.

이 같은 병목은 모델이 커질수록, 그리고 대화 맥락이 길어질수록 더 뚜렷해진다. 

수십억 개 이상의 파라미터를 가진 모델은 한 번의 토큰 생성에 필요한 KV 캐시 접근량이 크다. 여기에 장문 문서 요약이나 장시간 대화처럼 긴 컨텍스트를 요구하는 서비스가 늘어나면서 추론 단계에서의 메모리 부담이 빠르게 증가하고 있다. 

같은 하드웨어를 사용해도 서비스 설계 방식에 따라 처리량이 크게 달라지는 이유다.

이 문제를 완화하기 위한 대응은 하드웨어와 소프트웨어 양쪽에서 동시에 진행되고 있다. 하드웨어 측면에서는 GPU 메모리 대역폭 확대가 핵심 과제로 부상했다. 최근 공개되는 차세대 AI 가속기 로드맵에서는 연산 성능보다 메모리 대역폭과 메모리 용량이 더 중요하게 강조된다. 

쉽게 말해 고대역폭 메모리를 더 많이, 더 빠르게 연결해 KV 캐시 접근 지연을 줄이려는 시도라고 할 수 있다.

한편 소프트웨어 영역에서는 KV 캐시를 효율적으로 관리하는 기술이 확산되고 있다. 대표적인 방식은 캐시를 연속적인 메모리 구조로 관리해 낭비를 줄이는 기법이다. 

기존에는 요청마다 메모리가 파편화되어 실제 사용량보다 더 많은 메모리를 점유하는 문제가 있었다. 이를 개선한 엔진들은 동일한 GPU에서 더 많은 요청을 동시에 처리할 수 있도록 설계돼 있다.

또 다른 흐름은 KV 캐시 자체의 크기를 줄이거나 일부를 제거하는 접근이다. 모든 과거 토큰이 항상 동일한 중요도를 가지지는 않는다는 점에 착안해 상대적으로 중요도가 낮은 문맥 정보를 캐시에서 제외하거나 압축하는 방식이다. 

긴 입력을 처리할 때 필요한 메모리 사용량을 줄이는 데 목적이 있다. 이와 관련된 연구와 구현은 장문 처리 성능 개선을 목표로 빠르게 늘고 있다.

추론 속도를 높이기 위한 기법으로는 ‘스페큘러티브 디코딩(speculative decoding)’도 활용되고 있다. 이 방식은 작은 모델이 먼저 여러 개의 토큰을 예측하고 큰 모델이 이를 빠르게 검증해 통과시키는 구조다. 

기존처럼 큰 모델이 한 토큰씩 생성하는 방식보다 메모리 접근 횟수를 줄일 수 있어 동일한 품질을 유지하면서 처리 속도를 높이는 효과가 있다. 현재 다수의 상용 서비스에서 비용 절감을 목적으로 적용되고 있다.

운영 측면에서는 KV 캐시를 GPU 내부에만 두지 않고 계층형 구조로 관리하려는 시도도 이어지고 있다. 자주 사용되는 캐시는 GPU 메모리에 유지하고 상대적으로 덜 중요한 캐시는 다른 저장 계층으로 옮기는 방식이다. 이를 통해 제한된 GPU 메모리를 보다 많은 사용자 요청에 배분할 수 있다. 

대규모 서비스일수록 이러한 메모리 운용 전략의 영향이 커진다. 추론 병목이 갑자기 주목받기 시작하는 이유는 AI 서비스 비용의 상당 부분이 추론 단계에서 발생하기 때문이다. 동일한 GPU를 사용하더라도 캐시 관리 방식과 디코딩 전략에 따라 초당 처리량이 달라지고 이는 곧 서비스 단가로 이어진다. 

최근 AI 인프라 경쟁이 연산 성능 부문에서 메모리 구조와 소프트웨어 최적화로 대거 이동하는 배경에는 이러한 비용 구조 변화가 자리하고 있다고 할 수 있겠다.