HBM이란 무엇인가

GPU가 아무리 많은 연산 유닛을 가지고 있어도 데이터를 제때 공급받지 못하면 기다리게 됩니다. HBM은 이 문제를 줄이기 위해 매우 넓은 인터페이스와 적층 구조를 사용하는 고대역폭 메모리입니다.

3줄 요약
HBM의 적층 구조, 높은 대역폭이 필요한 이유, AI GPU 메모리 병목을 설명합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.

이 글에서 다루는 내용

왜 DDR 대신 HBM인가

일반 메모리는 범용 시스템에 적합하지만, AI GPU는 초당 엄청난 양의 데이터를 읽고 씁니다. HBM은 연산 장치 가까이에 배치되고 넓은 메모리 버스를 사용해 높은 대역폭을 제공합니다.

HBM 80GB, 96GB처럼 말할 때는 용량이고, TB/s 단위로 표현되는 것은 데이터가 이동할 수 있는 속도입니다. 둘 다 중요하지만 의미가 다릅니다.

모델 파라미터, activation, optimizer state, KV cache가 모두 HBM을 사용합니다. 모델이 HBM에 들어가지 않으면 여러 GPU로 나누거나 CPU 메모리로 offload해야 해 성능에 영향을 줄 수 있습니다.

연산이 충분히 빠른데 성능이 안 나오는 경우 memory-bound일 수 있습니다. 이때는 Tensor Core 성능보다 HBM 대역폭이 더 중요한 제한 요소가 됩니다.

아닙니다. 용량은 큰 모델을 담는 데 유리하지만, 실제 속도는 대역폭과 연산 구조, 소프트웨어 최적화에 좌우됩니다.

LLM 추론에서 이전 토큰의 attention 상태를 저장하기 때문입니다. 컨텍스트가 길고 동시 사용자가 많을수록 커집니다.