HBM3e란 무엇인가

HBM3e는 HBM3를 개선한 세대로, 더 높은 데이터 전송 속도와 대용량 구성을 통해 AI 가속기의 메모리 병목을 줄이는 데 초점을 둡니다.

세대가 바뀌면 무엇이 좋아지나

HBM 세대가 올라가면 일반적으로 핀당 전송률과 전체 대역폭이 높아집니다. 이는 GPU 연산 유닛에 데이터를 더 빠르게 공급할 수 있다는 뜻입니다.

대형 모델과 메모리 용량

모델 규모가 커지면 파라미터 자체뿐 아니라 학습 상태와 추론 cache까지 많은 메모리를 사용합니다. 따라서 GPU당 HBM 용량이 클수록 모델 분할 압박이 줄어듭니다.

성능 숫자를 볼 때 주의

HBM3e라는 이름만 보고 비교하지 말고 GPU당 총 메모리 용량, 총 대역폭, GPU 수, 인터커넥트까지 함께 봐야 합니다.

실무 예시

두 GPU가 같은 연산 성능을 제공하더라도 한쪽의 HBM 용량이 더 크면 더 큰 모델이나 더 큰 배치를 처리할 수 있어 실제 처리량이 달라질 수 있습니다.

자주 묻는 질문