AI INFRASTRUCTURE LEARNING HUB

GPU부터 네트워크·전력까지
AI 인프라를 한 번에 이해하기

AI 서버를 처음 접하는 사람도 전체 구조를 잡을 수 있도록 GPU, HBM, NVLink, NCCL, InfiniBand, RoCE, 데이터센터 전력과 냉각을 하나의 흐름으로 연결해 설명합니다.

처음부터 배우기주제별 글 보기

처음이라면 이 순서로 보세요

개별 기술부터 외우기보다 “연산 → 메모리 → GPU 간 통신 → 서버 간 통신 → 데이터센터” 순서로 보면 전체 구조가 훨씬 빨리 잡힙니다.

1단계 · 연산CPU와 GPU가 왜 다른지 이해합니다.
CPU vs GPU
2단계 · 메모리GPU가 HBM을 쓰는 이유를 이해합니다.
HBM
3단계 · GPU 연결NVLink·NVSwitch·NCCL을 연결합니다.
NVLink
4단계 · 클러스터IB/RoCE와 AI Fabric을 이해합니다.
AI Fabric

AI 인프라 전체 구조

AI 인프라는 GPU 한 부품이 아니라 아래 계층이 함께 맞물리는 시스템입니다.

ApplicationLLM / Training / Inference
GPU ComputeCUDA / Tensor Core / HBM
Scale-upNVLink / NVSwitch / NCCL
Scale-outInfiniBand / RoCE / Spectrum-X
FacilityPower / Cooling / Rack

GPU 기초

CPU와 GPU의 차이: 왜 AI는 GPU를 쓰는가

CPU와 GPU의 구조 차이, 병렬 처리 방식, AI 학습에서 GPU가 중요한 이유를 설명합니다.

자세히 보기 →

CUDA란 무엇인가

CUDA의 역할, 커널·스레드 개념, AI 소프트웨어 스택에서의 위치를 설명합니다.

자세히 보기 →

Tensor Core란 무엇인가

Tensor Core가 행렬 연산을 가속하는 방식과 AI 성능에서 중요한 이유를 설명합니다.

자세히 보기 →

HBM이란 무엇인가

HBM의 적층 구조, 높은 대역폭이 필요한 이유, AI GPU 메모리 병목을 설명합니다.

자세히 보기 →

HBM3e란 무엇인가

HBM3e의 의미와 대형 AI 모델에서 메모리 세대가 중요한 이유를 설명합니다.

자세히 보기 →

Training과 Inference의 차이

AI 학습과 추론의 목적, 자원 사용 방식, 인프라 설계 우선순위를 비교합니다.

자세히 보기 →

GPU 연결과 분산 학습

NVLink란 무엇인가

NVLink의 역할, PCIe와의 차이, 멀티 GPU 학습에서 왜 중요한지 설명합니다.

자세히 보기 →

NVSwitch란 무엇인가

NVSwitch가 여러 GPU를 연결하는 방식과 NVLink와의 역할 차이를 설명합니다.

자세히 보기 →

NCCL이란 무엇인가

NCCL이 All-Reduce, All-Gather 같은 GPU 집단 통신을 어떻게 지원하는지 설명합니다.

자세히 보기 →

All-Reduce를 쉽게 이해하기

분산 학습에서 All-Reduce가 하는 일과 네트워크 병목이 되는 이유를 설명합니다.

자세히 보기 →

GPU Cluster란 무엇인가

GPU Cluster의 구성 요소와 Compute·Network·Storage·Scheduler가 함께 동작하는 구조를 설명합니다.

자세히 보기 →

AI 네트워크

InfiniBand와 Ethernet의 차이

InfiniBand와 Ethernet을 AI 클러스터 관점에서 지연시간, RDMA, 운영성, 생태계 기준으로 비교합니다.

자세히 보기 →

RoCEv2란 무엇인가

RoCEv2의 구조, RDMA와의 관계, ECN·PFC·혼잡 제어가 중요한 이유를 설명합니다.

자세히 보기 →

RDMA란 무엇인가

RDMA의 데이터 경로, CPU 부하 감소, InfiniBand·RoCE와의 관계를 설명합니다.

자세히 보기 →

Leaf-Spine 네트워크란

Leaf-Spine 토폴로지, ECMP, 동서 트래픽, AI 클러스터에서의 장점을 설명합니다.

자세히 보기 →

AI Fabric이란 무엇인가

AI Fabric이 일반 데이터센터 네트워크와 다른 이유와 GPU 통신 성능을 결정하는 요소를 설명합니다.

자세히 보기 →

Spectrum-X Ethernet이란 무엇인가

Spectrum-X가 AI용 Ethernet에서 어떤 문제를 해결하려는지와 RoCE, 혼잡 제어, 텔레메트리의 관계를 설명합니다.

자세히 보기 →

시스템과 데이터센터

NVIDIA DGX란 무엇인가

NVIDIA DGX의 목적과 통합 AI 시스템으로서의 의미를 설명합니다.

자세히 보기 →

GB200 NVL72란 무엇인가

GB200 NVL72의 랙 스케일 구조와 Grace Blackwell, NVLink 패브릭, 전력·냉각 관점의 의미를 설명합니다.

자세히 보기 →

AI 데이터센터 전력과 냉각

AI 데이터센터의 고밀도 랙, 전력 용량, 열 제거, 공랭과 수랭의 차이를 설명합니다.

자세히 보기 →

이 사이트에서 얻을 수 있는 것