AI Fabric이란 무엇인가
AI Fabric은 GPU 클러스터의 분산 학습과 대규모 추론을 위해 설계되는 고성능 네트워크 패브릭입니다. 단순한 '서버 연결망'이 아니라 GPU 성능을 실제 애플리케이션 성능으로 이어주는 핵심 인프라입니다.
3줄 요약
AI Fabric이 일반 데이터센터 네트워크와 다른 이유와 GPU 통신 성능을 결정하는 요소를 설명합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.
AI Fabric이 일반 데이터센터 네트워크와 다른 이유와 GPU 통신 성능을 결정하는 요소를 설명합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.
AI Fabric의 특징
- 높은 east-west 대역폭
- 낮고 예측 가능한 지연시간
- RDMA 지원
- 혼잡 제어
- 집단 통신에 적합한 토폴로지
Compute Fabric과 Storage Network
대규모 AI 환경에서는 GPU 간 통신용 Compute Fabric과 데이터셋 공급용 Storage Network를 구분해 설계하는 경우가 많습니다. 요구 트래픽 패턴이 다르기 때문입니다.
병목이 발생하는 지점
NIC, PCIe, 스위치 업링크, oversubscription, ECN/PFC 설정, 케이블 오류, 잘못된 NUMA 배치 등이 모두 통신 성능을 떨어뜨릴 수 있습니다.
운영에서 봐야 할 지표
링크 사용률, 패킷 드롭, ECN 마킹, retransmission, port error, collective latency, NCCL bandwidth 등을 함께 봐야 합니다.
자주 묻는 질문
AI Fabric은 InfiniBand만 의미하나요?
아닙니다. InfiniBand와 Ethernet 기반 AI 패브릭 모두 가능합니다.
스토리지 네트워크와 같은 건가요?
역할이 겹칠 수 있지만 트래픽 패턴이 달라 별도 패브릭으로 분리하기도 합니다.