NVSwitch란 무엇인가

NVSwitch는 여러 GPU의 NVLink 연결을 스위칭해 GPU 간 통신 경로를 확장하는 장치입니다. GPU가 많아질수록 단순 점대점 연결만으로는 복잡해지기 때문에 스위치 패브릭이 필요합니다.

3줄 요약
NVSwitch가 여러 GPU를 연결하는 방식과 NVLink와의 역할 차이를 설명합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.

이 글에서 다루는 내용

NVLink와 NVSwitch의 차이

NVLink = 고속 링크 NVSwitch = 여러 NVLink를 연결하는 스위치 GPU ─ NVLink ─┐ GPU ─ NVLink ─┼─ NVSwitch ─┬─ GPU GPU ─ NVLink ─┘ └─ GPU

GPU 수가 늘면 모든 GPU를 직접 연결하기 어렵습니다. NVSwitch는 다수 GPU 사이의 통신 경로를 조직하고 높은 총 대역폭을 제공합니다.

Tensor Parallel이나 대규모 All-Reduce에서는 GPU 사이에 많은 데이터가 오갑니다. NVSwitch 기반 패브릭은 이러한 통신에서 중요한 역할을 합니다.

최근의 고밀도 AI 시스템은 서버 한 대보다 더 큰 범위에서 GPU를 하나의 패브릭으로 묶는 방향으로 발전하고 있습니다. 이때 NVSwitch 계열 기술이 핵심입니다.

아닙니다. GPU용 NVLink 패브릭을 위한 전용 스위칭 구성 요소입니다.

소프트웨어 관점에서 여러 GPU를 긴밀하게 연결해 사용할 수 있지만 물리적으로는 여러 GPU이며 메모리도 분리되어 있습니다.