NVLink란 무엇인가

NVLink는 GPU 사이 또는 GPU와 다른 구성 요소 사이의 고대역폭 연결을 위해 NVIDIA가 제공하는 인터커넥트입니다.

3줄 요약
NVLink의 역할, PCIe와의 차이, 멀티 GPU 학습에서 왜 중요한지 설명합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.

이 글에서 다루는 내용

PCIe와 왜 다르게 보나

PCIe는 범용 장치 연결 표준입니다. NVLink는 GPU 중심의 고대역폭 통신을 위해 설계되어 멀티 GPU 환경에서 더 높은 통신 성능을 제공할 수 있습니다.

모델을 여러 GPU에 나누면 activation, tensor, gradient가 GPU 사이를 이동합니다. NVLink는 이 내부 통신의 병목을 줄이는 데 중요한 역할을 합니다.

NVLink가 링크라면 NVSwitch는 여러 NVLink를 스위칭하는 장치입니다. 많은 GPU를 하나의 고속 패브릭으로 묶을 때 NVSwitch가 사용됩니다.

NVLink는 주로 노드 내부 또는 랙 스케일 GPU 패브릭에 사용되고, 서버 간 통신에는 InfiniBand나 Ethernet 계열 네트워크가 사용됩니다.

아닙니다. NVLink와 InfiniBand는 적용 범위가 다릅니다. 대규모 클러스터에서는 둘이 함께 사용될 수 있습니다.

물론입니다. 다만 대규모 모델 병렬 처리에서는 GPU 간 통신 성능이 더 중요해질 수 있습니다.