Training과 Inference의 차이
Training은 모델이 데이터를 보고 가중치를 배우는 단계이고, Inference는 학습된 모델을 실제 요청에 사용해 답을 만들어내는 단계입니다. 둘 다 GPU를 쓰지만 인프라 우선순위는 상당히 다릅니다.
3줄 요약
AI 학습과 추론의 목적, 자원 사용 방식, 인프라 설계 우선순위를 비교합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.
AI 학습과 추론의 목적, 자원 사용 방식, 인프라 설계 우선순위를 비교합니다.
이 글은 개념뿐 아니라 실제 인프라에서 어디에 쓰이는지까지 연결해 설명합니다.
Training은 무엇을 하는가
학습에서는 대규모 데이터셋을 반복해서 읽고, forward와 backward 계산을 수행하며, 여러 GPU 사이에서 gradient를 교환합니다. 따라서 연산량과 GPU 간 통신량이 매우 큽니다.
Inference는 무엇이 중요한가
추론은 사용자의 요청에 빠르게 답해야 하므로 지연시간, 처리량, 동시 사용자 수, 메모리 효율이 중요합니다. LLM 서비스에서는 KV cache가 HBM을 많이 차지할 수 있습니다.
인프라 관점의 차이
| 구분 | Training | Inference |
|---|---|---|
| 핵심 KPI | 학습 시간, GPU 처리량 | 지연시간, TPS/QPS, 동시성 |
| 네트워크 | 노드 간 집단 통신이 매우 중요 | 서비스 트래픽과 모델 병렬 통신 중요 |
| 메모리 | 모델·gradient·optimizer state | 모델·KV cache·배치 |
| 운영 | 장시간 배치 작업 | 24x7 서비스 안정성 |
같은 GPU라도 설계가 달라지는 이유
학습 환경은 GPU를 오래 100%에 가깝게 사용하는 것이 목표인 반면, 추론은 트래픽 변동을 흡수하고 응답 시간을 지키는 것이 중요합니다. 그래서 오토스케일링, 동적 배칭, 모델 최적화 같은 운영 기술이 중요해집니다.
자주 묻는 질문
추론 서버도 InfiniBand가 필요한가요?
항상 필요한 것은 아닙니다. 단일 노드 추론이라면 Ethernet만으로 충분할 수 있습니다. 다만 초대형 모델을 여러 노드에 분산하면 고속 패브릭의 중요성이 커집니다.
학습과 추론을 같은 클러스터에서 해도 되나요?
가능하지만 자원 경쟁과 운영 복잡성이 생길 수 있습니다. 조직 규모가 커지면 목적별 클러스터나 자원 풀을 분리하는 경우가 많습니다.