AI 추론 서비스에서 확장은 단순히 Pod 수를 늘리는 문제가 아닙니다. 프로덕션 환경에서는 수요 변동에 맞춰 추론 레플리카를 탄력적으로 확장해야 하지만, Kubernetes에서 추론 워커를 콜드 스타트하면 몇 분이 걸릴 수 있습니다.1 이 시간 동안 GPU는 이미 할당되어 있어도 토큰을 생성하거나 요청을 처리하지 못합니다.1
NVIDIA Dynamo Snapshot은 이 콜드 스타트 구간을 줄이기 위한 체크포인트/복원 방식입니다. 한 번 초기화된 vLLM 또는 SGLang 워커 상태를 저장해 두고, 새 워커를 처음부터 다시 로딩하는 대신 저장된 상태에서 복원합니다.2
Dynamo Snapshot이 해결하려는 문제
콜드 스타트 지연은 단순한 시작 시간 문제가 아닙니다. 트래픽이 급증했을 때 필요한 만큼 빠르게 레플리카를 늘리지 못하면 SLA 위반 위험이 커집니다.1 특히 모델 로딩, CUDA 그래프 준비, 커널 워밍업 같은 초기화 과정이 길수록 GPU는 비용이 큰 대기 자원으로 남게 됩니다.
Dynamo Snapshot의 기본 흐름은 명확합니다.
추론 워커를 한 번 실행해 초기화된 상태로 만든다.
해당 상태를 체크포인트로 저장한다.
이후 새 워커는 콜드 스타트 대신 체크포인트에서 복원한다.
문서의 예시에서는 콜드 스타트가 약 1분 걸리는 반면, 체크포인트 복원은 약 10초 수준으로 제시됩니다.2 다만 이 숫자는 고정 성능 보장이 아닙니다. 복원 시간은 스토리지 대역폭, GPU 모델, 같은 노드에서 복원하는지 여부에 따라 달라질 수 있습니다.2
핵심은 CPU 상태와 GPU 상태를 함께 복원하는 것
일반적인 프로세스 체크포인트만으로는 GPU 추론 워커를 온전히 되살리기 어렵습니다. 실행 중인 추론 워커의 체크포인트 가능 상태는 CPU 쪽 호스트 상태와 GPU 쪽 디바이스 상태로 나뉘기 때문입니다.1
CPU 쪽 상태에는 메모리, 스레드, 파일 디스크립터, 네임스페이스가 포함됩니다. 이 부분은 CRIU가 담당합니다. CRIU는 Linux 프로세스를 멈춘 뒤 상태를 저장하고, 나중에 같은 지점에서 다시 실행할 수 있게 해주는 도구입니다.1
GPU 쪽 상태에는 CUDA 컨텍스트, 스트림, 디바이스 메모리, 가상 주소 매핑이 포함됩니다.1 이 정보는 일반적인 호스트 프로세스 상태만으로는 저장할 수 없기 때문에 NVIDIA의 cuda-checkpoint가 CUDA 드라이버 기능을 이용해 처리합니다.1
즉 Dynamo Snapshot의 핵심은 “프로세스를 저장한다”가 아니라, 추론 워커가 다시 이어서 실행될 수 있도록 CPU와 GPU 양쪽 상태를 함께 다룬다는 점입니다.
운영 전에 확인해야 할 조건
Dynamo Snapshot은 현재 프리뷰 성격의 실험 기능입니다. 일부 클러스터 구성에서만 동작할 수 있으며, snapshot-agent DaemonSet은 CRIU 작업을 위해 privileged 모드로 실행됩니다.2 따라서 운영 환경에 바로 적용하기보다는 테스트 클러스터에서 먼저 검증하는 접근이 적절합니다.
체크포인트를 언제 찍는지도 중요합니다. Dynamo는 엔진 초기화가 끝난 뒤, 분산 런타임에 등록되기 전 상태를 저장합니다.1 이미 외부 연결이 열린 상태를 그대로 저장하려 하면 TCP 연결 같은 요소가 문제가 될 수 있기 때문입니다.
따라서 적용 전에는 최소한 다음 질문을 확인해야 합니다.
현재 콜드 스타트 시간이 실제 SLA 위험이나 GPU 비용 낭비로 이어지고 있는가?
워커 초기화 과정 중 어느 지점이 체크포인트에 적합한가?
privileged DaemonSet과 실험 기능을 테스트할 수 있는 클러스터 환경이 있는가?
복원 성능을 좌우할 스토리지, GPU, 노드 배치 조건을 측정할 수 있는가?
결론: 추론 인프라의 새 지표는 “얼마나 빨리 깨어나는가”
Dynamo Snapshot이 보여주는 방향은 분명합니다. AI 추론 인프라의 경쟁력은 처리량뿐 아니라 필요할 때 얼마나 빨리 준비 상태가 되는지에도 달려 있습니다.
Kubernetes에서 GPU 추론을 탄력적으로 운영하려는 팀이라면 콜드 스타트 시간을 단순한 부팅 지연이 아니라 비용, SLA, 확장성에 영향을 주는 핵심 운영 지표로 봐야 합니다. Dynamo Snapshot은 그 문제를 체크포인트와 복원이라는 방식으로 줄이려는 접근입니다.
참고
1NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.