쿠버네티스는 더 이상 웹 서버와 마이크로서비스만을 위한 플랫폼이 아닙니다. 2026년의 클러스터에는 GPU 노드, vLLM과 SGLang 추론 서버, KServe 모델 서비스, Kueue 학습 큐, KEDA 오토스케일러, 그리고 장시간 실행되는 AI 에이전트가 함께 올라옵니다. 익숙한 Pod와 Deployment는 그대로지만, 우리가 던져야 할 질문은 완전히 달라졌습니다.
이 책은 "모델을 어떻게 만들 것인가"가 아니라 "이미 있는 모델을 어떻게 안정적으로, 비용 효율적으로, 확장 가능하게 운영할 것인가"에 집중합니다. GPU 스케줄링, DRA, MIG와 time-slicing, LLM 추론 서빙, disaggregated inference, Gateway API, AI Gateway, 에이전트 샌드박스, GitOps, FinOps, 장애 대응까지 AI 인프라 운영자가 실제로 마주치는 문제를 쿠버네티스 관점에서 풀어갑니다.
쿠버네티스를 어느 정도 아는 백엔드·플랫폼 엔지니어라면, 이 책은 익숙한 리소스들을 AI 워크로드라는 새로운 현실 위에 다시 배치해 줍니다. ML 엔지니어와 MLOps 담당자라면, 노트북과 매니지드 서비스 너머에서 모델이 실제 프로덕션 인프라로 살아 움직이는 방식을 이해하게 될 것입니다.
이 책의 목표는 화려한 데모가 아닙니다. 모델 서버가 늦게 뜰 때 어디를 볼지, GPU가 Pending에 빠질 때 무엇을 확인할지, 새 모델을 어떻게 카나리 배포할지, 에이전트가 외부 도구를 호출할 때 어떤 경계를 둘지, 그리고 월말 GPU 청구서를 어떻게 설명할지까지 다루는 운영자의 책입니다.
