대형 언어모델을 로컬이나 사내 서버에서 돌리려는 순간, 가장 먼저 부딪히는 벽은 대개 연산 성능이 아니라 VRAM입니다. 모델 파일은 들어갈 것 같은데 CUDA OOM이 나고, 70B 모델은 겨우 올라갔지만 긴 문서를 넣는 순간 멈추며, GPU를 두 장 꽂았는데 기대만큼 빨라지지 않는 일이 반복됩니다. 이 책은 그 혼란을 숫자와 구조로 풀어냅니다.
이 책에서는 모델 가중치, KV 캐시, 컨텍스트 길이, 런타임 오버헤드를 직접 계산하는 법부터 시작해, 단일 GPU 최적화와 멀티 GPU 도입의 경계, PCIe·NVLink·NVSwitch·InfiniBand 같은 인터커넥트의 현실, Tensor/Pipeline/Data/Expert/Context Parallelism의 차이를 차근차근 설명합니다. 이어 llama.cpp, Ollama, ExLlamaV2 같은 로컬 도구와 vLLM, SGLang, TensorRT-LLM, TGI 같은 프로덕션 추론 엔진을 비교하며, 실제 운영에서 어떤 선택이 왜 필요한지 보여줍니다.
또한 이 책은 GPU 서버만 다루지 않습니다. 소비자용 RTX 3090·4090·5090 워크스테이션, AMD GPU, Apple Silicon과 Mac mini 클러스터, NVIDIA DGX Spark급 소형 AI 노드, Kubernetes 기반 서빙 플랫폼, 멀티 노드 GPU 클러스터까지 폭넓게 다룹니다. 단순히 "어떤 장비가 좋은가"가 아니라, 목적·모델 크기·컨텍스트·동시성·비용·운영 역량에 맞춰 어떤 시스템을 설계해야 하는지 판단할 수 있게 돕습니다.
최종 목표는 가장 큰 모델을 억지로 돌리는 것이 아닙니다. 독자가 자신에게 필요한 모델과 하드웨어를 계산하고, 병목을 측정하고, 장애를 진단하며, 비용까지 감당 가능한 멀티 GPU LLM 로드맵을 세우는 것입니다. VRAM의 벽은 사라지지 않습니다. 하지만 제대로 이해하면 그 벽은 넘을 수 있는 계단이 됩니다.
