비용, 구매, 클라우드 전략 세우기

GPU를 사는 순간, 우리는 작은 인프라 사업자가 된다

멀티 GPU로 대형 언어모델을 돌리는 일은 처음에는 기술 문제처럼 보입니다. 어떤 모델을 몇 비트로 양자화할지, tensor_parallel_size를 얼마로 둘지, NVLink가 있는지, PCIe 대역폭이 충분한지 따지는 일 말입니다. 그런데 실제로 장비를 사거나 클라우드 인스턴스를 켜기 시작하면 곧 다른 질문이 더 크게 다가옵니다.

"이걸 매달 얼마에 운영할 수 있는가?"

여기서부터는 CUDA보다 엑셀에 가까운 세계입니다. GPU 가격, 전기료, 냉각, 고장 위험, 예비 부품, 클라우드 시간당 요금, 스토리지, 네트워크 전송 비용, 엔지니어의 운영 시간까지 모두 비용입니다. 모델이 GPU에 올라가는지만 보면 안 됩니다. 모델이 계속 올라가 있어야 하는지, 하루에 몇 시간이나 실제로 바쁜지, 장애가 났을 때 몇 분까지 멈춰도 되는지도 함께 계산해야 합니다.

이 장의 핵심은 단순합니다. 멀티 GPU 시스템은 "살 수 있느냐"보다 "계속 감당할 수 있느냐"가 더 중요합니다. 좋은 구매 전략은 가장 비싼 GPU를 고르는 것이 아니라, 모델 크기와 사용률, 장애 허용 범위에 맞춰 가장 덜 후회할 구성을 고르는 일입니다.

시간당 요금보다 중요한 것은 토큰당 비용이다

클라우드 GPU 가격표를 보면 H100이 시간당 2~6달러, H200이 그보다 조금 더 비싸고, B200은 더 비싸거나 spot 조건으로 싸게 나오는 식의 숫자가 보입니다. 2026년 5월 기준 GPU 가격 비교 사이트에는 H100 SXM, H200, B200, A100 80GB, L40S, RTX 4090 같은 카드의 클라우드 시간당 가격이 제공되며, 같은 GPU라도 공급자와 지역에 따라 차이가 큽니다¹.

하지만 시간당 요금만 보고 판단하면 쉽게 속습니다. 시간당 2달러짜리 GPU가 시간당 4달러짜리 GPU보다 항상 싼 것이 아닙니다. 비싼 GPU가 두 배 이상의 토큰을 처리한다면, 실제 토큰당 비용은 오히려 낮아집니다. LLM 추론 비용을 비교할 때는 다음 식을 머릿속에 넣어두는 편이 좋습니다.

1백만 토큰당 비용 = (GPU 시간당 비용 ÷ 3600 ÷ 초당 토큰 수) × 1,000,000

예를 들어 어떤 GPU가 시간당 3달러이고 실제 서비스 조건에서 1,000 tokens/s를 처리한다면 비용은 약 0.83달러/백만 토큰입니다. 같은 모델에서 시간당 6달러짜리 GPU가 3,000 tokens/s를 처리한다면 비용은 약 0.56달러/백만 토큰입니다. 시간당 가격은 두 배지만 토큰당 비용은 더 낮습니다.

Spheron의 2026년 LLM 추론 벤치마크도 같은 관점을 강조합니다. H100, H200, B200, A100 같은 GPU를 비교할 때 단순 임대료가 아니라 vLLM 기반 처리량과 가격을 합친 CPM, 즉 백만 토큰당 비용으로 봐야 한다는 것입니다². 특히 배치 크기와 continuous batching 설정에 따라 토큰당 비용이 크게 달라집니다. GPU는 켜져 있는데 요청이 적어 놀고 있다면, 비싼 GPU가 아니라 "비싼 난방기"가 됩니다.

단일 고VRAM GPU와 멀티 GPU 구성 비교

큰 모델을 구동하는 첫 번째 선택지는 "가장 큰 GPU 한 장을 빌릴 것인가, 여러 장을 묶을 것인가"입니다. 단일 GPU는 단순합니다. 텐서 병렬 통신이 없고, NCCL 문제도 적고, 장애 지점도 하나입니다. 반면 멀티 GPU는 총 VRAM을 늘릴 수 있지만 GPU 사이 통신 비용이 따라옵니다.

다음 표는 실제 구매나 임대 전에 머릿속에 그려야 할 비교 방식입니다. 가격은 공급자와 시점에 따라 흔들리므로, 표의 숫자는 절대값이 아니라 의사결정용 범위로 보아야 합니다.

중요한 함정이 있습니다. VRAM은 단순히 더하면 끝이 아닙니다. NVLink/NVSwitch가 있는 HGX 서버에서는 멀티 GPU 효율이 좋지만, PCIe만 있는 구성에서는 텐서 병렬 통신이 느려집니다. 한 분석 자료는 NVLink 기반 H100/H200 계열은 멀티 GPU 오버헤드가 상대적으로 작지만, PCIe 기반 구성은 유효 성능 손실이 훨씬 커질 수 있다고 설명합니다³.

따라서 1×H200과 2×H100을 비교할 때 "141GB 대 160GB"만 보면 안 됩니다. 모델이 H200 한 장에 들어간다면, 단일 GPU가 더 단순하고 안정적일 수 있습니다. 반대로 모델이 H200 한 장에 들어가지 않거나 동시 요청을 많이 받아야 한다면 2×H100, 4×A100, 8×H100 같은 구성이 필요해집니다.

중고 RTX 3090의 유혹과 현실

로컬 LLM 커뮤니티에서 중고 RTX 3090은 거의 전설 같은 존재입니다. 24GB VRAM, 비교적 낮은 중고 가격, 그리고 RTX 30 시리즈 중 소비자용 NVLink를 지원한 마지막 세대라는 점 때문입니다. 여러 자료에서 중고 RTX 3090은 VRAM당 가격이 좋은 카드로 꾸준히 언급됩니다. 2026년 가격 비교 자료에서도 RTX 3090은 중고 또는 임대 시장에서 저렴한 24GB급 선택지로 분류됩니다¹.

2×RTX 3090은 48GB VRAM을 제공합니다. 70B 모델을 Q4로 돌리는 입문형 멀티 GPU 구성으로 매력적입니다. 그러나 "GPU 두 장 값"만 보면 안 됩니다. 실제 총소유비용은 다음 항목을 모두 포함합니다.

• GPU 본체, 메인보드, CPU, RAM, NVMe, 케이스, 라이저 또는 슬롯 간격, 고용량 PSU

• 전력 소비, 냉각 비용, 소음 관리, 먼지 청소, 여름철 발열 대응

• 중고 제품의 고장 위험, 팬·써멀패드 교체, 보증 부재, 예비 카드 확보

대략 2×RTX 3090 시스템은 GPU만 사면 끝나는 구성이 아닙니다. 1000W급 이상의 파워서플라이, 공기 흐름이 좋은 케이스, 충분한 PCIe 슬롯, 두꺼운 그래픽카드 간격이 필요합니다. 카드가 서로 딱 붙으면 위쪽 GPU는 숨을 못 쉽니다. 오픈에어 쿨러는 게임 PC 한 대에서는 조용하지만, 두 장 이상 쌓으면 뜨거운 공기를 서로 들이마시는 구조가 됩니다.

전기도 무시할 수 없습니다. RTX 3090 두 장만으로도 부하 시 700W 안팎을 볼 수 있고, 시스템 전체는 800~1000W에 접근할 수 있습니다. 전력 단가를 kWh당 0.10~0.30달러로 두고, 냉각 오버헤드를 15~30% 더하면 "집에서 돌리니 공짜"라는 생각은 금방 사라집니다. 여러 하드웨어 비용 분석에서도 전력과 냉각, 운영 인력 비용이 온프레미스 TCO의 핵심 변수로 제시됩니다⁴.

그럼에도 중고 RTX 3090은 여전히 매력적입니다. 이유는 분명합니다. 70B Q4 모델을 직접 만져보고, Ollama, llama.cpp, ExLlamaV2, vLLM 실험을 로컬에서 반복하기에는 비용 대비 성능이 좋습니다. 다만 프로덕션 상시 서비스라면 이야기가 달라집니다. ECC 메모리가 없고, 소비자용 카드의 냉각과 내구성은 데이터센터 GPU와 다릅니다. 중고 RTX 3090은 "가성비 좋은 실험실"이지, 아무 준비 없이 24시간 고객 서비스를 맡길 서버는 아닙니다.

RTX 4090/5090, 워크스테이션 GPU, 데이터센터 GPU의 비용 차이

RTX 4090과 RTX 5090 계열은 빠릅니다. 특히 단일 사용자 추론에서는 메모리 대역폭과 연산 성능이 좋아 체감 속도가 뛰어납니다. RTX 5090은 32GB VRAM을 제공해 24GB 카드보다 30B급 모델과 70B 저정밀 모델에서 여유가 생깁니다. 여러 2026년 GPU 가이드에서도 RTX 5090은 로컬 LLM 추론용 고성능 소비자 카드로 자주 언급됩니다⁵.

그러나 소비자용 GPU는 VRAM이 작습니다. RTX 4090은 24GB, RTX 5090은 32GB급입니다. 70B 모델을 Q4로 돌리면 40GB 안팎이 필요하므로 단일 카드로는 빡빡하거나 CPU 오프로드가 필요합니다. 2×RTX 5090은 64GB 총 VRAM이 되어 70B Q4에 현실적인 구성이지만, 여전히 장기 컨텍스트와 동시 요청이 늘면 금방 한계가 옵니다.

워크스테이션 GPU는 다른 위치에 있습니다. RTX 6000 Ada, RTX PRO 6000 Blackwell급 카드는 48GB 또는 96GB VRAM을 제공하고, 드라이버 안정성, 폼팩터, 보증, 일부 ECC 지원 면에서 소비자 카드보다 운영 친화적입니다. 가격은 훨씬 높지만, 24시간 켜둘 장비라면 단순 FPS 벤치마크보다 안정성이 더 중요할 수 있습니다.

데이터센터 GPU는 더 비쌉니다. A100, H100, H200, B200은 구매가가 높고 서버 섀시도 비쌉니다. 대신 HBM 메모리, 높은 메모리 대역폭, NVLink/NVSwitch, ECC, 원격 관리, 수동 냉각 서버 설계, 데이터센터 보증이라는 운영상의 장점이 있습니다. 특히 H200은 141GB HBM3e와 높은 메모리 대역폭 덕분에 70B 이상 장기 컨텍스트 추론에서 H100보다 유리한 경우가 많고, B200은 FP4/FP8 최적화와 더 큰 메모리로 더 큰 모델과 더 높은 처리량을 노립니다⁶.

구매 판단은 이렇게 정리할 수 있습니다. 개인 연구와 개발은 중고 RTX 3090이나 RTX 4090/5090이 좋습니다. 작은 팀의 안정적인 내부 서비스는 워크스테이션 GPU가 균형점이 될 수 있습니다. 다중 사용자 프로덕션, 긴 컨텍스트, 높은 SLA, 대형 모델 서빙은 데이터센터 GPU가 맞습니다. 가격 차이는 단순한 성능 차이가 아니라 "운영 책임을 줄이는 비용"이기도 합니다.

총소유비용은 이렇게 계산한다

GPU 구매비만 보면 온프레미스는 항상 좋아 보입니다. 예를 들어 2×RTX 4090 워크스테이션을 6000달러 안팎에 맞췄다고 가정하면, 클라우드 H100 몇 달치보다 싸게 느껴집니다. 하지만 총소유비용은 다음처럼 계산해야 합니다.

월 TCO = 장비 총액 ÷ 감가상각 개월 수
       + 전력비
       + 냉각비
       + 공간·랙·UPS·네트워크 비용
       + 유지보수·고장 리스크 비용
       + 운영 인력 비용

감가상각은 보통 24~36개월로 잡습니다. AI GPU는 성능 세대교체가 빠르므로 5년 감가상각을 잡으면 장부상으로는 예뻐 보여도 실제 시장가와 성능 경쟁력이 먼저 떨어질 수 있습니다.

예를 들어 2×RTX 3090 실험용 장비를 3000달러에 구성하고 36개월로 나누면 월 83달러입니다. 전력과 냉각, 부품 교체 여지를 더해 월 150~250달러로 볼 수 있습니다. 개인이나 작은 연구팀에게는 매우 매력적입니다. 하지만 같은 장비를 고객용 API 서버로 쓰려면 예비 GPU, 장애 대응, 원격 전원 제어, 모니터링, 백업 서버가 필요합니다. 그 순간 비용은 다시 올라갑니다.

반대로 8×H100 서버는 구매가가 수십만 달러에 이를 수 있습니다. 전력도 큽니다. 랙 공간, 3상 전원, 냉각, 소음, 네트워크, 유지보수 계약이 필요합니다. 한 자료는 8×H100급 온프레미스 서버가 수십만 달러 규모의 초기 투자를 요구하며, 지속 사용률이 높을 때에야 클라우드 대비 경제성이 생긴다고 설명합니다³.

결국 TCO 계산의 핵심 변수는 GPU 가격이 아니라 사용률입니다. 장비가 하루 2시간만 바쁘다면 구매는 비쌀 수 있습니다. 장비가 하루 20시간 바쁘다면 클라우드가 비쌀 수 있습니다.

클라우드가 유리한 경우

클라우드는 비쌉니다. 하지만 "비싸서 나쁘다"가 아니라 "계속 켜두면 비싸다"가 더 정확합니다. 클라우드는 필요한 순간에 최신 GPU를 빌릴 수 있다는 점에서 강력합니다. 특히 개발·검증·일회성 대형 모델 실행에는 클라우드가 압도적으로 편합니다.

다음 상황이라면 클라우드가 유리합니다.

• 405B, 671B급 모델을 며칠만 테스트하고 싶은 경우

• H100, H200, B200, MI300X 같은 여러 GPU를 비교 벤치마크해야 하는 경우

• 트래픽이 불규칙해 GPU가 자주 놀 가능성이 큰 경우

• 아직 모델, 컨텍스트 길이, 동시 사용자 수가 확정되지 않은 경우

• 장비 구매 전에 실제 워크로드로 2~3일 부하 테스트를 하고 싶은 경우

특히 "한 번만 큰 모델을 돌려보자"는 목적이라면 절대 먼저 서버를 사지 않는 편이 좋습니다. 8×H100을 하루 빌리는 비용은 크지만, 8×H100 서버를 잘못 사는 비용에 비하면 작습니다.

또 하나의 선택지는 GPU 인스턴스가 아니라 관리형 LLM API입니다. 낮은 사용량이나 불규칙한 요청에서는 GPU를 직접 빌리는 것보다 API가 더 쌀 수 있습니다. GPU Tracker 같은 비용 계산 도구는 일정 토큰량 이하에서는 API가 낫고, 일정 규모 이상에서는 self-hosted 추론이 크게 저렴해질 수 있음을 보여줍니다⁷. 즉, 실험 초기에는 API와 클라우드 GPU를 적극적으로 쓰고, 사용량이 예측 가능해질 때 온프레미스를 검토하는 순서가 안전합니다.

온프레미스가 유리한 경우

온프레미스가 빛나는 순간은 사용률이 높고, 워크로드가 안정적이며, 데이터 통제가 중요한 경우입니다. 매일 24시간 사내 RAG 챗봇이 돌아가고, 고객 문서를 외부 API로 보내기 어렵고, 모델도 오픈웨이트로 충분하다면 로컬 GPU 서버가 강력한 선택지가 됩니다.

온프레미스의 장점은 비용 예측성입니다. 클라우드는 트래픽이 늘면 비용도 선형으로 늘어납니다. 반면 이미 산 GPU는 한계 용량 안에서는 비용이 비교적 완만하게 증가합니다. 물론 전력과 냉각은 늘지만, API 토큰 과금처럼 요청마다 비용이 튀지는 않습니다.

다만 온프레미스는 돈 대신 책임을 요구합니다. 드라이버가 꼬이면 우리가 고쳐야 합니다. GPU가 죽으면 우리가 교체해야 합니다. 여름에 서버실 온도가 올라가면 우리가 냉각을 해결해야 합니다. 모델 서버가 새벽에 죽으면 알림을 받고 일어나야 합니다. 그래서 온프레미스는 "GPU를 싸게 쓰는 방법"이라기보다 "GPU 운영 책임을 내부로 가져오는 방법"입니다.

실무 기준은 다음처럼 잡을 수 있습니다. 한 달 GPU 사용 시간이 100시간 이하이고 모델이 자주 바뀐다면 클라우드가 편합니다. 300시간 이상 꾸준히 쓰고 데이터 통제가 중요하다면 온프레미스를 검토할 만합니다. 600시간 이상, 즉 거의 상시 사용에 가깝다면 온프레미스나 예약형 클라우드, 혹은 하이브리드 전략을 반드시 비교해야 합니다.

멀티 GPU 서버 한 대와 여러 소형 노드 클러스터

이전 장에서 본 Mac mini 클러스터나 Spark급 소형 AI 노드는 비용 전략에서 흥미로운 중간 지대입니다. 거대한 8×H100 서버 한 대를 사기에는 부담스럽고, 클라우드만 쓰기에는 반복 실험 비용이 아깝고, 소비자용 멀티 GPU 워크스테이션은 발열과 조립이 걱정될 때 등장하는 선택지입니다.

멀티 GPU 서버 한 대는 고속 내부 연결이 장점입니다. 4×A100, 8×H100, 8×B200 같은 서버는 GPU들이 같은 섀시 안에서 NVLink/NVSwitch로 연결되어 있어 텐서 병렬 효율이 좋습니다. 큰 모델 하나를 빠르게 서빙해야 한다면 여러 작은 노드보다 단일 대형 서버가 대체로 유리합니다.

반면 여러 소형 노드는 유연합니다. Mac mini 여러 대, Spark급 노드 여러 대, 또는 작은 GPU 박스를 여러 대 두면 팀원별 개발 환경을 나누기 쉽고, 한 대가 고장 나도 전체가 완전히 멈추지 않을 수 있습니다. 하지만 노드 간 네트워크가 병목입니다. 단일 모델을 여러 노드에 쪼개 고속으로 돌리는 일은 단일 서버 내부 멀티 GPU보다 어렵습니다.

Mac mini 클러스터는 "저전력 메모리 풀"에 가깝습니다. 대형 GGUF 모델을 올려보거나 여러 작은 작업을 병렬로 돌리는 데는 재미있고 유용합니다. 그러나 CUDA 기반 vLLM/TensorRT-LLM 프로덕션 경로와는 거리가 있습니다. Spark급 장비는 CUDA 호환성과 통합 메모리라는 장점이 있지만, 대형 HGX 서버의 HBM/NVLink 성능을 기대하면 실망할 수 있습니다. 소형 노드 클러스터는 대형 서버의 대체재라기보다 개발과 검증을 위한 "작은 데이터센터 훈련장"에 가깝습니다.

구매 전에는 VRAM과 노드 수를 거꾸로 계산하라

GPU를 살 때 가장 위험한 순서는 이렇습니다. 먼저 예산을 보고, 살 수 있는 GPU를 고르고, 그다음 모델을 억지로 맞추는 것입니다. 올바른 순서는 반대입니다. 모델 요구사항에서 출발해 필요한 VRAM과 노드 수를 역산해야 합니다.

첫째, 목표 품질을 정합니다. 7B로 충분한 고객센터 챗봇인지, 32B급 코딩 모델이 필요한지, 70B 이상의 추론 품질이 필요한지 정해야 합니다. 모델 크기가 정해져야 가중치 메모리가 나옵니다.

둘째, 양자화 수준을 정합니다. FP16은 품질과 재현성에 좋지만 메모리를 많이 먹습니다. FP8은 H100/H200/B200 계열에서 강력하고, INT4/AWQ/GPTQ/GGUF Q4는 VRAM을 크게 줄입니다. 일반적으로 70B 모델은 FP16에서 약 140GB, INT8에서 약 70GB, INT4에서 약 35~40GB 수준의 가중치 메모리를 요구합니다. 여기에 KV 캐시와 프레임워크 오버헤드가 추가됩니다⁶.

셋째, 컨텍스트 길이와 동시 사용자 수를 곱합니다. 많은 구매 실패가 여기서 발생합니다. 모델 가중치만 보고 "40GB면 70B Q4가 들어가네"라고 생각했는데, 실제로는 32K 컨텍스트와 동시 사용자 20명을 받으면서 KV 캐시가 VRAM을 잡아먹습니다. KV 캐시는 컨텍스트 길이와 배치, 동시 요청 수에 비례해 커집니다. GMI Cloud의 LLM 비용 분석도 모델 가중치뿐 아니라 KV 캐시가 동시 요청과 시퀀스 길이에 따라 비용 구조를 바꾼다고 설명합니다⁸.

넷째, 20~30%의 여유를 둡니다. 딱 맞는 VRAM은 맞는 것이 아닙니다. CUDA 그래프, attention 커널, vLLM의 KV cache block, tokenizer, 로깅, 프레임워크 오버헤드가 들어가면 딱 맞는 구성은 곧 OOM이 됩니다.

다섯째, 단일 GPU, 단일 노드 멀티 GPU, 멀티 노드 중 어디까지 필요한지 정합니다. 모델이 한 장에 들어가고 처리량도 충분하면 단일 GPU가 최선입니다. 한 장에는 안 들어가지만 한 서버 안 2~8장으로 들어가면 단일 노드 멀티 GPU가 좋습니다. 여러 노드가 필요한 순간부터는 네트워크와 운영 복잡도가 비용에 포함됩니다.

여섯째, 구매 전에 클라우드에서 같은 조건으로 벤치마크합니다. 최소한 목표 모델, 목표 컨텍스트, 목표 동시 요청, 목표 프레임워크로 2~6시간은 돌려봐야 합니다. 이 비용은 보험료입니다. 수천만 원짜리 장비를 잘못 사는 것보다 훨씬 쌉니다.

손익분기점은 이렇게 잡는다

온프레미스와 클라우드의 손익분기점은 다음 식으로 간단히 시작할 수 있습니다.

월 온프레미스 비용 = 장비 월 감가상각 + 전력/냉각 + 유지보수 + 운영 비용
월 클라우드 비용 = 시간당 GPU 비용 × 필요한 GPU 수 × 월 사용 시간 + 스토리지/네트워크 비용
손익분기 사용 시간 = 월 온프레미스 비용 ÷ 시간당 동급 클라우드 비용

예를 들어 어떤 로컬 서버의 월 온프레미스 비용이 600달러이고, 비슷한 실효 성능의 클라우드 구성이 시간당 3달러라면 손익분기점은 월 200시간입니다. 한 달 50시간만 쓴다면 클라우드가 낫습니다. 한 달 500시간 쓴다면 구매가 유리해집니다.

물론 "동급 성능"을 정하는 것이 어렵습니다. 2×RTX 4090과 1×H200은 VRAM 구조도 다르고, 지원 정밀도도 다르고, 운영 안정성도 다릅니다. 그래서 손익분기점 계산은 숫자 하나로 끝내면 안 됩니다. 비용표 옆에 반드시 위험표를 붙여야 합니다.

숫자로는 온프레미스가 이겨도 운영 인력이 없으면 클라우드가 낫습니다. 숫자로는 클라우드가 조금 싸도 데이터 통제와 지연시간이 중요하면 온프레미스가 낫습니다. 구매 전략은 계산기와 조직 현실의 타협입니다.

추천 전략: 개발은 작게, 검증은 빌려서, 운영은 사용률로 결정한다

가장 안전한 전략은 처음부터 모든 것을 사지 않는 것입니다. 먼저 작은 로컬 장비나 저렴한 클라우드 인스턴스로 모델 후보를 좁힙니다. 7B, 14B, 32B 모델로 프롬프트와 RAG 구조를 만들고, 정말 70B 이상이 필요한지 확인합니다. 생각보다 많은 서비스가 32B급 모델과 좋은 검색 파이프라인으로 충분합니다.

다음 단계에서 클라우드 H100/H200/B200으로 실제 목표 조건을 검증합니다. 긴 컨텍스트, 동시 사용자, continuous batching, 양자화 품질, 장애 재시작 시간, 비용당 토큰 수를 측정합니다. 이때 나온 숫자가 구매 명세서의 근거가 됩니다.

마지막으로 사용률이 높고 요구사항이 안정되면 온프레미스를 검토합니다. 상시 서비스는 전용 서버나 워크스테이션 GPU가 유리할 수 있습니다. 반대로 피크만 큰 서비스는 로컬 서버로 기본 부하를 처리하고, 피크 때 클라우드로 넘기는 하이브리드가 좋습니다. 민감한 데이터는 로컬에서 처리하고, 복잡한 추론이나 일회성 대형 작업만 API나 클라우드 GPU를 쓰는 방식도 현실적입니다.

결국 좋은 전략은 하나의 답을 고집하지 않습니다. 중고 RTX 3090은 실험실의 훌륭한 말입니다. RTX 4090/5090 워크스테이션은 빠른 로컬 개발기입니다. H200 한 장은 70B 장기 컨텍스트 추론의 단순한 해법입니다. 8×H100 서버는 고처리량 프로덕션의 강력한 엔진입니다. Mac mini와 Spark급 노드 클러스터는 작은 팀이 대형 모델 인프라를 손으로 익히는 좋은 훈련장입니다. 클라우드는 비싼 장난감이 아니라, 잘 쓰면 구매 실수를 막아주는 실험실입니다.

멀티 GPU LLM 구축에서 가장 비싼 실수는 GPU를 너무 늦게 사는 것이 아닙니다. 필요를 모른 채 너무 빨리 사는 것입니다. 모델 크기, 컨텍스트 길이, 동시 사용자 수, 품질 요구, 장애 허용 범위를 먼저 적고, 그다음 VRAM과 노드 수를 계산하십시오. 그러면 GPU 가격표는 훨씬 덜 무섭고, 훨씬 더 정직하게 보이기 시작합니다.

참고

¹GPU Pricing & Cloud GPU Cost Comparison

²GPU Cost Per Token: Benchmark 7 Major LLMs Across GPU Types in 2026

³Multi-GPU LLM Inference Guide — NVLink vs PCIe, Tensor Parallelism (2026)

⁴Local LLM Hardware Guide 2025: Pricing & Specifications

⁵Best GPU for LLM Inference and Training in 2026 [Updated]

⁶Best NVIDIA GPUs for LLMs in 2026: Ranked by Use Case

⁷LLM Inference Cost Calculator — Self-Hosted GPU vs API

⁸Compare GPU Cloud Pricing for LLM Inference Workloads