소비자용 멀티 GPU 워크스테이션 만들기

70B 모델을 집에서 돌린다는 것의 진짜 의미

70B급 대형 언어모델을 로컬에서 실행하고 싶다는 말은 단순히 "GPU를 두 장 꽂겠다"는 뜻이 아니다. 그것은 작은 난로 두세 개를 책상 밑에 넣고, 그 난로들이 초당 수십 기가바이트씩 데이터를 주고받게 하며, 운영체제와 드라이버와 추론 엔진이 그 모든 장치를 한 몸처럼 다루도록 만드는 일이다.

앞선 장에서 보았듯이 LLM을 올릴 때 VRAM을 차지하는 것은 모델 가중치만이 아니다. 사용자가 입력한 문맥을 처리하기 위한 KV 캐시, 배치 처리에 필요한 임시 버퍼, 추론 엔진의 런타임 메모리, 드라이버가 잡아두는 여유 공간까지 모두 VRAM을 사용한다. 그래서 "70B 모델 Q4가 42GB라니까 48GB면 넉넉하겠지"라고 생각하면 금방 당황하게 된다. 실제로는 컨텍스트 길이를 조금만 늘리거나 동시 요청을 두 개만 받아도 남는 공간이 빠르게 사라진다.

소비자용 GPU로 70B급 모델을 돌리는 가장 흔한 출발점은 24GB VRAM 카드 두 장이다. RTX 3090, RTX 4090, Radeon RX 7900 XTX 같은 카드가 여기에 들어간다. RTX 5090처럼 32GB급 소비자 카드가 들어오면 선택지는 조금 넓어진다. 하지만 핵심은 변하지 않는다. 한 장으로 부족한 VRAM을 여러 장으로 나누어 쓰되, 여러 장을 쓰는 순간 속도와 안정성은 GPU 자체보다 보드, 전원, 발열, PCIe 구성에 더 크게 좌우된다.

듀얼 RTX 4090 구성은 48GB VRAM으로 Llama 3.1 70B, Qwen 2.5 72B, DeepSeek R1 Distill 70B 같은 70B급 모델의 Q4 양자화 실행을 가능하게 한다. 다만 RTX 40 시리즈에는 소비자용 NVLink가 없기 때문에 GPU 간 통신은 PCIe에 의존하며, 이 때문에 이론상 두 배 성능과는 거리가 있다. 공개된 실사용 가이드에서는 듀얼 RTX 4090으로 70B Q4 모델을 대략 25~30 tokens/s 수준에서 기대할 수 있다고 설명한다.¹

이 장에서는 "무엇을 사야 하는가"보다 더 중요한 질문을 다룬다. "어떤 조합이 내 목적에 맞고, 어떤 조합은 돈을 쓰고도 후회하게 되는가?"라는 질문이다.

먼저 정해야 할 목표: 빠른 30B인가, 가능한 70B인가

멀티 GPU 워크스테이션을 만들 때 가장 흔한 실수는 모델 목표를 정하지 않은 채 GPU부터 사는 것이다. 7B나 14B 모델을 빠르게 돌리고 싶다면 고성능 단일 GPU가 더 낫다. 32B 모델을 높은 양자화로 쾌적하게 돌리고 싶다면 24GB 단일 GPU도 충분한 경우가 많다. 멀티 GPU가 빛나는 지점은 모델이 한 장에 도저히 들어가지 않을 때다.

추론용 로컬 장비의 목표는 대략 네 가지로 나눌 수 있다.

여기서 중요한 원칙이 하나 있다. 모델이 한 장에 들어간다면 굳이 나누지 않는 것이 대체로 빠르고 안정적이다. 멀티 GPU는 속도를 두 배로 만들기 위한 마법이 아니라, 한 장에 들어가지 않는 모델을 억지로라도 올리기 위한 기술에 가깝다. 물론 배치가 많고 추론 엔진이 잘 최적화된 서버 환경에서는 처리량 향상도 기대할 수 있다. 그러나 집이나 사무실에서 한두 명이 대화형으로 사용하는 상황에서는 "더 큰 모델을 실행할 수 있다"가 가장 큰 이점이다.

대표 GPU 조합 비교

소비자용 멀티 GPU 구성은 대부분 24GB 카드의 조합에서 시작한다. RTX 3090은 중고 가격 대비 VRAM이 매력적이고, RTX 4090은 압도적인 연산 성능과 메모리 대역폭을 제공한다. RTX 5090은 32GB VRAM 카드로 24GB 벽을 조금 더 밀어낸다. AMD Radeon RX 7900 XTX도 24GB VRAM을 제공하지만, 소프트웨어 생태계와 프레임워크 호환성을 함께 고려해야 한다.

아래 표의 모델 적합성은 "대략적인 출발점"이다. 실제 가능 여부는 모델 구조, GGUF·EXL2·AWQ 같은 양자화 형식, KV 캐시 정밀도, 컨텍스트 길이, 추론 엔진의 메모리 사용 방식에 따라 달라진다.

70B Q4 모델은 대략 40GB 초중반의 가중치 공간을 필요로 한다. 듀얼 24GB 구성의 48GB는 이 모델을 "올릴 수 있는" 수준이지, 무엇이든 마음대로 할 수 있는 수준은 아니다. 예를 들어 70B 모델에서 8K 컨텍스트를 쓰면 KV 캐시가 몇 GB 단위로 추가되고, 32K 컨텍스트는 훨씬 더 큰 부담이 된다. KV 캐시를 Q4나 Q8로 낮추는 옵션이 있는 엔진도 있지만, 그 역시 품질과 호환성, 속도 사이의 선택이다.

2×RTX 3090과 2×RTX 4090은 둘 다 48GB 구성이지만 성격이 다르다. RTX 3090은 중고 가격 대비 VRAM이 좋다. RTX 4090은 훨씬 빠르고 전력 효율도 낫지만, 가격이 높고 NVLink가 없다. RTX 5090+4090 조합은 32GB+24GB로 총 56GB를 확보할 수 있어 70B Q4에서는 컨텍스트 여유가 커지고, Q5 수준을 시도할 가능성도 생긴다. 다만 혼합 GPU 구성은 분배와 병목을 더 신경 써야 한다.

4×24GB 구성은 완전히 다른 세계다. 총 96GB VRAM이면 70B 모델을 Q8에 가깝게 실행하거나, Q4/Q5에서 더 긴 컨텍스트와 더 많은 동시 요청을 시도할 수 있다. 그러나 물리적 조립 난이도는 갑자기 높아진다. 보통 ATX 메인보드와 일반 미들타워 케이스로는 해결되지 않는다. PCIe 레인, 슬롯 간격, 전원, 발열, 소음이 모두 서버에 가까운 문제가 된다.

듀얼 RTX 3090: 싸게 48GB를 얻는 방법

중고 RTX 3090 두 장은 여전히 로컬 LLM 사용자에게 강력한 유혹이다. 이유는 단순하다. 24GB VRAM 카드 두 장을 비교적 낮은 비용으로 구할 수 있기 때문이다. 특히 70B Q4 모델을 돌리고 싶은데 예산이 제한되어 있다면, 듀얼 RTX 3090은 가장 현실적인 입구가 된다.

RTX 3090의 장점은 세 가지다. 첫째, 24GB VRAM이다. 둘째, 중고 시장에서 가격이 RTX 4090보다 낮다. 셋째, 소비자용 GeForce 카드 중 NVLink를 지원한 마지막 세대라는 점이다. 여러 자료에서도 RTX 3090은 중고 가격 대비 VRAM과 NVLink 가능성 때문에 멀티 GPU 로컬 AI 구성에서 계속 언급된다.²

하지만 RTX 3090은 낭만만 있는 카드가 아니다. 발열이 많고, 전력 소모가 크며, 중고 제품의 상태 편차가 크다. 채굴에 사용되었거나 장기간 고온 환경에서 굴러간 카드라면 메모리 온도, 팬 상태, 써멀패드 상태를 반드시 확인해야 한다. RTX 3090은 특히 GDDR6X 메모리 온도가 높게 올라가는 경우가 많다. 겉으로 GPU 코어 온도가 괜찮아 보여도 메모리 접합 온도가 높으면 장시간 추론에서 클럭이 떨어지거나 오류가 날 수 있다.

NVLink도 냉정하게 봐야 한다. RTX 3090에 NVLink 브리지를 장착한다고 해서 모든 추론 프로그램이 자동으로 "48GB짜리 한 장의 GPU"처럼 동작하는 것은 아니다. 프레임워크가 P2P 통신을 잘 활용해야 하고, 모델 병렬화 방식도 그에 맞아야 한다. 일부 워크로드에서는 NVLink가 PCIe보다 유리하지만, llama.cpp나 ExLlamaV2처럼 레이어를 나누어 올리는 방식에서는 NVLink의 이점이 생각보다 작을 수 있다. 또한 RTX 3090 Ti는 NVLink를 지원하지 않으므로 중고 구매 시 혼동하면 안 된다.

듀얼 RTX 3090을 추천할 수 있는 사용자는 명확하다. 70B Q4 모델을 예산 안에서 실행하고 싶고, 중고 하드웨어 점검에 익숙하며, 발열과 소음을 감수할 수 있는 사람이다. 반대로 조용하고 안정적인 사무실 장비를 원하거나, 하드웨어 문제 해결에 시간을 쓰고 싶지 않다면 RTX 4090이나 워크스테이션급 완제품이 더 나을 수 있다.

듀얼 RTX 4090: 빠르지만 물리적으로 까다로운 표준 구성

RTX 4090은 로컬 AI 추론에서 매우 강력한 카드다. 24GB라는 VRAM 한계는 아쉽지만, 단일 카드 성능은 여전히 소비자용 GPU 중 최상급이다. 그래서 두 장을 묶으면 70B Q4 모델을 빠르게 사용할 수 있는 매력적인 구성이 된다.

듀얼 RTX 4090의 가장 큰 장점은 속도다. 같은 48GB 구성이라도 RTX 3090보다 훨씬 빠르게 토큰을 생성할 수 있다. CUDA 생태계 지원도 좋고, vLLM, llama.cpp, ExLlamaV2, TensorRT-LLM 계열 도구와의 호환성도 좋다. 단일 사용자 채팅뿐 아니라 사내 소규모 API 서버로도 쓸 수 있다.

단점은 명확하다. RTX 4090에는 NVLink가 없다. 따라서 두 GPU 사이의 통신은 PCIe를 통해 이루어진다. PCIe Gen4 x16은 이론상 방향당 약 32GB/s 수준이지만, 데이터센터급 NVLink와 비교하면 훨씬 느리다. 멀티 GPU 추론 가이드들은 PCIe 기반 텐서 병렬에서 통신 오버헤드가 실성능을 상당히 갉아먹는다고 설명한다.³

또 하나의 문제는 크기다. 대부분의 RTX 4090은 3슬롯 이상을 차지하는 거대한 축류팬 카드다. 두 장을 일반 ATX 케이스에 나란히 꽂으면 위쪽 카드가 아래쪽 카드의 뜨거운 공기를 들이마신다. 온도는 올라가고, 팬 소음은 커지고, 장시간 부하에서 클럭은 떨어진다. 듀얼 4090 실사용 빌드 사례에서도 PCIe x8+x8 구성 확인, 라이저 케이블 사용, 1600W급 전원공급장치, 대형 케이스와 강한 팬 구성이 중요한 요소로 언급된다.⁴

듀얼 RTX 4090은 "돈을 쓰면 간단히 해결된다"는 구성이 아니다. 오히려 돈을 쓴 만큼 조립을 더 세심하게 해야 하는 구성이다. 좋은 메인보드, 넉넉한 케이스, 강한 전원공급장치, 공기 흐름, 케이블 정리까지 모두 맞아야 한다. 제대로 만들면 70B Q4 모델을 매우 쾌적하게 돌릴 수 있지만, 대충 만들면 고급 부품으로 만든 뜨거운 소음 상자가 된다.

RTX 5090+4090: VRAM은 늘지만 균형은 깨진다

RTX 5090처럼 32GB VRAM을 제공하는 소비자용 카드가 들어오면 조합은 흥미로워진다. RTX 5090 한 장과 RTX 4090 한 장을 묶으면 총 56GB가 된다. 48GB 구성에서 아슬아슬했던 70B Q4 모델에 컨텍스트 여유를 더 주거나, Q5 수준의 양자화를 시도할 수 있는 공간이 생긴다.

하지만 혼합 GPU 구성은 성능 균형이 어렵다. VRAM이 32GB와 24GB로 다르기 때문에 모델 레이어를 똑같이 나누면 24GB 카드가 먼저 가득 찬다. 그렇다고 5090에 더 많은 레이어를 몰아주면 5090은 바빠지고 4090은 상대적으로 놀게 된다. 반대로 속도 균형만 맞추려 하면 VRAM이 남거나 부족해진다.

llama.cpp의 --tensor-split이나 ExLlamaV2의 --gpu-split처럼 수동 분배를 지원하는 도구에서는 32:24, 즉 대략 57:43 비율로 나누는 것에서 시작할 수 있다. 하지만 최적값은 모델마다 다르다. 어떤 모델은 특정 레이어의 메모리 부담이 더 크고, 어떤 엔진은 GPU별 임시 버퍼를 별도로 잡는다. 결국 nvidia-smi로 VRAM 사용량을 보고, 실제 tokens/s와 첫 토큰 지연시간을 측정하면서 조정해야 한다.

혼합 구성의 중요한 법칙은 "가장 느린 구간이 전체 체감을 결정한다"는 것이다. 레이어 분할 방식에서는 토큰 하나가 GPU 0의 레이어를 지나고, GPU 1의 레이어를 지나고, 다시 결과를 모아 다음 토큰을 만든다. 중간에 한 GPU가 느리거나, 한 슬롯이 PCIe x4로 떨어져 있거나, 한 카드가 열 때문에 스로틀링되면 전체 생성 속도가 그 카드에 맞춰진다. 빠른 카드 하나가 느린 카드를 완전히 보상해주지는 못한다.

그래도 RTX 5090+4090은 의미 있는 구성이다. 이미 RTX 4090을 가지고 있고, 새로 5090을 추가해 70B 모델의 품질과 컨텍스트를 조금 더 끌어올리고 싶은 사용자에게 좋다. 처음부터 새로 산다면 듀얼 5090, 워크스테이션 GPU, 혹은 클라우드 비용까지 함께 비교해야 한다.

4×24GB 구성: 로컬 워크스테이션과 작은 서버의 경계

4×24GB는 숫자만 보면 아름답다. 총 96GB VRAM. 70B Q4는 여유 있고, Q6나 Q8도 시도할 수 있으며, 더 큰 MoE 모델이나 100B급 모델의 Q4 실행 가능성도 생긴다. 하지만 이 구성부터는 일반 데스크톱 PC가 아니라 "작은 GPU 서버"라고 생각하는 편이 맞다.

가장 먼저 막히는 것은 PCIe 슬롯이다. 일반 소비자용 CPU는 PCIe 레인이 충분하지 않다. 두 장까지는 x8+x8로 버틸 수 있지만, 네 장을 모두 의미 있는 대역폭으로 연결하려면 Threadripper, Threadripper Pro, EPYC, Xeon 워크스테이션 플랫폼이 필요해진다. 멀티 GPU용 메인보드 선택에서는 CPU의 PCIe 레인 수와 보드의 전기적 슬롯 구성이 핵심이다. 겉으로 x16 슬롯이 여러 개 있어도 실제로는 x16+x4+x4처럼 동작할 수 있기 때문이다.⁵

다음은 공간이다. 3슬롯 GPU 네 장은 단순 계산으로도 12슬롯이 필요하다. 일반 타워 케이스에는 들어가지 않는다. 따라서 4×24GB 구성은 보통 다음 중 하나로 간다.

• 워크스테이션용 대형 케이스와 라이저 케이블을 사용한다.

• 서버 섀시나 오픈 프레임에 GPU를 수평·수직으로 분산 배치한다.

• 블로워 팬 GPU나 수랭 블록을 사용해 카드 간 간격 문제를 줄인다.

전원도 만만하지 않다. RTX 4090 네 장이면 GPU만으로도 순간 부하가 1800W에 접근할 수 있다. 실제 추론에서는 항상 최대 TDP를 쓰지 않더라도, 부팅·모델 로딩·짧은 피크 부하에서 전원 여유가 없으면 시스템이 꺼지거나 드라이버가 리셋된다. 4×4090 실사용 빌드 사례에서는 듀얼 1500W PSU를 사용하고, GPU 두 장씩 전원을 나누며, 전원 회로까지 고려해야 한다고 설명한다.⁶

한국의 일반 사무실이나 가정은 220V 환경이라 미국 120V보다 여유가 있는 편이지만, 그렇다고 무시할 수는 없다. 2kW 이상을 지속적으로 사용하는 장비는 멀티탭, 벽 콘센트, 배선, 차단기, 냉방까지 모두 확인해야 한다. 특히 여름철에는 GPU가 쓰는 전력만큼 방 안에 열이 발생한다. 1600W를 쓰는 장비는 1600W짜리 전기히터와 비슷한 열을 방출한다고 생각하면 된다.

4×24GB 구성은 강력하지만, 목적이 분명해야 한다. 70B 모델 하나를 혼자 대화형으로 쓰는 것이 목적이라면 과할 수 있다. 여러 모델을 동시에 올리거나, vLLM으로 여러 사용자의 요청을 처리하거나, 70B 이상의 모델을 실험하거나, LoRA 미세조정까지 염두에 둔다면 의미가 있다.

AMD GPU는 어디까지 현실적인가

AMD Radeon RX 7900 XTX는 24GB VRAM을 제공한다. 가격이 좋을 때는 RTX 3090이나 4090 대비 매력적으로 보인다. 실제로 MLC LLM은 2×RTX 4090에서 4비트 Llama2-70B를 약 34.5 tok/s, 2×AMD Radeon 7900 XTX에서 약 29.9 tok/s로 실행한 사례를 공개했다.⁷ 숫자만 보면 AMD도 충분히 가능해 보인다.

그러나 소비자용 AMD GPU를 LLM용으로 선택할 때는 "하드웨어 가격"보다 "소프트웨어 시간"을 더 크게 봐야 한다. NVIDIA는 CUDA 생태계가 매우 성숙하다. PyTorch, vLLM, llama.cpp CUDA 백엔드, ExLlamaV2, 대부분의 튜토리얼과 Docker 이미지가 NVIDIA 기준으로 먼저 동작한다. 반면 AMD는 ROCm 지원이 빠르게 좋아지고 있지만, 모델·커널·드라이버·운영체제 조합에 따라 삽질이 생길 가능성이 더 높다. AMD와 NVIDIA 비교 자료들도 ROCm 경로가 개선 중이지만 CUDA 대비 배포와 디버깅 부담이 크다고 평가한다.⁸

AMD GPU를 고려할 만한 경우는 다음과 같다.

• 이미 Linux와 ROCm 환경을 다루는 데 익숙하다.

• MLC LLM, llama.cpp HIP/ROCm, Vulkan 백엔드처럼 사용할 도구가 명확하다.

• 같은 VRAM의 NVIDIA 카드보다 AMD 카드 가격이 충분히 낮다.

• "무조건 바로 돌아가는 장비"보다 실험과 튜닝을 즐긴다.

반대로 vLLM 기반 OpenAI 호환 API 서버를 빠르게 띄우고, Hugging Face 모델을 별다른 수정 없이 올리고, 문제가 생겼을 때 검색 결과가 많은 쪽을 원한다면 NVIDIA가 여전히 안전한 선택이다. 이 책의 실전 예제도 대부분 CUDA 기반을 중심으로 진행하되, AMD는 가능한 대안으로 함께 다룰 것이다.

동일 GPU 조합과 혼합 GPU 조합의 차이

멀티 GPU에서 가장 다루기 쉬운 구성은 같은 모델의 GPU를 같은 개수로 쓰는 것이다. 예를 들어 2×RTX 4090, 2×RTX 3090, 4×RTX 4090처럼 맞추면 VRAM 크기, 연산 성능, 메모리 대역폭이 같기 때문에 레이어를 균등하게 나누기 쉽다. --tensor-split 1,1 또는 --gpu-split 24,24처럼 단순한 설정에서 시작할 수 있다.

혼합 GPU 조합은 계산이 필요하다. RTX 5090 32GB와 RTX 4090 24GB를 같이 쓰면 VRAM 비율은 4:3이다. RTX 4090과 RTX 3090을 섞으면 VRAM은 같지만 연산 성능은 다르다. RTX 4090과 RX 7900 XTX처럼 벤더가 다르면 같은 추론 엔진에서 동시에 쓰는 것 자체가 어려울 수 있다.

레이어 분배 방식에서는 모델의 앞쪽 레이어 일부를 GPU 0에, 뒤쪽 레이어를 GPU 1에 올린다. 이 방식은 PCIe 환경에서도 비교적 실용적이다. GPU 사이의 통신이 매 레이어 내부에서 끊임없이 발생하는 것이 아니라, 특정 지점에서 다음 GPU로 활성값을 넘기는 형태에 가깝기 때문이다. 반면 텐서 병렬은 각 레이어의 행렬 연산 자체를 여러 GPU로 쪼개므로 GPU 간 동기화가 더 자주 필요하다. vLLM 같은 서버형 엔진은 텐서 병렬을 적극 활용하지만, 소비자용 PCIe 환경에서는 통신 오버헤드를 반드시 고려해야 한다.

느린 GPU가 전체 성능을 제한하는 현상은 생각보다 자주 나타난다. 예를 들어 두 GPU에 레이어를 절반씩 나눴는데 GPU 1이 PCIe x4 슬롯에 꽂혀 있다면, GPU 0이 아무리 빨라도 매 토큰마다 GPU 1 구간에서 기다리게 된다. 위쪽 카드가 85도 이상으로 올라가 클럭이 떨어져도 마찬가지다. 멀티 GPU의 성능은 평균이 아니라 병목으로 결정된다.

따라서 혼합 GPU에서는 다음 순서로 조정하는 것이 좋다. 먼저 VRAM이 넘치지 않도록 대략적인 비율로 나눈다. 다음으로 각 GPU의 사용률과 온도를 본다. 마지막으로 실제 tokens/s와 첫 토큰 지연시간을 측정하면서 더 빠른 GPU에 레이어를 조금 더 주거나, 더 뜨거운 GPU의 부담을 줄인다. 이 과정은 한 번에 끝나지 않는다. 모델을 바꾸면 다시 해야 한다.

PCIe 슬롯과 메인보드: x16 모양에 속지 말기

멀티 GPU 보드를 고를 때 가장 위험한 착각은 "긴 슬롯이 여러 개 있으니 괜찮겠지"라는 생각이다. PCIe 슬롯은 물리적 길이와 전기적 연결이 다를 수 있다. 겉으로 x16 길이인 슬롯도 실제로는 x4 또는 x2로 동작할 수 있다. LLM 추론에서 x8 이상이면 많은 경우 실용적이지만, x2나 칩셋 경유 슬롯은 병목과 불안정의 원인이 된다.

2장 구성에서는 메인스트림 플랫폼도 가능하다. AMD Ryzen 7000/9000이나 Intel Core 플랫폼에서 GPU 두 장을 x8+x8로 나눌 수 있는 보드를 고르면 된다. 단, 보드 설명서에서 실제 슬롯 구성을 확인해야 한다. "두 번째 슬롯 장착 시 첫 번째 슬롯이 x8로 동작"하는 것은 괜찮다. "두 번째 슬롯은 칩셋 연결 x4"라면 고성능 멀티 GPU 추론에는 아쉽다.

3장 이상부터는 HEDT나 서버 플랫폼을 진지하게 봐야 한다. AMD Threadripper, Threadripper Pro, WRX90, TRX50, EPYC 기반 보드가 여기에 해당한다. 이런 플랫폼은 PCIe 레인이 많고, 슬롯 간격이 넓으며, ECC 메모리와 IPMI 같은 서버 기능을 제공하는 경우도 있다. 단점은 가격이다. GPU보다 보드와 CPU, 메모리 가격이 더 크게 느껴질 수 있다.

BIOS 설정도 확인해야 한다. Above 4G Decoding, Resizable BAR, PCIe bifurcation, 슬롯별 Gen4/Gen5 설정이 문제를 일으키는 경우가 있다. 라이저 케이블을 쓰면 Gen5 자동 협상에서 불안정해 Gen4로 강제해야 안정되는 경우도 있다. 멀티 GPU 시스템에서는 "가장 최신 옵션"보다 "오래 버티는 안정성"이 더 중요하다.

전원공급장치: 와트 수보다 품질과 여유가 중요하다

GPU 두 장 이상을 쓰면 PSU는 절약 대상이 아니다. 전원이 흔들리면 추론 중 오류가 나고, 드라이버가 리셋되고, 심하면 커넥터가 녹는다. 특히 RTX 4090 계열의 12VHPWR 또는 12V-2x6 케이블은 제대로 꽂혀 있는지, 꺾임이 심하지 않은지, 정격 케이블을 쓰는지 확인해야 한다.

대략적인 기준은 다음과 같다.

여기서 말하는 권장치는 "켜진다"가 아니라 "장시간 안정적으로 버틴다"에 가깝다. 추론은 학습보다 전력을 덜 쓰는 경우도 많지만, 모델 로딩, 긴 프롬프트 prefill, 동시 요청, 벤치마크 중에는 순간적으로 전력이 크게 튈 수 있다.

완제품 워크스테이션 업체들도 멀티 GPU 시스템에 1500W급 고효율 PSU와 전용 전원 조건을 제시한다. 예를 들어 수랭식 2GPU AI 워크스테이션 사양에서는 1500W Titanium PSU와 전원 회로 조건, GPU 수랭, 낮은 온도 운용을 강조한다.⁹ 이는 과한 마케팅이 아니라 멀티 GPU 장비가 실제로 그만큼 전기와 열을 다루는 기계라는 뜻이다.

가능하다면 GPU 전력 제한을 설정하는 것도 좋다. RTX 4090은 450W를 모두 쓰지 않아도 추론 성능이 크게 떨어지지 않는 경우가 많다. 350W나 380W로 제한하면 소음과 온도, 전력 피크가 줄어든다. RTX 3090도 언더볼팅과 전력 제한으로 발열을 상당히 낮출 수 있다. 로컬 LLM 워크스테이션에서는 마지막 5% 성능보다 24시간 안정성이 더 중요하다.

케이스, 라이저, 냉각: 멀티 GPU의 승부처

멀티 GPU 조립의 난이도는 대부분 발열에서 나온다. GPU는 공기를 먹고 열을 뱉는다. 그런데 카드 두 장을 붙여 놓으면 아래쪽 카드가 뱉은 뜨거운 공기를 위쪽 카드가 다시 먹는다. 세 장, 네 장이 되면 상황은 더 나빠진다.

소비자용 오픈에어 쿨러는 한 장일 때 매우 좋다. 팬이 크고 조용하며, 케이스 내부 공기를 넓게 사용한다. 하지만 여러 장을 촘촘히 쌓으면 뜨거운 공기를 케이스 안에 퍼뜨린다. 반대로 블로워 팬 카드는 소음이 크고 단일 카드 온도는 불리할 수 있지만, 뜨거운 공기를 뒤쪽으로 밀어내기 때문에 조밀한 멀티 GPU 구성에서는 오히려 유리하다.

수랭은 가장 깔끔해 보이지만 유지보수 난이도가 올라간다. 커스텀 수랭은 카드 두께를 줄이고 온도를 낮추며 소음도 줄일 수 있다. 다만 누수 위험, 펌프 고장, 라디에이터 공간, 정기 점검을 감수해야 한다. 사무실에서 조용한 2GPU 장비를 오래 쓸 목적이라면 수랭 완제품 워크스테이션도 고려할 수 있지만, 직접 조립 초보에게는 공랭 대형 케이스가 더 안전한 출발점이다.

라이저 케이블은 멀티 GPU의 필수 도구가 되는 경우가 많다. 두꺼운 GPU를 보드에 직접 꽂을 수 없거나, 두 번째 GPU를 세워서 장착해야 할 때 사용한다. 하지만 저가 라이저는 PCIe 오류와 간헐적 다운의 원인이 된다. PCIe 4.0 또는 5.0 인증 제품을 쓰고, 문제가 생기면 우선 PCIe 속도를 Gen4 또는 Gen3로 낮춰 안정성을 확인해야 한다.

케이스를 고를 때는 GPU 길이보다 슬롯 간격과 공기 흐름을 먼저 봐야 한다. 전면 흡기 팬이 GPU 쪽으로 직접 찬 공기를 보내는지, 상단과 후면으로 뜨거운 공기가 빠지는지, 파워 케이블이 팬을 막지 않는지 확인한다. 가능하면 먼지 필터 청소가 쉬운 케이스를 고르는 편이 좋다. LLM 서버는 한 번 조립하면 오래 켜두게 되기 때문이다.

시스템 RAM과 저장장치도 무시하면 안 된다

모델은 VRAM에 올라가지만, 시스템 RAM도 중요하다. 운영체제, Python 런타임, 추론 서버, 모델 파일 매핑, 토크나이저, 로그, RAG 파이프라인이 모두 RAM을 사용한다. 70B급 모델을 다루는 멀티 GPU 장비라면 64GB는 최소선이고, 128GB를 권장한다. 학습이나 대규모 데이터 전처리, 여러 모델 동시 실행까지 고려한다면 192GB 이상도 의미가 있다.

저장장치는 NVMe SSD가 사실상 필수다. 70B 모델의 양자화 파일 하나가 수십 GB이고, 여러 양자화 버전과 체크포인트를 저장하면 2TB는 금방 찬다. 처음부터 4TB NVMe를 하나 넣거나, 운영체제용 SSD와 모델 저장용 SSD를 분리하는 편이 좋다. 모델 로딩 시간은 추론 속도만큼 자주 보이는 지표는 아니지만, 여러 모델을 바꿔가며 실험할 때 체감 차이가 크다.

또 하나의 실전 팁은 운영체제 디스크와 모델 디스크를 분리하는 것이다. 모델 다운로드, 변환, 양자화, 벤치마크 로그가 한 디스크에 몰리면 관리가 지저분해진다. /models, /datasets, /work, /containers처럼 디렉터리를 처음부터 나누면 나중에 서버로 확장할 때도 편하다.

중고 GPU를 살 때 확인할 것

중고 RTX 3090은 매력적이지만, 잘못 사면 싸게 산 것이 아니다. 구매 전후로 반드시 확인해야 할 항목이 있다.

• 팬 소음과 팬 회전 불량이 없는지 확인한다.

• GPU 코어 온도뿐 아니라 메모리 온도를 확인한다.

• 장시간 부하 테스트에서 클럭이 급격히 떨어지지 않는지 본다.

• 전원 커넥터 변색, 탄 흔적, 기판 휨, 녹, 나사 훼손을 확인한다.

• 같은 모델 두 장을 쓸 경우 슬롯 간격과 NVLink 브리지 규격이 맞는지 확인한다.

구매 후에는 바로 LLM을 올리기보다 기본 테스트를 먼저 하는 편이 좋다. nvidia-smi로 인식 상태를 확인하고, 짧은 CUDA 테스트를 돌리고, 30분 이상 부하를 걸어 온도와 전력, 팬 속도를 본다. 그 다음 작은 모델을 GPU별로 각각 실행해 본 뒤, 마지막으로 멀티 GPU 모델을 올린다. 문제가 생겼을 때 한 번에 모든 변수를 섞으면 원인을 찾기 어렵다.

중고 3090의 가장 좋은 시나리오는 "저렴하게 48GB를 확보하고, 70B Q4를 적당한 속도로 안정적으로 돌리는 것"이다. 최악의 시나리오는 "싸게 샀지만 써멀패드 교체, 팬 교체, 케이스 교체, PSU 교체를 하다가 결국 새 카드 가격에 가까워지는 것"이다. 중고는 가격만 보지 말고, 수리와 시간 비용까지 포함해 판단해야 한다.

추천 구성 세 가지

첫 번째 추천은 예산형 70B 구성이다. 중고 RTX 3090 두 장, 1000~1200W급 고품질 PSU, 통풍 좋은 풀타워 케이스, 64~128GB RAM을 사용한다. 가능하면 같은 제조사·같은 쿨러의 카드를 맞추고, NVLink는 "있으면 실험해볼 옵션" 정도로 본다. 이 구성은 70B Q4를 로컬에서 실행하는 가장 저렴한 길이다.

두 번째 추천은 성능형 70B 구성이다. RTX 4090 두 장, 1200~1600W PSU, x8+x8 이상을 지원하는 보드, 라이저 케이블 또는 넓은 케이스를 사용한다. 70B Q4 모델을 더 빠르게 사용하고, 소규모 API 서버까지 염두에 둔다면 이 구성이 좋다. 단, 물리적 간격과 발열을 대충 처리하면 성능형이 아니라 소음형이 된다.

세 번째 추천은 확장형 실험실 구성이다. RTX 5090+4090 또는 4×24GB, Threadripper/WRX90급 플랫폼, 128GB 이상 RAM, 1600W급 이상 전원 또는 듀얼 PSU, 서버 섀시나 오픈 프레임을 사용한다. 이 구성은 단순 채팅용이 아니라 여러 모델 실험, 긴 컨텍스트, 다중 사용자, 미세조정까지 생각하는 사람에게 맞다. 비용과 소음, 전기, 냉방을 모두 감당할 준비가 필요하다.

조립 후 첫날 해야 할 검증

멀티 GPU 워크스테이션은 조립이 끝났다고 끝이 아니다. 첫날 검증을 제대로 해야 나중에 원인 모를 오류로 시간을 버리지 않는다.

먼저 운영체제에서 모든 GPU가 정상 인식되는지 확인한다. NVIDIA라면 nvidia-smi에서 GPU 번호, PCIe 버스 ID, 온도, 전력 제한, 드라이버 버전을 본다. AMD라면 rocm-smi와 ROCm 샘플을 확인한다. 그 다음 각 GPU를 하나씩 지정해 작은 모델을 실행한다. 한 장씩은 안정적인데 두 장을 같이 쓸 때만 문제가 생긴다면 PCIe, 전원, 발열, 라이저 쪽을 의심해야 한다.

그 다음 PCIe 링크 속도를 확인한다. Linux에서는 lspci -vv로 링크 폭과 속도를 볼 수 있고, NVIDIA 환경에서는 nvidia-smi topo -m으로 GPU 간 연결 관계를 확인할 수 있다. 원하는 슬롯에 꽂았다고 해서 원하는 속도로 동작한다는 보장은 없다.

마지막으로 실제 목표 모델을 올려 본다. 처음부터 32K 컨텍스트, 큰 배치, 긴 출력을 시도하지 말고, 4K 또는 8K 컨텍스트에서 시작한다. VRAM 사용량, 첫 토큰 지연시간, tokens/s, 온도, 전력, 팬 소음을 기록한다. 이후 컨텍스트를 늘리고, KV 캐시 양자화 옵션을 바꾸고, 레이어 분배를 조정한다.

이 기록은 나중에 매우 중요해진다. 모델을 바꿨더니 느려졌는지, 드라이버 업데이트 후 성능이 떨어졌는지, 여름이 되어 온도 때문에 스로틀링이 생겼는지 판단하려면 기준선이 필요하다. 멀티 GPU 시스템은 감으로 운영하면 안 된다. 작은 실험실처럼 다뤄야 한다.

결론: 소비자용 멀티 GPU의 정답은 목적에 따라 달라진다

소비자용 멀티 GPU 워크스테이션은 대형 언어모델을 로컬로 끌어오는 가장 흥미로운 방법이다. 하지만 동시에 PC 조립의 난이도를 서버 운영 쪽으로 밀어 올리는 선택이기도 하다.

70B Q4를 가장 싸게 돌리고 싶다면 듀얼 RTX 3090이 매력적이다. 더 빠르고 편한 CUDA 환경을 원한다면 듀얼 RTX 4090이 강력하다. 56GB 이상으로 컨텍스트와 양자화 여유를 조금 더 얻고 싶다면 RTX 5090+4090 같은 혼합 구성도 의미가 있다. 4×24GB는 로컬 장비라기보다 작은 GPU 서버이며, 그만큼 전원과 냉각, 메인보드 선택을 진지하게 해야 한다. AMD GPU는 가격 대비 VRAM이라는 유혹이 있지만, ROCm과 프레임워크 호환성을 감당할 수 있을 때 선택하는 편이 안전하다.

좋은 멀티 GPU 워크스테이션은 가장 비싼 GPU를 꽂은 PC가 아니다. 목표 모델에 맞는 VRAM을 확보하고, GPU 간 병목을 줄이고, 열을 밖으로 빼내고, 전원을 안정적으로 공급하며, 문제가 생겼을 때 원인을 추적할 수 있게 만든 시스템이다. 70B 모델을 로컬에서 돌리는 일은 이제 특별한 연구소만의 일이 아니다. 그러나 여전히 신중한 설계가 필요한 일이다. 다음 장에서는 이렇게 만든 하드웨어 위에서 Ollama, llama.cpp, LM Studio 같은 로컬 추론 도구로 실제 멀티 GPU 실행을 시작해보자.

참고

¹2x RTX 4090 for LLMs: What You Can Run, Setup Guide & Real Performance (2026)

²Multi-GPU Setup Guide for Running Large Local LLMs in 2026

³Multi-GPU LLM Inference Guide — NVLink vs PCIe, Tensor Parallelism (2026)

⁴Building a Home Deep Learning Rig with Dual RTX 4090 GPUs

⁵Building a Multi-GPU LLM Workstation: Choosing the Right Motherboard for 6 - 10 GPUs

⁶All You Need is 4x 4090 GPUs to Train Your Own Model

⁷Scalable Language Model Inference on Multiple NVIDIA and AMD GPUs

⁸AMD vs NVIDIA for AI Inference: 2025 GPU Comparison

⁹BIZON ZX4000 – Custom Water-cooled 2x GPU AI Workstation