GPU 하드웨어와 인터커넥트의 현실

GPU는 계산기이고, 인터커넥트는 도로다

멀티 GPU를 처음 생각하면 자연스럽게 이런 계산을 하게 된다. GPU 한 장이 24GB라면 두 장은 48GB, 네 장은 96GB. 그러니 더 큰 모델을 더 빠르게 돌릴 수 있을 것 같다. 절반은 맞고, 절반은 위험한 착각이다.

여러 GPU에 모델을 나누어 올리면 총 VRAM은 분명 늘어난다. 하지만 LLM 추론은 모델 파일을 GPU에 복사해 두고 끝나는 작업이 아니다. 토큰 하나를 만들 때마다 여러 레이어의 행렬 연산이 반복되고, 병렬화 방식에 따라 GPU끼리 중간 결과를 계속 주고받는다. 특히 텐서 병렬화에서는 한 레이어의 계산 결과를 합치기 위해 AllReduce, ReduceScatter, AllGather 같은 집단 통신이 반복된다.¹

그래서 멀티 GPU 성능은 GPU 개수만으로 결정되지 않는다. 더 중요한 질문은 이것이다.

GPU들이 서로 얼마나 빠르게 이야기할 수 있는가?

GPU가 고성능 계산기라면 인터커넥트는 도로다. 계산기가 아무리 많아도 도로가 좁으면 중간 결과가 정체된다. GPU 자체는 놀고 있는데, 다음 계산에 필요한 데이터가 아직 도착하지 않아 기다리는 상태가 된다. 멀티 GPU에서 가장 비싼 낭비는 GPU가 부족한 것이 아니라, GPU가 있는데 기다리는 것이다.

대역폭 숫자를 추론 관점에서 읽는 법

인터커넥트를 볼 때 가장 먼저 등장하는 숫자는 대역폭이다. 대역폭은 한 번에 얼마나 많은 데이터를 옮길 수 있는지를 뜻한다. 도로에 비유하면 차선 수에 가깝다. 지연 시간은 첫 데이터가 도착하기까지 걸리는 시간이고, 도로에 진입하는 신호 대기 시간에 가깝다.

LLM 추론에서는 두 단계가 특히 중요하다. 첫째는 프롬프트를 읽고 첫 토큰을 준비하는 prefill 단계다. 긴 문서를 넣으면 이 단계가 무거워진다. 둘째는 토큰을 하나씩 생성하는 decode 단계다. 사용자가 체감하는 초당 토큰 수는 주로 이 단계에서 결정된다. prefill은 큰 행렬 연산이 많고, decode는 모델 가중치와 KV 캐시를 반복해서 읽는 성격이 강하다. 병렬화 방식에 따라 두 단계 모두 GPU 간 통신의 영향을 받는다.

자주 만나는 연결 방식의 대략적인 감각은 다음과 같다. 실제 수치는 GPU 세대, PCIe 세대, SXM/PCIe 폼팩터, 메인보드 토폴로지, 드라이버 설정에 따라 달라지므로 구매 전에는 반드시 공식 사양과 nvidia-smi topo -m을 함께 확인해야 한다.

이 표에서 중요한 것은 절대값보다 비율이다. PCIe 4.0 x16은 단방향 약 32GB/s다. H100 SXM의 NVLink 도메인은 GPU당 900GB/s급으로 설명된다. 모든 작업에서 이 차이가 그대로 성능 차이로 나타나지는 않지만, 텐서 병렬처럼 레이어마다 동기화가 잦은 방식에서는 이 격차가 GPU 대기 시간으로 바뀐다.

반대로 파이프라인 병렬처럼 앞쪽 레이어는 GPU 0, 뒤쪽 레이어는 GPU 1이 맡는 방식은 통신 빈도가 훨씬 낮다. 중간 활성값을 다음 GPU로 넘기는 정도이므로 PCIe에서도 비교적 버틸 수 있다. 대신 한 요청을 처리할 때 어떤 GPU는 일하고 어떤 GPU는 기다리는 파이프라인 버블이 생긴다. 그래서 소비자용 PCIe 멀티 GPU에서는 속도 두 배보다 "모델을 올릴 수 있다"는 사실 자체가 더 큰 의미를 갖는 경우가 많다.

PCIe는 나쁘지 않지만 만능도 아니다

PCIe는 모든 GPU 시스템의 기본 도로다. CPU, GPU, NVMe SSD, 네트워크 카드가 모두 PCIe 위에서 만난다. 범용성이 뛰어나지만, 여러 장치가 나누어 쓰는 길이기도 하다.

LLM 추론에서 PCIe가 충분한 경우도 많다. 작은 모델을 GPU마다 하나씩 올려 독립적으로 요청을 처리하는 데이터 병렬 서빙이라면 GPU끼리 많은 대화를 하지 않는다. RTX 4090 두 장에 각각 7B 또는 14B 모델을 하나씩 올리고 요청을 나눠 보내는 구조라면 PCIe 대역폭은 큰 문제가 아니다.

문제는 한 모델이 너무 커서 여러 GPU가 한 몸처럼 움직여야 할 때다. 70B 모델을 두 장의 24GB GPU에 쪼개 올리거나, 400B급 모델을 여러 장에 나누어 올릴 때는 GPU 사이에 중간 결과가 지나가야 한다. 특히 텐서 병렬은 GPU들이 같은 레이어의 일부를 동시에 계산한 뒤 결과를 합쳐야 하므로, 연결 속도가 낮으면 GPU가 서로를 기다린다.

PCIe 세대뿐 아니라 레인 수도 중요하다. x16 슬롯처럼 생겼다고 항상 x16으로 동작하는 것은 아니다. 소비자용 CPU는 그래픽용 PCIe 레인이 제한적인 경우가 많아 GPU 두 장을 꽂으면 x8/x8로 나뉘는 일이 흔하다. 어떤 보드는 첫 번째 슬롯은 x16이지만 두 번째 슬롯은 칩셋을 거치는 x4일 수 있다.

여기서 PCIe 대역폭과 GPU 내부 VRAM 대역폭의 차이를 기억해야 한다. RTX 4090의 GDDR6X 메모리 대역폭은 1TB/s급이다. PCIe 4.0 x16은 약 32GB/s다. GPU 내부에서 데이터를 읽는 속도와 GPU 밖으로 데이터를 주고받는 속도 사이에는 큰 차이가 있다. 모델이 GPU 내부에서 잘 돌 때는 빠르다가, 일부 레이어나 KV 캐시가 CPU 메모리로 밀려나는 순간 속도가 급락하는 이유가 여기에 있다.

NVLink는 지름길이고, NVSwitch는 교차로다

NVLink는 NVIDIA가 만든 GPU 간 직접 연결 기술이다. PCIe라는 공용 도로를 거치지 않고 GPU끼리 고속으로 통신할 수 있게 해준다. LLM에서 NVLink가 빛나는 순간은 한 모델을 여러 GPU가 함께 계산할 때다. 특히 텐서 병렬에서는 중간 결과를 자주 합쳐야 하므로 NVLink의 낮은 지연 시간과 높은 대역폭이 큰 차이를 만든다.

하지만 NVLink만으로 모든 문제가 해결되지는 않는다. 두 장을 직접 연결하는 것은 비교적 단순하지만, 네 장이나 여덟 장이 되면 모든 GPU가 모든 GPU와 같은 속도로 연결되어야 한다. 어떤 GPU 쌍은 직접 연결되고 어떤 GPU 쌍은 다른 GPU를 거쳐야 한다면 통신 경로가 비대칭이 된다. 이 비대칭은 AllReduce 같은 집단 통신에서 성능을 흔든다.

NVSwitch는 이 문제를 해결하기 위한 스위치다. NVLink가 GPU 사이의 고속 차선이라면, NVSwitch는 그 차선들을 모아 모든 방향으로 균일하게 보내주는 대형 교차로다. 8GPU HGX나 DGX 시스템에서 중요한 것은 GPU가 여덟 장 들어 있다는 사실이 아니라, 그 여덟 장이 NVSwitch를 통해 균일한 고속 통신 도메인을 이룬다는 점이다. 토스증권의 GPU 클러스터 구축기에서도 GPU 간 통신과 서버 간 통신을 구분하고, NVLink와 NVSwitch가 노드 내부 통신 비용을 낮추는 역할을 한다고 설명한다.²

따라서 멀티 GPU 서버를 볼 때는 GPU 이름만 보면 안 된다. H100이라는 이름보다 더 중요한 질문이 있다.

이 H100은 PCIe 모델인가, SXM 모델인가? GPU들은 NVLink/NVSwitch 도메인으로 묶여 있는가?

H100 PCIe 8장과 H100 SXM 8장은 같은 H100이라는 이름을 갖지만, 멀티 GPU LLM 추론에서는 완전히 다른 시스템처럼 행동할 수 있다.

RTX 40·50 시리즈에서 NVLink가 사라진 의미

소비자용 멀티 GPU를 이야기할 때 자주 나오는 카드가 RTX 3090, RTX 4090, RTX 5090이다. RTX 3090은 소비자용 NVIDIA 카드 중 NVLink를 사용할 수 있었던 마지막 세대에 가깝다. RTX 4090에는 NVLink 커넥터가 없다. RTX 5090도 제조사 사양에서 NVLink를 지원하지 않는 것으로 표시된다.

이 변화는 게임 사용자에게는 큰 문제가 아닐 수 있다. SLI 기반 멀티 GPU 게이밍은 이미 오래전에 주류에서 밀려났다. 하지만 로컬 LLM 사용자에게는 의미가 크다. 24GB 또는 32GB 카드 여러 장을 연결해 70B 모델을 돌리고 싶은 사람에게 GPU 간 연결은 체감 성능과 안정성을 좌우하기 때문이다.

RTX 4090이나 5090 두 장은 매우 강력하다. 단일 GPU 성능과 메모리 대역폭은 뛰어나다. 하지만 두 장 사이의 통신은 PCIe에 의존한다. 그래서 모델을 레이어 단위로 나누는 방식에서는 실용적인 결과가 나오지만, 텐서 병렬처럼 잦은 동기화가 필요한 방식에서는 NVLink/NVSwitch 시스템보다 불리하다.

RTX 3090 두 장에 NVLink 브리지를 연결하면 PCIe만 쓰는 것보다 GPU 간 통신에서 유리할 수 있다. 다만 NVLink 브리지를 꽂았다고 모든 프로그램이 자동으로 48GB짜리 단일 GPU처럼 인식하는 것은 아니다. 프레임워크가 P2P 통신과 메모리 배치를 어떻게 구현했는지가 중요하다. 하드웨어 연결은 가능성을 열어주지만, 소프트웨어가 그 길을 제대로 써야 성능이 나온다.

메인보드에서 이미 승부가 갈린다

멀티 GPU 구축 실패담의 상당수는 GPU 구매 이후에 시작된다. 카드 두 장을 샀는데 케이스에 안 들어간다. 들어가긴 했는데 두 번째 슬롯이 x4다. 부팅은 되는데 한 장이 95도까지 올라가며 클럭을 낮춘다. NVMe를 꽂았더니 두 번째 GPU 레인이 줄어든다. 이런 문제들은 소프트웨어 설정 전에 이미 성능을 결정한다.

소비자용 또는 워크스테이션 멀티 GPU를 만들 때는 다음을 반드시 확인해야 한다.

• CPU가 제공하는 PCIe 레인 수와 보드의 실제 슬롯 배선

• 두 장 장착 시 x16/x16, x8/x8, x16/x4 중 무엇으로 동작하는지

• NVMe SSD, 캡처 카드, 10/25/100GbE NIC를 꽂았을 때 GPU 레인이 줄어드는지

• RTX 4090·5090급 3슬롯 이상 카드가 물리적으로 들어가는지

• 오픈에어 쿨러 카드 여러 장을 붙였을 때 위쪽 카드가 열을 빨아들이지 않는지

• PSU 용량뿐 아니라 12VHPWR 또는 12V-2x6 케이블 품질과 꺾임 여유

• Above 4G Decoding, Resizable BAR, PCIe bifurcation, UEFI 설정

• nvidia-smi topo -m에서 GPU 간 경로가 무엇으로 보이는지

이 체크리스트가 번거롭게 느껴진다면 정상이다. 멀티 GPU는 그래픽카드를 추가로 꽂는 일이 아니라 작은 서버를 설계하는 일에 가깝다.

데이터센터 GPU, 워크스테이션 GPU, 소비자 GPU 비교

GPU 선택은 단순히 성능표 맨 위의 카드를 고르는 문제가 아니다. LLM 추론에서는 VRAM 용량, 메모리 대역폭, 멀티 GPU 확장성, 가격이 서로 충돌한다.

소비자 GPU의 강점은 가격 대비 단일 GPU 성능이다. 약점은 VRAM 용량과 멀티 GPU 연결이다. 워크스테이션 GPU의 강점은 VRAM과 안정성이다. 48GB 또는 그 이상의 단일 카드 한 장은 멀티 GPU의 복잡도를 피하면서 70B급 양자화 모델을 다루는 데 매력적이다. 데이터센터 SXM GPU의 강점은 멀티 GPU 확장성이다. 비싼 이유는 GPU뿐 아니라 NVSwitch, 전원, 냉각, 펌웨어, 검증된 토폴로지가 함께 들어가기 때문이다.

InfiniBand는 서버 밖으로 나가는 길이다

NVLink와 NVSwitch가 한 서버 안의 GPU들을 묶는 기술이라면, InfiniBand는 서버와 서버를 묶는 기술이다. 한 노드에 GPU 8장을 넣어도 부족한 모델, 또는 여러 노드에서 동시에 많은 요청을 처리해야 하는 서비스에서는 노드 간 통신이 필요하다.

일반 이더넷도 서버를 연결할 수 있다. 하지만 대규모 GPU 클러스터에서는 지연 시간, 혼잡 제어, CPU 오버헤드가 문제가 된다. InfiniBand는 RDMA, 즉 원격 직접 메모리 접근을 핵심 장점으로 삼는다. NVIDIA Quantum 계열 InfiniBand 스위치는 AI와 HPC 클러스터를 위한 고속 네트워크, 혼잡 제어, 적응형 라우팅 기능을 제공한다.³

하지만 400Gb/s는 바이트로 환산하면 약 50GB/s다. 아주 빠른 네트워크지만, H100 SXM 노드 내부 NVLink의 900GB/s급 대역폭과 비교하면 훨씬 낮다. 즉 노드 밖으로 나가는 순간 통신 비용은 커진다.

그래서 대규모 클러스터에서는 통신이 매우 빈번한 텐서 병렬을 가능하면 한 노드 안, 더 정확히는 NVLink/NVSwitch 도메인 안에 넣는다. 노드 간에는 데이터 병렬이나 파이프라인 병렬처럼 통신 빈도가 상대적으로 낮거나 배치로 감출 수 있는 방식을 배치한다.

Apple Unified Memory는 다른 종류의 해법이다

Apple Silicon의 Unified Memory는 NVIDIA 멀티 GPU와 전혀 다른 방식으로 VRAM 문제에 접근한다. 전통적인 PC에서는 CPU 메모리와 GPU VRAM이 분리되어 있고, 둘 사이를 PCIe로 복사해야 한다. Apple Silicon에서는 CPU, GPU, Neural Engine이 하나의 통합 메모리 풀을 공유한다. MLX는 이 구조를 활용하도록 설계된 Apple의 머신러닝 프레임워크이며, 배열이 공유 메모리에 존재하고 필요한 장치에서 계산될 수 있다는 점을 장점으로 삼는다.⁴

이 구조는 로컬 LLM에 매력적이다. 128GB 또는 256GB 통합 메모리를 가진 Mac Studio는 24GB 소비자 GPU 한 장보다 훨씬 큰 모델을 메모리에 올릴 수 있다. NVIDIA 환경에서 VRAM을 넘긴 모델이 CPU RAM으로 밀려나면 PCIe 병목 때문에 속도가 급락한다. Apple Silicon에서는 하나의 메모리 풀을 공유하므로 이런 종류의 복사 병목이 상대적으로 작다.

하지만 Unified Memory를 무제한 VRAM으로 이해하면 안 된다. macOS와 Metal 런타임은 시스템 안정성을 위해 권장 작업 집합 크기를 두며, 실제 LLM 도구에서는 전체 통합 메모리보다 작은 값이 GPU 사용 가능 메모리처럼 보일 수 있다.⁵ 또한 Apple GPU의 메모리 대역폭과 CUDA 생태계는 H100/H200 같은 데이터센터 GPU와 다르다. 큰 모델을 올릴 수는 있지만, 같은 토큰 처리량을 기대하면 안 된다.

Mac mini나 Mac Studio 여러 대를 묶는 아이디어도 흥미롭지만, 인터커넥트 법칙은 동일하다. 여러 Mac을 일반 이더넷으로 연결하면 노드 간 대역폭은 GPU 내부 메모리 대역폭에 비해 매우 낮다. 따라서 Apple Silicon 클러스터는 하나의 거대한 텐서 병렬 머신이라기보다, 여러 모델 인스턴스를 나누어 서비스하거나, 교육·실험용 분산 추론을 해보는 방향이 현실적이다.

같은 4GPU라도 전혀 다른 시스템이다

같은 4GPU라도 세상은 완전히 다르다.

첫 번째는 소비자용 메인보드에 RTX 4090 네 장을 꽂은 시스템이다. VRAM 합계는 96GB지만 카드 간 연결은 PCIe이고, 슬롯은 x8/x8/x4/x4처럼 나뉠 가능성이 있다. 냉각도 어렵다. 대형 모델을 레이어 분할로 올릴 수는 있겠지만, 텐서 병렬 효율은 제한적이다.

두 번째는 워크스테이션 보드에 48GB GPU 네 장을 꽂은 시스템이다. VRAM 합계는 192GB다. PCIe 레인이 충분하고 카드 간격과 전원이 안정적이라면 훨씬 다루기 쉽다. NVLink/NVSwitch가 없다면 텐서 병렬에서는 데이터센터 SXM 서버보다 불리하지만, 큰 VRAM 덕분에 파이프라인 분할이나 독립 인스턴스 서빙에는 강하다.

세 번째는 H100 SXM 4장 또는 8장이 NVSwitch 도메인에 들어간 서버다. 이 시스템은 비싸지만, 멀티 GPU를 쓰라고 태어난 구조다. 텐서 병렬, 고처리량 배치 서빙, 긴 컨텍스트, 많은 동시 사용자에서 진가가 나온다.

그래서 GPU 견적을 볼 때는 다음 문장을 습관처럼 붙여야 한다.

이 시스템의 총 VRAM은 얼마인가? 그리고 그 VRAM 조각들은 얼마나 빠른 길로 연결되어 있는가?

총 VRAM은 모델이 올라가는지를 결정한다. 연결 속도는 올라간 모델이 쓸 만한 속도로 도는지를 결정한다.

이 장의 결론: GPU 수보다 연결 구조를 먼저 보라

멀티 GPU LLM 구축의 함정은 숫자가 너무 매력적이라는 데 있다. 24GB 두 장은 48GB처럼 보이고, 48GB 네 장은 192GB처럼 보인다. 실제로 모델을 나누어 올릴 때 그 용량은 도움이 된다. 하지만 성능은 덧셈처럼 증가하지 않는다. GPU 사이의 도로가 좁으면 토큰은 생각보다 천천히 나온다.

PCIe는 가장 널리 쓰이는 기본 연결이고, 로컬 추론에서는 충분히 쓸 만하다. 그러나 텐서 병렬에는 한계가 있다. NVLink는 GPU 간 직접 통신의 지름길이고, NVSwitch는 여러 GPU가 균일하게 통신하도록 만드는 핵심 장치다. InfiniBand는 서버 밖으로 확장할 때 필요한 고속 네트워크이지만, 노드 내부 NVLink만큼 가깝지는 않다. Apple Unified Memory는 분리된 VRAM 문제를 다른 방식으로 완화하지만, CUDA/NVLink 클러스터와 같은 물건은 아니다.

좋은 멀티 GPU 시스템은 GPU가 많은 시스템이 아니다. 데이터가 막히지 않도록 설계된 시스템이다. 다음 장에서 살펴볼 병렬화 전략은 바로 이 하드웨어 현실 위에서 선택된다. 텐서 병렬, 파이프라인 병렬, 데이터 병렬, 전문가 병렬은 추상적인 알고리즘이 아니라, 지금 GPU들이 어떤 도로로 연결되어 있는지에 대한 답이다.

참고

¹Multi-GPU LLM Inference Guide — NVLink vs PCIe, Tensor Parallelism

²고성능 GPU 클러스터 도입기 #2: 이주하는 데이터

³NVIDIA Quantum InfiniBand 스위치와 어플라이언스

⁴MLX: An array framework for Apple silicon

⁵Apple silicon limitations with usage on local LLM