AI 데이터센터의 핵심 과제가 단순한 모델 훈련에서 실시간 심층 추론과 에이전트형 AI 처리 효율로 이동하는 가운데, 엔비디아가 차세대 랙 스케일 플랫폼의 첫 실측 데이터를 공개했습니다. 2026년 9월 발표된 MLPerf Inference v6.1 벤치마크 제출 결과에서 NVIDIA Vera Rubin NVL72는 기존 GB300 NVL72 대비 최대 3.7배 높은 처리량을 기록하며 공식적인 첫 테스트 무대를 치렀습니다.
이번 발표가 데이터센터 설계자와 인프라 담당자에게 중요한 이유는 단순한 연산 속도 향상을 넘어섰기 때문입니다. 72개의 Rubin GPU와 36개의 Vera CPU를 하나로 통합한 NVIDIA Vera Rubin NVL72는 HBM4 메모리 구조, LUT 기반 텐서 코어, 그리고 커널 재사용 중심의 소프트웨어 생태계를 종합적으로 설계했습니다. 이를 통해 대규모 언어 모델(LLM)과 에이전트 AI 구동 시 발생하는 전력 및 TCO(총소유비용) 부담을 낮추려는 구조적 전환을 보여줍니다.
MLPerf Inference v6.1 수치 분석과 성능 차이
MLPerf Inference v6.1 Closed Division의 프리뷰 제출(2026년 9월 16일 수집 기준) 데이터를 살펴보면, NVIDIA Vera Rubin NVL72는 대표적인 멀티모달 및 심층 추론 모델에서 이전 세대 대비 명확한 성능 차이를 보였습니다. 엔비디아의 오픈소스 추론 프레임워크인 NVIDIA Dynamo와 vLLM 환경에서 시각-언어 모델인 Qwen3-VL을 구동했을 때, 오프라인, 서버, 인터랙티브 등 전 시나리오에 걸쳐 GB300 NVL72 대비 최대 3.7배 높은 처리량(throughput)을 달성했습니다1.
또한 심층 추론 모델인 DeepSeek-R1에서는 NVIDIA TensorRT-LLM 라이브러리를 통해 GB300 NVL72 대비 최대 2.5배 높은 처리량을 기록했습니다1. 에이전트 및 멀티스텝 워크로드를 평가하는 SemiAnalysis AgentX 벤치마크 프리뷰 테스트에서는 NVIDIA Vera Rubin NVL72가 GB300 NVL72 대비 30배 높은 성능을 나타냈습니다1.
하드웨어 변경 외에 소프트웨어 최적화가 가져온 성능 개선도 함께 확인되었습니다. GB300 NVL72 기반 시스템에서는 소프트웨어 최적화만으로 Qwen3-VL 모델의 성능이 MLPerf Inference v6.0 대비 v6.1에서 최대 1.6배 향상되었습니다1. 아울러 4개 랙으로 구성된 288개 GPU의 GB300 NVL72 시스템은 DeepSeek-R1 오프라인 시나리오에서 단일 랙 대비 99%에 달하는 스케일링 효율을 보여주며 대규모 확장의 안정성을 입증했습니다1.
극도 공동 설계: HBM4와 LUT B 텐서 코어의 원리
NVIDIA Vera Rubin NVL72의 성능 향상은 엔비디아의 2세대 랙 스케일 Oberon 아키텍처에 적용된 극도 공동 설계(extreme co-design)에 뿌리를 두고 있습니다2. 이 플랫폼은 72개의 Rubin GPU, 36개의 Vera CPU, ConnectX-9 SuperNIC, BlueField-4 DPU를 6세대 NVLink 스위치로 정밀하게 결합한 단일 시스템 형태를 띱니다3.
가장 핵심적인 하드웨어 변화는 3D 적층 HBM4 메모리의 탑재입니다. 이를 통해 Blackwell Ultra 대비 2.8배 높은 글로벌 메모리 대역폭을 제공합니다2. 대용량 언어 모델의 디코딩 과정처럼 메모리 대역폭이 전체 성능을 좌우하는 워크로드에서 이와 같은 대역폭 확장은 병목 현상을 직접적으로 해소합니다. 세부 메모리 구조에서도 공유 메모리(SMEM) 기본 용량이 Blackwell의 228KiB에서 오버사이즈 모드 기준 최대 328KiB로 커졌고, 텐서 메모리(TMEM) 역시 256KiB로 확장되어 연산 처리 과정의 효율을 높였습니다2.
연산 코어에는 'LUT B'로 불리는 3비트 프로그래머블 룩업 테이블 텐서 코어 모드가 도입되었습니다. 기존의 양자화 방식과 달리 LUT B 모드는 3.125비트 수준으로 압축된 가중치 인덱스를 텐서 코어 내부에서 직접 재구성하여 FP8 연산을 실행합니다2. 별도의 탈양자화 패스 없이 메모리 읽기량을 줄임으로써 low batch size 디코딩 성능을 대폭 개선합니다.
소프트웨어 호환성과 실제 운영 조건의 한계
새로운 하드웨어가 도입될 때 가장 큰 장벽은 기존 코드를 다시 작성해야 하는 소프트웨어 전환 비용입니다. 과거 Hopper에서 Blackwell로 넘어갈 당시에는 연산 커널 구조가 달라 코드를 처음부터 다시 작성해야 했습니다. 반면 Rubin 아키텍처는 DeepGEMM, FlashMLA, CUTLASS 등 Blackwell의 SM100 계열 커널을 재사용할 수 있도록 설계되어 초기 소프트웨어 안정화와 배포 기간을 단축할 수 있습니다2.
다만 공개된 수치를 해석할 때는 측정 조건과 제약 사항을 함께 고려해야 합니다.
첫째, MLPerf Inference v6.1에 제출된 NVIDIA Vera Rubin NVL72의 수치는 정식 양산품 실적이 아닌 프리뷰(Preview) 제출 단계의 결과입니다1. SemiAnalysis가 분석한 DeepSeek-R1 구동 시 GB200 NVL72 대비 MW당 5.4배 성능 및 달러당 5배 성능 지표2나, 엔비디아 자체 사양표의 MW당 최대 10배 토큰 처리 및 100만 토큰당 비용 1/10 절감 수치3 역시 엔지니어링 샘플과 특정 시뮬레이션 조건(Kimi-K2-Thinking 모델 등)에 바탕을 두고 있습니다. SemiAnalysis 수치는 CoreWeave의 초기 프리뷰 데이터에 기반한 것으로 외부의 완전한 독립 검증이 완료된 상태는 아닙니다2.
둘째, Rubin 아키텍처에 내장된 2:4 활성화 동적 희소성(activation sparsity)과 같은 신규 기능은 실리콘 레벨에 구현되어 있으나, 이를 다루는 최적화 커널이 아직 완숙한 단계는 아닙니다2. 따라서 모델 정밀도 유지 여부와 실제 상용 서비스에서의 이점은 향후 전용 커널 최적화 경과를 관찰할 필요가 있습니다.
도입 판단 기준: 어떤 기업에 유용한가
NVIDIA Vera Rubin NVL72는 단순히 단일 칩의 연산 속도를 겨루는 제품이 아니라, 데이터센터 단위의 전력 효율과 랙 수준의 TCO 절감을 목표로 하는 인프라입니다.
이 플랫폼은 수천억에서 조 단위 매개변수를 가진 모델을 실시간으로 운영하거나, 복잡한 에이전트 AI 및 수십만 토큰에 달하는 장문 컨텍스트를 병렬 처리해야 하는 대형 클라우드 서비스 제공업체(CSP)와 하이퍼스케일러 환경에 가장 적합합니다.
도입을 검토하는 기업은 다음 기준을 바탕으로 준비 상태를 점검해야 합니다.
전력 및 냉각 인프라 수용성: MW당 토큰 효율을 고르게 끌어올리기 위해서는 고밀도 액체 냉각(Liquid Cooling) 기반의 MGX 랙 사양을 수용할 수 있는 데이터센터 환경이 선행되어야 합니다3.
독립 검증 벤치마크 확인: 초기 엔지니어링 샘플 데이터 대신 2026년 하반기 이후 제출될 InferenceX 등 독립 벤치마크 결과 및 실 서비스 지연 시간(Latency) 수치를 검증해야 합니다2.
소프트웨어 최적화 역량: 초기에는 Blackwell 커널 재사용을 통해 빠르게 제품화를 추진하더라도, 향후 Rubin 전용 커널 최적화를 지속적으로 적용할 수 있는 내부 엔지니어링 역량이 확보되었는지 파악해야 합니다2.
참고
1NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut
2Vera Rubin NVL72 vs GB200 NVL72? Inference TCO & Architecture Analysis
3Rack-Scale Agentic AI Supercomputer | NVIDIA Vera Rubin NVL72
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.