NVIDIA Vera Rubin: AI 인프라의 평가 기준을 바꾸다
에이전트 AI 시대가 열리면서, AI 인프라를 평가하는 기준이 근본적으로 달라지고 있다. 더 이상 칩 하나의 최고 FLOPs만으로 승부할 수 없다. 수천 개의 칩이 동시에 추론하고, 스스로 생각을 검증하며, 방대한 컨텍스트를 오가는 시대에는 “같은 전력으로 얼마나 효율적으로 토큰을 생산하는가”가 진짜 경쟁력이다. NVIDIA Vera Rubin은 바로 이 지점을 정면으로 겨냥한 플랫폼이다.
칩이 아니라, 하나의 AI 슈퍼컴퓨터다
NVIDIA Vera Rubin은 단순한 GPU 업그레이드가 아니다. GPU, CPU, 네트워킹, 스토리지까지 7개의 신규 칩을 극단적으로 동시 설계(extreme co-design)하여 5개의 특수 목적 랙을 하나의 통합된 AI 슈퍼컴퓨터로 결합한 멀티 랙 POD 규모 시스템이다2.
중심이 되는 NVIDIA Vera Rubin NVL72 랙 하나에는 72개의 Rubin GPU, 36개의 Vera CPU, ConnectX-9 SuperNIC, BlueField-4 DPU가 통합되어 있다1. 여기에 전용 CPU 랙, Groq 3 LPX 추론 가속기 랙, Spectrum-6 SPX 이더넷 랙, BlueField-4 STX 스토리지 랙이 더해져 총 5개의 랙이 거대한 단일 시스템처럼 협력한다. 이 구성이 실제로 풀어내는 핵심 과제는 통신 병목 제거다. 6세대 NVLink는 GPU당 3.6TB/s, 랙 전체로는 260TB/s의 올투올(all-to-all) 대역폭을 제공하여, MoE(Mixture-of-Experts) 모델처럼 토큰마다 여러 전문가 서브네트워크를 오가야 하는 워크로드에서도 랙 전체가 마치 하나의 거대한 가속기처럼 작동하게 만든다.
CPU도 임무가 재정의되었다. NVIDIA Vera CPU는 커스텀 Olympus 코어를 기반으로, 기존 칩렛 설계 대비 단일 스레드 성능 2배, 코어 간 대역폭 3배, 메모리 지연 시간 40% 감소라는 명확한 목표를 달성했다3. 단순한 연산 장치가 아니라, 에이전트가 GPU에 데이터를 더 빠르게 공급하고 결과를 돌려받게 하는 전담 두뇌 역할에 초점을 맞춘 설계다.
새로운 평가 척도: 와트당 토큰
에이전트 AI는 추론 한 번에 기존 챗봇보다 최대 15배 많은 토큰을 소비한다4. 추론 규모가 커질수록 비용과 전력 소모가 기하급수적으로 늘어날 수밖에 없는 구조에서, 실질적인 효율을 가늠할 지표는 ‘와트당 토큰 생산량’이 된다.
CoreWeave가 실제 NVIDIA Vera Rubin NVL72 실리콘에서 DeepSeek R1 추론을 측정한 결과, Blackwell NVL72 대비 와트당 토큰 처리량이 10배 높았다5. 이는 동일한 전력 예산으로 10배 많은 추론 트래픽을 처리하거나, 동일한 워크로드를 1/10 전력으로 소화할 수 있음을 의미한다. 토큰 100만 개당 비용도 1/10로 낮아진다6.
이러한 효율 개선의 배경에는 NVFP4 정밀도를 지원하는 새로운 Transformer Engine, GPU당 288GB 용량과 22TB/s 대역폭을 제공하는 HBM4 메모리, 그리고 Blackwell 커널을 재사용할 수 있는 소프트웨어 호환성이 자리 잡고 있다7. Blackwell에서 검증된 최적화 기법을 Rubin에서 바로 활용할 수 있어, 소프트웨어 성숙 속도 역시 빠를 것으로 예상된다.
운영까지 고려한 설계와 실제 도입 현장
물리적 설계도 진화했다. 컴퓨트 트레이는 케이블, 팬, 호스 없이 블라인드 메이트 커넥터로 랙에 바로 연결되며, 트레이 조립 시간은 1분으로 단축되었다. 45°C 냉각수 입구 온도를 지원해 냉각기를 없앤 건식 냉각이 가능하므로, 운영 비용과 물 사용량을 동시에 줄일 수 있다3.
NVIDIA Vera Rubin 플랫폼은 현재 CoreWeave, Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure에서 램프업 중이다3. 단순한 스펙 발표를 넘어 실제 클라우드 인프라에 배치되고 있다는 점이 중요하다. 적용 사례는 구체적이다. 글로벌 사이버보안 기업은 동일한 데이터센터 공간에서 10배 많은 엔드포인트를 보호할 수 있고, 자율 코딩 에이전트는 토큰 비용 부담 없이 더 복잡한 문제를 더 오래 파고들 수 있다5. AI 네이티브 검색 엔진은 응답 지연 없이 더 많은 사용자에게 실시간 인용 답변을 제공할 수 있게 된다.
AI 인프라의 경쟁 축이 바뀌고 있다. 칩의 피크 FLOPs가 아니라, “같은 전력으로 얼마나 많은 지능을 생산하는가”로 평가하는 시대다. NVIDIA Vera Rubin은 이 새로운 기준에서 Blackwell 대비 10배의 효율 도약을 실측으로 증명했으며, 에이전트가 기본 인터페이스가 되는 지금, 와트당 토큰이라는 판단 기준을 이해하는 것이 투자와 도입의 출발점이 될 것이다.
2Infrastructure for Scalable AI Reasoning | NVIDIA Vera Rubin Platform
3NVIDIA Vera Rubin Driving Performance Per Watt, Lowest Token Cost for Partners Worldwide
4Vera Rubin NVL72 vs GB200 NVL72? Inference TCO & Architecture Analysis
5First-Ever Measured Vera Rubin NVL72 Silicon Performance Stats | CoreWeave Blog
6NVIDIA Launches Vera Rubin Architecture at CES 2026: The VR NVL72 Rack
7Nvidia details its next-generation Vera CPU for AI, setting up challenge to AMD and Intel
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.