AI 에이전트는 답변만 생성하지 않는다. 계획을 세우고 도구를 호출하며, 결과를 평가한 뒤 다시 시도한다. 이 과정에서 모델을 개선하는 사후 훈련은 일회성 작업이 아니라 지속적인 운영이 된다.
NVIDIA가 Vera Rubin을 설명하며 강조하는 기준도 단순한 최고 성능이 아니라 달러당 지능이다. 같은 비용으로 모델의 실제 문제 해결 능력을 얼마나 높일 수 있는지를 뜻한다. 따라서 토큰당 비용뿐 아니라 훈련 반복 속도, 샌드박스 처리량, 인프라 활용률을 함께 살펴야 한다.1
Vera Rubin은 랙 전체의 병목을 줄이는 플랫폼이다
Vera Rubin은 Rubin GPU와 Vera CPU를 NVLink-C2C로 연결한다. 여기에 ConnectX-9 SuperNIC과 BlueField-4 DPU를 결합하고, 시스템은 직접 수랭식 아키텍처로 설계됐다.2
핵심은 개별 GPU의 연산 성능만 높이는 데 있지 않다. 연산과 통신, 데이터 이동, 냉각을 랙 단위에서 함께 최적화해 전체 작업 흐름의 병목을 줄이는 접근이다.
고밀도 Vera Rubin 시스템은 랙당 최대 144개 GPU를 지원한다. 과학 AI 연산 성능은 7엑사플롭스 이상이며, 정밀 시뮬레이션에 필요한 네이티브 FP64 성능은 5페타플롭스다.2 이는 AI 학습과 고성능 컴퓨팅을 하나의 통합 플랫폼에서 처리하려는 설계 방향을 보여준다.
사후 훈련에서는 CPU와 샌드박스 처리량도 중요하다
강화학습 기반 사후 훈련에서는 많은 샌드박스에서 모델의 행동을 실행하고 검증해야 한다. GPU가 모델 추론과 학습을 담당하는 동안 CPU는 환경 실행, 도구 호출, 평가, 데이터 처리 등을 맡는다. GPU가 빨라도 이 과정이 지연되면 전체 반복 속도는 높아지지 않는다.
Vera CPU 랙은 256개 CPU로 2만2,500개 이상의 동시 샌드박스를 지원하도록 설계됐다.3 NVIDIA는 Vera Rubin이 Blackwell보다 적은 GPU로 대규모 MoE 모델을 훈련할 수 있다고 제시한다.4 다만 실제 효율은 모델 구조와 작업 길이, 네트워크 활용률, 샌드박스 구성에 따라 달라질 수 있다.
도입 판단은 최대 FLOPS보다 반복 비용에서 시작해야 한다
Vera Rubin의 의미는 더 빠른 칩 하나가 아니라 생성·평가·업데이트를 지속적으로 반복하는 전체 시스템에 있다. 따라서 도입을 검토할 때는 다음 항목을 함께 측정해야 한다.
동일 비용에서 처리할 수 있는 샌드박스 수
생성·평가·업데이트의 전체 반복 주기
GPU와 CPU의 실제 활용률
통신 및 데이터 이동에서 발생하는 대기 시간
전력과 직접 수랭을 포함한 운영 비용
에이전틱 AI에서는 한 번의 최고 성능보다 같은 예산으로 모델을 얼마나 빠르고 자주 개선할 수 있는지가 중요하다. Vera Rubin을 평가할 때도 사양표의 최대 수치에 머물지 말고, 실제 워크로드에서 달러당 반복 횟수와 개선 효과가 얼마나 높아지는지를 확인해야 한다.
1NVIDIA Vera Rubin Maximizes Intelligence per Dollar for Post-Training Workloads
2NVIDIA Vera Rubin Delivers World-Class Supercomputers for Science
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.