AI 인프라 논의는 대개 GPU에서 출발합니다. 그러나 에이전트형 AI에서는 병목이 GPU 안에서만 생기지 않습니다. 모델이 답변을 생성하는 동안, 시스템은 도구를 호출하고 코드를 실행하며 데이터를 옮기고 결과를 검증해야 합니다. 이때 GPU를 둘러싼 CPU, 메모리, 시스템 제어 능력이 전체 처리량을 좌우합니다.
NVIDIA Vera CPU가 중요한 이유도 여기에 있습니다. Vera는 단순히 새로운 서버용 CPU가 아니라, 에이전트형 AI 시대에 GPU 바깥의 병목을 줄이기 위해 설계된 데이터센터 CPU입니다.
Vera CPU는 무엇인가
NVIDIA Vera는 에이전트형 AI와 강화학습 워크로드를 겨냥한 데이터센터 CPU입니다. 가속 시스템에서 GPU 옆에 배치되어 데이터 이동, 메모리 관리, 오케스트레이션, 시스템 제어 같은 호스트 CPU 역할을 맡습니다.1
핵심 사양은 다음과 같습니다. Vera는 NVIDIA가 설계한 차세대 Arm 아키텍처인 Olympus 기반 코어 88개를 탑재하고, NVIDIA Spatial Multi-Threading을 통해 176개 스레드를 지원합니다. 또한 LPDDR5 계열 메모리를 사용하는 데이터센터 CPU로, 최대 1.2TB/s 메모리 대역폭을 제공합니다.1
Vera는 독립형 CPU로도 제공되며, NVIDIA의 Vera Rubin 플랫폼에도 통합됩니다.1 즉 Vera는 GPU를 보조하는 주변 부품이라기보다, AI 서버 아키텍처의 한 축으로 설계된 제품에 가깝습니다.
왜 CPU가 다시 중요해졌나
에이전트형 AI는 추론만 반복하는 구조가 아닙니다. 모델 호출 사이사이에 검색, ETL, 코드 실행, API 호출, KV 캐시 관리, 결과 검증 같은 작업이 계속 발생합니다. 이런 작업은 GPU 연산만으로 해결되지 않으며, CPU와 메모리 서브시스템의 영향을 크게 받습니다.
NVIDIA는 Vera가 코어당 성능에서 이전 대비 50% 더 빠르다고 설명합니다.1 이 수치가 의미하는 바는 명확합니다. AI 서버 성능을 볼 때 더 이상 GPU 개수나 GPU FLOPS만으로 충분하지 않다는 것입니다. GPU가 빠르더라도 CPU가 데이터 준비와 실행 제어를 따라가지 못하면 전체 파이프라인은 지연됩니다.
특히 메모리 대역폭은 실무적으로 중요한 지표입니다. 에이전트형 워크로드는 작은 작업을 자주 실행하고, 여러 데이터 소스와 상태 정보를 오가며, 모델 바깥의 실행 환경을 계속 갱신합니다. 이 과정에서 CPU가 접근할 수 있는 메모리 대역폭과 전력 효율은 서버당 처리량과 비용에 직접 영향을 줍니다.
SK하이닉스가 Vera Rubin에 최적화된 SOCAMM2 양산을 언급한 것도 같은 맥락입니다. AI 서버 경쟁은 GPU 연산량만의 싸움이 아니라 CPU, 메모리, 인터커넥트, 전력 효율이 결합된 시스템 경쟁으로 이동하고 있습니다.2
도입 흐름이 보여주는 것
Vera의 의미는 초기 도입 고객에서도 드러납니다. NVIDIA는 Alibaba, CoreWeave, Meta, Oracle Cloud Infrastructure 등이 Vera 도입을 위해 협력 중이라고 밝혔고, 서버 제조사들도 Vera 기반 시스템을 준비하고 있습니다.3
이 흐름은 Vera가 특정 벤치마크용 부품이 아니라 대규모 AI 인프라 사업자의 실제 운영 환경을 겨냥하고 있음을 보여줍니다. 특히 에이전트형 AI와 대규모 추론 서비스에서는 서버 한 대의 GPU 성능보다 전체 랙과 클러스터가 얼마나 안정적으로 일을 분산하고 데이터를 공급하는지가 중요해집니다.
따라서 Vera를 볼 때는 “새 CPU가 얼마나 빠른가”보다 “AI 서버에서 어떤 병목을 줄이려는가”를 봐야 합니다. 핵심 판단 기준은 다음과 같습니다.
에이전트 런타임과 데이터 파이프라인을 CPU가 얼마나 잘 처리하는가
GPU에 데이터를 공급하는 과정에서 지연이 줄어드는가
메모리 대역폭과 전력 효율이 실제 처리량 개선으로 이어지는가
CPU, GPU, 메모리, 인터커넥트가 하나의 시스템으로 최적화되어 있는가
실무적으로 무엇을 배울 수 있나
Vera CPU가 주는 메시지는 간단합니다. AI 인프라를 설계할 때 이제 GPU만 보면 안 됩니다. 에이전트형 AI를 운영하려면 모델 실행 전후의 작업, 데이터 이동, 메모리 접근, 오케스트레이션까지 함께 설계해야 합니다.
실무에서는 다음 질문이 더 중요해집니다.
GPU 사용률이 낮다면 병목이 CPU나 데이터 파이프라인에 있는가
에이전트 실행 과정에서 도구 호출과 상태 관리가 CPU를 얼마나 점유하는가
메모리 대역폭이 추론 지연과 처리량에 어떤 영향을 주는가
랙 단위 확장 시 전력당 처리량이 유지되는가
Vera의 등장은 AI 서버에서 CPU가 다시 전략 부품이 되고 있음을 보여줍니다. 앞으로의 AI 인프라 경쟁은 더 많은 GPU를 넣는 경쟁을 넘어, GPU가 쉬지 않고 일할 수 있도록 주변 시스템 전체를 얼마나 잘 설계하느냐의 경쟁이 될 것입니다.
1차세대 데이터센터 CPU | NVIDIA Vera CPU
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.