NVIDIA Groq 3 LPX: 긴 문맥 추론에서 속도보다 중요한 것
AI 에이전트는 검색, 도구 호출, 추론을 반복하면서 문맥을 계속 확장한다. 이런 서비스에서는 전체 처리량만큼이나 각 사용자가 토큰을 얼마나 빠르고 일정하게 받는지가 중요하다. NVIDIA Groq 3 LPX는 이 지연 시간 문제를 해결하기 위해 Vera Rubin 플랫폼의 디코드 연산을 분담하는 랙 규모 추론 가속 시스템이다.
GPU를 대체하는 대신 연산을 분담한다
Vera Rubin NVL72에서 Vera Rubin GPU는 입력 문맥을 처리하는 프리필과 디코드 어텐션을 담당한다. Groq 3 LPX는 지연 시간에 민감한 디코드 단계의 FFN과 MoE 전문가 연산을 가속한다.1
핵심은 GPU와 LPU 가운데 하나를 선택하는 것이 아니라, 각 프로세서에 적합한 연산을 배치하는 이기종 구조다. 이러한 역할 분담은 긴 문맥을 유지하며 토큰을 연속 생성하는 코딩 에이전트나 음성 비서처럼 응답 속도와 일관성이 중요한 서비스에 특히 유용하다.
SRAM과 직접 연결 구조로 지연 편차를 줄인다
LPX 랙은 액체 냉각식 1U 컴퓨트 트레이 32개로 구성되며, 각 트레이에는 LPU 가속기 8개와 호스트 프로세서가 탑재된다. 랙 전체로는 직접 칩 간 링크로 연결된 LP30 가속기 256개를 포함할 수 있다.1
랙 기준 주요 사양은 다음과 같다.
AI 추론 연산 성능: 315 PFLOPS
온칩 SRAM 총용량: 128GB
온칩 SRAM 대역폭: 40PB/s
스케일업 대역폭: 640TB/s
LP30 LPU 한 개는 500MB 온칩 SRAM을 추론 작업의 주 저장공간으로 사용한다. 컴파일러가 연산 순서와 데이터 이동 시점을 미리 정함으로써 통신 대기와 실행 시간의 편차를 줄이는 방식이다.1 따라서 평가할 때는 최고 연산량뿐 아니라 작은 배치에서의 응답 속도와 지연의 일관성도 살펴봐야 한다.
벤치마크 수치는 도입 판단의 출발점이다
Artificial Analysis가 Gemma 4 31B와 10만 토큰 입력 문맥으로 측정한 결과, 초당 출력 토큰 중앙값은 3,431개로 약 3,400개를 기록했다.2 이는 긴 문맥에서도 높은 디코드 속도를 낼 수 있음을 보여준다.
다만 이 수치만으로 실제 서비스 성능을 판단해서는 안 된다. 도입 전에는 다음 항목을 함께 검증해야 한다.
필요한 모델과 기능의 지원 범위
목표 품질을 유지할 수 있는지
동시 사용자 증가에 따른 처리량 변화
첫 토큰 지연
평균 지연뿐 아니라 꼬리 지연의 안정성
실제 에이전트 작업 흐름에서의 사용자별 토큰 속도
NVIDIA Groq 3 LPX는 완전 생산 단계에 들어갔으며, Nebius는 이를 도입한 최초의 AI 클라우드 사업자다. 이는 전용 디코드 가속이 개념 검증을 넘어 실제 인프라 선택지로 이동하고 있음을 보여준다.
판단 기준은 최고 속도가 아니라 체감 성능이다
NVIDIA Groq 3 LPX가 보여주는 변화는 추론 인프라가 연산 단계별로 분화되고 있다는 점이다. 긴 문맥을 사용하는 에이전트 서비스를 설계한다면 평균 처리량만 비교하지 말고, 사용자별 토큰 속도와 첫 토큰 지연, 꼬리 지연의 안정성을 실제 워크로드에서 측정해야 한다.
요약: NVIDIA Groq 3 LPX는 Vera Rubin NVL72와 연산을 분담해 FFN과 MoE 전문가 연산을 가속하는 랙 규모 시스템이다. 긴 문맥 기반 실시간 서비스에서는 최고 벤치마크 수치보다 사용자별 디코드 속도와 지연의 예측 가능성을 중심으로 평가해야 한다.
1Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform
2How NVIDIA Groq 3 LPX Unlocks Ultrafast Interactivity at Long Context on NVIDIA Vera Rubin
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.