Nemotron-Labs Diffusion: 더 빠른 생성의 핵심은 "모드 전환"이다

AI 생성 이미지

LLM 추론 속도 경쟁의 핵심 병목은 여전히 생성 방식에 있다. 일반적인 자기회귀 모델은 왼쪽에서 오른쪽으로 한 번에 한 토큰씩 생성한다. GPU가 커져도 이 순차성 자체는 쉽게 사라지지 않는다.

NVIDIA의 Nemotron-Labs Diffusion은 이 전제를 정면으로 다룬다. 핵심은 단순히 “확산 모델을 언어 생성에 쓴다”가 아니라, 하나의 모델 안에서 생성 모드를 바꿔가며 속도와 안정성을 조절한다는 점이다.

Nemotron-Labs Diffusion은 무엇인가

Nemotron-Labs-Diffusion은 자기회귀, 확산, 자기 투기 디코딩을 하나의 아키텍처 안에 통합한 tri-mode 언어 모델이다.¹

세 모드는 역할이 다르다.

• 자기회귀 모드: 기존 LLM처럼 왼쪽에서 오른쪽으로 토큰을 순차 생성한다.

• 확산 모드: 여러 토큰을 병렬적으로 생성하고 점진적으로 다듬는다.

• 자기 투기 모드: 확산 방식으로 초안을 만들고, 자기회귀 방식으로 이를 검증한다.

따라서 이 모델의 차별점은 특정 생성 방식 하나에만 있지 않다. 같은 체크포인트를 배포 환경과 동시성 수준에 따라 다르게 운용할 수 있다는 점이 더 중요하다. NVIDIA는 워크로드 조건에 맞춰 모드를 전환함으로써 높은 처리량을 유지할 수 있다고 설명한다.¹

왜 세 가지 모드를 한 모델에 넣었나

Nemotron-Labs-Diffusion은 공동 자기회귀-확산 학습 목표로 훈련됐다.¹ 이 설계는 두 생성 방식의 장점을 함께 쓰기 위한 것이다.

확산 목표는 여러 토큰을 한꺼번에 고려하는 과정에서 lookahead planning을 개선한다. 반면 자기회귀 목표는 자연어가 왼쪽에서 오른쪽으로 이어지는 구조에 대한 강한 사전 지식을 제공한다.¹ 즉 확산은 병렬성과 계획성을, 자기회귀는 언어적 안정성을 보강하는 역할을 한다.

자기 투기 모드는 이 조합을 실용적인 가속 방식으로 만든다. 확산 방식이 후보 토큰 초안을 빠르게 만들고, 자기회귀 방식이 그 초안 중 받아들일 수 있는 부분을 검증한다. NVIDIA 연구에 따르면 이 방식은 multi-token prediction 방식보다 수락률과 실제 기기 효율에서 더 높았다.¹

성능 숫자를 어떻게 읽어야 하나

Nemotron-Labs Diffusion 제품군에는 3B, 8B, 14B 규모의 텍스트 모델과 8B 규모의 비전-언어 모델이 포함된다. NVIDIA는 베이스 모델과 instruction-tuned chat 변형을 공개했으며, 사전 학습에는 NVIDIA Nemotron Pretraining 데이터셋의 1.3T 토큰이 사용됐다.²

공개된 성능 수치에서 눈에 띄는 부분은 forward pass당 생성량과 실제 처리량이다.

• Nemotron-Labs-Diffusion-8B는 Qwen3-8B보다 forward pass당 5.9배 더 많은 토큰을 디코딩했다.¹

• GB200 GPU에서 SGLang으로 SPEED-Bench를 실행했을 때, Nemotron-Labs-Diffusion-8B는 Qwen3-8B보다 처리량이 4배 높았다.¹

• 최적 샘플러 조건의 speed-of-light 분석에서는 확산 방식이 자기 투기보다 forward pass당 최대 76.5% 더 많은 토큰을 생성할 수 있었다.¹

다만 이 숫자들은 “모든 상황에서 항상 4배 빠르다”는 식으로 읽기보다, 어떤 생성 모드가 어떤 배포 조건에서 유리한지 판단하는 기준으로 보는 편이 적절하다. 동시성, 배치 크기, 지연 시간 목표, 생성 길이에 따라 최적 모드는 달라질 수 있다.

도입 관점에서 봐야 할 것

Nemotron-Labs Diffusion의 실질적 가치는 확산, 자기회귀, 자기 투기를 선택지로 제공한다는 데 있다. 정확도가 중요한 단일 요청에서는 자기회귀 모드가 유리할 수 있고, 높은 처리량이 필요한 환경에서는 확산 모드가 더 매력적일 수 있다. 초안 생성과 검증의 균형이 필요한 경우에는 자기 투기 모드가 실용적인 절충안이 된다.

따라서 도입을 검토한다면 평균 벤치마크 점수만 볼 것이 아니라, 다음 조건을 함께 비교해야 한다.

• 요청 동시성 수준

• 목표 지연 시간

• 평균 생성 길이

• 배치 크기

• 품질 저하 허용 범위

• 사용하려는 추론 스택과 GPU 환경

결론적으로 Nemotron-Labs Diffusion의 의미는 “확산 언어 모델이 빠르다”에 머물지 않는다. 더 중요한 메시지는 하나의 모델이 정확도 중심 생성, 처리량 중심 생성, 검증형 가속을 오갈 수 있다는 점이다. 앞으로 LLM 추론 최적화는 모델 크기만이 아니라, 워크로드에 맞는 생성 모드를 선택하는 문제로 더 뚜렷하게 이동할 가능성이 크다.

참고

¹Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

²Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models