DiffusionGemma: 언어 모델의 속도 한계를 재정의하다

언어 모델이 아무리 똑똑해도, 한 글자씩 차례대로 생성하는 한 속도는 ‘메모리 대역폭’이라는 벽에 부딪힐 수밖에 없다. 기존 자기회귀 모델은 토큰을 하나씩 순차적으로 만들어내기 때문에, 문장이 길어질수록 지연 시간이 선형으로 늘어난다. GPU의 연산 능력이 남아돌아도 메모리 병목이 속도를 가로막는 이유다.

구글이 공개한 DiffusionGemma는 이 패러다임을 정면으로 뒤집는다. 텍스트를 한 토큰씩 쓰는 대신, 답변 영역 전체를 [MASK]로 채워두고 여러 번의 복원 단계를 거쳐 병렬로 토큰을 완성한다.

무엇이 다른가 — 마스킹 확산과 블록 병렬 생성

이미지 생성 모델이 노이즈를 점진적으로 걷어내듯, 텍스트 확산 모델은 이산적인 토큰을 특별한 [MASK] 토큰으로 변환했다가 복원한다. 연속적인 가우시안 노이즈를 더할 수 없는 텍스트의 특성에 맞춘 마스킹 확산 메커니즘이다.

DiffusionGemma는 이 방식을 극한까지 밀어붙여, 한 번의 순전파로 256개 토큰 블록을 병렬 생성한다. 양방향 어텐션 덕분에 각 토큰이 앞뒤 문맥을 동시에 참고할 수 있고, 문장 전체를 여러 번 정제하며 오류를 수정한다.

속도 향상은 수치로도 분명하다. 단일 NVIDIA H100 GPU에서 초당 약 1,500개의 출력 토큰을 생성하며, 이는 최신 추측 디코딩을 적용한 자기회귀 모델보다 상당히 빠르다. 구조화된 출력이 필요한 작업이라면 보통 2~3회의 정제 단계만으로 결과를 완성한다.

효율성은 아키텍처에서도 드러난다. 총 파라미터는 252억 개(25.2B)지만, MoE 구조 덕분에 추론 시 실제 활성화되는 파라미터는 38억 개(3.8B)에 불과하다. 양자화하면 소비자용 RTX 5090 또는 4090 GPU의 24GB VRAM 내에서도 충분히 작동하며, Blackwell GPU에서는 NVFP4 4비트 부동 소수점 형식을 네이티브로 지원해 거의 무손실 정확도로 더 빠른 속도를 낸다.

어떻게 만들어졌나 — 지식 전환과 SD·RL

DiffusionGemma는 처음부터 새로 학습한 모델이 아니다. 기존 Gemma-4-26B-A4B 모델을 변환했으며, 원본 훈련 토큰 예산의 10% 미만만 추가로 사용했다. 이 점은 확산 언어 모델의 실용화에 중요한 의미를 갖는다. 거대 모델의 지식을 처음부터 다시 학습하지 않고도 새로운 생성 패러다임으로 전환할 수 있음을 입증했기 때문이다.

학습 파이프라인은 두 단계로 구성된다. 첫 번째는 지도 학습 미세 조정(SFT)으로, 모델이 양방향 디노이징을 학습한다. 두 번째 단계인 SD·RL에서는 강화 학습과 샘플러 증류를 단일 과정으로 결합해 생성 품질과 추론 효율을 동시에 개선한다.

주목할 점은 기존 Gemma 모델의 핵심 기능이 그대로 유지된다는 사실이다. 사고 모드, 멀티모달 입력, 긴 컨텍스트 지원 등이 보존되며, 필요하면 자기회귀 생성도 약간의 성능 저하만으로 수행할 수 있다. 이는 확산과 자기회귀를 완전히 분리된 세계가 아니라, 하나의 모델이 두 모드를 오갈 수 있는 하이브리드 접근의 가능성을 열어둔 설계다.

이것이 의미하는 것 — 속도의 재정의와 확산의 실용화

DiffusionGemma가 보여주는 가장 큰 교훈은 분명하다. 메모리 대역폭이 아닌 연산량에 병목 되도록 모델을 설계하면, GPU의 컴퓨팅 자원을 더 많이 활용하면서도 지연 시간은 줄일 수 있다는 점이다. Blackwell GPU의 NVFP4 네이티브 지원도 같은 맥락에서, 하드웨어와 모델 설계가 긴밀히 맞물릴 때 얻을 수 있는 효율을 보여준다.

더 넓게 보면, DiffusionGemma는 확산 언어 모델이 연구실을 넘어 실제 애플리케이션에 적용될 수 있는 분기점을 제시한다. 현재 Apache 2.0 라이선스로 Hugging Face에 공개되어 있어, 누구나 이 새로운 생성 패러다임을 직접 실험하고 활용할 수 있다.