LLM의 생성 속도는 보통 더 큰 GPU, 더 강한 양자화, 더 효율적인 캐시로 설명됩니다. DiffusionGemma가 흥미로운 이유는 질문의 방향이 다르기 때문입니다.
텍스트는 반드시 왼쪽에서 오른쪽으로 한 토큰씩 생성해야 할까?
Google이 공개한 DiffusionGemma는 Gemma 4 기반의 실험적 26B MoE 모델입니다. 전체 규모는 26B지만, 추론 시에는 이 중 3.8B 파라미터만 활성화합니다. 또한 양자화 배포 기준으로 18GB VRAM 안에서 실행되도록 설계됐고, 모델 가중치는 Hugging Face에서 Apache 2.0 라이선스로 제공됩니다.1
핵심은 단순히 “더 빠른 Gemma”가 아닙니다. DiffusionGemma는 텍스트 생성 방식을 바꿔 보려는 모델입니다.
한 토큰씩 쓰지 않고, 256토큰을 한 번에 다룬다
일반적인 autoregressive LLM은 이전 토큰을 바탕으로 다음 토큰을 하나씩 생성합니다. 이 구조는 안정적이지만, 매번 순차적으로 계산해야 하므로 병렬 처리에 한계가 있습니다.
DiffusionGemma는 다르게 접근합니다. 먼저 256토큰짜리 캔버스를 만들고, 이 블록 전체를 병렬로 생성한 뒤 여러 차례 정제합니다.1
이 과정은 이미지 생성 모델의 diffusion 방식과 비슷합니다. 처음에는 무작위 플레이스홀더 토큰으로 캔버스를 채우고, 여러 denoising 패스를 거치며 점점 더 그럴듯한 토큰으로 확정합니다.1 한 글자씩 이어 쓰는 대신, 문단 초안을 한 번에 깔아 놓고 전체를 보며 고쳐 나가는 방식에 가깝습니다.
왜 이 방식이 속도와 제품 경험에 영향을 주는가
DiffusionGemma의 병렬 생성은 GPU 사용 방식에도 차이를 만듭니다. 한 토큰씩 생성하는 구조에서는 로컬 추론에서 메모리 대역폭이 병목이 되기 쉽습니다. 반면 DiffusionGemma는 256토큰 블록을 병렬로 처리하면서 병목을 연산 쪽으로 옮기도록 설계됐습니다.1
또 다른 중요한 차이는 denoising 단계의 문맥 처리입니다. 이 단계에서는 캔버스 안의 모든 쿼리 토큰이 다른 캔버스 토큰과 KV 캐시에 저장된 이전 문맥을 동시에 참고할 수 있습니다.1 즉, 생성 중인 블록 내부에서 앞뒤 토큰을 함께 보며 조정할 수 있습니다.
이 특성은 다음과 같은 작업에서 특히 의미가 있습니다.
코드 빈칸 채우기
인라인 편집
형식이 엄격한 문서나 표 생성
앞뒤 문맥의 일관성이 중요한 텍스트 수정
기존 autoregressive 방식은 이미 생성한 토큰을 되돌리기 어렵습니다. DiffusionGemma는 토큰 신뢰도가 낮아지면 샘플러가 해당 토큰을 다시 노이즈화해 다른 토큰으로 교체할 수 있습니다.1 사용자는 이를 “처음부터 다시 쓰기”보다 “작성 중인 문장을 계속 다듬기”에 가까운 경험으로 느낄 수 있습니다.
긴 출력은 블록 단위로 이어 간다
DiffusionGemma가 256토큰까지만 생성한다는 뜻은 아닙니다. 256토큰 블록이 완전히 denoising되면 해당 블록을 KV 캐시에 커밋하고, 그 이력을 조건으로 다음 256토큰 캔버스를 초기화합니다.1
추론 과정에서는 프리필 단계의 인과적 어텐션과 denoising 단계의 양방향 어텐션이 번갈아 사용됩니다.1 이 구조 덕분에 이전 블록의 흐름은 유지하면서도, 현재 블록 안에서는 병렬 정제가 가능합니다.
정리하면 DiffusionGemma는 순차 생성과 병렬 생성을 완전히 대체 관계로 보지 않습니다. 이전 문맥은 순차적으로 누적하되, 현재 작성 중인 블록은 병렬로 만들고 고치는 방식입니다.
지금은 대체재보다 판단 기준에 가깝다
DiffusionGemma가 모든 LLM을 곧바로 대체한다는 뜻은 아닙니다. Google은 이 모델을 속도와 병렬 레이아웃 생성을 우선한 실험 모델로 설명하며, 최고 품질이 필요한 경우에는 일반 Gemma 4를 권장합니다.2
그럼에도 개발자가 주목할 이유는 분명합니다. DiffusionGemma는 텍스트 생성의 기본 단위를 “다음 토큰”이 아니라 “정제 가능한 블록”으로 다시 생각하게 만듭니다.
로컬 AI, 실시간 편집기, 코드 보완, 문서 자동 정리처럼 반응성과 수정 가능성이 중요한 제품에서는 이 차이가 설계 기준이 될 수 있습니다. 앞으로 모델을 고를 때도 단순히 파라미터 수나 벤치마크 점수만 볼 것이 아니라, 생성 방식 자체가 제품 경험에 어떤 영향을 주는지 함께 봐야 합니다.
DiffusionGemma의 의미는 여기에 있습니다. 텍스트 생성은 꼭 한 방향으로만 흘러갈 필요가 없으며, LLM 인터페이스도 “한 번에 쓰고 끝내는 도구”에서 “초안을 만들고 즉시 고치는 도구”로 진화할 수 있습니다.
1DiffusionGemma: The Developer Guide - Google Developers Blog
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.