LLM 추론이 느린 근본 이유는 토큰을 하나씩 생성하는 자가회귀 구조에 있습니다. GPU는 병렬 처리에 강하지만, 다음 토큰이 이전 토큰에 의존하면 디코딩 단계에서 병렬성을 충분히 활용하기 어렵습니다.
추론적 디코딩은 이 병목을 줄이기 위한 대표적인 방법입니다. 작은 드래프트 모델이 미래 토큰을 먼저 제안하고, 큰 타깃 모델이 그 초안을 병렬로 검증합니다. 검증 단계에서는 제안된 토큰 중 타깃 모델 기준으로 유효한 가장 긴 접두사를 받아들입니다.1 잘 맞는 초안을 많이 만들수록, 비싼 타깃 모델 호출 대비 더 많은 토큰을 확정할 수 있습니다.
DFlash의 핵심은 이 과정에서 가장 비효율적인 부분, 즉 초안 생성 자체를 바꾸는 데 있습니다.
기존 추론적 디코딩의 병목: 드래프터도 순차적이다
추론적 디코딩은 타깃 모델의 검증을 병렬화하지만, 많은 기존 방식에서는 드래프트 모델도 여전히 토큰을 순차적으로 생성합니다. EAGLE-3 같은 강한 방식도 초안 생성은 자가회귀 구조에 의존합니다.2
이 경우 드래프트 길이를 늘리면 문제가 생깁니다. 더 긴 초안을 제안하면 한 번에 더 많은 토큰을 수락할 가능성은 생기지만, 드래프터가 그 초안을 만드는 비용도 대체로 선형으로 증가합니다. 즉, “더 많이 제안해서 더 빨라지자”는 전략이 초안 생성 비용에 막힐 수 있습니다.
DFlash는 이 병목을 겨냥합니다. 자가회귀 드래프터를 경량 블록 확산 드래프터로 대체해, 후보 토큰 블록 전체를 단일 포워드 패스에서 생성합니다.1
DFlash의 접근: 토큰을 하나씩이 아니라 블록으로 초안 생성
DFlash가 사용하는 블록 확산 모델은 마스크된 토큰 블록을 동시에 노이즈 제거하듯 복원하는 방식입니다.3 DFlash 드래프터는 각 prefix에 대해 길이 B의 토큰 블록을 만들고, 이 블록 구조는 어텐션 마스크를 통해 구현됩니다.4
중요한 점은 DFlash가 최종 생성을 확산 모델에 맡기는 방식이 아니라는 것입니다. 확산 모델은 어디까지나 빠른 초안 생성기입니다. 최종 토큰 수락 여부는 기존 추론적 디코딩처럼 큰 타깃 LLM이 검증합니다.
이 설계 덕분에 DFlash는 두 가지를 동시에 노립니다.
블록 확산의 병렬성으로 초안 생성 오버헤드를 줄인다.
타깃 LLM의 검증을 유지해 출력 품질을 보존한다.
따라서 DFlash를 “확산 모델로 LLM을 대체하는 기술”로 보기보다는, 추론적 디코딩에서 드래프팅 단계를 더 병렬적인 구조로 바꾸는 기술로 이해하는 편이 정확합니다.
빠른 초안만으로는 부족하다: 수락률이 중요하다
추론적 디코딩에서 초안이 빠르기만 해서는 충분하지 않습니다. 타깃 모델이 초안을 많이 거절하면 실제 가속 효과는 작아집니다. 결국 중요한 것은 초안을 얼마나 싸게 만들 수 있는지와, 그 초안이 얼마나 길게 수락되는지입니다.
DFlash는 수락률을 높이기 위해 타깃 모델의 hidden feature에 조건화됩니다. 특히 KV injection을 사용해 타깃 모델의 문맥 정보를 드래프트 모델의 KV cache에 주입합니다.1
이 구조는 작은 드래프터가 문맥을 처음부터 독립적으로 해석해야 하는 부담을 줄입니다. 타깃 모델이 이미 계산한 표현을 활용하고, 드래프터는 다음 블록을 빠르게 예측하는 데 집중합니다. 즉, DFlash의 성능은 단순히 “블록을 한 번에 만든다”는 점뿐 아니라, 그 블록이 타깃 모델과 잘 맞도록 조건화된다는 점에서 나옵니다.
성능 수치는 어떻게 해석해야 할까
DFlash 논문은 Qwen3-8B에서 최대 6.08배의 무손실 속도 향상을 보고했습니다.3 NVIDIA는 Blackwell 환경의 gpt-oss-120b에서 같은 인터랙티비티 수준 기준 최대 15배 처리량 향상을 제시했습니다.1
다만 이런 수치는 항상 실행 조건과 함께 봐야 합니다. 추론적 디코딩의 실제 효과는 다음 요소에 크게 좌우됩니다.
사용하는 타깃 모델과 드래프트 모델
블록 크기
초안 토큰의 acceptance length
동시성 수준
서빙 엔진과 하드웨어
워크로드의 출력 길이
특히 reasoning, 코드 생성, 에이전트 작업처럼 출력 토큰이 길어지는 워크로드에서는 초안 생성 오버헤드를 줄이는 효과가 더 중요해질 수 있습니다. 반대로 출력이 짧거나 수락률이 낮은 환경에서는 최대 배속 수치만큼의 이득을 기대하기 어렵습니다.
실무 적용에서 볼 기준
DFlash는 “더 큰 모델”만큼이나 “더 좋은 추론 파이프라인”이 중요해지고 있음을 보여줍니다. 모델 자체를 바꾸지 않더라도, 드래프팅과 검증의 구조를 바꾸면 같은 타깃 LLM에서 더 높은 처리량이나 낮은 지연 시간을 얻을 수 있습니다.
적용을 검토한다면 최대 벤치마크 수치보다 다음 지표를 먼저 확인하는 것이 실용적입니다.
내 모델에서 평균 acceptance length가 충분히 긴가?
end-to-end latency가 실제로 줄어드는가?
동시성 증가 시 throughput 개선이 유지되는가?
블록 크기와 드래프터 비용 사이의 균형이 맞는가?
기존 서빙 스택에 무리 없이 통합되는가?
DFlash는 SGLang, vLLM, TensorRT-LLM을 지원하며, 20개 체크포인트도 제공됩니다.1 따라서 연구 아이디어에 머무르기보다 실제 서빙 스택에서 검증해볼 수 있는 형태로 확산되고 있습니다.
결론적으로 DFlash의 가치는 “확산 모델을 LLM 생성에 쓴다”는 표면적인 novelty보다, 추론적 디코딩의 병목이었던 순차적 초안 생성을 블록 단위 병렬 생성으로 바꿨다는 데 있습니다. 실무에서는 홍보용 최대 배속보다, 자신의 모델·트래픽·서빙 환경에서 초안 수락 길이와 end-to-end latency가 얼마나 개선되는지를 기준으로 판단해야 합니다.
1Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding
2The next generation of speculative decoding: DFlash and Spec V2
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.