Zyphra가 ZAYA1-8B-Diffusion-Preview를 공개했다. 2026년 5월 15일 MarkTechPost는 이 모델을 "자기회귀 MoE LLM을 이산 확산 모델로 변환한 첫 사례"로 소개했다.1 핵심은 새 모델 하나의 등장이 아니라, LLM 추론 병목을 디코딩 방식 자체로 풀려는 시도다.
왜 확산 언어 모델인가
대부분의 LLM은 자기회귀 방식으로 동작한다. 토큰을 하나씩 순서대로 생성하고, 매 단계마다 이전 토큰의 계산 결과인 KV-cache를 불러온다.
이 구조의 병목은 종종 GPU 연산량보다 메모리 대역폭에서 발생한다. GPU가 계산을 못 해서가 아니라, 필요한 데이터를 기다리느라 속도가 제한되는 것이다.
ZAYA1-8B-Diffusion-Preview는 이 문제를 확산 방식으로 접근한다. 토큰을 하나씩 확정하는 대신 여러 토큰 후보를 동시에 만들고, 그중 일부를 받아들이는 방식이다. Zyphra는 이 모델이 16개 토큰 초안을 동시에 생성한다고 설명한다.2 즉, 속도 향상의 출발점은 더 큰 모델이 아니라 다른 생성 절차에 있다.
기존 LLM을 버리지 않고 변환했다
Zyphra는 확산 언어 모델을 처음부터 새로 학습하지 않았다. 기존 ZAYA1-8B-base 체크포인트를 가져와 확산 모델로 변환했다. 이후 32k 컨텍스트에서 600B 토큰의 변환 중간학습, 128k 컨텍스트 확장 500B 토큰, 확산 SFT를 진행했다고 밝혔다.2
이 접근의 장점은 실용성이다. 확산 언어 모델을 처음부터 안정적으로 학습하는 방법은 아직 성숙한 표준으로 자리 잡지 않았다. 반면 기존 자기회귀 모델을 변환하면, 이미 구축한 사전학습 자산을 활용하면서 추론 단계에서 새로운 이점을 노릴 수 있다.
최대 7.7배, 숫자보다 중요한 것은 선택지
Zyphra는 두 가지 샘플러 결과를 제시했다. 기본 확산 샘플러는 평가 성능 저하를 체계적으로 보이지 않으면서 4.6배 수준의 수용률을 냈다. 혼합 로짓 샘플러는 품질 일부를 양보하는 대신 최대 7.7배 수용률을 기록했다.2
따라서 이 결과를 "항상 7.7배 빠르다"로 읽으면 안 된다. 더 중요한 메시지는 품질과 속도 사이의 조절 여지를 런타임에 둘 수 있다는 점이다. 정확도가 중요한 요청에는 보수적인 설정을, 처리량이 중요한 요청에는 더 공격적인 설정을 적용하는 식으로 운영 전략을 나눌 수 있다.
결론
ZAYA1-8B-Diffusion-Preview는 아직 프리뷰 모델이다. 확산 모델 추론 스택도 자기회귀 모델만큼 최적화되어 있다고 보기는 어렵다. 따라서 이 발표만으로 LLM 표준이 곧바로 바뀐다고 단정하기는 어렵다.
그럼에도 방향은 분명하다. LLM 속도 경쟁은 모델 크기 축소나 양자화에만 머물지 않고, 디코딩 방식 자체의 재설계로 확장되고 있다. ZAYA1-8B-Diffusion-Preview는 그 가능성을 선명하게 보여주는 사례다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.