ASR, 즉 음성 인식은 보통 전사문을 앞에서부터 순서대로 생성한다. 이 자동회귀 방식은 안정적이지만, 출력이 길어질수록 디코딩 비용이 함께 늘어난다.
Interfaze가 오픈소스로 공개한 diffusion-gemma-asr-small은 이 전제를 다르게 본다. 전사문을 한 토큰씩 이어 쓰는 대신, DiffusionGemma의 확산 디코더로 전체 문장을 여러 단계에 걸쳐 병렬로 정제하는 다국어 ASR 모델이다.1
무엇이 다른가: 자동회귀가 아니라 확산 전사
diffusion-gemma-asr-small을 이해하려면 먼저 핵심 차이를 봐야 한다. 기존 ASR 디코더가 “다음 토큰”을 반복해서 예측한다면, 확산 방식은 토큰 캔버스를 놓고 노이즈를 줄이듯 결과를 점진적으로 다듬는다.
이 접근의 장점은 디코딩 구조에 있다. 전사문을 앞에서부터 순차 생성하지 않기 때문에, 출력 길이가 길어질 때마다 같은 방식으로 디코딩 단계가 누적되는 전통적 구조와 다르다. diffusion-gemma-asr-small은 README 기준 약 8~16단계의 확산 정제로 전사 결과를 만든다.4
기반 모델: DiffusionGemma를 ASR 디코더로 활용한다
이 모델의 기반은 Google의 DiffusionGemma다. DiffusionGemma는 Gemma 4 기반의 실험적 생성 모델이며,2 26B A4B Mixture-of-Experts 구조를 사용한다.3 전체 파라미터 수는 25.2B지만, 추론 시에는 약 3.8B 파라미터만 활성화한다.3 또한 30개 레이어와 128개 전문가 중 8개 활성 전문가, 1개 공유 전문가를 사용하는 구조로 공개되어 있다.3
diffusion-gemma-asr-small은 이 큰 모델 전체를 새로 학습하는 방식이 아니다. 고정된 DiffusionGemma 위에 약 4,200만 개 학습 파라미터의 어댑터를 추가해 ASR 작업에 맞춘다.4 즉, 핵심 실험은 “거대한 확산 언어 모델을 음성 전사용 디코더로 바꿀 수 있는가”에 가깝다.
음성은 어떻게 텍스트가 되나
처리 흐름은 비교적 명확하다. 먼저 frozen whisper-small encoder가 음성에서 특징을 추출한다. 이후 학습 가능한 projector가 이 특징을 Gemma 임베딩 공간으로 옮긴다.4
그다음 DiffusionGemma 디코더가 256토큰 캔버스를 양방향으로 보며 전사문을 정제한다. 하나의 어댑터가 영어, 독일어, 프랑스어, 스페인어, 힌디어, 중국어 6개 언어를 지원한다.4
공개된 결과에서는 16단계 기준 LibriSpeech test-clean WER 6.6%, 속도는 약 11~17배 실시간으로 제시됐다.4 다만 이 수치는 특정 벤치마크와 구현 조건에서의 결과이므로, 실제 적용 여부는 대상 언어와 음성 환경에서 다시 확인해야 한다.
도입 전에 봐야 할 판단 기준
diffusion-gemma-asr-small은 “Whisper를 곧바로 대체할 모델”이라기보다, 확산 기반 LLM을 ASR 디코더로 활용하는 실험적 사례로 보는 편이 정확하다. 따라서 도입 검토도 성능 수치 하나보다 운영 조건을 함께 봐야 한다.
우선 언어별 WER 또는 CER을 확인해야 한다. 6개 언어를 지원하더라도, 실제 서비스 음성의 억양, 소음, 도메인 어휘에 따라 성능은 달라질 수 있다. 긴 음성을 어떻게 분할할지도 중요하다. 모델은 256토큰 캔버스를 사용하므로, 긴 발화를 다루는 방식이 전체 품질에 영향을 줄 수 있다.4
마지막으로 GPU 비용을 봐야 한다. 공개 구현은 26B 모델을 담기 위해 H100 80GB 환경을 전제로 설명한다.4 어댑터 학습 파라미터는 약 4,200만 개로 상대적으로 작지만, 기반 모델을 실행하는 비용까지 사라지는 것은 아니다.
결론: ASR 디코딩의 다른 방향을 보여준다
diffusion-gemma-asr-small의 의미는 단순히 새 ASR 모델이 하나 더 나왔다는 데 있지 않다. 더 중요한 점은 음성 인식에서도 “앞에서부터 한 토큰씩 생성하는 방식”만이 유일한 선택지는 아닐 수 있음을 보여준다는 것이다.
실무적으로는 아직 성능, 언어별 품질, 긴 음성 처리, GPU 비용을 검증해야 한다. 그러나 연구와 프로토타이핑 관점에서는 확산 디코딩이 ASR에 어떻게 적용될 수 있는지 살펴볼 만한 사례다.
참고
1Interfaze Ships diffusion-gemma-asr-small
2DiffusionGemma: The Developer Guide - Google Developers Blog
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.