최근 HN에 "Moonshine 오픈 가중치 STT가 Whisper Large v3보다 정확하다"는 소식이 올라오며 개발자들이 술렁였습니다. 핵심은 간단합니다. 더 작은 모델이 더 낮은 오류율을 내면서, 실시간(스트리밍) 음성 인식까지 온디바이스로 노린다는 점이죠.1
Moonshine STT 모델이 주목받는 이유(정확도+가벼움)
Moonshine의 가장 큰 임팩트는 "덩치=성능" 공식을 흔든 데 있습니다. 공개된 수치 기준으로, Moonshine의 최대 모델은 2.45억 파라미터인데도 OpenASR 리더보드에서 6.65% WER을 기록했고, Whisper Large v3(15억 파라미터, 7.44% WER)보다 낮은 오류율로 소개됩니다.2 모델 크기는 대략 6배 차이인데 결과는 역전된 셈이라, 모바일·PC 같은 로컬 환경에서 특히 매력적으로 들립니다.
그리고 "오픈 가중치+MIT 라이선스"라는 조합은 서비스 적용 관점에서 꽤 현실적인 장점입니다. 연구용 데모가 아니라, 제품에 넣을 수 있는 선택지로 올라섰다는 뜻이니까요.1
실시간 스트리밍 STT에 강한 구조: TTFT를 줄이는 발상
정확도만큼 중요한 게 체감 속도입니다. 회의 자막이나 음성 명령은 "말 다 끝나면 결과 주세요"가 아니라 "말하는 중에 바로 보여 주세요"가 더 중요하죠.
Moonshine v2 논문은 여기서 병목을 정확히 짚습니다. 풀 어텐션(전체 프레임을 서로 다 봄)은 정확도에 유리하지만, 입력 길이가 길어질수록 계산이 커져 첫 글자 나오기까지 시간이 늘어나는 문제가 있습니다.3 Moonshine은 슬라이딩 윈도우 방식(근처 구간만 집중)으로 스트리밍에 맞게 설계해 지연을 '길이에 따라 폭증하지 않게' 만들려고 합니다.3 즉, 라이브 음성 UX에서 중요한 TTFT(첫 토큰까지 시간)를 구조적으로 줄이려는 모델이라는 점이 큽니다.
Whisper, faster-whisper, 그리고 Moonshine: 뭘 언제 쓰나
Whisper Large v3는 여전히 "다국어 범용 성능"의 기준점입니다. 다만 대형 모델은 로컬에서 돌릴 때 비용이 만만치 않고, 기본 설계가 배치 처리에 가까워 스트리밍은 보조 도구가 필요해지는 경우가 많습니다. 그래서 production에서는 엔진을 최적화한 faster-whisper 같은 선택지가 널리 쓰입니다. 같은 정확도를 유지하면서도 속도와 메모리를 크게 줄이는 접근이죠.4
Moonshine은 방향이 조금 다릅니다. "Whisper를 더 빨리"가 아니라 "애초에 실시간 온디바이스를 전제로" 빠른 반응과 부분 자막 업데이트를 제품 기능으로 밀고 들어옵니다.1 또한 CPU에서 GPU/NPU 없이도 구동을 강조해, 배포 환경이 다양한 앱(윈도우/맥/리눅스/라즈베리파이/모바일)에 특히 맞습니다.1
재미있는 건, 이런 흐름이 STT에만 국한되지 않는다는 점입니다. 최근 오픈 가중치 모델 전반이 '성능은 따라잡고, 가격·배포 자유도는 더 좋게' 움직이고 있습니다.5 Moonshine의 등장은 음성 영역에서도 같은 변화가 본격화됐다는 신호로 볼 만합니다.
시사점
STT를 고를 때 이제 질문이 바뀌는 것 같습니다. "가장 정확한 모델이 뭐야?"에서 "내 서비스가 원하는 반응 속도와 배포 조건에서, 정확도까지 챙길 수 있나?"로요.
라이브 자막, 음성 명령, 커서에 바로 받아쓰는 дик테이션 같은 '즉시성' 제품이라면 Moonshine은 한 번 테스트할 가치가 큽니다. 반대로 다국어 범용, 검증된 생태계, 튜닝 레시피가 우선이라면 Whisper(+faster-whisper)가 여전히 안전한 선택입니다. 결론은 간단합니다. 이제 STT는 클라우드만의 게임이 아니고, "가볍고 빠른 오픈 가중치"가 본격적으로 주전으로 들어오기 시작했습니다.
참고
1Show HN: Moonshine Open-Weights STT models - higher accuracy than WhisperLargev3
2Announcing Moonshine Voice « Pete Warden's blog
3Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
4Mejores Modelos Open Source de Voz a Texto (STT): Ranking Completo [2026]
5MiniMax M2.5: Open Weights Models Catch Up to Claude SonnetFeb 11, 2026
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.