최근 Artificial Analysis가 음성 인식(STT) 정확도를 비교하는 새 벤치마크 AA-WER v2.0를 공개했는데, 결과는 의외로(?) ElevenLabs와 Google의 양강 구도였습니다.1 음성 에이전트, 회의록, 콜센터처럼 "말이 돈이 되는" 순간이 늘어난 지금, 어떤 STT를 고르느냐가 제품 완성도와 운영비를 동시에 좌우하기 시작했기 때문입니다.
AA-WER v2.0 벤치마크가 '현업형'인 이유
STT 정확도 비교는 예전부터 있었지만, 문제는 테스트가 현실보다 얌전했다는 점입니다. 책 읽기나 연설 위주 데이터는 깔끔한 발음, 정돈된 문장이라 실제 서비스 환경과 거리가 있거든요.
AA-WER v2.0은 이 허점을 정면으로 찔렀습니다. 핵심은 새로 만든 AA-AgentTalk라는 데이터셋을 전체 점수의 절반(50%)이나 반영한 것인데, 이 데이터는 "사람이 음성 비서에게 말하는 스타일"을 노린 평가용 음성으로 구성됩니다.2 억양 그룹, 말하기 스타일, 주변 소음까지 섞어 "현실의 복잡함"을 일부러 넣었다는 점이 포인트죠.2
여기에 VoxPopuli(의회 발언), Earnings22(실적 발표 콜)처럼 널리 쓰이던 공개 데이터셋은 정답 스크립트 자체를 손으로 정정했습니다.2 정답이 틀리면 성능 좋은 모델이 오히려 벌점을 받는 황당한 일이 생기니까요. 평가 도구(텍스트 정규화)도 손봐서, 쉼표·대문자 같은 서식 차이로 WER이 부풀지 않게 했습니다.2
결과 요약: ElevenLabs Scribe v2 2.3%, 구글 Gemini 3 Pro 2.9%
종합 1위는 ElevenLabs Scribe v2(AA-WER 2.3%), 2위는 Google Gemini 3 Pro(2.9%)였습니다.2 그 뒤로 Mistral Voxtral Small(3.0%) 등 상위권이 촘촘히 붙어 있는 모양새고요.2 뉴스에서도 "ElevenLabs와 구글이 선두"라는 그림이 그대로 확인됩니다.1
재미있는 부분은 구글 쪽 설명입니다. 구글은 "전사(Transcription)만을 위해" 만든 모델이 아니라는 뉘앙스인데도 상위권에 올랐습니다.1 즉, 요즘 STT는 전용 모델만의 리그가 아니라, 멀티모달·범용 모델의 음성 이해력이 본격적으로 경쟁력을 갖추는 국면으로 넘어가는 중입니다.
반면 오픈소스의 상징처럼 쓰이던 Whisper Large v3는 4%대로 중위권에 자리했습니다.1 여전히 훌륭하지만, "그냥 Whisper면 충분"이 항상 정답이던 시대는 끝나가고 있다는 신호로도 읽힙니다.
음성 에이전트·실시간 자막이라면 '정확도'만 보면 안 된다
벤치마크가 말해주는 건 "누가 제일 덜 틀리나"지만, 제품을 만들 땐 질문이 달라집니다. 예를 들어 음성 에이전트는 사용자가 말을 끝내기도 전에 다음 턴을 준비해야 해서, 지연 시간(레이턴시)이 UX를 지배합니다.
그래서 ElevenLabs는 Scribe v2 Realtime처럼 약 150ms급 실시간 전사를 전면에 내세우고, 음성 에이전트 스택에 바로 꽂아 쓰는 흐름을 만들고 있습니다.3 반대로 Mistral은 Voxtral Transcribe 2에서 서브 200ms급 스트리밍과 함께 오픈 웨이트(Realtime)라는 '배포 자유도' 카드를 꺼냈죠.4 규제 산업이나 온프레미스가 필요한 팀이라면, 점수 몇 %보다 이 차이가 더 큽니다.
또 하나, 현업에서 자주 터지는 문제는 "긴 녹음 후반부가 망가지는 현상"입니다. Scribe v2는 긴 대화에서도 말버릇(uh, like), 웃음 같은 비언어 태그를 비교적 있는 그대로 남기는 성향이 언급되는데5, 이런 특성은 법적 기록/리서치 전사처럼 '원문 보존'이 중요한 작업에 유리합니다. 반대로 회의 요약용이라면 너무 날것의 전사는 후처리 비용을 늘릴 수도 있습니다.
시사점
이번 AA-WER v2.0 업데이트는 단순 순위표가 아니라, STT 선택 기준이 "정확도 1개"에서 "정확도×현실 데이터×지연 시간×배포"로 확장됐다는 선언에 가깝습니다.
음성 에이전트/콜센터처럼 대화가 핵심인 서비스라면 AA-AgentTalk 비중이 큰 벤치마크 결과를 우선 참고하되, 실제 도입에서는 실시간 레이턴시와 스트리밍 안정성을 반드시 같이 보세요.
회의록/인터뷰 전사가 목적이라면, 상위권 모델을 고른 뒤 "긴 파일 후반 10분만 잘라 테스트"해보는 게 가장 빠른 검증입니다. STT는 데모 30초가 아니라, 60분짜리 현실에서 차이가 납니다.
마지막으로, 보안·규정 준수나 비용 구조까지 고려해야 한다면 오픈 웨이트/온프레미스 옵션도 함께 비교하세요. 지금 STT 시장은 "누가 더 똑똑하냐"에서 "누가 더 잘 배치되느냐"로 게임 규칙이 바뀌는 중입니다.
참고
1ElevenLabs and Google dominate Artificial Analysis' updated speech-to-text benchmark
2AA-WER v2.0: Speech to Text Accuracy Benchmark
3Create Speech-to-Text Experiences with ElevenLabs Scribe v2 Realtime & Vision Agents
4Voxtral Transcribe 2: fast, accurate speech‑to‑text for 2026
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.