ASR 모델을 고를 때 가장 위험한 질문은 "1등이 뭐지?"입니다. 사용자는 여러 언어를 섞어 말하고, 한 시간짜리 녹음을 올리고, 결과를 몇 초 안에 원하며, 때로는 상업적 배포가 가능한 라이선스까지 요구합니다. 이 조건에서는 평균 WER이 가장 낮은 모델이 오히려 틀린 선택일 수 있습니다.
최근 Open ASR Leaderboard에 이른바 "Benchmaxxer Repellant" 성격의 비공개 평가 데이터가 추가됐습니다. Appen과 DataoceanAI가 제공한 영어 ASR 데이터로, 다양한 억양·스크립트 낭독·자연 대화 음성을 포함합니다. 다만 기본 Average WER은 여전히 공개 데이터 기준으로 계산되고, 사용자가 토글로 비공개 데이터 영향을 확인하는 방식입니다.1 핵심은 순위를 바꿨다는 것보다, 공개 벤치마크에 맞춘 과최적화를 견제하기 시작했다는 점입니다.
낮은 WER 하나로는 충분하지 않다
Open ASR Leaderboard는 단순히 "누가 이겼나"를 보여주는 표가 아닙니다. 최신 논문 기준으로 이 벤치마크는 오픈소스와 독점 ASR 시스템 86개를 12개 데이터셋에서 비교하고, 영어 단문·영어 장문·다국어 단문 트랙을 나눠 WER과 RTFx를 함께 봅니다.2
여기서 WER은 전사 정확도, RTFx는 처리 속도에 가깝습니다. RTFx가 높을수록 같은 시간에 더 많은 오디오를 처리합니다. 즉 고객센터 녹취 1만 시간을 밤새 돌려야 하는 팀과, 실시간 자막을 붙여야 하는 팀은 같은 1등 모델을 고르면 안 됩니다.
확인된 경향도 분명합니다. Conformer 인코더와 LLM 계열 디코더를 결합한 모델은 낮은 WER에서 강하지만, CTC나 TDT 기반 모델은 훨씬 높은 처리량을 보이는 경우가 많습니다. 예컨대 장문 전사에서 NVIDIA Parakeet CTC 1.1B는 Whisper Large v3보다 WER은 약간 높지만 RTFx는 크게 앞선 사례로 소개됩니다.3 해석하자면, "정확한 모델"과 "운영 가능한 모델"은 같은 말이 아닙니다.
내 오디오가 벤치마크와 닮았는지 먼저 봐야 한다
팟캐스트 전사라면 장문 성능과 청크 처리 안정성이 중요합니다. 회의록이라면 화자 중첩, 잡음, 즉흥 발화가 문제입니다. 콜센터 분석은 억양, 낮은 음질, 반복적인 도메인 용어가 성능을 흔듭니다. 다국어 캡션은 영어 WER보다 언어별 편차와 지원 범위가 더 중요합니다.
그래서 리더보드를 볼 때는 평균 순위보다 "내 실패 조건"에 가까운 데이터셋을 먼저 골라야 합니다. LibriSpeech 같은 낭독 음성에서 좋은 모델이 회의나 자연 대화에서도 그대로 강하다고 보면 안 됩니다. 반대로 다국어 모델은 영어 특화 모델보다 평균 영어 성능이 낮을 수 있지만, 제품이 실제로 여러 언어를 받아야 한다면 더 안전한 선택일 수 있습니다.
이번 비공개 데이터 추가가 중요한 이유도 여기에 있습니다. 공개 테스트셋은 재현성과 투명성에는 좋지만, 시간이 지나면 모델 개발자가 그 분포에 맞춰 최적화할 여지가 커집니다. 비공개 평가는 완전한 해답은 아니지만, "벤치마크 점수는 좋은데 실제 사용자 음성에서 무너지는" 위험을 줄이는 장치가 됩니다.
운영 질문: 속도, 라이선스, 재현성, 유지보수
실무에서는 정확도 다음 질문이 더 빨리 옵니다. 이 모델을 우리 GPU에서 돌릴 수 있는가. 배치 처리 비용은 감당 가능한가. 상업 서비스에 넣어도 되는 라이선스인가. 모델 업데이트가 갑자기 결과 품질을 바꾸지는 않는가.
Open ASR Leaderboard의 장점은 평가 코드와 데이터 로더가 공개되어 있다는 점입니다. GitHub 저장소는 모델 평가 스크립트, WER·RTFx 산출 방식, 실행 환경을 공개하며, 기존 평가는 NVIDIA A100-SXM4-80GB, CUDA 12.6, PyTorch 2.4.0 같은 조건에서 수행됐다고 명시합니다.4 이 정보는 "내 환경에서 같은 속도가 나올까?"라는 현실적 의문을 던지게 합니다.
따라서 리더보드는 최종 결정을 대신하는 도구가 아니라 후보군을 줄이는 도구로 써야 합니다. 먼저 언어, 오디오 길이, 지연시간, 라이선스 제약을 정합니다. 그다음 관련 트랙에서 WER과 RTFx를 함께 보고, 마지막에는 반드시 자사 음성 1~5시간 정도로 작은 비공개 벤치마크를 돌려야 합니다.
결국 이번 변화는 ASR 평가가 "공개 점수 경쟁"에서 "현실 조건 검증"으로 이동하고 있다는 신호입니다. 음성 제품을 만드는 팀이라면 1등 모델보다 덜 화려해 보여도, 내 사용자·내 비용·내 배포 조건에서 덜 실패하는 모델을 고르는 것이 더 중요합니다.
참고
1Adding Benchmaxxer Repellant to the Open ASR Leaderboard
3Open ASR Leaderboard: Trends and Insights with New Multilingual & Long-Form Tracks
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.