Open ASR Leaderboard가 힌디어·인도 영어 평가에 중요한 이유

영어에서 높은 정확도를 보인 음성 인식 모델이 다른 언어와 억양에서도 같은 성능을 내는 것은 아니다. Open ASR Leaderboard에 힌디어와 인도 영어 평가가 추가된 것은 모델의 순위뿐 아니라 실제 사용자의 언어와 발화 특성을 반영해 성능을 판단할 수 있게 됐다는 점에서 의미가 있다.

정확도와 처리 효율을 같은 기준으로 비교한다

Open ASR Leaderboard는 언어, 도메인, 녹음 환경이 다양한 데이터셋에서 자동 음성 인식 모델을 비교하는 공개 Gradio Space다.¹ 평가 트랙은 영어 단문, 영어 장문, 다국어 단문으로 구성된다.²

비교 지표는 크게 두 가지다.

• WER: 단어 오류율로, 낮을수록 인식 정확도가 높다.

• RTFx: 음성 길이 대비 처리 속도를 나타내며, 높을수록 더 빠르게 처리한다.

이 평가는 ESPNet, NeMo, SpeechBrain, Transformers처럼 구현 방식이 다른 툴킷에도 동일하게 적용된다.² 영어와 다국어 단문 평가는 같은 하드웨어와 Docker 이미지에서 실행되는 Hugging Face Jobs를 사용해 실행 환경에 따른 차이도 줄인다.¹

Monsoon 평가 세트가 넓힌 범위

Voice Arena와 Hugging Face는 Open ASR Leaderboard에 Monsoon en-IN과 Monsoon hi-IN을 추가했다. 두 평가 세트의 공개·비공개 분할에는 서로 겹치지 않는 총 4,888명의 화자가 포함된다.³

구성은 다음과 같다.

이 추가의 핵심은 단순히 평가 데이터가 늘었다는 데 있지 않다. 특정 영어 억양에 치우친 결과만으로는 인도 영어와 힌디어 사용 환경에서의 성능을 충분히 판단하기 어렵다. 새로운 평가 세트는 해당 언어와 억양을 사용하는 화자에 대한 모델의 일반화 성능을 비교할 근거를 제공한다.

최고 순위보다 사용 조건에 맞는 모델을 찾아야 한다

2025년 공개된 연구는 오픈소스와 독점 시스템 86개를 12개 데이터셋에서 비교했다.² 평가 결과, Conformer 인코더와 Transformer 디코더 조합은 가장 낮은 평균 WER를 기록했다. 반면 CTC와 TDT 디코더는 더 높은 RTFx를 보여 장문 음성과 배치 처리에서 상대적으로 높은 처리 효율을 나타냈다.²

이는 모델 선택에서 단일 종합 순위만 봐서는 안 된다는 뜻이다. 실제 도입 전에는 다음 조건을 함께 확인해야 한다.

1. 대상 언어와 억양이 평가 데이터에 포함돼 있는가

2. 짧은 명령과 긴 녹취 중 어떤 작업이 중심인가

3. 정확도와 처리 속도 가운데 무엇이 더 중요한가

4. 공개 데이터뿐 아니라 비공개 분할에서도 성능이 유지되는가

요약: Open ASR Leaderboard를 실무에 적용하는 법

Open ASR Leaderboard의 힌디어·인도 영어 평가는 “가장 높은 순위의 모델”보다 “내 사용자와 운영 조건에 맞는 모델”을 찾는 데 필요한 근거를 넓혔다. WER와 RTFx를 함께 보고, 대상 언어·억양과 음성 길이까지 고려해야 실제 서비스에 적합한 모델을 선택할 수 있다.

¹GitHub - huggingface/open_asr_leaderboard

²Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation

³The Open ASR Leaderboard Adds Its First Global South Language