고객은 한 언어로만 말하지 않습니다. “VPN이 안 돼요, can you reset my access?”처럼 문장 안팎에서 언어를 바꾸기도 합니다. 이를 코드스위칭이라고 합니다.
보이스 에이전트에서는 이 현상이 특히 중요합니다. 첫 단계인 음성인식, 즉 ASR이 언어 전환 구간을 잘못 처리하면 이후 의도 파악, 검색, 답변 생성, 업무 처리까지 연쇄적으로 흔들릴 수 있기 때문입니다.
코드스위칭 ASR 벤치마크가 보는 것
ServiceNow AI의 코드스위칭 ASR 벤치마크는 네 가지 언어쌍을 다룹니다. 스페인어-영어, 프랑스어-영어, 캐나다 프랑스어-영어, 독일어-영어입니다. 최종 데이터셋은 각각 259개, 298개, 188개, 173개 레코드로 구성됐습니다.1
평가 대상 ASR 시스템은 다음과 같습니다.1
AssemblyAI Universal 3-Pro
Deepgram Nova 3 Multilang
ElevenLabs Scribe V2
Google Gemini 3 Flash
Mistral AI Voxtral Small 24B-2507
Nvidia Parakeet TDT 0.6b V3
OpenAI Whisper Large V3 Turbo
이 벤치마크의 핵심은 단순히 “어느 모델이 단어를 덜 틀렸는가”가 아닙니다. 코드스위칭 환경에서는 틀린 단어 하나가 실제 업무 실패로 이어지는지까지 봐야 합니다.
WER만으로는 부족하다
벤치마크는 세 가지 지표를 사용합니다.1
WER(Word Error Rate): 단어 단위 오류율
SWER(Semantic Word Error Rate): 의미에 영향을 주는 단어 오류율
AER(Answer Error Rate): 잘못된 전사가 답변 오류로 이어지는 비율
일반적인 ASR 비교에서는 WER이 가장 익숙한 지표입니다. 하지만 보이스 에이전트에서는 WER만으로 충분하지 않습니다. 예를 들어 조사나 관사가 조금 틀려도 사용자의 의도는 유지될 수 있습니다. 반대로 계정명, 제품명, 요청 동사처럼 중요한 단어가 틀리면 단어 오류 수는 적어도 결과는 치명적일 수 있습니다.
그래서 AER이 중요합니다. ASR의 오류가 실제 질의응답 실패로 이어졌는지를 확인하기 때문입니다. 보이스 에이전트를 운영하는 입장에서는 “전사가 얼마나 예쁜가”보다 “업무 처리가 맞았는가”가 더 실용적인 판단 기준입니다.
코드스위칭은 실시간 ASR의 경계 문제다
코드스위칭이 어려운 이유는 언어가 섞이기 때문만이 아닙니다. 특히 실시간 스트리밍 ASR에서는 언어가 바뀐 뒤에도 수백 밀리초 동안 이전 언어로 계속 출력할 수 있습니다.2 이 짧은 지연이 잘못된 텍스트와 타임스탬프를 만듭니다.
사람에게는 자연스러운 전환이지만, 시스템에는 세 가지 문제가 동시에 생깁니다.
지금 말하는 언어가 무엇인지 판단해야 합니다.
언어가 바뀐 시점을 찾아야 합니다.
이미 출력한 전사를 수정할 수 있어야 합니다.
즉, 코드스위칭 ASR은 단순한 다국어 지원 문제가 아니라 언어 식별, 음성 경계 탐지, 스트리밍 수정 전략의 문제입니다.
하나의 대형 모델만이 답은 아니다
흥미로운 접근 중 하나는 하나의 거대한 다국어 모델에 모든 것을 맡기지 않는 방식입니다. Gladia 연구는 소형 단일언어 스트리밍 모델 여러 개를 라우팅하는 모듈형 앙상블 구조를 사용했습니다.2
이 구조는 약 1억 파라미터 규모의 단일언어 Zipformer 모델들을 사용합니다. 음성 경계 탐지에는 Silero V6를, ASR에는 sherpa-onnx 프레임워크로 제공되는 스트리밍 Zipformer 모델을, 언어 식별에는 Speechbrain lang-id-voxlingua107-ecapa를 사용합니다. 이 언어 식별 모델은 최대 107개 언어 식별을 지원합니다.2
핵심은 “처음부터 완벽하게 맞히는 것”이 아니라 “빠르게 전사하고, 필요한 구간을 되돌려 고치는 것”입니다. 이 비동기 롤백 파이프라인은 현재 활성화된 단일언어 ASR 엔진으로 즉시 전사를 시작합니다. 이후 VAD가 찾은 음성 경계 뒤에서 확장 오디오 윈도우로 언어 식별을 수행하고, 언어 전환이 확인되면 해당 구간을 다시 처리합니다.2
실시간 서비스에서는 이 차이가 큽니다. 사용자는 낮은 지연을 기대하지만, 시스템은 언어 전환 오류도 줄여야 합니다. 따라서 코드스위칭 ASR을 평가할 때는 정확도뿐 아니라 지연, 롤백 가능성, 타임스탬프 안정성까지 함께 봐야 합니다.
벤치마크를 실제 서비스에 적용하는 법
벤치마크 결과만 보고 “1등 모델”을 고르는 것은 위험합니다. 실제 보이스 에이전트에서는 다음 질문을 함께 던져야 합니다.
우리 고객은 어떤 언어쌍을 주로 섞어 쓰는가?
언어 전환이 문장 사이에서 일어나는가, 문장 안에서 일어나는가?
실시간 응답에서 허용 가능한 지연은 어느 정도인가?
ASR 오류가 후속 업무에 얼마나 큰 영향을 주는가?
잘못된 전사를 나중에 수정할 수 있는 파이프라인인가?
WER이 낮은 모델이 실제 답변 정확도에서도 좋은가?
데이터 성격도 확인해야 합니다. 해당 벤치마크는 코드스위칭 텍스트 생성에 OpenAI/GPT-5를, 오디오 합성에 ElevenLabs Multilingual V2를 사용했습니다.1 이는 통제된 비교에는 유용하지만, 실제 콜센터의 억양, 잡음, 끼어들기, 통화 품질을 모두 대체하지는 않습니다.
따라서 이 벤치마크는 최종 결론이라기보다 출발점으로 보는 편이 좋습니다. 후보 ASR을 좁히고, 이후에는 자사 통화 데이터와 실제 업무 흐름에서 다시 검증해야 합니다.
결론: 다국어 지원이 아니라 코드스위칭 성능을 봐야 한다
이중언어 고객을 상대하는 보이스 에이전트라면 ASR을 “다국어를 지원하는가”만으로 평가해서는 안 됩니다. 중요한 것은 언어가 바뀌는 순간에도 의미가 보존되는지, 잘못된 전사가 실제 답변 오류로 이어지지 않는지, 실시간 환경에서 수정 가능한 구조를 갖췄는지입니다.
코드스위칭 ASR 벤치마크의 실용적 가치는 여기에 있습니다. 단어 오류율을 넘어 의미 오류와 답변 오류까지 보게 만들고, 보이스 에이전트의 실제 실패 지점을 더 정확히 드러냅니다. 이중언어 고객 경험을 개선하려면 ASR 평가도 그 수준까지 내려가야 합니다.
참고
1Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.