TTS 모델 평가는 더 이상 단어 오류율만 낮추는 문제가 아니다. 최근 한 상용 TTS 사례도 WER와 SSIM에 최적화된 모델이 초기 고객 피드백에서 한계를 드러냈다는 점을 보여준다.1 단어는 정확하고 음질도 좋아 보여도, 사용자는 자연스러움, 리듬, 강조, 질문 억양에서 어색함을 느낄 수 있다.
핵심은 간단하다. TTS는 텍스트를 소리로 바꾸는 기술이지만, 좋은 TTS는 문장을 “맞게” 읽는 데서 그치지 않고 상황에 맞게 말해야 한다.
WER는 출발점일 뿐이다
WER는 합성 음성을 다시 음성인식으로 받아 적은 뒤 원문과 단어 오류를 비교하는 지표다. 발음 오류, 누락, 삽입처럼 명료도와 관련된 문제를 빠르게 확인하는 데 유용하다.
하지만 TTS에는 하나의 정답만 있는 것이 아니다. 같은 문장도 말속도, 쉼, 억양, 강조에 따라 여러 방식으로 자연스럽게 말할 수 있다. 단어가 모두 맞아도 질문처럼 들리지 않거나, 사과문이 지나치게 빠르게 읽히거나, 중요한 단어에 강조가 빠지면 사용자는 품질이 낮다고 느낀다.
그래서 TTS 평가는 지난 20년간 사람의 청취 평가를 중요한 기반으로 삼아 왔다.2 MOS 같은 주관 평가는 자연스러움과 선호도를 포착하는 데 유용하다. 다만 평가자, 언어, 문장, 실험 조건이 달라지면 결과를 모델 간에 직접 비교하기 어렵다는 한계도 있다.3
즉, 객관 지표와 주관 평가는 대체 관계가 아니라 보완 관계다. 객관 지표는 합성 품질의 특정 측면을 빠르고 재현 가능하게 확인하고, 사람 평가는 숫자 하나로 잡히지 않는 자연스러움과 맥락 적합성을 확인한다.4
좋은 음성은 사용 맥락 안에서 결정된다
현대 TTS 평가는 여전히 자연스러움, 명료도, 화자 유사도, 효율성 같은 기술 성능에 집중하는 경향이 있다.4 이 기준들은 여전히 중요하다. 하지만 음성 에이전트, 고객지원, 교육, 헬스케어처럼 실제 서비스에 들어가면 평가 질문이 달라진다.
“얼마나 잘 읽는가?”보다 중요한 질문은 “이 상황에서 믿을 만하게 들리는가?”다.
예를 들어 질문 문장은 질문처럼 들려야 하고, 안내 문장은 과하게 감정적이면 안 된다. 고객지원 음성은 차분해야 하고, 교육용 음성은 지루하지 않게 핵심을 강조해야 한다. 같은 음성이라도 뉴스 낭독, 상담, 튜터링, 알림 메시지에서 모두 좋은 평가를 받기는 어렵다.
이 변화는 벤치마크 설계에도 반영되고 있다. EmergentTTS-Eval은 감정, 비언어 표현, 외래어, 복잡한 문장, URL·수식 같은 복잡 발음, 질문 억양을 포함한 1,645개 테스트로 TTS를 평가한다.5 평가 대상이 단순한 “텍스트 낭독 능력”에서 “복잡한 의미를 음성으로 표현하는 능력”으로 넓어진 것이다.
평가 기준은 더 넓어져야 한다
TTS 기술은 통계적 파라메트릭 합성에서 엔드투엔드 딥러닝, 확산 모델과 파운데이션 모델 단계로 발전해 왔다.4 과거의 통계적 파라메트릭 음성합성은 스펙트럼 특징, 기본 주파수, 지속시간 같은 음향 특성을 모델링했고, 피치와 타이밍 같은 운율 요소를 정밀하게 제어할 수 있었다.4 그러나 과도하게 평활화된 출력 때문에 음성이 둔하고 표현력이 부족하게 들리는 한계가 있었다.4
모델이 발전할수록 평가는 더 어려워진다. 단순히 잡음이 적은지, 단어가 맞는지 보는 것만으로는 실제 품질을 판단하기 어렵다. 특히 파운데이션 모델 기반 TTS는 다양한 화자, 스타일, 감정, 대화 맥락을 다룰 수 있기 때문에 평가도 그만큼 세분화되어야 한다.
Responsible Evaluation for TTS는 이를 세 단계로 정리한다.4
모델의 실제 능력과 한계를 충실히 반영한다.
표준 벤치마크, 투명한 보고, 전이 가능한 평가 지표로 비교 가능성을 높인다.
데이터 출처, 공정성, 오용, 스푸핑, 추적 가능성 같은 거버넌스·보안 이슈까지 평가에 포함한다.
이 관점에서 TTS 평가는 품질 측정만이 아니라 제품 신뢰성 평가에 가까워진다. 좋은 음성을 만드는 것뿐 아니라, 어디서 온 데이터로 학습했는지, 특정 화자나 언어에 불리하지 않은지, 오용 가능성을 어떻게 줄일 수 있는지도 함께 봐야 한다.
실무에서는 평가 묶음을 설계해야 한다
실무자가 얻을 수 있는 교훈은 명확하다. 하나의 대표 지표를 찾기보다, 사용 목적에 맞는 평가 묶음을 설계해야 한다.
기본적으로는 WER 같은 지표로 발음 오류와 누락을 확인할 수 있다. 여기에 사람 평가나 블라인드 선호 평가를 더해 자연스러움, 리듬, 강조, 억양을 본다. 실제 서비스라면 지연시간, 비용, 사용자 유지율, A/B 테스트 결과도 함께 확인해야 한다.6
정리하면 TTS 평가는 “얼마나 사람처럼 들리는가”에서 “이 맥락에 맞게 믿을 만하게 말하는가”로 이동하고 있다. 모델 선택의 기준도 그에 맞춰 바뀌어야 한다. WER는 여전히 필요하지만 충분하지 않다. 좋은 TTS 평가는 정확성, 자연스러움, 맥락 적합성, 운영 효율성, 책임 있는 사용 가능성을 함께 보는 체계여야 한다.
1TTS Model Evaluation Expands Beyond WER And SSIM After Customer Feedback
2Evaluating text-to-speech models · Hugging Face
3TTS models, split by track, ranked by preference.
4Position: Towards Responsible Evaluation for Text-to-Speech
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.