Microsoft AI가 실시간 음성 전사 모델인 MAI-Transcribe-2-Streaming과 다국어 텍스트 음성 변환(TTS) 모델인 MAI-Voice-2.1 및 MAI-Voice-2.1-Flash를 정식 출시했습니다. 이번 발표는 실시간 대화형 음성 에이전트를 구축하려는 개발자와 기업에게 음성 인식부터 답변 생성까지 연결되는 통합 음성 파이프라인을 제공한다는 점에서 의미가 큽니다. Microsoft는 입력 측면에서 실시간 음성을 텍스트로 전환하고, 출력 측면에서 자연스러운 음성을 합성하는 모델군을 동시에 갖춤으로써 대화형 AI 구축의 기술적, 비용적 기준을 제시했습니다13.
MAI-Transcribe-2-Streaming의 성능과 지연 시간, 그리고 벤치마크 조건
실시간 전사 모델인 MAI-Transcribe-2-Streaming은 대화가 진행되는 도중에 텍스트 결과를 즉시 반환하도록 설계되었습니다. Microsoft의 발표에 따르면 이 모델은 60개 언어를 지원하며 연속적인 자동 언어 감지 기능을 탑재하여, 대화 중간에 언어가 바뀌어도 사전 설정 없이 전사를 이어갈 수 있습니다13. 처리 속도 면에서는 발화 시작 후 100밀리초(0.12초) 수준에서 첫 부분 결과를 출력하고, 발화가 끝난 지 0.13초 만에 최종 전사본을 완성합니다13.
Microsoft는 Artificial Analysis의 스트리밍 전사 평가 기준(AA-WER Streaming)에서 단어 오류율(WER) 2.5%를 기록하며 최종 및 부분 전사 정확도 모두에서 1위를 차지했다고 밝혔습니다13. 다만 이는 해당 평가 체계에 맞춘 제조사 자체 측정 결과이며, 독립 벤치마크 리더보드에 공식 등재되기 전 수치라는 점을 감안해야 합니다3. 실제 경쟁 모델인 Grok Voice Transcribe 2.0이 최종 WER 2.73%에 0.49초의 지연 시간을 기록하고 있는 점을 고려하면, 0.13초의 확정 속도와 2.5% WER은 실시간 자막이나 에이전트 응답의 체감 대기 시간을 줄이는 데 의미 있는 기술적 개선입니다3.
실시간 스트리밍과 배치 처리의 비용 체계 비교
실시간 전사 기능을 도입할 때는 단가 체계와 작업 방식에 따른 비용 차이를 명확히 이해해야 합니다. MAI-Transcribe-2-Streaming의 이용 가격은 오디오 1,000분당 9.00달러(시간당 0.54달러)로, 연말까지 한시적으로 적용되는 도입 할인가입니다13. 이는 경쟁 모델인 Gemini 3.5 Transcribe Live와 동등한 수준이지만, 파일 단위 배치 처리 모델인 MAI-Transcribe-2의 시간당 0.10달러(1,000분당 1.67달러)와 비교하면 약 5.4배 높은 금액입니다23.
배치 모델인 MAI-Transcribe-2는 2.0%의 WER과 함께 화자 분리(Speaker Diarization) 및 단어 수준 타임스탬프(Word-level timestamps) 기능을 기본 제공하여 정밀한 데이터 분석 및 회의록 작성에 최적화되어 있습니다2. 따라서 실시간 대화 응답이 필수적인 음성 에이전트 구간에는 MAI-Transcribe-2-Streaming을 적용하고, 사후 기록 보관이나 통화 내역 분석 업무에는 배치 모델을 활용하는 식의 분리 운영 전략이 비용 효율적입니다23.
MAI-Voice-2.1 시리즈의 음성 합성 및 복제 성능
음성 응답 생성을 담당하는 MAI-Voice-2.1과 MAI-Voice-2.1-Flash는 23개 언어(26개 지역 억양)를 지원하며, 단일 음성 프로필로 각 언어 원어민의 자연스러운 억양을 구현하도록 설계되었습니다13. 특히 두 모델 모두 단 수 초 분량의 참조 오디오 데이터만으로 특정 음성을 복제(Voice Cloning)할 수 있는 역량을 갖추고 있습니다1. 4,000명의 참가자를 대상으로 실시한 블라인드 테스트에서는 약 절반의 응답자가 합성된 음성을 실제 사람의 목소리로 인식하여 음성 합성 품질의 완성도를 보였습니다1.
속도와 비용 효율성이 중요한 서비스를 위해 제공되는 MAI-Voice-2.1-Flash 모델은 응답 지연 시간을 약 150밀리초 수준으로 낮췄습니다13. 또한 이용 단가가 기존 100만 문자당 22달러에서 15달러로 인하되어 대규모 실시간 대화 서비스 운영 시의 부담을 줄였습니다1. 이 음성 모델군에는 오남용 방지를 위한 자체 안전 장치가 내장되어 있으며, Microsoft Foundry, MAI Playground, OpenRouter 및 Vercel AI Gateway 등 다양한 플랫폼을 통해 마크업 비용 없이 정가로 이용할 수 있습니다134.
실무 도입을 위한 사전 검증 및 평가 기준
Microsoft가 제시한 음성 모델 스택은 대화형 AI 서비스 개발의 진입 장벽을 낮추었으나, 실제 상용 서비스에 적용하기 전에는 몇 가지 핵심 기준을 통한 검증이 필요합니다. 첫째, 실시간성 요구 수준을 검토해야 합니다. 0.13초 내외의 빠른 전사가 반드시 필요한 실시간 인터랙션 구역과 사후 배치가 가능한 구역을 구분하여 5배 이상의 비용 차이를 제어해야 합니다23.
둘째, 벤치마크 결과와 현장 환경의 차이를 고려해야 합니다. 정제된 평가 데이터셋에서의 2.5% WER과 달리, 실제 고객센터나 현장 음성 데이터에는 소음, 잡음, 중복 발화(Cross-talk) 등이 존재하므로 사내 보유 데이터 기반의 자체 교정 테스트가 선행되어야 합니다23. 셋째, 수 초 오디오 기반 음성 복제 기술 도입 시 내부 정책과 법적, 윤리적 보안 가이드라인에 부합하는지 점검해야 합니다1. 내장된 안전 장치가 존재하더라도 무단 음성 복제나 오남용에 대한 최종 관리 책임은 서비스 운영 주체에게 있으므로 정밀한 권한 제어 장치가 함께 마련되어야 합니다1.
참고
1Microsoft AI releases new transcription and text-to-speech models for voice agents
2MAI-Transcribe-2: Highest quality transcription, at the fastest speed and lowest cost
3MAI-Transcribe-2-Streaming Is Live: Microsoft Takes the Streaming Transcript Crown at 2.5% WER
4Microsoft's MAI-Voice-2.1 and MAI-Transcribe-2 Streaming audio models arrive on Vercel AI Gateway
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.