Microsoft AI가 첫 번째 실시간 음성-텍스트 변환(Speech-to-Text) 모델인 MAI-Transcribe-2-Streaming을 출시하고, Microsoft Foundry를 통해 공개 미리보기(public preview) 형태로 제공하기 시작했습니다12. 이 모델은 사용자가 말을 하는 도중 오디오를 실시간 스트림으로 입력받아 즉각적으로 텍스트 결과를 반환하도록 설계되었습니다2. AI 모델 평가 기관인 Artificial Analysis의 실시간 음성 벤치마크에서 평가 대상 38개 모델 중 1위를 기록하며 성능을 공개했습니다1.
음성 기반 대화형 인터페이스와 통화 분석 등 실시간 오디오 처리에 대한 수요가 빠르게 늘어나는 가운데, 실시간 음성 인식 모델은 처리 속도와 인식 정확도라는 두 가지 과제를 동시에 해결해야 합니다. 응답이 늦어지면 대화 흐름이 끊기고, 정확도가 떨어지면 후속 자연어 처리 모델이 잘못된 판단을 내리기 때문입니다. 이번에 공개된 MAI-Transcribe-2-Streaming의 성능 수치, 작동 방식, 연동 옵션, 그리고 실무 적용 시 고려해야 할 조건을 구체적으로 짚어봅니다.
지연 시간과 정확도: 벤치마크 결과의 세부 조건
실시간 음성 인식 시스템의 성능은 주로 단어 오류율(Word Error Rate, 이하 WER)과 지연 시간(Latency)으로 측정됩니다. WER은 모델이 잘못 인식하거나 빠뜨린 단어의 비율을 나타내므로 수치가 낮을수록 정확하며, 지연 시간은 발화가 발생한 시점부터 텍스트가 출력되기까지 걸리는 시간을 의미합니다.
독립 평가 플랫폼인 Artificial Analysis가 주관한 AA-WER Streaming 벤치마크에서 MAI-Transcribe-2-Streaming은 38개 모델 가운데 종합 1위를 차지했습니다1. 이 벤치마크에서 모델은 발화 후 확정되지 않은 초기 텍스트를 출력하는 첫 번째 부분 대본(first partial transcript) 기준 0.12초 지연 시간에 2.5%의 WER을 기록했습니다1. 이어 발화 구간이 마무리되며 생성되는 최종 대본(final transcript) 기준으로는 0.13초 지연 시간에 2.5%의 WER을 나타냈습니다1.
0.1초대에 2%대 WER을 유지한다는 점은 발화자가 문장을 이어가는 동안 지연을 체감하기 어려운 수준에서 정확한 텍스트 변환이 이루어질 수 있음을 보여줍니다. 또한 이 모델은 다국어 환경을 지원하기 위해 연속 언어 감지(continuous language detection) 기능을 포함한 60개 언어를 지원합니다1. 이를 통해 화자가 대화 중간에 다른 언어로 전환하더라도 별도의 수동 설정 없이 음성을 인식하도록 돕습니다1.
다만 벤치마크 환경의 측정치는 통제된 오디오 데이터셋을 기반으로 도출된 결과이므로, 배경 소음이 심하거나 네트워크 연결 상태가 불안정한 실제 환경에서는 WER과 지연 시간이 달라질 수 있습니다.
점진적 전송 구조와 두 가지 개발 연동 방식
MAI-Transcribe-2-Streaming은 오디오 파일 전체를 한 번에 업로드하여 처리하는 배치(Batch) 방식과 달리, 연속적인 오디오 스트림을 처리하는 구조로 동작합니다2. 발화자가 말을 시작하면 클라이언트는 오디오 패킷을 끊김 없이 서버로 전송하고, 모델은 실시간으로 중간 결과를 계산하여 반환합니다2. 이 중간 결과는 새로운 오디오 패킷이 도착함에 따라 점진적으로 수정 및 업데이트되며, 발화 구간이 끝나는 시점에 최종 확정 결과를 반환합니다2.
이러한 스트리밍 파이프라인을 애플리케이션에 구축할 수 있도록 Microsoft는 두 가지 연동 방식을 제공합니다2.
첫째는 Realtime API 연동입니다. 이 방식은 OpenAI Realtime 호환 WebSocket 연결을 사용합니다2. 기존에 OpenAI의 실시간 프로토콜을 사용해 대화형 애플리케이션이나 음성 에이전트를 구축해 둔 개발팀이라면 인터페이스 변경 비용을 최소화하면서 모델을 연동할 수 있습니다2.
둘째는 Azure Speech SDK를 사용하는 방식입니다. Azure Speech SDK는 연결 수립 및 유지, 네트워크 순단 시의 재시도 로직, 오디오 스트리밍 처리를 패키지 형태로 관리해 주는 클라이언트 라이브러리입니다2. 엔터프라이즈 환경에서 안정적인 클라이언트 상태 관리가 필요하거나 복잡한 네트워크 환경을 다루어야 할 때 선택하기 적합합니다2. 두 방식 모두 중간 결과와 최종 결과를 실시간으로 수신할 수 있도록 지원합니다2.
지원 워크로드와 도입 비용
실시간 스트리밍 음성 인식은 즉각적인 상호작용이 필요한 라이브 오디오 워크로드에 활용됩니다. 지원되는 대표적인 적용 영역은 다음과 같습니다2.
고객센터(콜센터): 상담원과 고객의 통화를 실시간으로 텍스트화하여 상담 내용 요약, 감정 분석, 지식베이스 자동 추천 시스템과 연계
음성 어시스턴트 및 음성 구동 인터페이스: 사용자 명령을 지연 없이 텍스트로 전환하여 후속 언어 모델 및 시스템 제어 명령으로 전달
미팅 및 강의 자막 생성: 라이브 화상 회의나 온라인 강의 중 발화 내용을 화면에 실시간 자막으로 표출
실시간 노트 작성: 다자간 대화 흐름을 놓치지 않고 텍스트 기록으로 실시간 생성
도입 비용 측면에서 MAI-Transcribe-2-Streaming의 도입기 가격은 스트리밍 오디오 1시간당 $0.54로 책정되었습니다1. 이는 분당 약 $0.009 수준으로, 연속 음성 처리가 필요한 대규모 통화 분석이나 24시간 가동되는 음성 인터페이스 시스템에서 비용을 예측하고 아키텍처 예산을 수립하는 기준이 됩니다1.
공개 미리보기 단계의 한계와 실무 적용 판단 기준
새로운 모델의 도입을 검토하는 엔지니어와 의사결정권자는 제공 상태와 제약 조건을 명확히 인지해야 합니다. 현재 MAI-Transcribe-2-Streaming은 Microsoft Foundry에서 공개 미리보기(public preview) 상태로 제공되고 있습니다12.
공식 문서에 명시된 바와 같이, 이 공개 미리보기 버전은 서비스 수준 약정(SLA)이 제공되지 않으며, 프로덕션 워크로드(실서비스 환경)에는 사용이 권장되지 않습니다2. 또한 특정 기능이 지원되지 않거나 기능적 제약이 존재할 수 있습니다2. 따라서 서비스 장애가 즉각적인 금전적 손실이나 서비스 중단으로 이어지는 핵심 상용 시스템에 바로 단일 모델로 적용하는 것은 주의가 필요합니다.
실무 관점에서는 다음과 같은 단계적 검토를 거치는 것이 바람직합니다.
내부 파일럿 및 PoC 테스트: SLA 제약이 없는 사내 프로토타입, 연구 개발, 사전 기술 검증(PoC) 환경에 적용하여 실제 업무 오디오(통화 음질, 업계 전문 용어, 다국어 혼용 발화 등)를 입력해 보고 벤치마크 수준의 정확도가 유지되는지 확인합니다.
연동 프로토콜 적합성 평가: 기존 음성 에이전트 인프라가 WebSocket 기반의 OpenAI Realtime 인터페이스를 선호하는지, 아니면 연결 및 재시도 관리가 내장된 Azure Speech SDK 환경이 더 적합한지 시스템 아키텍처를 점검합니다2.
비용 효율성 시뮬레이션: 시간당 $0.54의 도입기 가격을 기준으로 예상 트래픽(동시 접속자 수 및 월간 총 오디오 스트리밍 시간)을 대입하여 기존 음성 인식 솔루션 대비 총소유비용(TCO) 변화를 산출합니다1.
MAI-Transcribe-2-Streaming은 낮은 지연 시간과 우수한 단어 오류율을 통해 실시간 음성 인터페이스 개발에 강력한 대안을 제시합니다1. 다만 정식 출시(General Availability)와 공식 SLA 지원이 이루어지기 전까지는 프로덕션 전환 일정을 단계적으로 수립하고, 성능과 안정성을 검증하는 용도로 우선 활용하는 것이 권장됩니다.
참고
2MAI-Transcribe-2-Streaming overview - Speech Service - Foundry Tools | Microsoft Learn
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.