## 핵심 요약

Scribe v2는 90개 이상 언어를 지원하는 고정확도 대용량 음성 인식 모델로, 긴 오디오와 복수 화자를 안정적으로 처리하도록 설계되었습니다.\
키워드 프롬프트, 엔티티 검출, 다국어 자동 인식, 보안·컴플라이언스 기능까지 갖춰 기업용 대규모 음성 처리 워크플로에 적합합니다.

## Scribe v2 개요

Scribe v2는 녹음 파일, 영상 음성, 콜센터 통화 등 '길고 복잡한 오디오'를 텍스트로 바꾸는 데 특화된 모델입니다.

실시간 응답이 필요한 고객센터 봇에는 Scribe v2 Realtime이 맞고, 이번에 소개된 Scribe v2는 길이가 길고 화자·내용이 복잡한 배치 처리용에 초점을 맞추고 있습니다.

여러 화자의 억양, 속도, 말투가 섞여 있어도 높은 정확도를 유지하면서, 실제 서비스 환경에 나가기 좋은 안정성을 목표로 설계되었습니다.

## 정확도와 벤치마크 성능

Scribe v2는 업계에서 널리 사용하는 벤치마크(예: FLEURS와 같은 다국어 평가 데이터셋)에서 매우 낮은 단어 오류율(Word Error Rate)을 기록했다고 소개됩니다.

단어 오류율은 "원래 문장과 비교했을 때 잘못 인식한 단어 비율"로, 이 값이 낮을수록 실제 서비스에서 오타·오인식이 적어집니다.

이 덕분에 자막 제작, 회의록 작성, 콜센터 분석처럼 오류가 누적되면 내용 이해 자체가 어려워지는 작업에서 큰 강점을 가집니다.

## Keyterm Prompting: 문맥 기반 특수 용어 인식

Keyterm Prompting은 일반적인 '사용자 사전' 기능을 확장한 개념입니다.

사용자는 브랜드명, 전문 용어, 제품명, 인명 등 최대 100개 정도의 단어·구문을 미리 지정할 수 있습니다.

모델은 단순히 이 단어들을 무조건 집어넣지 않고, 실제 발화 내용과 문맥을 보고 "여기서는 이 용어가 맞다 / 아니다"를 판단해 선택적으로 적용합니다.

예를 들어 IT 컨퍼런스 영상에서 "Scribe", "ElevenLabs", 특정 API 이름을 키워드로 지정해 두면, 비슷하게 들리는 다른 단어 대신 정확한 고유명사로 인식할 가능성이 높아집니다.

## 엔티티 검출과 민감 정보 처리

Scribe v2에는 엔티티(Entity) 검출 기능이 내장되어 있습니다.

전화번호, 이메일, 신용카드 번호, 주소, 건강 관련 정보 등 개인식별정보(PII)와 민감 데이터를 카테고리별로 지정해 두면, 모델이 이 정보를 자동으로 찾아내고 해당 구간의 타임스탬프까지 함께 반환합니다.

이를 활용하면 콜센터 녹취에서 카드 번호만 자동 마스킹하거나, 의료 상담 녹취에서 특정 건강 정보 구간만 골라 확인하는 등 대량의 녹음 데이터에서 민감 정보 관리·검열 작업을 자동화하기 좋습니다.

## 다국어 및 혼합 언어 자동 처리

Scribe v2는 90개 이상 언어를 지원하며, 하나의 파일 안에 여러 언어가 섞여 있어도 자동으로 감지해 적절한 언어로 받아 적습니다.

예를 들어 한국어 상담 중간에 영어 용어를 많이 섞어 쓰거나, 한 영상 안에서 영어 인터뷰와 스페인어 인터뷰가 이어지는 경우에도 별도의 구간 나누기 없이 그대로 입력해도 됩니다.

운영 측면에서는 언어별로 시스템을 달리 구성하지 않아도 되므로, 글로벌 서비스를 운영하는 팀에 특히 유리합니다.

## 프로덕션 환경을 위한 부가 기능

Scribe v2는 실제 서비스에 바로 투입하기 위해 필요한 여러 기능을 함께 제공합니다.

먼저 화자 분리(스피커 다이어리제이션)를 지원해 "화자 1, 화자 2"처럼 누가 말했는지 구분된 형태의 대본을 얻을 수 있어 회의록·인터뷰 정리에 유용합니다.

또 단어 단위 타임스탬프를 제공해 특정 단어가 언제 나오는지 정확히 알 수 있으므로, 자막 싱크 맞추기, 특정 구절에 인터랙티브 기능을 붙이는 데 활용할 수 있습니다.

비언어적 소리(웃음, 발걸음 소리 등)에 대한 태깅도 지원해, 영상 편집이나 사용자 행동 분석에서 오디오 맥락을 더 풍부하게 파악할 수 있습니다.

## 보안·컴플라이언스와 엔터프라이즈 대응

Scribe v2는 기업 고객이 요구하는 보안·규제 준수를 고려해 설계되었습니다.

SOC 2, ISO 27001, PCI DSS L1, HIPAA, GDPR 등 주요 보안 및 개인정보 관련 기준을 충족한다고 명시하고 있으며, 유럽연합(EU) 및 인도 지역 데이터 레지던시 옵션도 지원해 데이터가 특정 지역을 벗어나지 않도록 할 수 있습니다.

또한 '제로 보관 모드(Zero Retention)'를 통해, 처리에 사용된 오디오와 텍스트를 서비스 제공자가 저장하지 않도록 설정할 수 있어, 금융·의료·공공기관처럼 보안 요구 수준이 높은 환경에 적합합니다.

## ElevenLabs Studio와 API 활용

Scribe v2는 ElevenLabs Studio라는 웹 기반 도구에 이미 통합되어 있어, 별도 개발 없이도 영상 업로드 → 자막 생성 → 캡션/스크립트 다운로드까지 GUI로 처리할 수 있습니다.

동시에 REST API로도 제공되므로, 개발자는 대량 파일 업로드, 워크플로 자동화, 다른 사내 시스템과 연동해 '완전 자동 회의록 시스템'이나 '콜센터 분석 파이프라인' 같은 것을 구축할 수 있습니다.

문서와 예제 코드가 제공되므로, 기존에 STT 시스템을 쓰고 있다면 Scribe v2를 비교 테스트하거나, 키워드 프롬프트·엔티티 검출 같은 고급 기능만 부분적으로 도입하는 것도 가능합니다.

## 활용 시나리오 아이디어

마케팅·미디어 팀은 대량의 영상 콘텐츠에 자동으로 자막을 붙이거나, 자막을 기반으로 요약·블로그 글을 생성하는 파이프라인을 만들 수 있습니다.

연구·교육 기관은 인터뷰, 강의, 세미나 녹음을 자동 전사해 검색 가능한 지식 베이스로 만들고, 엔티티 검출을 통해 특정 주제나 인물 중심으로 빠르게 탐색할 수 있습니다.

금융·의료·공공 분야에서는 민감 정보 마스킹과 규제 준수 기능을 활용해, 콜 로그나 상담 녹취를 안전하게 분석하고 보관하는 환경을 구축할 수 있습니다.

## 인사이트

Scribe v2의 진짜 의미는 "단순히 말을 텍스트로 바꾸는 도구"를 넘어, 음성 데이터를 안전하고 구조화된 방식으로 다루는 플랫폼에 가깝다는 점입니다.

새로 도입할 때는 먼저 작은 파일 세트로 정확도와 엔티티 검출 결과를 검증하고, 이후 키워드 프롬프트 튜닝, 다국어 처리, 보안 설정(데이터 레지던시·제로 보관)을 단계적으로 맞추는 접근이 효율적입니다.

이미 음성 데이터를 쓰고 있는 조직이라면, 기존 워크플로의 어디에 "전사 + 구조화 + 보안 태깅"을 넣으면 가장 큰 가치를 낼지부터 역으로 설계해 보는 것이 좋습니다.

출처 및 참고 : [Introducing Scribe v2](https://elevenlabs.io/blog/introducing-scribe-v2)

Scribe v2는 90개 이상 언어를 지원하며 긴 오디오, 복수 화자, 민감 정보 관리까지 가능한 고정확도 음성 인식 모델입니다.
- 키워드 프롬프트, 엔티티 검출, 다국어 자동 인식 등 다양한 기능이 내장돼 있습니다.
- 기업 환경에서도 보안·컴플라이언스 기준을 충족해 안전하게 사용할 수 있습니다.
- REST API와 웹 GUI를 통해 다양한 업무 자동화와 대규모 배치 처리에 적합합니다.

ElevenLabs Scribe v2: 차세대 음성 인식 핵심 정리

## 핵심 요약

Voxtral Transcribe 2는 배치용과 실시간용 두 가지 음성-텍스트 모델로, 높은 정확도와 매우 낮은 비용·지연 시간을 동시에 목표로 하는 전사 솔루션이다.\
회의, 콜센터, 미디어, 컴플라이언스 등 다양한 음성 워크플로우를 자동화·지능화하기 위한 기능(화자 분리, 맥락 편향, 단어 단위 타임스탬프 등)을 제공한다.

## Voxtral Transcribe 2 전체 그림

Voxtral Transcribe 2는 음성을 텍스트로 바꾸는 최신 모델 세트로, 크게 두 가지 제품으로 구성된다.\
하나는 녹음 파일을 한 번에 처리하는 배치용 Voxtral Mini Transcribe V2이고, 다른 하나는 통화나 회의에 바로 붙여 쓰는 실시간용 Voxtral Realtime이다.

두 모델 모두 여러 언어를 지원하고 정확도 대비 가격이 매우 공격적인 편이라, "전사를 어디에나, 많이" 쓰고 싶은 기업을 주요 대상으로 한다.\
사용자는 API, Mistral Studio의 오디오 놀이터, 혹은 오픈 가중치 모델을 통해 이 기능을 활용할 수 있다.

## Voxtral Realtime: 초저지연 실시간 전사

Voxtral Realtime은 음성이 들어오는 즉시 텍스트로 바꿔야 하는 상황을 위해 설계된 스트리밍 모델이다.\
일반적인 전사 모델이 일정 길이의 오디오 청크를 모아서 처리하는 것과 달리, 이 모델은 오디오 스트림을 실시간으로 받아 바로바로 전사를 생성한다.

지연 시간을 200ms 이하 수준으로 설정할 수 있어, 사람과 대화할 때 "답이 늦게 나와 어색한" 느낌을 크게 줄여준다.\
실시간 상담원 보조, 음성 비서, 라이브 자막 등 반응 속도가 중요한 응용에 적합하다.

모델 크기는 약 4B 파라미터급으로, 클라우드뿐 아니라 엣지 장치에서도 돌릴 수 있는 효율성을 갖추었다.\
이 덕분에 민감한 음성 데이터(예: 의료 상담, 금융 상담 등)를 로컬 환경에서 처리하는 프라이버시 우선 아키텍처에도 잘 맞는다.

또한 이 모델의 가중치는 Apache 2.0 라이선스로 공개되어 있어, Hugging Face에서 다운받아 자체 서비스에 통합할 수 있다.

## Voxtral Mini Transcribe V2: 배치 전사의 가격·성능 최적화

Voxtral Mini Transcribe V2는 이미 녹음된 오디오 파일을 빠르고 저렴하게 텍스트로 바꾸는 데 초점이 맞춰진 배치 전사 모델이다.\
FLEURS 벤치마크 기준 단어 오류율 약 4% 수준의 정확도를 달성하면서, 분당 요금은 약 $0.003로 책정되어 있다.

이는 경쟁 서비스들(예: GPT-4o mini 전사, Gemini 2.5 Flash, Assembly, Deepgram 등)과 비교했을 때, 정확도와 비용의 비율에서 매우 유리한 포지션을 목표로 한다.\
성능뿐 아니라 처리 속도도 중요해서, 예를 들어 ElevenLabs의 Scribe v2보다 약 3배 빠르게 오디오를 처리하면서도 품질은 비슷하거나 더 좋고, 비용은 1/5 수준이라고 설명한다.

기업 입장에서는 "반복적으로 쌓이는 회의 녹음, 콜센터 녹취, 교육 영상" 등을 대량으로 전사할 때 비용 효율성이 핵심인데, Voxtral Mini Transcribe V2는 이 지점을 정면으로 겨냥한 모델이다.

## 13개 언어 지원과 다국어 성능

Voxtral Realtime과 Mini Transcribe V2 모두 13개 주요 언어를 지원한다.\
포함된 언어는 영어, 중국어, 힌디어, 스페인어, 아랍어, 프랑스어, 포르투갈어, 러시아어, 독일어, 일본어, 한국어, 이탈리아어, 네덜란드어다.

다국어 모델의 진짜 가치는 "영어만 잘하는 모델"을 넘어, 여러 언어에서 안정적인 정확도를 내는 것이다.

[![FLEURS 다국어 전사 성능 그래프 (언어별 단어 오류율)](https://cms.mistral.ai/assets/97f4a4ee-7448-4a2f-889e-17409821e503.png?width=2849&height=1358)](https://cms.mistral.ai/assets/97f4a4ee-7448-4a2f-889e-17409821e503.png?width=2849&height=1358)

FLEURS 벤치마크 기준으로 여러 언어에서 낮은 단어 오류율을 보이며, 특히 비영어권 언어에서 경쟁 모델들보다 우수한 성능을 목표로 한다.\
이는 글로벌 서비스를 운영하는 기업이나, 여러 언어가 섞인 환경(예: 다국적 회의, 다언어 콜센터)에서 중요한 장점이 된다.

## 화자 분리: "누가 무엇을 말했는가"까지 기록

회의나 상담 전사를 활용할 때, 단순히 "무슨 말이 나왔는지"뿐 아니라 "누가 말했는지"가 중요하다.\
Voxtral Mini Transcribe V2는 화자 다이어리제이션 기능을 제공해, 발화자 단위로 구분된 전사를 생성할 수 있다.

이 기능은 각 발화에 화자 레이블과 시간 구간(시작·종료 시각)을 붙여준다.\
예를 들어 세일즈 콜에서 "판매 담당 vs 고객"의 발화를 구분하면, 영업 스크립트 준수 여부나 질문 유형 분석, 고객 반응 분석 등에 활용할 수 있다.

다만 여러 사람이 동시에 말할 때는 한 사람 중심으로 전사되는 경향이 있어, 완벽한 중첩 발화 처리에는 한계가 있을 수 있음을 전제해야 한다.\
그럼에도 대부분의 회의·통화 환경에서는 큰 도움이 되는 기능이다.

## 맥락 편향: 전사 품질을 끌어올리는 사용자 힌트

맥락 편향(Context biasing)은 모델에게 "이런 단어들이 나올 가능성이 크다"고 미리 알려주는 기능이다.\
사용자는 최대 100개 정도의 단어·구를 힌트로 제공할 수 있으며, 특히 이름, 회사명, 제품명, 전문 용어처럼 일반 모델이 틀리기 쉬운 단어를 보완하는 데 유용하다.

예를 들어 "Mistral", "Voxtral", "Kubernetes", "PostgreSQL" 같은 고유명사를 리스트로 넘겨주면, 모델은 이 단어들이 들렸을 때 맞춤법을 맞게 쓰려는 경향을 강화한다.\
콜센터에서 고객사·상품명을 정확히 남기거나, 기술 회의에서 라이브러리 이름을 정확히 기록해야 할 때 큰 차이를 만든다.

이 기능은 현재 영어에 최적화되어 있으며, 다른 언어는 아직 실험적인 수준이라고 명시된다.\
따라서 한국어나 다국어 환경에서 사용할 때는 직접 테스트하며 효과를 검증하는 것이 좋다.

## 단어 단위 타임스탬프와 긴 오디오 처리

Voxtral Mini Transcribe V2는 문장 단위가 아닌, 단어 단위의 시작·끝 타임스탬프를 생성할 수 있다.\
이는 자막 제작, 특정 단어가 등장하는 지점 검색, 텍스트와 오디오·영상의 정밀 싱크 맞추기에 매우 유용하다.

예를 들어 교육 영상에서 "KPI"라는 단어가 등장하는 부분만 모아 보고 싶다면, 전사 결과의 단어 타임스탬프를 이용해 해당 구간만 바로 잘라낼 수 있다.\
또한 긴 오디오 파일도 한 번에 처리할 수 있도록 최대 약 3시간 길이까지 한 요청으로 전사가 가능하도록 설계되어 있다.

이 두 가지 기능을 결합하면, 긴 회의·강의·세미나를 한 번에 전사하고, 필요할 때 특정 주제나 키워드가 나온 시간대만 빠르게 찾아가는 워크플로우를 만들 수 있다.

## 소음 환경 대응과 실전 활용성

현실 세계의 오디오 데이터는 항상 깨끗하지 않다.\
공장, 콜센터, 길거리, 현장 인터뷰 등에서는 배경 소음이 필수적으로 섞이며, 전사 품질에 큰 영향을 미친다.

Voxtral Mini Transcribe V2는 이러한 소음 환경에서도 정확도를 유지하도록 학습되었다고 소개한다.\
이는 "스튜디오급 녹음"이 아니라 "현실 세계 오디오"를 주로 다루는 기업에게 특히 중요하다.

예를 들어 현장 기술자의 작업 보고 음성, 야외 촬영 인터뷰, 고객센터의 다자간 통화 등에서 소음에 덜 흔들리는 전사 품질은 이후 분석·검색·요약 파이프라인 전체의 품질을 좌우한다.

## 대표 활용 사례: 회의, 에이전트, 콜센터, 미디어, 컴플라이언스

Voxtral Transcribe 2는 단순 전사 API가 아니라 "음성 워크플로우 엔진"에 가깝게 설계되어 있다.\
대표적인 활용 영역은 다음과 같이 정리할 수 있다.

회의 인텔리전스에서는 다국어 회의 녹음을 화자별로 전사하여, "누가 무엇을 말했는지"가 명확한 회의록을 자동으로 만든다.\
이 전사 결과를 다시 요약·액션 아이템 추출 모델과 결합하면, 자동 회의 비서에 가까운 시스템을 구성할 수 있다.

음성 에이전트·가상 비서에서는 Realtime을 LLM, TTS 파이프라인과 연결해, 사람과 자연스럽게 주고받는 대화형 인터페이스를 구현한다.\
콜센터 자동화에서는 실시간 전사를 바탕으로 상담 중에 감정 분석, 추천 답변 제안, CRM 자동 작성 등이 가능해진다.

미디어·방송 분야에서는 라이브 자막 생성, 다국어 자막 제작, 콘텐츠 검색용 인덱싱 등에 활용할 수 있다.\
컴플라이언스·문서화 영역에서는 규제 준수를 위해 통화를 기록하고, 화자·타임스탬프가 포함된 전사를 감사·감독 용도로 저장할 수 있다.

이러한 다양한 활용을 위해, 두 모델 모두 온프레미스나 프라이빗 클라우드 등에서 GDPR, HIPAA 요구사항을 충족하는 방식으로 배포 가능하도록 설계되었다.

## 가격과 접근 방식

Voxtral Mini Transcribe V2는 API 기준 분당 약 $0.003의 요금으로 제공된다.\
이는 대규모 오디오 자산을 가진 기업이 "모든 음성을 데이터 자산화"하려 할 때 매우 중요한 요소다.

Voxtral Realtime은 API 기준 분당 약 $0.006의 비용으로, 더 높은 기술 요구(스트리밍, 지연시간 최적화)를 반영한 가격이다.\
대신 실시간 상호작용이 필요한 애플리케이션에서는 이 비용이 사용자 경험 개선 효과로 충분히 상쇄될 수 있다.

두 모델 모두 Mistral Studio의 오디오 놀이터에서 바로 테스트할 수 있다.\
이곳에서는 여러 개의 오디오 파일(.mp3, .wav, .m4a, .flac, .ogg)을 업로드하고, 화자 분리 여부, 타임스탬프 단위, 맥락 편향 단어를 직접 조정해가 중요한# Mistral Voxtral Transcribe 2# Mistral Voxtral Transcribe 2 경우에는 Mini Transcribe V2를 활용하는 식으로 역할을 분리하면 된다.\
장기적으로는 이렇게 축적된 전사 데이터 위에 요약, 검색, 추천, 분석 모델을 쌓아 올리면서, 음성 중심의 업무 전체를 데이터 기반으로 재설계하는 전략을 고려할 만하다.

출처 및 참고 : [복스트랄은 음속으로 전사합니다. | 미스트랄 AI](https://mistral.ai/news/voxtral-transcribe-2)

Voxtral Transcribe 2는 높은 정확도와 저렴한 비용, 다양한 기능을 갖춘 차세대 음성-텍스트 전사 솔루션이다.
- 실시간(Realtime) 전사와 대량(배치) 오디오 전사 모델 2종 제공, 13개 언어 지원과 저지연·고효율 설계
- 화자 분리, 맥락 편향, 단어 단위 타임스탬프 등으로 회의, 콜센터, 미디어 등 실제 업무에 바로 적용 가능
- 경쟁사 대비 우수한 가격·성능과 소음 환경에서의 강인성, 오픈 모델 가중치 및 다양한 활용 사례 확보

Mistral Voxtral Transcribe 2 완전 이해 가이드

## 핵심 요약

VibeVoice-ASR는 최대 60분 길이의 음성을 한 번에 처리하며, 화자 정보와 타임스탬프까지 포함한 구조화된 자막을 생성하는 대규모 ASR 모델이다.\
다국어·코드스위칭·커스텀 핫워드·LoRA 미세조정 등을 지원해 회의록, 콜센터 분석, 멀티언어 콘텐츠 제작 등에 바로 활용할 수 있는 실용적인 음성 인식 솔루션이다.

## VibeVoice-ASR 개요

VibeVoice-ASR는 Microsoft가 공개한 대용량 음성-텍스트 변환 모델로, 일반적인 짧은 클립 중심 ASR과 달리 긴 컨텍스트를 그대로 유지한 채 전사하는 데 초점을 맞춘다.

모델은 단순히 '문장 텍스트'만 내놓는 것이 아니라, 발화자(누가), 발화 시점(언제), 발화 내용(무엇)을 함께 출력해 회의록, 팟캐스트, 인터뷰 등 실제 업무에서 바로 쓸 수 있는 결과를 만든다.

Hugging Face를 통해 `VibeVoice-ASR-7B` 모델이 공개되어 있으며, 웹 데모와 Gradio 기반 로컬 데모로도 바로 체험할 수 있다.

## 핵심 기능과 사용 시나리오

이 모델의 가장 눈에 띄는 특징은 60분 분량의 오디오를 한 번에 넣을 수 있다는 점이다.\
일반 ASR은 보통 10\~30초 단위로 자르는 방식이라, 회의의 앞에서 등장한 이름·용어가 뒤에서 변형되거나, 화자 인식이 끊어지는 문제가 생기곤 한다. VibeVoice-ASR는 최대 64K 토큰 길이 내에서 긴 컨텍스트를 유지해 이런 문제를 줄인다.

사용자가 특정 단어(회사명, 제품명, 전문용어, 인명 등)를 "핫워드"로 제공하면, 모델이 이 단어들을 더 잘 인식하도록 유도할 수 있다. 도메인 특화 콜센터, 의료 회의, 기술 세미나 등의 상황에서 특히 유용하다.

모델 출력에는 화자 분리(누가 말했는지), 발화 구간 타임스탬프, 내용 텍스트가 함께 포함되며, 이를 통해 회의록, 자막 파일, 분석용 로그 등 다양한 형태로 후처리할 수 있다.

## 모델 아키텍처 개념 잡기

VibeVoice-ASR는 크게 음성 인코더와 언어 모델(텍스트 디코더) 구조를 결합한 형태로 구성된다.\
음성 인코더는 연속적인 오디오 신호를 벡터 시퀀스로 변환하고, 언어 모델은 이 시퀀스를 읽으며 텍스트, 화자 태그, 타임스탬프 토큰 등을 함께 예측한다. 즉, ASR, 화자 분리, 타임스탬핑이 하나의 시퀀스 생성 문제로 통합돼 있다.

길이 60분짜리 입력을 처리하기 위해 긴 컨텍스트를 다룰 수 있는 어텐션 구조(예: Flash Attention)를 활용하며, 최대 64K 토큰 길이를 처리하도록 설계되어 있다. 이는 긴 대화·회의에서도 앞뒤 내용을 참고해 더 일관된 전사를 가능하게 한다.

아키텍처 전체 흐름은 다음 그림에서 한 번에 볼 수 있다.

[![VibeVoice ASR 전체 아키텍처 다이어그램](https://github.com/microsoft/VibeVoice/raw/main/Figures/VibeVoice_ASR_archi.png)](https://github.com/microsoft/VibeVoice/raw/main/Figures/VibeVoice_ASR_archi.png)

## 설치 및 환경 준비

VibeVoice-ASR는 CUDA 기반 GPU 환경을 필요로 하며, 문서에서는 NVIDIA의 PyTorch Docker 컨테이너 사용을 권장한다.\
컨테이너를 사용하면 CUDA, 드라이버, PyTorch 버전 조합을 직접 맞추는 수고를 줄이고, 곧바로 실험 환경을 구성할 수 있다.

대표적인 실행 예시는 다음과 같다.

```bash
# NVIDIA PyTorch Container (예: 25.12 버전)
sudo docker run --privileged --net=host --ipc=host \
  --ulimit memlock=-1:-1 --ulimit stack=-1:-1 \
  --gpus all --rm -it nvcr.io/nvidia/pytorch:25.12-py3

# (필요 시) Flash Attention 설치
# pip install flash-attn --no-build-isolation

# 리포지토리 클론 및 설치
git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice
pip install -e .
```

Flash Attention이 포함되지 않은 환경에서는 직접 설치해야 긴 컨텍스트 처리에서 성능과 속도를 제대로 활용할 수 있다.

## 기본 사용법: 데모와 파일 추론

환경이 준비되면 두 가지 대표적인 사용 방식이 있다.

첫째, Gradio 기반 웹 데모를 띄워 브라우저에서 바로 테스트하는 방법이다. 이 방식은 모델 출력 구조를 빠르게 눈으로 확인해보기 좋다.

```bash
apt update && apt install ffmpeg -y  # 오디오 처리용
python demo/vibevoice_asr_gradio_demo.py \
  --model_path microsoft/VibeVoice-ASR --share
```

둘째, 특정 오디오 파일을 지정해 바로 추론하는 스크립트를 사용하는 방법이다.

```bash
python demo/vibevoice_asr_inference_from_file.py \
  --model_path microsoft/VibeVoice-ASR \
  --audio_files /path/to/audio/file.wav
```

이 때 출력에는 발화자와 타임스탬프가 포함된 구조화 텍스트가 생성되므로, 사용자는 이를 JSON 변환, 자막(SRT) 생성, 회의록 포맷팅 등 원하는 형태로 후처리할 수 있다.

## LoRA 기반 미세조정 개념

VibeVoice-ASR는 LoRA(Low-Rank Adaptation)를 통한 미세조정을 지원한다.\
LoRA는 대형 모델의 전체 파라미터를 업데이트하지 않고, 특정 레이어에 작은 저랭크 행렬만 추가·학습하는 방식이라 GPU 메모리 사용량과 학습 시간을 크게 줄여준다.

예를 들어, 특정 회사의 콜센터 음성, 특정 의료 분야 용어, 특정 언어권 억양 등에 최적화하고 싶다면, 소량의 도메인 데이터로 LoRA 미세조정을 수행해 해당 도메인에서의 인식률을 끌어올릴 수 있다.

자세한 스크립트와 설정 방법은 리포지토리의 `finetuning-asr/README.md`에 정리되어 있으며, 이를 기반으로 자신만의 전용 ASR 모델을 만드는 것이 가능하다.

## 평가 지표 이해하기: DER, cpWER, tcpWER, WER

VibeVoice-ASR는 단순 WER(Word Error Rate)뿐 아니라 화자 인식과 시간 정확도를 포함한 다양한 지표로 평가된다.

DER(Diarization Error Rate)는 화자 분리 정확도를 나타내며, 누가 말했는지를 얼마나 잘 맞췄는지 측정한다. 값이 낮을수록 좋으며, 회의록, 토론, 멀티 화자 방송에서는 WER만큼 중요한 지표다.

cpWER와 tcpWER는 화자 정보와 시간 정보를 고려한 WER 변형으로, 올바른 화자·타이밍과 함께 인식했는지를 반영한다. 예를 들어, 단어는 맞지만 잘못된 사람에게 붙어 있다면 cpWER/tcpWER에서 페널티를 받게 된다.

아래 그림들은 VibeVoice-ASR가 다양한 벤치마크에서 이 지표들로 어떻게 평가되는지 요약한 시각화다.

[![화자 분리 성능(DER) 비교 그래프](https://github.com/microsoft/VibeVoice/raw/main/Figures/DER.jpg)](https://github.com/microsoft/VibeVoice/raw/main/Figures/DER.jpg)

[![cpWER 성능 비교 그래프](https://github.com/microsoft/VibeVoice/raw/main/Figures/cpWER.jpg)](https://github.com/microsoft/VibeVoice/raw/main/Figures/cpWER.jpg)

[![tcpWER 성능 비교 그래프](https://github.com/microsoft/VibeVoice/raw/main/Figures/tcpWER.jpg)](https://github.com/microsoft/VibeVoice/raw/main/Figures/tcpWER.jpg)

이 지표들을 함께 보면, "단어 인식만 좋은 모델"과 "화자·시간 정보까지 정확한 모델"을 구분해 평가할 수 있다.

## 다국어 및 코드스위칭 지원

VibeVoice-ASR는 50개 이상의 언어를 지원하며, 별도의 언어 설정 없이 입력 음성에서 언어를 추론해 전사한다.\
또한 한 문장 안에서 언어가 섞이는 코드스위칭까지 자연스럽게 처리할 수 있도록 설계되어 있다.

문서에 제시된 결과를 보면, 영어·프랑스어·독일어·이탈리아어·일본어·한국어·스페인어 등 주요 언어뿐 아니라 태국어, 베트남어, 포르투갈어, 러시아어 등 다양한 언어에서 DER, cpWER, tcpWER, WER를 함께 보고 있다.

각 언어별로 수치는 차이가 있으나, 회의/대화형 데이터셋(예: MLC-Challenge, AISHELL-4, AMI, AliMeeting)을 기준으로 전체적으로 낮은 오류율을 보여준다. 특히 MLC-Challenge 평균 WER는 약 12% 수준으로 보고되어 있다.

아래 그림은 학습 데이터의 언어 분포를 시각화한 것으로, 어떤 언어에 더 많은 비중을 뒀는지 직관적으로 확인할 수 있다.

[![학습 데이터 언어 분포 시각화](https://github.com/microsoft/VibeVoice/raw/main/Figures/language_distribution_horizontal.png)](https://github.com/microsoft/VibeVoice/raw/main/Figures/language_distribution_horizontal.png)

이 분포를 이해하면, 자신이 사용하려는 언어에서 예상되는 기본 성능 수준을 가늠하는 데 도움이 된다.

## 라이선스와 활용 관점

VibeVoice-ASR는 MIT 라이선스로 공개되어 있다.\
MIT 라이선스는 상업적 사용, 수정, 재배포에 매우 관대한 라이선스로, 적절한 라이선스 고지와 함께라면 상용 서비스에 통합해 사용하는 것도 가능하다.

따라서 이 모델을 기반으로 한 회의록 자동화 서비스, 콜센터 모니터링, 멀티 언어 자막 생성 도구 등 다양한 제품과 연구 프로젝트를 구현할 수 있다.

## 인사이트

VibeVoice-ASR의 진짜 강점은 "길이"와 "구조화된 출력"의 결합이다. 긴 음성 전체를 한 번에 보고, 화자와 타임스탬프를 함께 내놓기 때문에, 후처리 단계에서 복잡한 파이프라인(ASR + 화자 분리 + 타임스탬핑)을 따로 구성할 필요가 줄어든다.

실무에서 활용하려면, 먼저 웹/Gradio 데모로 출력 형식을 감각적으로 익힌 뒤, 파일 기반 추론 스크립트로 자신이 가진 실제 데이터(회의 녹음, 강의, 콜센터 음성 등)에 적용해보는 것이 좋다. 그 다음, 도메인 특화 용어에서 오차가 많다면 핫워드 기능이나 LoRA 미세조정을 도입해 점진적으로 품질을 끌어올리는 전략이 효과적이다.

마지막으로, 다국어·코드스위칭 환경에서 일하는 팀이라면, 이 모델을 "공통 음성 인식 백엔드"로 두고, 그 위에 번역·요약·질문응답 등 텍스트 기반 기능을 쌓는 방식으로 전체 음성 AI 워크플로를 설계해볼 만하다.

출처 및 참고 : [VibeVoice/docs/vibevoice-asr.md at main · microsoft/VibeVoice · GitHub](https://github.com/microsoft/VibeVoice/blob/main/docs/vibevoice-asr.md)

VibeVoice-ASR는 최대 60분의 긴 음성을 화자/타임스탬프와 함께 구조화하여 정확하게 전사해주는 대규모 음성 인식 모델입니다.
- 회의록, 콜센터 등 다양한 실무에서 바로 사용할 수 있으며, 핫워드와 LoRA 미세조정 기능으로 도메인에 맞게 최적화할 수 있습니다.
- 50개 이상의 언어 및 코드스위칭을 지원하며, 화자 분리·타임스탬프·텍스트 출력을 모두 포함합니다.
- MIT 라이선스로 상업적 활용도 자유로워 제품 개발, 서비스 통합에 적합합니다.

ASR - 음성 전사 (Speech To Text)

목차