인도의 AI 스타트업 Sarvam AI가 22개 인도 공식 언어와 글로벌 영어를 지원하는 차세대 음성 인식(Speech-to-Text) 모델 Saaras V4를 출시했다.134 다국어 사용 비중이 높고 문장 중간에 언어가 바뀌는 코드믹스(Code-mixing) 발화가 빈번한 환경에서는 기존 음성 인식 시스템의 정확도가 크게 떨어지거나 별도의 후처리 파이프라인이 필요했다. Saaras V4는 오디오 인코더와 30억(3B) 파라미터 규모의 하이브리드 상태 공간 모델(State-Space Model, SSM) 디코더를 결합하여, 단일 모델 구조 내에서 번역과 음차 표기 등 5가지 출력 모드를 직접 지원하며 첫 토큰 응답 지연 시간을 150ms 미만으로 낮추었다.123
이 모델은 Sarvam AI의 API를 통해 시간당 30루피(INR)의 가격으로 제공되며, 실시간 음성 에이전트, 콜센터 통화 분석, 다국어 음성 데이터 전환 등 기업용 음성 애플리케이션을 주요 타깃으로 한다.13 다국어 음성 인식을 도입하려는 개발자와 기업이 Saaras V4의 아키텍처적 특성과 성능 지표, 실무 적용 시 고려해야 할 조건을 구체적으로 살펴본다.
하이브리드 상태 공간 모델 기반의 아키텍처와 저지연 성능
Saaras V4의 구조적 특징은 오디오 인코더와 Sarvam AI가 처음부터 자체 학습시킨 30억(3B) 파라미터의 하이브리드 상태 공간 언어 모델 디코더를 결합한 점이다.123 전통적인 트랜스포머(Transformer) 디코더는 입력 시퀀스가 길어질수록 연산량과 메모리 요구량이 급격히 증가하는 한계가 있다. 반면 상태 공간 모델(SSM)은 시퀀스 길이가 늘어나도 높은 연산 효율성을 유지할 수 있어 긴 음성 오디오를 처리하는 데 유리하다. Saaras V4는 오디오 인코더가 추출한 음향 임베딩을 시간축 축소(temporal-downsampling) 어댑터를 통해 언어 모델의 임베딩 공간으로 투영한 뒤, 3B SSM 디코더가 이를 텍스트 토큰으로 순차 변환하는 방식을 취한다.2
이러한 아키텍처 설계는 연산 효율성과 처리 속도를 동시에 개선한다. Saaras V4는 실시간 스트리밍 시 첫 번째 텍스트 토큰을 출력할 때까지 걸리는 지연 시간(Time-to-First-Token)이 150밀리초(ms) 미만에 불과하다.123 이는 음성 대화형 에이전트에서 사용자 발화 후 답변이 시작되기까지의 대기 시간을 줄여 자연스러운 대화를 가능하게 한다. 또한 배치 처리 환경에서는 수 분 분량의 장문 오디오 파일을 1초 미만에 가공하는 신속한 처리 능력을 보여준다.23
5가지 출력 모드의 단일 모델 통합과 파이프라인 단순화
현장 음성 데이터 처리에서는 목적에 따라 필요한 텍스트 형태가 다르다. 규정 준수(compliance) 감사용 기록은 발화자의 추임새까지 포함한 정확한 원문이 필요하지만, 고객 관계 관리(CRM) 시스템 입력에는 수치와 날짜가 정형화된 표준 텍스트나 영어 번역본이 요구된다. 기존 방식에서는 음성 인식 모델의 출력값을 대형언어모델(LLM)이나 별도의 후처리 모듈로 재가공해야 했으며, 이 과정에서 앞 단계의 음성 인식 오류가 뒤 단계로 전파되는 문제가 발생했다.
Saaras V4는 후처리 파이프라인을 추가하는 대신 단일 모델 내부에서 5가지 출력 모드(mode)를 생성하도록 설계하여 파이프라인 복잡성과 오류 누적 위험을 줄였다.1234
transcribe: 수치 및 날짜 표현을 정규화한 현지 문자 텍스트 출력
translate: 인도 언어 발화를 영어 텍스트로 직접 번역
verbatim: 발화된 추임새와 숫자 표현을 가공 없이 원문 그대로 기록
translit: 인도 언어 음성을 로마자(Latin 스크립트)로 표기하는 음차 표기
codemix: 인도 언어 문맥 속의 영어 단어를 원어 스크립트로 유지하여 가독성을 높인 파싱
단일 모델에서 목적에 맞는 텍스트 형태를 곧바로 출력하기 때문에 시스템 구축 절차가 간소화되고 중복 연산으로 인한 비용을 절감할 수 있다.23
언어 식별, 키워드 프롬프팅 및 벤치마크 검증
다국어 음성 인식 시스템이 안정적으로 작동하려면 입력 음성의 언어를 자동으로 판단하는 언어 식별(Language Identification) 정확도가 선행되어야 한다. Sarvam AI의 검증 결과에 따르면, Saaras V4는 IndicVoices 데이터셋 기준 상위 10개 인도 언어에서 2.9%, 22개 전체 인도 언어 범위에서 5.22%의 언어 식별 오류율을 기록했다.23
전문 용어나 브랜드명, 고유 명사처럼 일반 모델이 오인하기 쉬운 어휘의 인식률을 높이기 위해 Saaras V4는 최대 50개의 주요 어휘를 사전 지정하는 키워드 프롬프팅(Keyterm Prompting) 기능을 제공한다.1234 AI4Bharat의 IndicContextEval 벤치마크 평가 중 도메인 엔티티 목록을 현지 스크립트로 제공한 L5 키워드 프롬프팅 설정에서, Saaras V4는 16.03%의 가장 낮은 단어 오류율(WER)을 기록했다.2 또한 기존 인도 영어(en-IN) 중심 지원에서 벗어나 다양한 글로벌 영어 악센트 인식으로 영역을 확장했으며, AMI, GigaSpeech, LibriSpeech 등 7개 주요 영어 음성 벤치마크 세트에서 최저 수준의 평균 WER을 달성했다.234
다만 벤치마크 수치를 해석할 때는 평가지표의 조건과 한계를 함께 고려해야 한다. 음성 인식 평가의 표준 결정론적 지표인 WER(Word Error Rate)은 단순 문자 대조 방식을 사용하므로 내용상 차이가 없는 표기법이나 정서법 변형까지 오류로 집계하는 경향이 있다. 이에 Sarvam AI는 의미적 동일성을 추가 판정하는 LLM-WER 지표를 함께 공개하고 있다.2 정제된 연구용 데이터셋 및 벤치마크 점수는 모델의 상대적 우수성을 보여주지만, 소음이 극심한 8kHz 전화 통화나 실시간 현장 음성 전체의 정확도를 보장하는 것은 아니므로 실제 사용 환경에 맞는 자체 검증이 요구된다.23
API 인터페이스와 도입 판단 기준
Saaras V4는 다양한 운영 환경에 맞춰 세 가지 API 인터페이스를 제공한다. 30초 이하 짧은 오디오 처리를 위한 동기식 REST API, 150ms 미만 첫 토큰 지연 시간의 실시간 대화형 WebSocket 스트리밍 API, 그리고 최대 2시간 분량 파일 처리와 화자 분리(Speaker Diarization)를 지원하는 비동기 Batch API로 구성된다.234
Saaras V4 도입을 검토하는 기업과 개발자는 다음 기준을 바탕으로 적용 실익을 평가할 수 있다.
지원 언어 및 악센트: 인도 언어 22개와 글로벌 영어를 포함한 총 23개 언어 및 다국어 코드믹스 발화 처리가 핵심 요구사항인가?134
응답 속도 요건: 첫 토큰 지연 시간 150ms 미만의 실시간 음성 대화 에이전트 구축이 필요한가?123
보정 어휘 주입: 전문 용어, 브랜드명 등 주요 어휘(최대 50개)를 키워드 프롬프팅으로 사전 전달할 수 있는 구조인가?124
비용 및 구조 단순화: 시간당 30루피의 API 비용 체계와 단일 모델 다중 출력 방식을 통해 기존 후처리 파이프라인 유지비용을 줄일 수 있는가?12
Saaras V4는 하이브리드 상태 공간 모델 아키텍처와 단일 모델 다중 출력 설계를 통해 다국어 음성 인식의 정확도와 연산 효율성을 높였다. 실무 도입 시에는 실제 서비스 음성의 소음 수준, 마이크 환경, 코드믹스 비중에 맞춘 자체 성능 테스트와 출력 모드 선택이 선행되어야 한다.23
참고
1Sarvam AI Releases Saaras V4: A Speech-to-Text Model for All 22 Indian Languages and Global English
2Introducing Saaras V4 - Sarvam AI | Sarvam AI
3Sarvam AI launches Saaras V4 to strengthen enterprise speech applications
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.