NVIDIA Nemotron 3.5 ASR, 다국어 실시간 음성 인식의 기준선

실시간 음성 인식의 품질은 단순히 “말을 얼마나 정확히 텍스트로 바꾸는가”로만 결정되지 않습니다. 여러 언어를 한 시스템에서 처리할 수 있어야 하고, 사용자가 체감하는 지연시간은 짧아야 하며, 결과 문장은 별도 손질 없이 읽을 수 있어야 합니다.

NVIDIA Nemotron 3.5 ASR은 이 요구를 하나의 모델로 묶으려는 스트리밍 ASR 모델입니다. 600M 파라미터 규모이며, 단일 체크포인트에서 40개 언어-로케일의 실시간 전사를 지원합니다.¹

Nemotron 3.5 ASR이 바꾸는 기준선

Nemotron 3.5 ASR은 영어 전용 Nemotron 3 ASR의 후속 모델입니다.¹ 이전 모델은 Artificial Analysis 독립 벤치마크에서 스트리밍 ASR 모델 중 지연시간 2위를 기록했고, 발화 종료 후 최종 전사까지 0.07초가 걸린 것으로 검증됐습니다.¹

Nemotron 3.5 ASR의 핵심 변화는 이 지연시간 중심의 설계를 다국어 환경으로 확장했다는 점입니다. 한국어, 일본어, 영어, 스페인어, 독일어, 프랑스어, 아랍어, 중국어 등 40개 언어-로케일을 하나의 체크포인트로 처리합니다.¹

이는 운영 측면에서 의미가 큽니다. 언어마다 별도 모델을 배포하거나 요청에 따라 모델을 교체하는 구조보다 관리가 단순해지고, 다국어 서비스의 기본 아키텍처를 더 간결하게 설계할 수 있습니다.

왜 ‘캐시 인식 스트리밍’인가

Nemotron 3.5 ASR은 Cache-Aware FastConformer-RNNT 구조를 사용합니다.² 핵심은 이전 음성 구간에서 계산한 내부 상태를 캐시에 저장하고, 새로 들어온 오디오 조각을 처리할 때 이를 재사용하는 방식입니다.

일반적인 버퍼 기반 스트리밍에서는 겹치는 음성 구간을 반복 계산할 수 있습니다. 캐시 인식 방식은 이미 처리한 정보를 활용해 새 구간 중심으로 계산하므로, 지연시간과 연산 낭비를 줄이는 데 유리합니다.²

출력 품질도 실무에서 중요한 차이를 만듭니다. Nemotron 3.5 ASR은 구두점과 대소문자 처리를 기본 포함합니다.¹ 별도 후처리 모델을 붙이지 않아도 회의록, 상담 기록, 자막처럼 사람이 바로 읽어야 하는 전사 결과를 만들기 쉽습니다.

도입의 핵심은 지원 언어가 아니라 현장 적합성

Nemotron 3.5 ASR은 Hugging Face에서 오픈 웨이트로 제공됩니다.¹ 따라서 API 호출에만 의존하지 않고 모델을 직접 검사하고, 파인튜닝하고, 자체 인프라에 배포할 수 있습니다.¹

이 방식은 개인정보, 내부 회의, 콜센터 음성처럼 외부 전송이 부담스러운 데이터에서 특히 중요합니다. 모델을 자체 배포하면 데이터를 사용자 인프라 밖으로 내보내지 않는 구성이 가능하기 때문입니다.¹

다만 40개 언어-로케일을 지원한다는 사실만으로 도입 여부를 결정하기는 어렵습니다. 실제 성능은 도메인 용어, 발화 환경, 억양, 마이크 품질에 따라 달라질 수 있습니다. Nemotron 3.5 ASR은 특정 언어, 도메인, 억양에 맞춰 파인튜닝할 수 있으므로, 실제 음성 샘플로 먼저 기준 성능을 확인한 뒤 반복 오류를 줄이는 방향으로 조정하는 접근이 현실적입니다.¹

실용적인 활용 방식

Nemotron 3.5 ASR은 다국어 실시간 전사의 완성형이라기보다, 빠르게 출발할 수 있는 기준선에 가깝습니다. 하나의 오픈 웨이트 모델로 여러 언어를 처리하고, 자체 인프라에서 데이터를 통제하며, 필요한 경우 현장 데이터에 맞춰 파인튜닝할 수 있다는 점이 핵심 가치입니다.

따라서 도입 순서는 명확합니다. 먼저 실제 사용 환경의 음성으로 지연시간과 전사 품질을 평가하고, 오류가 반복되는 언어·도메인·억양을 식별한 뒤, 필요한 범위에서 파인튜닝을 적용하는 것입니다. 이 접근이 Nemotron 3.5 ASR을 가장 실용적으로 활용하는 방법입니다.

¹How to Fine-Tune Nemotron 3.5 ASR for Your Language, Domain, or Accent

²nvidia/nemotron-3.5-asr-streaming-0.6b · Hugging Face