음성 회의록이나 고객 상담 녹음에서 음성 인식 모델이 단어를 아무리 정확하게 받아적더라도, 발화자가 누구인지 구분되지 않으면 정보의 가치는 크게 떨어집니다. 누가 동의했고 누가 문제를 제기했는지 알 수 없는 텍스트는 후속 업무나 대화 분석에 바로 활용하기 어렵기 때문입니다. Nvidia는 2026년 9월 23일, 대화 속에서 발화자가 언제 말을 시작하고 끝마쳤는지를 식별하는 오픈 웨이트 AI 모델인 Nemotron 3 Diarization을 공개했습니다12. 이 모델은 약 1억 개(100M)의 매개변수로 구성되어 있으며, 상업적 및 비상업적 용도 모두에서 무료로 사용할 수 있습니다12.
Nemotron 3 Diarization의 핵심 변화는 가벼운 모델 크기를 유지하면서 최대 8명의 화자를 실시간 스트리밍과 오프라인 녹음 환경 양쪽에서 안정적으로 분할하고, 두 명 이상이 동시에 말하는 중첩 발화까지 포착한다는 점입니다13. 이전 세대 기술이 지연 시간이나 연산량 문제로 실시간 대화 적용에 제약이 있었던 것과 비교하면, 단일 가중치 체크포인트로 입력 버퍼 지연 시간을 단계별로 조절하면서도 기존 모델 대비 오류율을 큰 폭으로 낮춘 기술적 개선이 두드러집니다23.
80ms 프레임과 도착 순서 캐시가 해결한 실시간 화자 추적 원리
화자 분할(Speaker Diarization)이란 오디오 스트림에서 누가, 언제 말했는지를 시간 구간 단위로 분류하는 작업입니다3. 이를 실시간 스트리밍 환경에서 처리할 때는 녹음 파일 전체를 한 번에 검토할 수 없습니다. 따라서 새로 들어오는 짧은 오디오 조각(청크)마다 화자의 고유 채널을 일관되게 유지해야 하며, 청크가 바뀔 때마다 동일 인물이 다른 화자 번호로 뒤바뀌는 순열 혼동(Permutation) 문제를 해결하는 것이 핵심 과제입니다3.
Nemotron 3 Diarization은 이전 연구인 Streaming Sortformer 구조를 계승하여 도착 순서(Arrival-Order) 방식을 적용했습니다23. 대화에서 가장 먼저 목소리를 낸 사람을 첫 번째 채널(speaker_0)에 배정하고, 새로운 목소리가 등장할 때마다 순차적으로 다음 채널을 부여하는 방식입니다24. 모델은 16 kHz 단일 채널 오디오를 10ms 스텝의 멜 스펙트로그램으로 변환한 뒤, 이를 8개씩 묶어 80ms 단위의 프레임으로 구성합니다23. 이 프레임은 회전 위치 임베딩(RoPE)이 적용된 31개 레이어의 트랜스포머 인코더를 통과하며, 상단의 1D 합성곱(Conv1D) 레이어를 거쳐 최종적으로 [T, 8] 크기의 부동소수점 텐서로 출력됩니다3. 여기서 T는 시간 축이며, 8개 채널의 값은 각 시점에 해당 화자가 활성화되어 있을 확률을 나타냅니다3.
동시에 말하는 발화(Overlapping speech) 역시 자연스럽게 처리됩니다. 특정 시간 프레임에서 두 개 이상의 채널 확률이 기준치를 넘으면 중첩 발화로 감지됩니다3. 실시간 스트리밍 시에는 두 가지 메모리 메커니즘이 작동합니다. 이전 청크에서 관측된 화자 정보를 보존하는 도착 순서 화자 캐시(Arrival-Order Speaker Cache, AOSC)와 직전 프레임의 문맥을 제공하는 FIFO(First In, First Out) 큐입니다23. 이 메모리 덕분에 모델은 장시간 대화에서도 화자 번호를 재계산하거나 임베딩 군집화(Clustering)를 반복하지 않고 안정적으로 화자를 추적합니다24.
지연 시간 프로필과 벤치마크로 확인된 오류율 개선 폭
화자 분할 성능을 평가하는 대표적인 지표는 화자 분할 오류율(DER, Diarization Error Rate)입니다3. DER은 전체 정답 발화 시간 대비 누락 음성(Missed speech), 오탐지(False alarm), 그리고 발화자를 잘못 지정한 화자 혼동(Speaker confusion) 시간의 비율을 합산하여 계산하므로 수치가 낮을수록 정확합니다3.
Nemotron 3 Diarization은 단일 체크포인트로 30.4초(오프라인 수준), 1.04초(저지연), 0.64초(초저지연), 0.32초(극초저지연)의 네 가지 권장 입력 버퍼 지연 시간을 지원합니다23. 모델 구조상 기술적으로는 80ms 버퍼까지 낮출 수 있으나 권장되는 최저치는 0.32초입니다23. 여기서 지연 시간은 청크 크기와 미래 시점 오디오(Right context)를 합산한 입력 버퍼 대기 시간만을 의미하며, 연산 처리 시간은 제외된 수치입니다2. 버퍼가 짧을수록 미래 문맥을 적게 확인하므로 응답은 빨라지지만 정확도는 소폭 낮아지는 구조적 관계가 존재합니다13.
벤치마크 결과에서 모델의 성능 향상은 뚜렷하게 관측됩니다.
VoiceArena Diarization Benchmark v1: 139개 영어 대화(약 22시간 분량, 허용 오차 칼라 0ms, 중첩 발화 채점 포함)를 평가한 초기 결과에서 14.72%의 DER을 기록하며 1위를 차지했습니다13. 이는 차선책 시스템(19.3%) 대비 상대적으로 약 24%의 오류율을 절감한 수치입니다3.
이전 모델 대비 비교: 1.04초 입력 버퍼 기준 8개 테스트 환경에서 이전 4화자 모델인 Streaming Sortformer v2.1 대비 평균 41%의 오류율 절감을 달성했습니다13. 특히 소음과 중첩 발화가 많은 AISHELL-4 데이터셋의 저지연(low) 프로필 기준에서는 DER이 27.2%에서 9.8%로 대폭 개선되었습니다4.
학습 데이터 확장의 효과: 21개 언어에 걸친 대규모 혼합 음성과 David AI의 실제 다중 화자 주석 데이터를 추가 학습에 투입한 결과, 복합 DER이 11.19%에서 10.42%로 0.77% 포인트(%p) 절대 감소했습니다3.
음성 인식(ASR)과의 결합 방식과 부가 제어 신호
Nemotron 3 Diarization은 독립적인 화자 분할 모델로서 발화 구간과 채널 활성화 확률만 출력할 뿐, 어떤 단어가 발화되었는지는 직접 전사하지 않습니다3. 따라서 실무에서 발화자 태그가 달린 대본을 제작하려면 자동 음성 인식(ASR) 시스템과의 파이프라인 결합이 필요합니다13.
Nvidia의 6억 개(600M) 매개변수 음성 인식 모델인 Parakeet(예: Parakeet V2)과 결합할 경우, 음성 인식 모델의 인코더 초기 레이어에 화자 활성화 벡터를 직접 전달하는 방식으로 중첩 발화까지 단일 패스(Single pass)로 처리할 수 있습니다4. 이를 통해 전사된 텍스트에 speaker_0, speaker_1과 같은 익명 레이블이 부여되며, 회의 참석자 메타데이터나 화자 검증 시스템을 연동하면 실제 인물 이름으로 연결할 수 있습니다13.
또한 10ms 단위의 연속적인 화자 확률 벡터는 단순 텍스트 전사 외에도 음성 대화형 AI 시스템의 실시간 제어 신호로 유용합니다4.
음성 활동 감지(VAD): 단순 음량 크기가 아니라 딥러닝 기반 음성 패턴을 감지하여 배경 소음과 사람 목소리를 직접 구분합니다4.
화자별 발화 종료(End-of-Turn) 감지: 특정 발화자가 말을 멈춘 시간을 추적함으로써 음성 에이전트가 주 발화자의 발언 종료와 주변 인물의 잡담을 구분해 적절한 시점에 반응하도록 돕습니다4.
끼어들기 및 중첩 제어: 주 발화자 외에 다른 화자가 말을 시작하면 약 300ms(극초저지연 설정 기준) 내에 이를 감지하여 에이전트의 발언을 즉시 멈추는 제어가 가능합니다4.
현업 적용 시 고려해야 할 한계와 도입 판단 기준
Nemotron 3 Diarization이 우수한 벤치마크 지표를 보여주었지만, 실제 서비스 인프라에 도입하기 전에는 몇 가지 명확한 기술적 제약 조건을 점검해야 합니다.
첫째, 최대 지원 화자 수는 8명으로 고정되어 있습니다12. 참가자가 8명을 초과하는 대규모 패널 토론이나 컨퍼런스에서는 화자 채널이 부족해져 분할 오류가 급격히 증가할 수 있습니다3.
둘째, 음향 환경에 따른 민감도입니다. 심한 배경 소음, 실내 반향(울림), 원거리 녹음(Far-field), 영역 전이(Domain shift)가 발생하는 환경에서는 음성 감지 실패나 잘못된 화자 배정으로 인해 오류율이 높아집니다13. 벤치마크 수치는 정제된 평가 환경을 포함하므로, 현장 마이크 사양과 실내 음향 조건에 맞춘 자체 사전 검증이 선행되어야 합니다3.
셋째, 전체 시스템 지연 시간(End-to-End Latency)의 구분입니다. 0.32초나 1.04초는 모델이 추론을 위해 오디오를 모으는 입력 버퍼 대기 시간만을 뜻합니다23. 실제 서비스에서는 GPU 연산 시간, 네트워크 전송 지연, ASR 음성 인식 및 LLM 응답 생성 시간이 추가되므로 전체 파이프라인의 종단 간 응답 속도는 버퍼 시간보다 길어집니다3.
Nemotron 3 Diarization은 실시간 고객센터 통화 분석, 최대 8인 이하의 화상 회의록 자동화, 지연 시간에 민감한 음성 대화형 에이전트 구축을 검토하는 팀에 기술적으로 적합한 선택지입니다34. 상업적 이용이 가능한 오픈 웨이트 모델인 만큼 자체 인프라에서 효율적으로 구동할 수 있으나, 본격적인 배포에 앞서 실제 대화 환경의 음향 품질과 참가자 수, 버퍼 설정에 따른 DER 변화를 실측해 서비스 요구사항에 맞는 운영 지점을 확정해야 합니다.
참고
1Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real time
2nvidia/Nemotron-3-Diarization · Hugging Face
3Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization
4NVIDIA Nemotron 3 Diarization: real-time speaker labels at a cent per audio hour
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.