Nemotron 3 Diarization: 실시간 화자 분리를 이해하고 적용하는 법

회의록은 문장이 정확해도 발화자가 빠지면 활용도가 크게 떨어진다. 누가 제안하고 반대했으며 무엇을 약속했는지 알기 어렵기 때문이다. NVIDIA가 Hugging Face에 오픈 웨이트로 공개한 Nemotron 3 Diarization은 녹음과 실시간 스트리밍에서 이러한 화자 구분을 수행하는 모델이다.¹

받아쓰기가 아니라 ‘누가 언제 말했는지’를 찾는다

화자 분리는 음성 내용을 받아쓰는 작업이 아니라, 각 화자가 발화한 시간 구간을 식별하는 작업이다. Nemotron 3 Diarization은 1억 개의 매개변수로 최대 8명의 화자를 추적하며, 여러 사람이 동시에 말하는 구간도 복수 채널로 표시한다.¹

독립형 화자 분리 모델의 출력은 문장이 아니라 화자 활동 확률과 타임스탬프다. 이를 ASR의 문장·단어 시간 정보와 결합해야 “누가 무엇을 말했는지”가 포함된 기록을 만들 수 있다. 하나의 체크포인트가 오프라인 녹음과 실시간 스트리밍을 모두 처리하므로 두 환경을 위한 모델을 별도로 운영할 필요도 줄어든다.¹

다만 speaker_2 같은 출력은 실제 인물이 아니라 익명 화자 채널이다. 이 채널을 참석자 이름과 연결하려면 회의 메타데이터, 사용자 프로필 또는 별도의 화자 검증 모델이 필요하다.¹

스트리밍에서는 레이블 일관성이 중요하다

실시간 시스템은 오디오를 짧은 청크로 나눠 처리한다. 이때 같은 사람이 청크마다 다른 화자 번호를 받으면 대화 기록 전체의 일관성이 무너질 수 있다.

Nemotron 3 Diarization은 화자가 처음 등장한 순서대로 출력 채널을 배정하는 Sortformer 방식을 사용한다. 등장 순서를 기준으로 채널을 유지해 스트리밍 청크 사이에서 화자 레이블이 바뀌는 문제를 줄인다.¹

벤치마크보다 실제 환경에서 검증해야 한다

초기 VoiceArena 평가에서 이 모델은 139개의 영어 대화를 대상으로 14.72%의 DER을 기록했다.² DER은 발화 누락, 잘못된 음성 감지, 화자 오할당 등의 영향을 받은 화자 시간의 비율이며 낮을수록 좋다.

그러나 영어 중심 벤치마크 수치를 실제 서비스 성능으로 그대로 받아들여서는 안 된다. 도입 전에는 다음 조건을 반영해 별도로 평가해야 한다.

• 서비스에서 사용하는 언어

• 배경 소음과 마이크 거리

• 동시 발화 빈도

• 대화 참여자 수

• 스트리밍 지연 시간과 정확도 사이의 균형

입력 조건도 확인해야 한다. 기본 입력 형식은 16kHz 단일 채널 오디오다. 스트리밍에서는 버퍼를 짧게 설정할수록 응답은 빨라지지만, 모델이 활용할 문맥이 줄어 정확도에 영향을 줄 수 있다.¹

요약: Nemotron 3 Diarization은 최대 8명의 화자와 겹친 발화를 추적하고, 하나의 체크포인트로 녹음과 실시간 스트리밍을 처리한다. 회의 비서, 상담 분석, 팟캐스트 편집 등에 활용할 수 있지만, 완성된 화자별 기록을 만들려면 ASR과 실제 인물 연결 기능을 함께 구성하고 서비스 환경에서 성능을 검증해야 한다.

참고

¹Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization

²NVIDIA's Nemotron 3 Beats 12 Rivals With a 14.72% Speaker Error Rate | AlphaSignal