음성 비서와 대화할 때 느껴지는 어색한 침묵은 대부분 기술적 파이프라인에서 비롯된다. 기존 음성 AI는 음성 인식(ASR) → 텍스트 추론(LLM) → 음성 합성(TTS) 이라는 3단계 분업 구조로 작동하며, 각 단계가 순차적으로 실행되는 동안 지연이 누적되고 사용자가 말을 끼어들기 어려운 구조가 만들어진다.
NVIDIA가 공개한 NemotronLabs VoiceChat 11B는 이 세 단계를 하나의 통합 모델로 압축함으로써 이 문제를 정면으로 돌파한다. 음성 이해와 생성을 동시에 수행하는 전이중(full-duplex) 방식이며, 무엇보다 오픈 모델 최초로 실시간 도구 호출 기능을 지원한다는 점에서 주목할 만하다1.
통합 구조가 가져온 세 가지 변화
이 모델의 핵심은 Fast Conformer 음성 인코더 → Nemotron Nano V2 9B LLM 백본 → TTS 디코더가 하나의 순방향 패스 안에서 연결된다는 점이다1. 원시 오디오가 들어오면 텍스트 변환 과정 없이 오디오 토큰으로 바로 인코딩되고, LLM이 텍스트 토큰을 예측하는 동시에 TTS 디코더가 음성 코드를 생성한다. 이 통합 구조가 가져온 구체적인 변화는 세 가지다.
첫째, 응답 지연이 약 448밀리초로 단축되었다1. 일반적인 3단계 파이프라인이 1~2초가량 소요되는 것과 비교하면 사람 간 대화 리듬에 훨씬 가까운 수치다.
둘째, 진짜 끼어들기(barge-in)가 가능해졌다. 사용자가 말하는 즉시 모델이 발화를 멈추고 반응하기 때문에1, 기존 방식처럼 모델이 문장을 끝낼 때까지 기다릴 필요가 없다.
셋째, 도구 호출 중에도 대화가 끊기지 않는다. LLM이 도구 호출 텍스트를 생성하는 순간, 별도 출력 채널로 실행 스크립트가 발행되고 TTS 채널은 동시에 "잠시 확인해볼게요" 같은 대기 메시지를 말한다1. 도구 실행이 끝나면 중단 없이 대화가 이어지므로, 기존 음성 비서에서 흔히 경험하던 "잠시만요..." 이후의 정적이 사라진다.
성능과 한계를 숫자로 보면
NemotronLabs VoiceChat 11B는 11B 파라미터 규모에 Hybrid Mamba/Transformer 구조를 백본으로 사용하며, 약 55만 시간의 오디오 데이터로 학습되었다1. 주요 벤치마크 결과는 다음과 같다1.
VoiceBench: 오픈 전이중 모델 중 2위
Full-Duplex-Bench 1.0: 사용자 끼어들기 반응 지연 480ms, 전환 성공률 100%
도구 호출(BFCL-v3): 평균 정확도 56.1%
현실적인 제약도 명확하다. 라이선스는 연구 목적으로만 사용 가능한 OpenMDW 1.1이며1, 상업 배포는 허용되지 않는다. TTS 음성 품질은 아직 상용 수준에 미치지 못하고, 키보드 소리 같은 비음성 노이즈에 턴 감지가 오작동할 수 있다는 점도 보고되었다2. 추론은 NVIDIA A100/H100/B200 등 GPU에서만 지원된다1.
음성 에이전트를 바라보는 새로운 관점
NemotronLabs VoiceChat 11B가 보여준 방향은 분명하다. ASR-LLM-TTS 파이프라인을 쌓는 접근은 더 이상 유일한 정답이 아니다. 통합 모델이 응답 속도, 자연스러운 대화 흐름, 도구 호출의 매끄러운 통합에서 우위를 보인다는 점은 이미 수치로 입증되었다.
아직 연구 단계이지만, 이 아키텍처가 상용화될 경우 음성 비서의 사용자 경험은 근본적으로 달라질 수 있다. 침묵 없는 대화, 진짜 끼어들기, 도구를 쓰면서도 끊기지 않는 흐름 — 이 세 가지는 앞으로 음성 AI를 평가하는 핵심 기준축이 될 것이다.
1nvidia/NVIDIA-NemotronLabs-VoiceChat-11B · Hugging Face
2NVIDIA VoiceChat 11B: The First Open Full-Duplex Voice Agent with Tool Calling
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.