Audex-30B-A3B: 오디오 기능을 붙인 LLM이 아니다

NVIDIA의 Nemotron-Labs-Audex-30B-A3B는 텍스트 LLM에 음성 기능을 덧붙인 모델이라기보다, 오디오와 텍스트를 하나의 생성 흐름에서 다루도록 설계된 모델이다. 기반은 Nemotron-Cascade-2-30B-A3B이며, 전체 30B MoE 모델 중 추론 시에는 3B 파라미터만 활성화된다.¹ MoE는 여러 전문가 네트워크 중 필요한 일부만 선택해 쓰는 구조다.

이 모델을 볼 때 핵심 질문은 “오디오 기능이 얼마나 많은가”보다 “오디오를 추가하면서 기존 LLM 능력을 얼마나 유지하는가”에 가깝다.

왜 단순한 음성 모듈 추가가 아닌가

멀티모달 모델의 흔한 과제는 새 입력·출력 방식을 붙이는 과정에서 기존 텍스트 성능이 약해질 수 있다는 점이다. Audex의 방향은 오디오 이해, 음성 인식, 번역, TTS, 오디오 생성, 음성-음성 생성을 통합하면서도 텍스트 추론, 지식, 정렬, 긴 문맥 처리 능력을 최대한 유지하는 데 있다.²

구조도 이 목표와 맞닿아 있다. Audex는 음성 및 일반 오디오 입력을 처리하기 위한 오디오 인코더를 포함하고, 음성 및 일반 오디오 출력을 위한 이산 오디오 토큰 어휘를 확장한다.¹ 입력 오디오는 인코더를 거쳐 텍스트 임베딩 공간으로 들어가고, 출력은 같은 디코더가 텍스트 토큰과 이산 오디오 토큰을 생성하는 방식이다.²

즉 ASR, LLM, TTS를 각각 이어 붙이는 전통적 파이프라인보다 오디오와 텍스트가 같은 문맥 안에서 처리될 여지가 크다. 이것이 Audex를 “오디오 기능이 붙은 LLM”이 아니라 “오디오와 텍스트를 함께 다루는 LLM 계열 모델”로 봐야 하는 이유다.

개발자가 확인할 실용 포인트

Audex의 오디오 QA 범위에는 오디오 이해, 음성 인식, 음성 번역이 포함된다.¹ 따라서 단순 전사 모델로만 보기보다는, 입력 오디오를 이해하고 그 내용을 기반으로 질의응답이나 번역까지 수행하는 모델로 보는 편이 적절하다.

운영 방식은 기존 LLM 워크플로와 가깝다. Audex는 ChatML 템플릿을 따르고, thinking 모드와 instruct, 즉 non-thinking 모드를 모두 지원한다.¹ reasoning content는 <think>와 </think> 태그 안에 들어가며, instruct 모드는 assistant 응답 시작 부분에 <think></think>를 붙여 활성화한다.¹

컨텍스트 길이도 주목할 만하다. Audex는 최대 1M 토큰 컨텍스트 길이를 지원한다.¹ 긴 대화, 긴 문서, 오디오 기반 상호작용을 함께 다루는 실험에서 중요한 조건이 될 수 있다.

입력 포맷 역시 LLM 개발자가 이해하기 쉬운 형태다. 오디오 입력 JSON에서는 <sound>n 플레이스홀더를 사용해 대화 안에 오디오 위치를 표시한다.¹ 덕분에 기존 채팅 템플릿과 오디오 처리를 함께 묶어 테스트하기 수월하다.

어떻게 판단하고 적용할까

Audex를 평가할 때는 “음성 인식이 되는가”만 볼 것이 아니라 다음 기준을 함께 봐야 한다.

• 오디오 이해, 음성 인식, 번역, TTS, 오디오 생성이 하나의 흐름에서 얼마나 자연스럽게 이어지는가

• 텍스트 추론과 긴 문맥 처리 능력이 오디오 기능 추가 후에도 유지되는가

• ChatML, <think> 태그, <sound>n 플레이스홀더 같은 인터페이스가 기존 LLM 인프라에 얼마나 잘 맞는가

• 실제 서비스 기준에서 지연 시간, 디코더 품질, GPU 비용, 라이선스 조건이 감당 가능한가

Audex의 의미는 오디오 모델이 점점 LLM 인프라 위로 올라오고 있다는 데 있다. 앞으로 음성 에이전트는 ASR, 번역, LLM, TTS를 따로 조립하는 방식에서 벗어나, 오디오와 텍스트를 하나의 추론 단위로 처리하는 방향으로 발전할 가능성이 크다.

물론 실제 적용에서는 성능뿐 아니라 비용과 운영 조건까지 함께 검토해야 한다. 그럼에도 Audex-30B-A3B는 음성 AI를 설계할 때 중요한 기준을 제시한다. 오디오를 부가 기능으로 볼 것인가, 아니면 텍스트와 같은 수준의 입력·출력 토큰 흐름으로 볼 것인가. Audex는 후자에 가까운 방향을 보여준다.

참고

¹nvidia/Nemotron-Labs-Audex-30B-A3B · Hugging Face

²Unified Audio Intelligence Without Regressing on Text Intelligence