인공지능과 대화할 때 우리가 겪는 가장 큰 불편함은 '차례 지키기'와 '맥락 끊김'입니다. 기존의 음성 비서들은 대개 사용자의 말이 끝날 때까지 기다렸다가 서버에서 처리를 마친 뒤 답변을 내놓는 '반이중(Half-duplex)' 방식에 머물러 있었습니다. 하지만 알리바바 Qwen 팀이 새롭게 공개한 Qwen-Audio-3.1-Realtime은 대화의 패러다임을 바꿉니다. 이 모델은 단순히 소리를 텍스트로 바꾸는 수준을 넘어, 실시간으로 상황을 판단하고 필요한 도구를 실행하며 언제 말을 시작하거나 멈출지를 스스로 결정하는 '전이중(Full-duplex)' 능력을 갖췄습니다. 1
생각하고 행동하며 대화를 조율하는 3단계 레이어
Qwen-Audio-3.1-Realtime이 기존 음성 모델과 차별화되는 지점은 내부의 의사결정 구조에 있습니다. 연구진은 이 모델을 '추론(Think)', '실행(Act)', '발화 및 조정(Speak and Coordinate)'이라는 세 가지 계층으로 설계했습니다. 2
첫 번째 '추론' 단계에서는 텍스트 기반 대규모 언어 모델(LLM)의 지능을 오디오 영역으로 전이시켰습니다. 사용자의 질문이 복잡해지거나 대화 도중 요구 사항이 바뀌더라도, 모델은 전체 맥락을 유지하며 논리적인 답을 도출합니다. 두 번째 '실행' 단계는 음성 명령을 실제 행동으로 옮기는 과정입니다. 모델은 단순히 대답만 하는 것이 아니라, 외부 도구를 호출(Function Calling)하거나 데이터베이스를 확인하여 과업을 완수합니다. 마지막 '발화 및 조정' 단계는 대화의 리듬을 관리합니다. 상대방의 말을 가로막지 않아야 할 때와 즉시 응답해야 할 때를 구분하며 자연스러운 대화 흐름을 만듭니다. 1 2
이러한 유기적인 연결을 가능하게 한 것은 'M2-OPD(Multimodality and Multi-Teacher On-Policy Distillation)'라는 새로운 학습 방법론입니다. 이는 텍스트 기반의 지식을 전수하는 '텍스트 교사'와 오디오 고유의 특성을 가르치는 '오디오 전문가' 모델로부터 동시에 학습하는 방식입니다. 이를 통해 Qwen-Audio-3.1-Realtime은 텍스트 모델이 가진 강력한 논리력과 오디오 모델의 직관적인 반응성을 동시에 확보할 수 있었습니다. 2
배경 소음은 거르고 작업 성공률은 높이다
실제 사용 환경에서 음성 AI의 성능을 결정짓는 핵심 요소는 '정확도'와 '잡음 제거'입니다. Qwen-Audio-3.1-Realtime은 이전 세대인 3.0 버전과 비교해 두 지표 모두에서 비약적인 발전을 이루었습니다.
성능 평가 결과, 음성-텍스트 적응 테스트인 τ-Voice(Tau-Voice)에서 작업 성공률이 기존 78.4%에서 82.0%로 상승했습니다. 1 2 더욱 놀라운 변화는 '풀 듀플렉스 벤치마크(Full-Duplex-Bench) v1.5' 결과에서 나타납니다. 일상적인 환경에서 발생하는 배경 소음을 사용자의 명령으로 착각해 오응답하는 비율이 기존 73.0%에서 13.0%로 급감했습니다. 2 이는 TV 소리나 주변 사람들의 대화가 섞인 복잡한 환경에서도 사용자의 목소리에만 정확히 반응할 수 있는 신뢰성을 확보했음을 의미합니다.
또한, 이 모델은 단순히 짧은 명령을 처리하는 데 그치지 않습니다. API를 통해 최대 245,000(245K) 토큰의 입력을 지원하며, 출력은 16,000(16K) 토큰까지 가능합니다. 3 이는 장시간의 회의 녹취록을 바탕으로 음성 상담을 진행하거나, 방대한 매뉴얼을 실시간으로 참조하며 문제를 해결하는 고난도 작업에 적합한 사양입니다.
도구 활용과 구조화된 출력으로 넓어진 확장성
Qwen-Audio-3.1-Realtime은 단순한 음성 인터페이스를 넘어 하나의 완성된 '에이전트'로 기능하도록 설계되었습니다. QwenCloud를 통해 제공되는 API 기능을 살펴보면, 이 모델이 비즈니스 환경을 얼마나 깊게 고려했는지 알 수 있습니다. 3
가장 대표적인 것이 '함수 호출(Function Calling)'과 '구조화된 출력(Structured Outputs)' 기능입니다. 3 사용자가 "내일 서울 날씨에 맞춰서 일정을 잡아줘"라고 말하면, 모델은 날씨 API를 호출해 정보를 확인한 뒤 그 결과를 바탕으로 캘린더 시스템에 입력할 JSON 형식의 데이터를 생성할 수 있습니다. 음성 대화의 결과물이 단순히 소리로 사라지는 것이 아니라, 기업의 기존 워크플로우나 데이터베이스와 즉각적으로 연동될 수 있는 구조입니다.
또한, 다국어 대화를 지원하며 공감 능력을 갖춘 의사소통이나 역할극(Role-playing) 수행 능력도 향상되었습니다. 3 이는 단순 고객 응대를 넘어 심리 상담, 외국어 교육, 협업 도구 등 더 정교한 상호작용이 필요한 분야로의 확장을 예고합니다.
도입 전 고려해야 할 판단 기준
Qwen-Audio-3.1-Realtime은 현재 QwenCloud에서 API 형태로 이용 가능하며, 실시간 음성 서비스 구축을 원하는 개발자와 기업에 강력한 선택지를 제공합니다. 3 하지만 실제 서비스 도입 전에 몇 가지 확인해야 할 기준이 있습니다.
첫째, 이 모델은 배경 소음 거부 능력과 작업 성공률에서 괄목할 만한 수치를 보여주었으나, 이는 특정 벤치마크 조건 하에서의 결과입니다. 실제 네트워크 환경이나 각 산업군 고유의 용어 체계에서의 지연 시간(Latency)과 정확도는 별도의 검증이 필요합니다. 둘째, '전이중' 기능은 자연스러운 대화를 가능하게 하지만, 역설적으로 사용자의 작은 추임새나 혼잣말을 명령으로 오인할 가능성도 여전히 존재하므로 적절한 인터랙션 정책 설정이 병행되어야 합니다.
결론적으로 Qwen-Audio-3.1-Realtime은 소리를 듣는 AI를 넘어 상황을 '이해하고 해결하는' 음성 에이전트의 가능성을 입증했습니다. 고도화된 고객 서비스나 실시간 협업 에이전트를 고민하는 기업이라면, 특히 대화 도중 실시간 데이터 참조와 도구 실행이 필수적인 환경에서 이 모델은 도입 우선순위에 올려둘 만한 가치가 있습니다.
참고
2Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.