Voice of Reason: 전사 없이 음성으로 추론하는 모델
일반적인 음성 비서는 질문을 텍스트로 전사하고, 언어 모델로 답을 계산한 뒤, 다시 음성으로 변환한다. 이 방식은 각 구성 요소를 활용하기 쉽지만 처리 단계가 늘어나고, 음성에 담긴 정보가 전사 과정에서 일부 사라질 수 있다.
Kyutai가 공개한 Voice of Reason은 이 중간 전사 단계를 없앤 오픈 웨이트 음성-대-음성 모델이다. GLM-4-Voice-9B를 기반으로 음성 질문을 받아 직접 음성으로 답하며, 연구 논문은 COLM 2026에 채택됐다.1
새 아키텍처보다 사후 학습이 핵심이다
Voice of Reason의 성능 향상은 기반 아키텍처를 교체한 결과가 아니다. 연구진은 GLM-4-Voice의 텍스트 토큰과 오디오 토큰을 번갈아 처리하는 구조를 유지하면서 사후 학습 방식을 바꿨다.1
학습은 도메인 내 지도 미세 조정에 이어 AI 피드백 기반 강화 학습을 수행하는 순서로 진행됐다.2 데이터는 Orca-Math에서 파생된 15만616개 예제로 구성됐으며, Qwen 3 235B가 질문과 답변을 음성에 자연스러운 표현으로 재작성했다.1 모델은 전사 단계 없이 추론하지만, 학습 데이터를 만드는 과정에서는 텍스트 모델과 합성 음성을 활용한 셈이다.
두 모델은 추론 시간을 다르게 활용한다
Kyutai는 답변 생성 방식이 다른 두 가지 Voice 체크포인트를 공개했다.
직접 응답 방식은 별도의 숨은 추론 토큰 없이 곧바로 답변을 생성한다.
STITCH 방식은 들리는 음성 구간 사이에 발화되지 않는 추론 토큰 묶음을 삽입한다.
STITCH의 실용적 차이는 계산과 재생을 겹칠 수 있다는 데 있다. 사용자가 앞선 음성 구간을 듣는 동안 모델이 다음 구간을 계산하므로, 응답 흐름을 유지하면서 추가 추론 시간을 확보할 수 있다.1
정확도는 평가 조건과 함께 봐야 한다
spoken GSM8K 정확도는 기존 27.3%에서 직접 응답 방식 70.3%, STITCH 방식 77.1%로 높아졌다. 다만 이는 공개 체크포인트 기준이며, 논문에 제시된 세 차례 학습의 평균은 각각 65.5%와 74.8%였다.1 성능을 비교할 때는 최고 체크포인트 결과와 반복 실험 평균을 구분해야 한다.
또한 높은 수학 점수가 범용 음성 비서 성능으로 곧바로 이어지는 것은 아니다. STITCH 모델의 실제 음성 출력 정확도는 강화 학습 후 72.0%였고, 수학 특화 학습 과정에서 TriviaQA 성능은 크게 낮아졌다.1
실제 적용에서 확인할 기준
Voice of Reason이 보여준 핵심은 음성 네이티브 모델에도 지도 미세 조정과 강화 학습을 적용해 추론 성능을 높일 수 있다는 점이다. 특히 STITCH는 음성 재생 시간과 내부 계산을 겹치는 방식으로 지연과 추론 성능 사이의 균형을 탐색한다.
두 체크포인트는 Hugging Face에 공개됐으며, 각 모델은 단일 H100에서 실행된다.1 실제 도입 여부를 판단할 때는 수학 벤치마크뿐 아니라 다음 항목을 함께 확인해야 한다.
최종 음성 출력의 정확도
첫 응답과 전체 답변의 지연 시간
반복 실행에서의 성능 안정성
수학 이외 분야에서의 성능 저하
한 줄 요약: Voice of Reason은 별도의 전사 단계 없이 음성으로 답하면서, 강화 학습과 스트리밍 추론을 통해 문제 해결력을 높일 수 있음을 보여준다.
1Kyutai releases speech-native math models that skip the text LLM
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.