음성 AI를 평가할 때 답변의 정확도만 보면 중요한 부분을 놓칠 수 있다. 실제 상호작용에서는 사용자가 언제든 끼어들고 요구사항을 바꾸며, 오래 걸리는 작업이 끝나기 전에도 진행 상황을 묻는다. 따라서 앞으로의 핵심 과제는 단순히 더 좋은 답을 생성하는 것이 아니라, 대화와 작업이 서로를 막지 않도록 시스템을 설계하는 데 있다.
Tencent Gander는 이 문제를 ‘하나의 모델이 모든 일을 순서대로 처리해야 하는가’라는 구조적 질문으로 바꾼다. 주목할 지점은 개별 기능의 수보다 실시간 상호작용과 복잡한 실행을 분리한 방식이다.
모델 하나보다 두 개의 시간축을 봐야 한다
일반적인 요청·응답 방식에서는 사용자의 입력, 모델의 처리, 결과 전달이 차례로 이어진다. 하지만 복잡한 작업이 길어질수록 이 순차 구조에서는 대화의 흐름과 작업 처리 시간이 충돌할 수 있다.
Tencent와 여러 대학 연구진이 공개한 Gander는 대화를 담당하는 ‘소뇌’와 복잡한 작업을 맡는 ‘뇌’를 구분한다. 음성·이미지·텍스트를 함께 입력받으며, 청크 단위 토큰 스트림을 사용하는 스트리밍 Thinker-Talker 구조로 두 역할을 연결한다. 기반 모델은 openbmb/MiniCPM-o-4_5이며, 기술 보고서는 2026년 9월 9일 공개됐다.1
이 설계는 속도 경쟁이라기보다 시간 관리의 문제에 가깝다. 대화 계층은 상호작용을 이어가고, 작업 계층은 별도의 복잡한 처리를 담당한다. 평가할 때도 평균 응답 시간 하나로 압축하기보다 대화 시작 시점, 사용자 개입 처리, 백그라운드 작업의 완결성을 나눠 볼 필요가 있다.
교체 가능한 ‘뇌’가 만드는 기회와 과제
Gander의 ‘뇌’는 대화 모델을 다시 훈련하지 않고 Codex나 Claude Code 같은 에이전트 시스템으로 교체할 수 있도록 설계됐다. 이는 대화 인터페이스와 작업 실행 엔진을 하나의 고정된 구성으로 묶지 않는다는 의미다.
이러한 모듈화가 실제 장점이 되려면 단순한 연결 가능성보다 연결 이후의 품질이 중요하다. 작업 엔진을 바꿨을 때도 다음 요소가 유지되는지 확인해야 한다.
대화 중 변경된 요구사항이 진행 중인 작업에 정확히 전달되는가
작업 결과와 대화 계층의 설명이 서로 일치하는가
오류나 지연이 발생했을 때 사용자에게 적절한 시점에 알려주는가
서로 다른 작업 엔진을 연결해도 발화 타이밍과 문맥이 안정적인가
즉, 교체 가능한 구조는 선택권을 넓히지만 통합 품질을 자동으로 보장하지는 않는다. 향후 경쟁력은 어떤 ‘뇌’를 연결할 수 있는지뿐 아니라, 서로 다른 구성요소 사이의 상태와 문맥을 얼마나 일관되게 관리하는지에 달릴 가능성이 크다.
Full-Duplex-Bench v3 결과는 무엇을 말하고, 무엇을 말하지 않는가
실시간 대화 시스템에서는 정답률과 별도로 발화 타이밍을 측정해야 한다. Full-Duplex-Bench v3의 100개 시나리오에서 Gander는 모두 적절한 시점에 발화를 시작했고, 사용자 발화를 방해한 비율은 8%였다.1
이 수치는 Gander가 ‘언제 말해야 하는가’를 명시적인 평가 대상으로 다뤘다는 점에서 의미가 있다. 다만 해당 결과만으로 장기 작업의 정확성, 오류 복구 능력, 다양한 환경에서의 안정성까지 판단할 수는 없다. 발화를 적절히 시작하는 능력과 맡은 작업을 정확히 끝내는 능력은 서로 연결돼 있지만 동일한 지표는 아니기 때문이다.
따라서 실제 평가에서는 최소한 세 층을 분리하는 편이 유용하다.
대화 층: 끼어들기 감지, 발화 시작 시점, 사용자 발화 방해 여부
작업 층: 복잡한 작업의 정확성, 완료 여부, 요구사항 변경 반영
통합 층: 대화에서 합의한 내용과 실제 실행 결과의 일치 여부
공개 계획보다 공개 이후의 검증이 중요하다
Gander는 약 270만 개의 예시로 훈련됐다. 연구팀은 오픈소스 공개 절차가 끝난 뒤 가중치와 훈련 데이터를 공개할 계획이라고 밝혔다.1
현재 단계에서는 공개 계획 자체보다 실제 공개 범위와 조건을 기다려야 한다. 가중치와 데이터가 제공되면 외부 연구자가 보고된 결과를 재현할 수 있는지, 다른 작업 엔진을 연결했을 때도 구조적 장점이 유지되는지, 훈련 예시의 구성이 어떤 상호작용 능력에 기여했는지를 더 구체적으로 검토할 수 있다.
다음에 확인할 것은 ‘대화 능력’이 아니라 시스템 완성도다
Tencent Gander를 볼 때 가장 중요한 질문은 사람처럼 자연스럽게 말하는지가 아니다. 대화 도중 바뀐 지시를 작업에 반영하고, 오래 걸리는 처리 중에도 상호작용을 유지하며, 대화 계층과 작업 계층 사이의 불일치를 통제할 수 있는지가 더 중요하다.
앞으로는 가중치와 훈련 데이터의 실제 공개 범위, Full-Duplex-Bench v3 외부 조건에서의 재현성, Codex나 Claude Code 같은 서로 다른 작업 엔진을 연결했을 때의 성능 변화, 장기 작업과 오류 상황에서의 복구 품질을 지켜봐야 한다. Tencent Gander의 의미는 완성된 해답을 제시했다는 데 있기보다, 음성 AI 평가의 단위를 단일 응답에서 지속적인 협업 시스템으로 넓혔다는 데 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.