기업이 음성 AI 도입을 검토할 때 마주하는 첫 번째 갈림길은 아키텍처 선택이다. 지금까지는 두 가지 방식 사이에서 불편한 타협이 불가피했다. ASR→LLM→TTS로 이어지는 전통적인 캐스케이드(Cascade) 파이프라인은 빠르고 비용 효율적이지만, 음성 신호를 텍스트로 변환하는 순간 망설임, 억양, 배경 소음 같은 풍부한 맥락 정보가 사라진다. 반대로 GPT Realtime 같은 음성-음성(Speech-to-Speech) 모델은 오디오를 직접 처리해 이러한 뉘앙스를 살리지만, 출력 음성을 바꾸려면 모델을 다시 학습시켜야 하고 통화 내내 GPU를 점유해 운영 비용이 급증한다1.
PolyAI가 7월 30일 공개한 Dialog-RSN-1은 바로 이 지점에서 ‘제3의 아키텍처’를 제시한다. 입력 쪽에서는 오디오를 직접 이해하지만, 출력 쪽에서는 별도의 TTS 시스템을 그대로 유지하는 방식이다1. 핵심은 음성 이해의 품질과 출력 통제력을 동시에 확보하는 것, 그리고 그 위에서 엔터프라이즈 수준의 응답 속도와 비용 효율을 실현하는 것이다.
음성 신호를 버리지 않는 모델: 정보 병목을 제거하다
Dialog-RSN-1이 기존 캐스케이드 방식과 결정적으로 다른 지점은 입력 처리에 있다. 캐스케이드 시스템의 근본적인 한계는 정보 병목이다. ASR이 최선의 추측값 하나만 텍스트로 LLM에 넘기기 때문에, 그 추측의 확실성이나 대체 가능성에 대한 정보는 완전히 소실된다. ASR이 60% 확신한 단어와 90% 확신한 단어가 LLM에게는 동일한 텍스트로 전달되는 것이다2.
Dialog-RSN-1은 하나의 통합된 오디오 네이티브 LLM으로 엔드포인팅, 음성 인식, 응답 생성을 한 번에 처리한다. 이를 통해 사용자의 말투, 주저함, 배경 소음 등 텍스트로는 결코 포착할 수 없는 신호를 맥락 정보와 함께 직접 추론에 활용한다. 예를 들어 “Audibel”이라는 브랜드명을 문맥을 통해 “audible”이 아니라고 파악하거나, 발신자가 “Matthew with two Ts”라고 철자를 말해준 경우를 정확히 처리할 수 있다1.
이러한 오디오 직접 인식의 이점은 턴테이킹(대화 순서 결정)에서도 뚜렷이 나타난다. Dialog-RSN-1은 현재 발화 상태를 모델의 첫 번째 출력 토큰으로 분류하는데, EMPTY(음성 없음), ONGOING(발화 중), COMPLETE(발화 종료) 세 가지 값으로 구분한다. 더 중요한 것은 사용자가 말하는 동안 어텐션 KV-캐시를 미리 채워두기 때문에, 발화 종료가 감지되는 즉시 첫 응답 토큰을 극도로 빠르게 생성할 수 있다는 점이다2.
속도, 비용, 통제력까지 고려한 엔터프라이즈 설계
Dialog-RSN-1의 아키텍처가 실용적인 이유는 응답 속도와 운영 비용, 그리고 출력 통제력이라는 현실적인 요구사항을 동시에 충족시키기 때문이다.
먼저 작동 방식에서 차이가 난다. 이 모델은 연속적으로 오디오를 스트리밍하지 않고 요청 기반 LLM으로 동작한다. 음성 이벤트와 타이머 간격에 맞춰 VAD(Voice Activity Detector)가 트리거될 때만 오디오를 모델에 전송하기 때문에, GPU를 통화 내내 점유하지 않는다1. 이는 전통적인 요청 기반 LLM과 유사한 비용 구조로 이어지며, 그 차이는 수치로도 명확히 드러난다. PolyAI의 비교에 따르면 GPT Realtime API는 시간당 약 18달러인 반면, 캐스케이드 방식은 약 4.50달러로 약 4배의 운영 비용 차이가 발생한다2. Dialog-RSN-1은 오디오 직접 이해라는 음성-음성 모델의 강점을 취하면서도, 캐스케이드 방식에 가까운 비용을 목표로 삼는다.
응답 속도는 사용자 경험을 좌우하는 또 다른 축이다. PolyAI 내부 테스트에서 GPT Realtime 2.1은 실제 환경에서 860~1,900밀리초의 응답 시간을 기록한 반면, Dialog-RSN-1은 300밀리초 미만의 안정적인 응답을 보였다2. 이 300밀리초라는 값은 기술적 지표를 넘어선 의미를 지닌다. 자연스러운 인간 대화의 발화 간 휴지(pause) 시간이 언어와 문화를 막론하고 약 200~300밀리초로 일관되게 나타난다는 점을 고려하면2, Dialog-RSN-1의 응답 속도는 대화의 자연스러움을 유지하는 임계점에 정확히 위치한다.
출력 음성에 대한 완전한 제어권 역시 엔터프라이즈 환경에서 간과할 수 없는 요소다. 음성-음성 모델은 출력 음성이 모델 내부에 내장되어 있어 브랜드명 발음이나 억양을 변경하려면 재학습이 필요하다. 반면 Dialog-RSN-1은 TTS를 분리했기 때문에, 음성 변경 시 모델을 다시 학습시킬 필요 없이 설정만 바꾸면 된다1. 이는 다양한 브랜드 경험을 일관되게 유지해야 하는 기업에 실질적인 유연성을 제공한다.
실제 환경에서의 성과와 시사점
Dialog-RSN-1의 설계 원칙은 벤치마크와 실제 운영 데이터 모두에서 유의미한 결과로 이어지고 있다. PolyAI의 자체 평가 체계인 Dialog-Eval에서 이 모델은 오디오 이해와 안전성 측면 모두 실시간 처리가 가능한 모델 중 최고 점수를 기록했으며, 특히 오디오 이해 점수는 텍스트만 사용하는 캐스케이드 시스템의 상한선(약 77점)을 넘어섰다2.
실제 비즈니스 환경에서도 성과는 구체적이다. 레스토랑 체인 고객사는 Dialog-RSN-1 도입 후 상담원 연결 없이 AI가 해결한 통화 비율이 11% 상승했고, 대형 보험사는 응답 지연 시간이 37% 단축되었다2. 이는 아키텍처 수준의 변화가 곧바로 자동화율과 고객 경험으로 이어질 수 있음을 보여준다.
Dialog-RSN-1은 현재 기존 PolyAI 고객에게 제공 중이며, 신규 고객을 위한 조기 액세스 신청도 받고 있다2. 이 모델이 보여주는 방향성은 분명하다. 음성 AI가 ‘텍스트로 변환하며 잃어버리는’ 구조에서 벗어나 ‘오디오를 직접 이해하는’ 구조로 전환될 때, 기업이 얻을 수 있는 것은 더 빠른 응답, 더 낮은 비용, 그리고 더 높은 통제력이라는 삼중의 이점이다.
1Dialog-RSN-1: a voice model that hears calls the way humans do
2Audio-Native, TTS-Optional: PolyAI's Dialog-RSN-1 Carves Out Third Enterprise Voice AI Architecture
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.