실시간 음성 AI의 경쟁 기준이 바뀌고 있습니다. 예전에는 “말을 얼마나 정확히 인식하고 빠르게 답하는가”가 핵심이었다면, 이제는 “사용자의 말투, 멈춤, 웃음, 숨소리까지 대화 맥락으로 이해하는가”가 중요해지고 있습니다.
StepFun이 2026년 5월 8일 발표한 StepAudio 2.5 Realtime은 이런 변화에 맞춘 엔드투엔드 실시간 음성 대형언어모델입니다.1 현재 StepFun 개방형 플랫폼에서 개발자가 사용할 수 있으며, WebSocket 기반 Realtime API로 연결됩니다.2
핵심은 텍스트가 아니라 '소리의 맥락'이다
StepAudio 2.5 Realtime의 주요 업그레이드 축은 준언어 감지, 페르소나 커스터마이징, 대화 능력입니다.3 이 가운데 가장 눈에 띄는 변화는 준언어 이해입니다.
준언어는 말의 내용 자체가 아니라 억양, 말속도, 멈춤, 한숨, 웃음처럼 감정과 의도를 담는 비언어적 소리 신호를 뜻합니다.3 사용자가 같은 문장을 말하더라도 피곤한 목소리인지, 짜증 섞인 빠른 말투인지에 따라 대화의 의미는 달라질 수 있습니다.
StepAudio 2.5 Realtime은 낮은 목소리에서 피로를 감지하거나 빠른 말투에서 짜증을 식별하는 방식으로 감정 상태를 해석합니다.3 그리고 감지한 감정과 의도에 따라 응답의 어조와 전략을 동적으로 조정합니다.3
즉, 이 모델의 방향은 단순히 음성을 텍스트로 바꾼 뒤 답하는 것이 아니라, 소리 자체에 담긴 상태 정보를 대화에 반영하는 것입니다. 음성 AI가 입력·출력 장치를 넘어 실제 대화 인터페이스로 진화하고 있다는 점에서 의미가 있습니다.
페르소나 커스터마이징은 왜 중요한가
또 하나의 중요한 축은 페르소나 커스터마이징입니다. 개발자는 성격, 말버릇, 대화 스타일, 감정 반응 등을 API에서 설정할 수 있습니다.4
이 기능이 중요한 이유는 음성 서비스에서 “어떤 태도로 말하는가”가 사용자 경험을 크게 좌우하기 때문입니다. 예를 들어 교육용 튜터, 상담형 고객 응대, 면접 연습, 감정형 챗봇은 모두 답변의 정확성뿐 아니라 일관된 말투와 태도가 필요합니다.
여기서 문제가 되는 것이 ‘인설 붕괴’입니다. AI 캐릭터가 대화 도중 설정을 잊거나, 말투와 반응 방식이 흔들리는 현상입니다. StepAudio 2.5 Realtime은 역할놀이 상황에 맞춘 RLHF, 즉 인간 피드백 기반 강화학습 정렬을 적용해 캐릭터 일관성을 높였다고 설명합니다.4
결국 페르소나 커스터마이징은 단순한 캐릭터 꾸미기 기능이 아닙니다. 사용자가 서비스의 말투를 신뢰할 수 있게 만드는 운영 품질의 문제에 가깝습니다.
성능 수치보다 평가 기준의 변화를 봐야 한다
공개된 2026년 4월 평가에서 StepAudio 2.5 Realtime은 실제 모바일 앱 대화 기반 인간 평가 80.41점, 준언어 이해 82.18점을 기록했습니다.4 지원 언어는 중국어와 영어입니다.4
다만 이 모델을 볼 때 점수 자체보다 중요한 것은 평가 기준의 변화입니다. 앞으로 실시간 음성 AI를 비교할 때는 지연시간이나 음성 인식률만으로 충분하지 않습니다. 다음 요소를 함께 봐야 합니다.
감정 신호를 얼마나 잘 해석하는가
말투와 응답 전략을 상황에 맞게 조정하는가
설정한 페르소나를 긴 대화에서도 유지하는가
WebSocket 기반 실시간 스트리밍 구조를 안정적으로 운영할 수 있는가
개발자 관점에서는 도입 전 질문도 명확합니다. 사용자의 감정 상태가 서비스 가치에 직접 영향을 주는가? 일관된 캐릭터나 상담 태도가 필요한가? 실시간 음성 스트리밍을 안정적으로 처리할 인프라가 있는가?
StepAudio 2.5 Realtime은 음성 AI가 “정확히 말하는 기술”에서 “상황에 맞게 대화하는 기술”로 이동하고 있음을 보여줍니다. 이 변화는 AI 비서, 차량 인터페이스, 교육·상담형 서비스처럼 음성의 뉘앙스가 중요한 영역에서 먼저 체감될 가능성이 큽니다.
1阶跃星辰发布新一代实时语音大模型StepAudio 2.5 Realtime _ 东方财富网
2StepAudio 2.5 Realtime - StepFun 开放平台文档中心
3阶跃星辰发布新一代实时语音大模型 StepAudio 2.5 Realtime，支持情绪感知与人设自定义 - IT之家
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.