우리는 지금까지 AI 비서를 ‘질문하고 답변을 기다리는’ 도구로 사용해 왔다. 그러나 진짜 대화는 그렇게 흐르지 않는다. 말은 끊기고 중첩되며, 때로는 표정과 손짓이 말보다 많은 정보를 전달한다. ByteDance의 Seed 팀이 공개한 SeedRealtime은 바로 이 간극을 메우기 위한 시도다. 오디오, 비디오, 텍스트를 단일 아키텍처에 녹여내 ‘보고, 듣고, 말하는’ 경험을 하나의 모델로 구현했다.
왜 풀듀플렉스가 어려운가
기존 음성 AI는 크게 두 갈래로 진화해 왔다 1. 첫째는 음성인식(ASR) → 언어모델(LLM) → 음성합성(TTS)을 순차적으로 연결하는 캐스케이드 방식이다. 단계마다 지연 시간이 쌓이고, 말투나 시각적 맥락 같은 정보는 단계 사이에서 사라진다. 둘째는 종단 간 음성 모델이지만, 여전히 외부 음성 감지기(VAD)가 ‘지금 누가 말할 차례인지’를 결정하는 반이중 방식이다. 한 번 말하고 기다리는 구조를 벗어나지 못한다.
SeedRealtime은 이 두 가지 한계를 동시에 넘어선다. 인식, 이해, 판단, 표현을 하나의 모델 안에서 병렬로 수행하며, 외부 VAD 없이도 연속적인 오디오·비디오 스트림 위에서 응답할 순간을 스스로 결정한다 1. 이것이 바로 완전 이중(full-duplex) 방식의 핵심이다.
비디오가 결합되면 난이도는 한층 올라간다. 음성에는 자연스러운 휴지가 있지만, 영상은 항상 켜져 있고 끊임없이 변한다. 모델은 배경 소음에 과잉 반응하지 않으면서도 어떤 대상에 주목할지, 누구의 목소리를 따라야 할지, 지금이 개입할 타이밍인지를 지속적으로 판단해야 한다 1. SeedRealtime이 해결하려는 본질은 단순한 응답 속도가 아니라 ‘맥락 속 판단’이다.
실험실이 아닌 실전에서 증명된 차이
SeedRealtime의 진짜 차별점은 복잡한 현장 시연에서 드러난다.
여러 사람이 동시에 떠드는 자리에서는 각각의 얼굴과 목소리를 연결해 정체성을 파악한다. 네 사람이 상반된 여행 선호도를 쏟아내도 누가 무슨 말을 했는지 구분하고, 서로 충돌하는 조건을 모두 고려한 계획을 제안했다 1.
커피 추출 장면은 더욱 인상적이다. 사용자가 원두를 포터필터에 통째로 붓는 실수를 하자, 곧바로 “먼저 갈아서 미세 분말로 만들어야 한다”고 지적했다. 추출이 끝난 뒤에는 크레마 색상과 잔의 액체 양을 시각적으로 판단해 “다음에는 추출 시간을 2~3초 줄여보라”고 조언했다 1. 사용자가 단계마다 묻지 않아도, 시각적 상태 변화만으로 판단해 먼저 개입한 것이다.
사전 예방적 상호작용도 눈에 띈다. 박물관에서 “금은동 사슴을 물고 있는 호랑이 병풍 받침대를 보면 알려달라”고 요청하자, 카메라가 계속 움직이는 와중에 해당 유물을 스스로 식별하고 정보를 제공했다 1. 논문을 빠르게 넘기며 특정 섹션을 찾아달라고 하자 정확히 그 지점을 찾아 멈췄다. 연속적인 비디오 프레임 속에서 의미 있는 순간을 스스로 포착한 것이다.
자연스러운 대화 타이밍은 소음이 심한 공항에서도 확인된다. 동행자가 스쳐 말할 때는 반응하지 않다가, 실제 질문이 들어오자 이미 화면에서 사라진 출발 게시판 정보를 기억해 답했다. 이후 차량 호출 표지판을 발견하자 대화 흐름을 끊지 않고 자연스럽게 길 안내를 끼워 넣었다 1.
무엇이 달라지고, 어디까지 왔는가
SeedRealtime은 기존 실시간 API들과 아키텍처 자체가 다르다 2. GPT-4o Realtime이나 Gemini Live는 오디오 중심이며, 비디오는 별도로 처리한다. 턴 결정도 여전히 외부 종점 탐지에 의존한다. 반면 SeedRealtime은 오디오, 비디오, 텍스트를 하나로 융합하고 턴을 내부적으로 결정하며, 도구 호출까지 대화 속에 엮는다.
다만 현재는 ByteDance 자체 제품에만 탑재되어 있고, 공개 API는 제공되지 않는다 2. 즉시 활용하려는 개발자에게는 오디오 중심의 실시간 API들이 현실적 대안이다. 그럼에도 SeedRealtime이 보여준 방향성은 분명하다. AI가 질문을 기다리지 않고, 연속적인 실제 세계를 추적하며, 적절한 순간에 먼저 말을 거는 상호작용으로의 전환이다. 이것이 풀듀플렉스가 열어갈 새 지형이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.