공개 노트

Lowest-Latency Inference APIs Benchmark: 음성 AI는 TTFT만 빨라서는 부족하다

2026-09-01Views 2약 3분생성형 AI 활용

Summary

Lowest-Latency Inference APIs Benchmark: 실시간 음성 지연을 읽는 법

실시간 음성 에이전트에서는 답변 품질만큼 사용자가 말을 마친 뒤 이어지는 침묵이 중요하다. 첫 음성이 늦으면 대화가 멈춘 것처럼 느껴지기 때문이다.

MarkTechPost에 게재된 Lowest-Latency Inference APIs Benchmark는 LLM, 음성-텍스트 변환, 텍스트-음성 변환, 음성-음성 변환 계층의 지연을 다룬다. 수치는 2026년 8월 30일을 기준으로 1차 출처와 대조해 검증됐으며, 독립 측정, 공급업체 공개, 공급업체 자체 제품 측정으로 구분된다. 따라서 순위를 볼 때는 숫자뿐 아니라 측정 방식도 함께 확인해야 한다.

TTFT만으로는 체감 지연을 설명할 수 없다

TTFT는 Time to First Token, 즉 요청 후 첫 토큰이 나올 때까지의 시간이다. 그러나 일반적인 실시간 음성 에이전트는 STT→LLM→TTS의 연쇄형 구조로 작동하므로, 각 단계에서 “첫 결과”가 의미하는 바가 다르다.

STT: LLM에 전달할 수 있는 안정적인 텍스트가 나오는 시점
LLM: 첫 토큰과 TTS에 넘길 첫 문장이 완성되는 시점
TTS: 사용자가 실제로 들을 수 있는 첫 오디오가 생성되는 시점

따라서 최종 사용자 경험을 가장 직접적으로 보여주는 지표는 사용자가 말을 마친 순간부터 에이전트의 첫 오디오가 재생될 때까지의 시간이다.¹

모델 속도보다 전체 파이프라인을 봐야 한다

연쇄형 구조에서는 각 단계를 스트리밍하고 겹쳐 실행할 수 있다. LLM이 첫 문장을 완성하면 TTS가 합성을 시작하고, 사용자가 앞 문장을 듣는 동안 LLM과 TTS는 다음 문장을 처리한다. 개별 모델의 속도만큼 구성 요소 사이의 스트리밍과 파이프라이닝이 중요한 이유다.

Deepgram STT, 스트리밍 LLM, ElevenLabs TTS를 연결한 구현은 첫 오디오까지 P50 947ms, 최저 729ms를 기록했다.² 이는 적절히 구성된 연쇄형 시스템이 약 1초 안에 발화를 시작할 수 있음을 보여준다.

반면 Qwen2.5-Omni-7B는 단일 NVIDIA A10G에서 배치 모드 첫 오디오 시간이 26.5초였고, 문장 단위 스트리밍을 적용해도 13.2초가 걸렸다. 텍스트 응답은 0.71초 만에 생성됐지만 오디오는 출력되지 않았다.²

병목은 음성 생성 단계에 있었다. Qwen2.5-Omni의 Talker는 오디오 1초를 만드는 데 약 2초가 걸리는 0.5배 실시간 속도로 측정됐고, DiT 기반 보코더는 부분 오디오를 점진적으로 출력하지 못했다.² 네이티브 음성 모델이라는 구조적 단순함이 낮은 지연을 자동으로 보장하지 않는다는 사례다.

실무에서는 이렇게 비교해야 한다

Lowest-Latency Inference APIs Benchmark를 단순한 순위표가 아니라 병목을 찾기 위한 출발점으로 활용해야 한다. 후보 시스템을 테스트할 때는 다음 항목을 분리해 기록하는 것이 유용하다.

STT가 사용 가능한 텍스트를 확정하는 시간
LLM의 첫 토큰과 첫 문장 생성 시간
TTS의 첫 오디오 생성 시간
사용자의 발화 종료부터 첫 오디오 재생까지의 전체 지연
각 지표의 P50과 P90
수치가 독립 측정인지 공급업체 측정인지 여부

재현성도 확인해야 한다. Qwen2.5-Omni는 transformers 4.52.3에서 고품질 음성을 생성했지만, 5.0 이상에서는 잡음이 섞인 저품질 오디오가 관찰됐다.² 같은 모델이라도 소프트웨어 버전에 따라 결과가 달라질 수 있다는 뜻이다.

마지막으로 지연만 비교해서는 안 된다. 해당 조사에서 검토한 네이티브 및 텍스트 기반 음성 입출력 오픈 모델은 엔터프라이즈 에이전트에 필요한 함수 호출을 지원하지 않았다.² 실제 선택에서는 속도와 함께 음성 품질, 안정성, 도구 실행 능력을 검증해야 한다.

요약: Lowest-Latency Inference APIs Benchmark의 핵심 가치는 가장 빠른 단일 모델을 고르는 데 있지 않다. STT→LLM→TTS 전체 경로에서 첫 사용 가능한 결과가 얼마나 빠르게 전달되고, 최종적으로 첫 오디오가 언제 재생되는지 측정하는 데 있다.

¹Speed you can trust: The STT metrics that matter for voice agents

²Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial

³Time to first token: the latency metric that decides voice agents