AI 음성 기술은 오랫동안 ‘또박또박 읽어내는 능력’을 중심으로 발전해 왔다. 발음이 정확하고 단어 오류율이 낮으면 잘 만든 음성이라는 평가가 일반적이었다. 그러나 사람이 기계와 실제로 대화할 때 중요한 기준은 정확도만이 아니다. 진짜 문제는 대화가 자연스러운가로 옮겨가고 있다.
Smallest.ai가 내놓은 Lightning V3는 바로 이 지점을 파고든다. AI 음성에 대한 사용자의 기대가 ‘읽기’에서 ‘대화하는 느낌’으로 바뀌었다는 통찰에서 출발한 모델이다.
대화는 읽기와 완전히 다른 기술적 과제다
기존 TTS(Text-to-Speech)는 완성된 문장 전체를 미리 받아 한 번에 처리한다. 반면 대화형 음성 합성에서는 실시간으로 들어오는 텍스트를 청크 단위로 처리해야 한다. 맥락이 불완전한 상태에서 소리를 만들어내기 때문에 본질적으로 부자연스러움이 생길 수밖에 없다1.
Lightning V3는 이를 해결하기 위해 대화형 음성이 충족해야 할 네 가지 조건을 제시한다.
첫째, 생각하는 듯한 리듬이 있어야 한다. 완벽하게 일정한 속도로 떨어지는 말은 오히려 기계처럼 들린다. 사람은 복잡한 생각을 표현할 때 말의 속도가 달라지고 미세한 휴지가 자연스럽게 생긴다1.
둘째, 듣고 반응하는 억양이 필요하다. 설명할 때와 되물을 때의 억양은 다르며, 대화 흐름에 따라 음성의 높낮이가 반응해야 비로소 자연스럽게 느껴진다.
셋째, 문장 중간에 언어가 섞이는 실제 발화를 처리해야 한다. 힌디어와 영어가 섞인 ‘힝글리시’ 같은 코드 스위칭은 예외가 아니라 현실이다. Lightning V3.1은 15개 언어를 지원하며, 자동 언어 감지와 문장 중간 전환까지 처리한다1.
넷째, 사용자가 대화를 포기하지 않게 만들어야 한다. Vonage 조사에 따르면 미국 소비자의 51%가 IVR 메뉴를 경험한 후 아예 해당 업체를 떠난다고 답했다1. 목소리는 사용자 경험의 부가 요소가 아니라 유지와 이탈을 결정짓는 핵심이라는 뜻이다.
실제 환경에서 대화를 평가하는 새로운 기준
대화의 자연스러움을 기술 스펙만으로 판단하기는 어렵다. Smallest.ai는 평가 방식 자체를 실제 서비스 환경에 맞췄다. Lightning V3의 대화 환경 MOS 점수는 3.89이며, OpenAI gpt-4o-mini-tts 대비 전체 자연스러움 비교 승률은 약 76%를 기록했다1. 중요한 점은 이 평가가 완성된 문장을 한 번에 합성하는 실험실 조건이 아니라 실시간 스트리밍 조건에서 진행됐다는 사실이다. 현장에서 느끼는 자연스러움을 측정하려 한 시도다.
기술적 강점은 명확한 실용성으로 이어진다. Lightning V3의 단어 오류율(WER)은 5.38%이며, 고유명사나 의학 용어처럼 모델이 실수하기 쉬운 어휘에 대해서는 발음 사전 오버라이드로 정확도를 추가 확보한다1. 음성 복제 기능은 5초에서 15초 분량의 짧은 오디오만으로 15개 언어를 지원하는 자연스러운 복제본을 생성하며, 별도의 파인튜닝 파이프라인이 필요하지 않다1.
여기에 더해 Smallest.ai는 음성-음성 모델인 Hydra를 통해 또 한 번 설계 방향을 바꾸고 있다. Hydra는 듣기, 추론, 행동, 응답을 순차적으로 처리하지 않고 병렬로 수행하는 비동기식 아키텍처를 채택했다. 사람이 상대방 말을 끝까지 듣지 않고도 머릿속에서 다음 말을 준비하는 방식과 유사한 설계다2. 지연 시간을 줄여 대화의 자연스러움을 한 단계 더 끌어올리기 위한 전환이다.
기술보다 중요한 것은 ‘맥락’과 ‘적합성’이다
Lightning V3가 던지는 더 근본적인 질문은 이렇다. “이 목소리가 사람 같은가”보다 “이 목소리가 이 역할에 적합한가”를 평가해야 한다는 것이다1. 의료 상담에는 차분하고 절제된 목소리가 필요하고, 그것이 ‘평균적인 자연스러움’ 점수에서 밀리더라도 역할에 적합하다면 더 좋은 음성이 될 수 있다. 맥락에 맞는 목소리가 대화 경험을 완성한다는 관점이다.
이런 철학은 이미 엔터프라이즈 환경에서 실적을 내고 있다. Smallest.ai는 RingCentral, Truecaller 같은 대규모 음성 서비스 기업을 고객사로 두고 있으며, 최근 Seligman Ventures가 주도한 시리즈 A 라운드에서 1,300만 달러를 유치해 총 투자금이 2,100만 달러를 넘어섰다2. 투자금은 금융, 헬스케어, 컨택센터 등 규제가 엄격한 산업에서 실시간 음성 AI를 확대하는 데 사용될 예정이다.
요점은 분명하다. AI 음성 기술은 이제 ‘또박또박 읽어주는 수준’을 넘어 실제 대화가 오가는 현장에서 어떻게 작동하느냐를 기준으로 평가해야 하는 단계에 접어들었다. 기술을 도입할 때 확인해야 할 체크리스트도 단순한 정확도나 지원 언어 수가 아니라 대화 흐름 속에서의 자연스러움과 역할 적합성으로 다시 짜야 할 때다.
1Introducing Lightning V3: The Fastest Text to Speech in the Market - Smallest.ai
2Smallest.ai gets $21 Million in Funding to Build Voice 4.0 - PR Newswire
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.