일레븐랩스의 전체 지도

처음에는 메뉴가 많아 보인다

일레븐랩스를 처음 열면 비슷한 이름이 많이 보인다. Text to Speech, Voice Library, Studio, Dubbing, Scribe, Voice Changer, Sound Effects, Music, Agents, API까지 이어진다. 처음부터 모든 기능을 익히려고 하면 금방 지친다.

이 장의 목표는 기능을 하나씩 외우는 것이 아니다. 무엇을 만들 때 어떤 기능을 쓰는지 큰 지도를 잡는 것이다.

일레븐랩스는 크게 세 축으로 이해하면 쉽다.

1. ElevenCreative: 콘텐츠를 만드는 영역

2. ElevenAgents: 말로 대화하는 AI 상담원과 음성 에이전트를 만드는 영역

3. ElevenAPI: 개발자가 음성 기능을 제품과 자동화 시스템에 연결하는 영역

공식 문서에서도 일레븐랩스의 핵심 기능은 텍스트 음성 변환, 음성 인식, 보이스 클로닝, 대화형 에이전트, 생성형 오디오로 나뉜다.¹ 이 기능들을 크리에이터 관점에서 다시 묶으면 위의 세 축이 된다.

AI 생성 이미지

첫 번째 축: ElevenCreative

ElevenCreative는 유튜버, 숏폼 크리에이터, 강사, 마케터가 가장 먼저 만나는 영역이다. 원고를 음성으로 바꾸고, 목소리를 고르고, 효과음과 음악을 붙이고, 더빙까지 만드는 제작 공간이다.

여기서 가장 자주 쓰는 기능은 다음과 같다.

• Text to Speech: 대본을 AI 음성으로 변환한다.

• Voice Library: 콘텐츠에 맞는 목소리를 고른다.

• Voice Design: 원하는 성격의 새 목소리를 설계한다.

• Voice Cloning: 내 목소리나 허가받은 목소리를 복제한다.

• Studio: 긴 원고를 챕터와 장면 단위로 관리한다.

• Sound Effects: 장면에 맞는 효과음을 만든다.

• Music: 배경음악을 활용해 분위기를 잡는다.

• Dubbing: 이미 만든 영상을 다른 언어로 더빙한다.

• Scribe: 음성이나 영상을 텍스트로 전사한다.

• Voice Changer: 기존 음성을 다른 톤이나 캐릭터로 바꾼다.

공식 문서는 ElevenCreative를 음성 합성, 보이스, 더빙, 음악, 사운드 디자인 같은 제작 기능을 포함한 영역으로 설명한다.² 쉽게 말해, 영상과 오디오 콘텐츠를 완성품으로 만드는 작업대다.

얼굴 없는 유튜브 채널을 만든다면 이 축이 중심이다. 블로그 글을 나레이션으로 바꾸고 싶어도 이 축을 쓴다. 온라인 강의, 광고 영상, 오디오북, 팟캐스트도 마찬가지다.

두 번째 축: ElevenAgents

ElevenAgents는 콘텐츠 파일을 만드는 영역이 아니다. 사용자가 말하면 AI가 듣고, 이해하고, 다시 음성으로 대답하는 영역이다.

예를 들어 이런 서비스를 만들 수 있다.

• 홈페이지 방문자에게 말로 상담하는 AI 직원

• 예약 가능 시간을 안내하는 음성 상담원

• 제품 사용법을 설명하는 AI 튜터

• 사내 문서를 찾아 답하는 음성 챗봇

• 고객 문의를 1차로 분류하는 콜봇

여기서는 TTS만 중요한 것이 아니다. 사용자의 말을 텍스트로 바꾸는 STT, 답변을 생성하는 LLM, 다시 목소리로 말하는 TTS, 대화 흐름을 조절하는 턴테이킹이 함께 움직인다.

콘텐츠 제작자는 당장 ElevenAgents를 깊게 알 필요는 없다. 하지만 1인 사업자라면 고객 응대 자동화에 관심을 가질 수 있다. 개발자라면 이 영역이 중요하다. 앞으로 음성은 단순한 파일이 아니라, 앱과 서비스의 인터페이스가 된다.

세 번째 축: ElevenAPI

ElevenAPI는 웹사이트에서 버튼을 누르는 대신 코드로 일레븐랩스를 사용하는 방식이다. 공식 문서는 REST API, Python SDK, TypeScript SDK, 웹 애플리케이션을 주요 접근 방식으로 제시한다.¹

API가 필요한 상황은 명확하다.

• 하루에 수십 개 이상의 음성 파일을 자동 생성해야 할 때

• 쇼핑몰 상품 설명을 자동으로 음성화하고 싶을 때

• 앱 안에 AI 목소리를 넣고 싶을 때

• 고객마다 다른 문장을 실시간으로 읽어 줘야 할 때

• 내부 도구에서 버튼 하나로 더빙이나 전사를 처리하고 싶을 때

개발자가 아니라면 처음부터 API를 배울 필요는 없다. 다만 한 가지는 기억해 두자. 웹 화면에서 반복하는 작업이 많아질수록 언젠가는 API가 필요해진다. 일레븐랩스의 진짜 확장성은 여기서 나온다.

모델은 목소리가 아니라 엔진이다

많은 초보자가 목소리만 고르면 된다고 생각한다. 하지만 같은 목소리라도 어떤 모델을 쓰느냐에 따라 결과가 달라진다. 모델은 자동차의 엔진에 가깝다. 목소리가 배우라면, 모델은 그 배우가 어떤 방식으로 말할지 결정하는 연출 시스템이다.

일레븐랩스에서 자주 만나는 모델은 다음 네 가지 계열이다.

공식 모델 문서에 따르면 eleven_v3는 최신 고급 음성 합성 모델로, 70개 이상 언어와 높은 감정 표현력을 지원한다.³ 특히 감정이 필요한 대사, 오디오북, 캐릭터 대화에 잘 맞는다. 별도의 발표 글에서도 v3는 [excited], [whispers], [sighs] 같은 인라인 오디오 태그를 통해 감정과 비언어 표현을 조절할 수 있다고 소개된다.⁴

하지만 v3가 항상 정답은 아니다. v3는 표현력이 강한 대신 더 많은 프롬프트 조정이 필요하고, 실시간 대화에는 적합하지 않을 수 있다.⁴ 상담 봇이나 인터랙티브 앱처럼 즉시 반응해야 하는 서비스라면 Flash v2.5가 더 낫다. 공식 문서도 Flash v2.5를 약 75밀리초 수준의 초저지연 모델로 설명하며, Agents Platform과 실시간 앱에 적합하다고 안내한다.³

간단히 정리하면 이렇다.

• 감정과 연출이 중요하면 v3

• 긴 콘텐츠의 안정성이 중요하면 Multilingual v2

• 실시간 응답이 중요하면 Flash v2.5

• 빠른 자동화가 중요하면 Flash 또는 Turbo 계열

모델 선택은 품질 순위표가 아니다. 목적에 맞는 선택이다.

기능을 제작 흐름에 배치하기

이제 주요 기능을 실제 제작 흐름 안에 놓아 보자. 기능 이름만 보면 복잡하지만, 순서대로 보면 단순하다.

1단계: 원고를 준비한다

먼저 대본이 필요하다. 유튜브라면 영상 대본, 광고라면 15초 또는 30초 카피, 강의라면 챕터별 설명문이 된다. 이 단계에서는 아직 일레븐랩스보다 글쓰기 도구가 중요하다.

좋은 음성은 좋은 원고에서 나온다. 글로 읽을 때 자연스러운 문장과 귀로 들을 때 자연스러운 문장은 다르다. 긴 문장은 짧게 나누고, 숫자와 영어 약어는 들리는 방식으로 고쳐야 한다.

2단계: 목소리를 고른다

그다음은 Voice Library다. 일레븐랩스에는 1만 개 이상으로 소개되는 다양한 음성 라이브러리가 있다. 여기서 중요한 것은 "멋진 목소리"가 아니라 "내 콘텐츠에 맞는 목소리"다.

뉴스 채널에는 차분하고 신뢰감 있는 목소리가 필요하다. 공포 채널에는 낮고 느린 톤이 어울린다. 숏폼 광고에는 밝고 속도감 있는 목소리가 좋다. 교육 콘텐츠는 오래 들어도 피로하지 않은 목소리가 우선이다.

목소리를 고를 때는 샘플만 듣지 말고 실제 내 대본을 넣어 테스트해야 한다. 특히 한국어 콘텐츠라면 받침, 조사, 숫자, 영어 브랜드명, 고유명사를 확인해야 한다.

3단계: 필요하면 목소리를 만든다

Voice Library에서 원하는 목소리를 찾지 못했다면 두 가지 선택지가 있다.

첫째, Voice Design이다. 실제 사람의 목소리를 복제하지 않고, 원하는 특징을 설명해 새 목소리를 만드는 방식이다. 예를 들어 "30대 초반의 차분한 한국어 여성 내레이터, 교육 콘텐츠에 적합하고 너무 밝지 않은 톤"처럼 지시할 수 있다.

둘째, Voice Cloning이다. 이것은 기존 음성 샘플을 바탕으로 비슷한 AI 음성을 만드는 방식이다. 빠르게 테스트할 때는 Instant Voice Cloning이 유용하다. 장기 브랜드 보이스가 필요하고 품질이 중요하다면 Professional Voice Cloning을 검토한다.

단, 보이스 클로닝에는 반드시 동의가 필요하다. 내 목소리는 괜찮지만, 타인의 목소리는 다르다. 가족, 직원, 강사, 성우의 목소리도 명확한 허락과 사용 범위를 정해야 한다.

4단계: 음성을 생성한다

이 단계가 Text to Speech다. 대본, 목소리, 모델, 설정값을 조합해 음성 파일을 만든다. 초보자는 긴 원고를 한 번에 넣지 말고 10초 분량의 짧은 문장으로 테스트하는 것이 좋다.

먼저 목소리를 고른다. 그다음 모델을 정한다. 마지막으로 Stability, Similarity, Style 같은 설정을 조절한다. 한 번에 여러 값을 바꾸면 무엇 때문에 좋아졌는지 알 수 없다. 하나씩 바꾸며 비교해야 한다.

5단계: 긴 콘텐츠는 Studio에서 관리한다

유튜브 쇼츠 하나라면 TTS 화면만으로도 충분하다. 그러나 오디오북, 강의, 긴 다큐 영상처럼 분량이 길어지면 Studio가 필요하다.

Studio는 긴 원고를 장, 절, 문단 단위로 나누어 관리하는 작업 공간으로 이해하면 된다. 전체를 한 번에 다시 생성하지 않고 문제가 있는 문단만 수정할 수 있다. 긴 콘텐츠에서는 이 차이가 비용과 시간을 크게 줄인다.

6단계: 효과음과 음악으로 완성도를 높인다

AI 음성만으로는 콘텐츠가 건조하게 들릴 수 있다. 장면 전환음, 알림음, 긴장감을 주는 저음, 배경음악이 들어가면 영상의 몰입도가 올라간다.

Sound Effects는 특정 장면에 맞는 효과음을 만들 때 쓴다. Music은 콘텐츠의 분위기를 잡을 때 쓴다. 다만 초보자는 소리를 많이 넣는 실수를 자주 한다. 좋은 오디오는 모든 소리를 채우는 것이 아니라, 필요한 소리만 남기는 것이다.

7단계: 전사와 더빙으로 확장한다

이미 만든 영상이 있다면 Scribe와 Dubbing이 중요해진다. Scribe v2는 90개 이상 언어의 음성을 텍스트로 전사하고, 캡션과 자막 생성, 편집 가능한 전사문을 지원하는 음성 인식 기능이다.⁵

전사된 텍스트는 자막, 블로그 글, 쇼츠 대본, 뉴스레터로 다시 쓸 수 있다. Dubbing은 원본 영상을 다른 언어로 확장할 때 쓴다. 한국어 영상 하나를 영어, 일본어, 스페인어 버전으로 만들고 싶다면 이 흐름이 필요하다.

Voice Changer는 이미 녹음된 음성을 다른 목소리나 톤으로 바꾸는 데 쓴다. 직접 말한 초안을 더 전문적인 내레이션처럼 바꾸거나, 캐릭터 음성으로 변환할 때 활용할 수 있다.

사용자별 학습 경로

일레븐랩스의 모든 기능을 같은 순서로 배울 필요는 없다. 목적에 따라 출발점이 달라야 한다.

초보 크리에이터

초보 크리에이터는 다음 순서가 좋다.

1. Text to Speech

2. Voice Library

3. 모델 선택

4. 한국어 원고 다듬기

5. Sound Effects와 Music

6. Studio

7. Dubbing

처음부터 보이스 클로닝이나 API로 가지 않아도 된다. 먼저 하나의 영상에 쓸 내레이션을 제대로 만드는 것이 우선이다. 목표는 "기능을 다 써 보기"가 아니라 "업로드 가능한 결과물 하나 만들기"다.

1인 사업자와 마케터

1인 사업자라면 제작 속도와 반복성이 중요하다.

1. 광고 대본 템플릿 만들기

2. Text to Speech로 여러 톤 생성하기

3. Voice Library에서 브랜드 톤 고정하기

4. 제품 소개 영상과 고객 안내 음성 만들기

5. Dubbing으로 해외 고객용 버전 만들기

6. 비용과 크레딧 사용량 관리하기

이 그룹은 완벽한 음성 하나보다 여러 버전의 실험이 중요하다. 같은 광고라도 차분한 톤, 밝은 톤, 긴박한 톤을 만들어 반응을 비교해야 한다.

개발자와 기획자

개발자와 기획자는 API와 Agents를 중심으로 보면 된다.

1. 모델별 특성 이해하기

2. API 인증과 Voice ID 확인하기

3. TTS API로 음성 파일 생성하기

4. 스트리밍과 Flash 모델 테스트하기

5. Scribe로 STT 흐름 붙이기

6. ElevenAgents로 음성 대화 구현하기

7. 사내 LLM이나 RAG와 연결하기

개발자에게 중요한 것은 예쁜 음성 하나가 아니다. 지연 시간, 안정성, 비용, 장애 처리, 개인정보 보호, 로그 분석이다. 음성 기능이 제품 안에 들어가는 순간 운영 문제가 함께 따라온다.

이 장의 지도만 기억하자

일레븐랩스는 기능이 많지만, 구조는 단순하다.

콘텐츠를 만들면 ElevenCreative.
대화형 음성 AI를 만들면 ElevenAgents.
제품과 자동화에 연결하면 ElevenAPI.

목소리를 고르는 곳은 Voice Library다. 원하는 목소리가 없으면 Voice Design을 쓴다. 내 목소리나 허가받은 목소리를 쓰려면 Voice Cloning을 검토한다. 짧은 내레이션은 Text to Speech로 만들고, 긴 콘텐츠는 Studio에서 관리한다. 효과음과 음악은 완성도를 높이고, Scribe와 Dubbing은 콘텐츠를 다른 언어와 형식으로 확장한다.

모델 선택도 어렵게 생각할 필요 없다. 감정 표현은 v3, 긴 콘텐츠 안정성은 Multilingual v2, 실시간과 대량 처리는 Flash v2.5를 먼저 떠올리면 된다.

이제 지도는 잡혔다. 다음 장부터는 실제로 계정을 만들고, 첫 음성을 생성하며, 이 지도를 손에 익히는 단계로 들어간다.

참고

¹ElevenLabs Documentation Overview

²ElevenCreative Overview

³ElevenLabs Models Documentation

⁴Eleven v3: Most Expressive AI TTS Model Launched

⁵Speech to Text — Scribe v2