9. 소리까지 같이 만든다: 오디오, 대사, 립싱크, 비트 싱크

2026-04-24Views 102약 11분

9. 소리까지 같이 만든다: 오디오, 대사, 립싱크, 비트 싱크

요즘 바이럴 영상은 눈으로만 보지 않습니다. 귀로도 같이 보게 됩니다. 화면은 번쩍이는데 소리가 비어 있으면, 이상하게 영상이 반쯤 덜 만든 것처럼 느껴집니다. 반대로 컷은 단순해도 발소리, 주변 공기, 짧은 한마디, 음악 타이밍이 딱 맞으면 영상의 체급이 갑자기 올라가 보입니다.

Seedance 2.0이 흥미로운 이유도 여기에 있습니다. 이 모델은 영상을 만든 뒤 따로 소리를 얹는 방식이 아니라, 오디오와 비디오를 함께 생성하는 구조를 핵심으로 내세웁니다. 즉, 장면 안에서 무슨 일이 벌어지는지와 그때 어떤 소리가 나야 하는지를 한 번에 판단하려는 모델이라는 뜻입니다.¹²

초보자에게 이건 아주 큰 장점입니다. 원래는 영상 생성, 효과음 찾기, 배경음악 깔기, 대사 녹음, 립싱크 맞추기까지 각각 따로 해야 했습니다. 그런데 Seedance 2.0에서는 적어도 첫 번째 결과물을 훨씬 빠르게 뽑아볼 수 있습니다. 물론 최종 상업 작업에선 후반 보정이 여전히 필요할 수 있지만, 숏폼이나 테스트 영상, 광고 시안 단계에서는 이 "한 번에 보기"가 압도적으로 편합니다.¹³

이 장에서는 소리를 네 덩어리로 나눠 이해해보겠습니다. 배경의 공기, 액션에 붙는 효과음, 사람이 하는 말, 그리고 리듬을 끌고 가는 음악입니다. 이 네 가지를 다룰 줄 알면, 영상이 갑자기 훨씬 덜 AI 같고 훨씬 더 "콘텐츠 같다"는 느낌으로 바뀝니다.

소리까지 같이 만든다: 오디오, 대사, 립싱크, 비트 싱크

네이티브 오디오를 먼저 이해하자

먼저 가장 중요한 개념부터 짚고 가겠습니다. 네이티브 오디오는 "영상을 다 만든 다음 사운드를 덧붙인다"가 아니라, 생성 단계에서 소리와 화면을 같이 만든다는 뜻입니다. 그래서 입이 열리는 타이밍, 물체가 부딪히는 순간, 장면 분위기에 맞는 주변음이 비교적 자연스럽게 맞물릴 수 있습니다.¹⁴

이 차이는 생각보다 큽니다. 예를 들어 커피 광고를 만든다고 해봅시다. 예전 방식이라면 에스프레소가 떨어지는 영상, 머신 스팀 소리, 컵에 닿는 소리, 카페 앰비언스를 각각 따로 구해 맞춰야 했습니다. 반면 Seedance 2.0은 프롬프트에 이런 소리를 구체적으로 적어주면, 장면과 함께 한 번에 생성하려고 합니다.⁴⁵

다만 기대치는 현실적으로 잡는 게 좋습니다. 네이티브 오디오는 특히 주변음과 간단한 효과음에서 강점을 보이고, 짧은 대사나 립싱크도 꽤 유용하지만, 긴 대사 중심 영상이나 정교한 음악 작업은 아직 별도 후반이 더 나을 때가 있습니다.⁴⁶ 그러니까 이렇게 이해하면 편합니다.

Seedance의 오디오는 "완성 믹싱 마스터"라기보다 "훌륭한 동시 초안"에 가깝습니다. 그런데 숏폼 업계에서는 이 초안의 완성도가 이미 엄청난 시간 절약이 됩니다.

소리는 네 층으로 생각하면 쉽다

영상 초보자가 가장 많이 하는 실수는 소리를 한 덩어리로 생각하는 것입니다. "음악 넣기" 정도로 끝내면 영상이 금방 싸 보입니다. 실제로는 소리를 층으로 나눠야 합니다.

첫째는 앰비언스입니다. 공간의 공기라고 생각하면 쉽습니다. 카페라면 사람들 웅성거림, 컵 부딪히는 멀리서의 소리, 은은한 실내 잔향이 여기에 들어갑니다. 비 오는 창가라면 빗소리, 멀리서 지나가는 차 바퀴 소리, 실내의 잔잔한 정적이 앰비언스입니다.

둘째는 SFX, 즉 효과음입니다. 무언가 "일어났을 때" 붙는 소리입니다. 문이 닫히는 소리, 발자국, 버튼 클릭, 캔이 따지는 소리, 휴대폰 진동, 번개, 유리 깨짐 같은 것들이죠.

셋째는 대사 또는 내레이션입니다. 캐릭터가 직접 말하는 소리, 화면 밖에서 설명하는 목소리 모두 여기에 포함됩니다. 립싱크가 필요한지 여부도 여기서 결정됩니다.

넷째는 BGM입니다. 감정과 속도를 끌고 가는 바닥 음악입니다. 좋은 BGM은 화면보다 먼저 분위기를 만들어주고, 나쁜 BGM은 영상 전체를 아마추어처럼 보이게 만듭니다.

Seedance 2.0은 이 층들을 한 출력 안에서 동시에 다루려는 방향을 갖고 있습니다. 공개 자료와 여러 사용 가이드에서도 대사, 효과음, 배경음, 주변음을 함께 생성하는 흐름이 핵심으로 소개됩니다.²⁴⁵ 실전에서는 네 층을 모두 빵빵하게 채우는 것보다, 어떤 층을 주인공으로 둘지 정하는 쪽이 훨씬 중요합니다.

예를 들어 제품 광고라면 대사보다 질감 좋은 SFX가 중요할 수 있습니다. 토킹헤드 설명 영상이라면 대사가 1순위여야 합니다. 감성 숏폼이라면 앰비언스와 음악이 먼저입니다. 모든 소리를 똑같이 키우면 멋있어지는 게 아니라 지저분해집니다.

초보자가 바로 써먹는 오디오 프롬프트 공식

앞 장에서 우리는 프롬프트를 주체, 행동, 장면, 카메라, 조명, 사운드로 설계했습니다. 여기서는 그중 사운드 파트를 조금 더 실전형으로 갈아 끼워보겠습니다.

오디오를 잘 뽑고 싶다면, 장면 설명 뒤에 "무슨 소리가", "얼마나 크게", "언제", "무드가 어떤지"를 붙이면 됩니다. 이것만 기억하면 됩니다.

가장 쉬운 기본형은 이렇습니다.

주체와 행동을 적고, 카메라를 적고, 그 다음에 소리를 적습니다. 예를 들면 이런 식입니다.

한 손이 차가운 탄산 캔을 집어 든다. 카메라는 손을 따라 가까이 들어간다. 캔을 여는 날카로운 탁 소리, 미세한 탄산 기포 소리, 시원한 실내 냉장고 앰비언스, 음악은 경쾌하고 짧은 광고 톤.

이 문장에서 중요한 건 화려한 영어 키워드가 아닙니다. 어떤 물체가 어떤 표면과 만나는지, 그때 어떤 질감의 소리가 나야 하는지, 배경의 공기는 어떤지, 음악은 분위기를 어떻게 밀어주는지를 써준다는 점입니다.⁴⁶

좋은 사운드 프롬프트는 보통 구체적입니다. "좋은 음악"보다 "경쾌한 일렉트로닉 광고 음악, 짧고 밝고 리듬감 있게"가 낫습니다. "발소리 추가"보다 "젖은 보도블록 위 운동화 발소리"가 낫습니다. 모델이 추측할 여지를 줄일수록 결과가 덜 뭉개집니다.⁵⁶

대사는 짧을수록 강하다

이제 많은 분이 제일 궁금해하는 부분으로 가보겠습니다. "정말 말도 하게 만들 수 있나요?" 대답은 예, 다만 욕심을 줄일수록 훨씬 잘 됩니다입니다.

여러 가이드에서 공통적으로 강조하는 점은 짧은 문장이 유리하다는 것입니다. 립싱크와 발화가 가장 안정적으로 보이는 구간은 짧고 명확한 대사입니다. 한 문장에 너무 많은 정보를 우겨넣으면 입 모양이 흐려지고 말맛도 떨어질 수 있습니다.⁵⁶⁷

예를 들어 이런 식이 좋습니다.

"지금 바로 시작해."

"오늘은 진짜 쉽습니다."

"딱 3초면 충분해요."

"와, 이건 생각보다 좋은데?"

짧은 문장이 좋은 이유는 세 가지입니다. 첫째, 입 모양이 또렷해집니다. 둘째, 숏폼 문법과 잘 맞습니다. 셋째, 반복 생성하면서 수정하기 쉽습니다. 바이럴 영상에서 긴 문장은 대개 정보 전달용이 아니라 리듬을 죽이는 요소가 되기 쉽습니다.

실전에서는 한 클립에 한 문장, 많아도 두 문장 정도로 끊는 게 좋습니다. 설명을 길게 해야 한다면 한 번에 다 말시키지 말고, 컷을 나눠 여러 생성 결과를 이어붙이는 편이 훨씬 자연스럽습니다.⁵⁶

다국어 립싱크는 어떻게 접근할까

Seedance 2.0은 여러 공개 자료에서 8개 이상 언어의 립싱크 지원이 소개됩니다. 영어, 중국어, 일본어, 한국어, 스페인어 등이 반복해서 언급됩니다.³⁷⁸ 이 말은 곧, 같은 장면을 여러 언어 버전으로 돌려보는 로컬라이징 워크플로우가 현실적으로 가능해졌다는 뜻입니다.

특히 광고나 교육 영상에서는 이 점이 큽니다. 같은 비주얼을 유지한 채 대사만 한국어, 영어, 일본어로 바꾸면 재촬영 없이 지역별 버전을 빠르게 만들 수 있습니다.⁸⁹

다만 다국어 립싱크에서 꼭 기억할 점이 있습니다. "언어를 바꾼다"와 "자연스럽게 보인다"는 다른 문제라는 것입니다. 언어마다 입 모양의 패턴이 다르기 때문에, 프롬프트에 언어를 명시하는 것이 중요합니다. 그냥 대사 문장만 던지지 말고, 누가 어떤 톤으로 어떤 언어로 말하는지 적어주는 편이 좋습니다.⁶⁷

예를 들면 이런 식입니다.

한국어 여성 화자가 또렷하고 차분하게 말한다: "지금부터 아주 쉽게 보여드릴게요."

English male presenter speaks clearly with friendly energy: "This is the easiest way to start."

일본어 여성 내레이터가 부드럽고 따뜻하게 말한다: "はじめてでも大丈夫です。"

핵심은 문장 그 자체보다 발화 조건을 분명히 적는 것입니다. 언어, 성격, 감정, 말속도까지 써주면 결과가 훨씬 안정적입니다.⁸

립싱크가 잘 되는 화면에는 공통점이 있다

립싱크는 프롬프트만으로 해결되지 않습니다. 화면 설계가 절반입니다. 여러 사용 가이드에서 공통적으로 강조하는 성공 조건은 꽤 비슷합니다.⁶⁷¹⁰

가장 중요한 건 얼굴이 잘 보여야 한다는 점입니다. 정면 또는 약한 3/4 각도, 입 주변이 가려지지 않은 구도, 너무 멀지 않은 샷이 유리합니다. 특히 얼굴이 작게 나오거나, 프로필에 가깝거나, 손이나 소품으로 입이 가려지면 동기화 품질이 급격히 떨어질 수 있습니다.⁷¹⁰

또 하나는 카메라 욕심을 줄이는 것입니다. 대사를 말하는 장면에서 고개를 크게 흔들고, 카메라가 돌고, 머리카락이 휘날리고, 손짓까지 많으면 모델이 동시에 처리해야 할 과제가 너무 많아집니다. 초보자는 대사 장면만큼은 카메라를 안정적으로 두는 편이 좋습니다. 쉽게 말해, 말을 시킬 땐 감독보다 인터뷰어가 되세요.

좋은 조건은 이렇습니다.

얼굴이 크고 선명하게 보인다.

정면 또는 살짝 사선이다.

입술이 가려지지 않는다.

문장은 짧다.

카메라는 고정 또는 아주 느린 움직임이다.

감정은 하나만 분명하다.

이 원칙만 지켜도 립싱크 성공률이 체감될 정도로 올라갑니다.

대사 프롬프트는 "누가, 어떤 표정으로, 얼마나 빨리"까지 적자

초보자는 대사 문장만 따옴표로 넣고 끝내기 쉽습니다. 하지만 실제로는 발화 스타일이 훨씬 중요합니다. 예를 들어 같은 "괜찮아요"도 안심시키는 톤인지, 놀란 톤인지, 장난스러운 톤인지에 따라 입 모양뿐 아니라 전체 장면 느낌이 완전히 달라집니다.

대사 프롬프트를 쓸 때는 네 가지를 붙이면 좋습니다. 화자, 언어, 톤, 속도입니다. 여기에 필요하면 짧은 감정만 하나 더 얹습니다.

예시를 보겠습니다.

차분한 한국어 여성 내레이터가 정면을 바라보며 또렷하게 말한다. 짧게 미소를 머금는다. "오늘은 이 기능만 알면 됩니다." 카메라는 고정. 배경 음악은 아주 낮게.

젊은 남성 호스트가 약간 흥분된 톤으로 영어로 말한다. "Wait, this changes everything." 문장 뒤 0.5초 짧은 정적. 카메라는 가슴 위 미디엄 클로즈업.

이렇게 쓰면 모델은 무엇을 말해야 하는지뿐 아니라, 어떤 장면에서 어떻게 들려야 하는지도 같이 해석합니다. 즉, 오디오와 비디오가 따로 노는 일을 줄일 수 있습니다.⁴⁸

SFX는 표면과 재질을 써야 살아난다

효과음은 의외로 "무슨 행동인지"보다 "어디에 닿는지"가 더 중요합니다. 걷는다는 정보만으로는 부족합니다. 젖은 돌바닥인지, 마룻바닥인지, 자갈길인지가 소리를 바꿉니다. 컵이 놓인다는 정보만으로도 부족합니다. 세라믹 컵이 대리석 위에 놓이는지, 나무 테이블 위에 놓이는지가 다르죠.⁶

그래서 프롬프트를 쓸 때는 표면과 재질을 꼭 넣는 습관을 들이면 좋습니다.

"구두 발소리"보다 "젖은 골목의 돌바닥 위 하이힐 발소리"가 좋습니다.

"충돌 소리"보다 "알루미늄 캔이 타일 바닥에 튀며 부딪히는 소리"가 좋습니다.

"종이 소리"보다 "두꺼운 코팅 패키지를 손가락으로 뜯는 바삭한 소리"가 좋습니다.

특히 제품 영상에서 이 디테일은 아주 중요합니다. 향수 캡이 닫히는 작은 탁, 노트북 힌지가 열릴 때 나는 미세한 금속성 저항감, 키보드의 단단한 클릭감 같은 것들이 제품의 고급감을 만들어줍니다. 화면은 AI가 만들었어도, 소리가 현실감을 보충해주는 셈입니다.

앰비언스는 영상의 공기를 만든다

앰비언스는 티가 안 나는 게 잘 만든 겁니다. 그런데 없으면 바로 허전합니다. 예를 들어 새벽 도시에 사람이 한 명 걸어가는 영상이 있다고 합시다. 여기에 먼 차 소리, 약한 바람, 신호등 전기음 같은 배경 공기가 들어가면 장면이 살아납니다. 없으면 그냥 무음 위에 발소리만 둥둥 떠 있는 이상한 영상이 되기 쉽습니다.

Seedance 2.0의 네이티브 오디오는 이런 앰비언스에서 특히 효율적이라는 평가가 많습니다. 비, 바람, 거리 소음, 실내 공간감처럼 장면 전반을 채우는 배경음은 비교적 자연스럽게 붙는 편이라는 것입니다.⁴¹¹

앰비언스를 잘 쓰는 법은 욕심내지 않는 것입니다. 배경은 배경이어야 합니다. "도시 소리 크게"가 아니라 "이른 아침 도심 앰비언스는 멀고 은은하게, 주인공 발소리가 더 또렷하게"처럼 우선순위를 적어주는 편이 좋습니다. 소리도 구도입니다. 무엇이 앞에 있고, 무엇이 뒤에 있을지 정해줘야 합니다.

BGM은 음악 장르보다 역할을 먼저 적자

초보자가 BGM 프롬프트에서 제일 많이 하는 실수는 장르만 말하는 것입니다. "힙한 음악", "세련된 음악", "감성 브금" 같은 표현은 너무 추상적입니다. 음악은 장르보다 역할이 먼저입니다.

광고 첫 1초를 잡아야 하는지, 설명을 방해하지 않아야 하는지, 감정을 끌어올려야 하는지, 마지막에 로고와 함께 정리되어야 하는지부터 써야 합니다. 그다음에 장르를 붙이세요.

예를 들면 훨씬 좋아집니다.

짧고 밝은 제품 광고용 음악, 초반 1초에 시선 끄는 리듬, 대사 아래에서는 낮게 유지, 마지막 로고에서 깔끔하게 마무리.

부드럽고 따뜻한 라이프스타일 브금, 장면을 덮지 않고 뒤에서 흐르며, 빗소리 앰비언스를 방해하지 않는다.

긴장감 있는 테크 리뷰 오프닝 음악, 비트는 분명하지만 과하지 않고, 자막 등장 타이밍과 함께 박자가 또렷하게 느껴진다.

실전에서는 BPM 숫자를 정확히 지시하기보다 "빠르게", "중간 템포", "느리고 여백 있게"처럼 체감 리듬을 써주는 편이 더 잘 먹히는 경우가 많습니다.⁶

비트 싱크는 음악 편집이 아니라 '움직임 배치'다

이제 숏폼 감각의 핵심, 비트 싱크로 들어가보겠습니다. 많은 초보자가 비트 싱크를 "음악에 맞춰 컷을 자르는 것"으로만 생각합니다. 그런데 Seedance 2.0에서의 비트 싱크는 좀 더 넓습니다. 장면 전환, 카메라 움직임, 인물 액션, 오브젝트 리듬을 음악의 비트나 오디오 참조에 맞춰 생성 방향을 잡는다는 뜻에 가깝습니다.²¹²

즉, 나중 편집실에서 박자 맞추는 것만이 아니라, 처음부터 "이 장면은 이 음악을 타고 가야 한다"라고 지시하는 개념입니다. 이게 가능한 이유는 Seedance 2.0이 오디오 참조 입력을 받고, 그 리듬이나 무드를 영상 생성에 반영하는 방향을 제공하기 때문입니다.²¹²

쉽게 말해 이런 상황에 유리합니다.

신나는 패션 룩북에서 비트가 칠 때마다 포즈가 바뀌어야 할 때

제품 광고에서 베이스가 들어오는 순간 로고 컷이 나와야 할 때

댄스나 스포츠 숏폼에서 카메라 휩 전환이 박자감 있게 붙어야 할 때

여기서 중요한 건 "음악이 좋다"가 아니라 "어느 순간에 무엇이 바뀌는가"를 적는 것입니다.

@Audio 레퍼런스로 리듬을 빌려오는 법

이전 장에서 우리는 @레퍼런스 시스템을 배웠습니다. 오디오도 같은 논리로 생각하면 됩니다. 이미지가 외형을 잡아주고, 비디오가 카메라와 액션을 잡아주고, 오디오가 리듬과 무드를 잡아준다고 보면 됩니다.²¹²

예를 들어 @Audio1에 업로드한 음악을 기반으로 숏폼 광고를 만들고 싶다면, 프롬프트는 대략 이런 발상으로 작성할 수 있습니다.

@Image1의 제품을 메인으로 사용한다. @Audio1의 비트 리듬에 맞춰 장면 전환이 일어난다. 첫 비트에서 제품 클로즈업, 다음 강한 비트에서 손이 제품을 집어 들고, 후렴 시작에서 카메라가 빠르게 뒤로 빠지며 전체 패키지를 드러낸다. 음악은 주도적이고 효과음은 짧게 보조한다.

이 방식의 장점은 "음악을 배경"으로 두는 게 아니라 "음악을 구조"로 쓴다는 점입니다. 바이럴 영상의 리듬감은 보통 여기서 나옵니다. 음악은 흐르고, 화면은 그에 반응합니다. 그렇게 해야 보는 사람이 스크롤을 멈춥니다.

초보자를 위한 비트 싱크 실전 순서

비트 싱크는 처음부터 너무 복잡하게 가면 실패합니다. 가장 쉬운 순서는 이렇습니다.

먼저 음악의 역할을 정합니다. 후크를 잡는지, 감정을 미는지, 설명을 받쳐주는지 결정합니다.

그다음 음악에서 굵은 순간만 찾습니다. 시작 박, 드롭, 후렴 진입, 마지막 멈춤 같은 큰 덩어리면 충분합니다.

그리고 각 순간에 화면에서 한 가지 변화만 배치합니다. 컷 전환, 줌 인, 제품 회전, 손 동작, 표정 변화, 자막 등장 중 하나만 두는 겁니다.

초보자는 한 박자에 세 가지를 몰아넣으려 합니다. 그럼 오히려 정신없고 어설퍼집니다. 좋은 비트 싱크는 정확한 과잉이 아니라 정확한 절제입니다.

예를 들어 8초짜리 세로 광고라면 이런 식으로 설계할 수 있습니다.

0초에서 로고나 제품 실루엣으로 시선 잡기.

1초 강한 비트에서 제품 전체 공개.

3초에서 기능 한 번 보여주기.

5초 드롭에서 사용 장면 전환.

7초 마지막 비트에서 카피와 CTA 정리.

이렇게 큰 뼈대를 만든 뒤 프롬프트에 "첫 강한 비트", "드롭 순간", "마지막 프레임 직전" 같은 표현을 넣으면, 음악과 화면의 관계를 더 분명히 전달할 수 있습니다.¹²

숏폼에서 제일 잘 먹히는 오디오 워크플로우 세 가지

이제 바로 써먹을 수 있는 워크플로우를 살펴보겠습니다.

1. 제품 숏폼: SFX로 고급감 만들기

제품 광고는 생각보다 대사가 필요 없습니다. 오히려 제품이 만져지는 소리, 열리는 소리, 놓이는 소리, 표면 질감이 더 중요합니다.

예를 들어 무선 이어버드 광고라면 이렇게 갑니다. 먼저 케이스가 열리는 근접 샷을 만들고, 작은 자석 분리음과 케이스 힌지 소리를 분명히 적습니다. 다음 컷에서는 이어버드를 귀에 넣는 동작과 함께 아주 미세한 착용 SFX를 줍니다. 마지막 컷에서 음악이 조금 올라오며 로고가 정리됩니다. 이 흐름이면 비주얼이 조금 단순해도 "브랜드 영상 같다"는 느낌이 납니다.

예시 프롬프트:

매트한 블랙 이어버드 케이스를 손이 천천히 연다. 카메라는 초근접으로 시작해 살짝 뒤로 빠진다. 케이스가 열릴 때 작고 고급스러운 자석 분리음, 손끝이 표면을 스치는 미세한 마찰음, 조용한 스튜디오 앰비언스. 음악은 세련되고 미니멀하며 낮게 시작한다. 마지막에 제품 로고가 나타날 때 짧은 사운드 포인트.

2. 토킹헤드 숏폼: 말은 짧게, 음악은 더 짧게

설명형 숏폼은 대사가 주인공입니다. 여기서 가장 중요한 건 대사가 잘 들리는 구조입니다. 배경음악을 멋있게 까는 게 목적이 아닙니다. 오히려 음악은 거의 안 들려야 맞을 때가 많습니다.

예를 들어 "씨댄스 2.0으로 5초 만에 광고 만들기" 같은 영상이라면, 첫 문장은 짧고 강해야 합니다. "이거, 생각보다 훨씬 쉽습니다." 정도면 충분합니다. 카메라는 정면 미디엄 클로즈업, 얼굴은 밝고 선명하게, 손동작은 최소화합니다. 대사 뒤 짧은 공백을 준 다음 자막이나 제품 예시 컷으로 넘어가면 리듬이 좋아집니다.

예시 프롬프트:

정면을 바라보는 진행자가 밝고 자신감 있게 한국어로 짧게 말한다. "이거, 생각보다 훨씬 쉽습니다." 카메라는 고정된 미디엄 클로즈업. 얼굴은 선명하고 입이 잘 보인다. 대사가 가장 잘 들리도록 배경음악은 아주 낮게, 스튜디오 룸톤은 은은하게 유지.

3. 음악 중심 숏폼: 액션보다 전환 타이밍이 중요하다

패션, 댄스, 라이프스타일 숏폼은 대사보다 비트 싱크가 중요합니다. 여기서는 모든 샷이 길 필요가 없습니다. 오히려 강한 박자마다 한 번씩 분명한 변화가 보이는 게 핵심입니다.

예를 들어 룩북 영상이라면, 첫 비트에서 전신 샷, 다음 비트에서 신발 클로즈업, 후렴 진입에서 카메라 회전, 마지막 박에서 포즈 정지처럼 설계합니다. 각 장면은 복잡할 필요가 없고, 박마다 화면이 "반응"해야 합니다.

예시 프롬프트:

@Audio1의 리듬을 따라 세로형 패션 숏폼을 만든다. 첫 강한 비트에서 모델 전신 공개, 다음 비트에서 신발 클로즈업, 후렴 진입에서 카메라가 빠르게 반원으로 회전하며 다른 룩으로 전환된다. 음악이 주도하고 주변음은 최소화한다. 각 전환은 명확하고 짧게, 전체 리듬은 빠르고 시원하게.

대사와 음악을 같이 쓸 때는 우선순위를 선언하자

한 장면에 대사도 있고 음악도 있고 효과음도 있으면 그럴듯해 보일 것 같지만, 실제로는 가장 망하기 쉬운 조합입니다. 이유는 간단합니다. 무엇을 들어야 할지 모델도, 시청자도 헷갈리기 때문입니다.

그래서 프롬프트 안에서 꼭 우선순위를 써주는 것이 좋습니다. 예를 들면 "대사가 가장 또렷하게, 음악은 낮게, 주변음은 은은하게"처럼 말이죠. 반대로 음악 영상이라면 "음악이 주도하고, 효과음은 보조, 대사는 없음"이라고 선언해두면 훨씬 깔끔합니다.⁶

이 한 줄이 중요한 이유는, 오디오 믹스의 중심을 정해주기 때문입니다. 초보자는 흔히 모든 소리를 키우려 하지만, 좋은 영상은 늘 하나가 전면에 나섭니다. 나머지는 받쳐줍니다.

실패를 줄이는 디버깅 포인트

결과물이 어색할 때는 프롬프트를 갈아엎기보다, 뭐가 문제인지 먼저 분류하는 편이 빠릅니다.

대사가 뭉개진다면 문장이 긴 경우가 많습니다. 문장을 절반으로 줄여보세요. 어려운 발음이나 긴 고유명사도 줄이는 편이 좋습니다.⁶⁷

립싱크가 어색하다면 얼굴 구도를 먼저 보세요. 입이 작게 나오거나 가려져 있거나, 너무 옆얼굴이면 품질이 떨어지기 쉽습니다.⁷¹⁰

음악이 장면과 따로 논다면 장르 설명보다 역할 설명을 보강하세요. "신나는 음악"이 아니라 "첫 1초 후크, 중간은 낮게, 마지막 로고에서 상승"처럼 기능을 써야 합니다.

효과음이 약하면 행동만 쓰지 말고 재질과 표면을 넣으세요. "컵을 내려놓는다"보다 "세라믹 컵을 대리석 위에 부드럽게 내려놓는다"가 훨씬 잘 작동합니다.

소리가 너무 복잡하면 층을 줄이세요. 대사, 음악, 발소리, 군중소리, 빗소리, 자막 효과음까지 한 번에 다 넣으면 대부분 탁해집니다. 첫 생성은 두 층 또는 세 층만으로 시작하는 편이 낫습니다.

바로 가져다 쓸 수 있는 프롬프트 템플릿

아래 템플릿은 입문자가 가장 많이 쓰는 유형만 골랐습니다. 그대로 복사해 자기 상황에 맞게 바꾸면 됩니다.

템플릿 1: 짧은 한국어 립싱크 멘트

정면을 바라보는 [인물 설명]이 밝고 또렷한 한국어로 짧게 말한다. "[ 대사 입력]" 카메라는 고정된 미디엄 클로즈업. 얼굴과 입술이 선명하게 보인다. 배경음악은 아주 낮게, 실내 앰비언스는 은은하게.

예시: 정면을 바라보는 젊은 여성 진행자가 밝고 또렷한 한국어로 짧게 말한다. "오늘은 이거 하나만 기억하세요." 카메라는 고정된 미디엄 클로즈업. 얼굴과 입술이 선명하게 보인다. 배경음악은 아주 낮게, 실내 앰비언스는 은은하게.

템플릿 2: 제품 SFX 중심 광고

[제품 설명]을 손이 집어 들고 천천히 돌린다. 카메라는 제품 표면을 따라 가까이 움직인다. [열리는 소리/닫히는 소리/클릭 소리]가 선명하게 들리고, 재질감이 느껴지는 미세한 접촉음이 난다. 조용한 스튜디오 앰비언스. 음악은 미니멀하고 세련되게 낮게 깔린다.

예시: 실버 알루미늄 보틀을 손이 집어 들고 천천히 돌린다. 카메라는 제품 표면을 따라 가까이 움직인다. 캡이 열릴 때 날카롭고 깨끗한 금속성 클릭 소리, 보틀 표면을 손가락이 스치는 미세한 마찰음이 들린다. 조용한 스튜디오 앰비언스. 음악은 미니멀하고 세련되게 낮게 깔린다.

템플릿 3: 비트 싱크 세로 숏폼

@Audio1의 리듬을 기준으로 세로형 숏폼을 만든다. 첫 강한 비트에서 [메인 공개], 다음 비트에서 [디테일 샷], 드롭 순간 [큰 전환], 마지막 비트에서 [카피/로고/CTA]. 음악이 주도하고 효과음은 짧게 포인트만 준다. 전체 템포는 빠르고 명확하게.

예시: @Audio1의 리듬을 기준으로 세로형 숏폼을 만든다. 첫 강한 비트에서 스니커즈 전신 공개, 다음 비트에서 밑창 클로즈업, 드롭 순간 모델이 점프하며 다른 컬러웨이로 전환, 마지막 비트에서 브랜드 로고와 "지금 드롭" 카피가 나타난다. 음악이 주도하고 효과음은 짧게 포인트만 준다. 전체 템포는 빠르고 명확하게.

템플릿 4: 감성 앰비언스 중심 영상

[장면 설명]. 카메라는 천천히 [카메라 동작]. 대사는 없다. [비/바람/실내공기/거리소음] 같은 앰비언스가 자연스럽게 흐른다. 음악은 아주 부드럽고 뒤에서만 받쳐준다. 조용하고 몰입감 있게.

예시: 비 오는 오후, 창가 옆 나무 테이블 위에 놓인 커피잔에서 김이 오른다. 카메라는 천천히 컵 쪽으로 밀고 들어간다. 대사는 없다. 빗소리와 멀리서 들리는 도심 소음, 실내의 조용한 공기가 자연스럽게 흐른다. 음악은 아주 부드럽고 뒤에서만 받쳐준다. 조용하고 몰입감 있게.

초보자에게 추천하는 안전한 시작 조합

처음부터 다 하려고 하지 마세요. 가장 성공 확률이 높은 조합은 따로 있습니다.

첫 번째는 제품 + SFX + 낮은 BGM입니다. 대사가 없어서 안정적이고, 결과가 가장 빨리 고급져 보입니다.

두 번째는 정면 인물 + 짧은 한 문장 + 약한 앰비언스입니다. 설명 숏폼이나 튜토리얼 시작 컷에 좋습니다.

세 번째는 음악 참조 + 명확한 전환 3개 정도입니다. 패션, 뷰티, 테크 티저에 잘 맞습니다.

이 세 조합을 먼저 익힌 뒤, 나중에 대사와 음악을 한 장면에 섞는 방향으로 가면 훨씬 덜 헤맵니다.

결국, 좋은 소리는 영상의 '믿을 만함'을 만든다

AI 영상에서 사람들이 가장 먼저 눈치채는 건 의외로 화면이 아닐 때가 많습니다. 입과 말이 안 맞거나, 컷은 화려한데 소리가 텅 비거나, 분위기와 전혀 다른 음악이 깔리면 바로 어색함이 드러납니다. 반대로 영상이 다소 단순해도 소리가 잘 붙으면 결과물이 훨씬 비싸 보입니다.

Seedance 2.0의 네이티브 오디오는 바로 이 지점을 크게 바꿉니다. 초보자도 소리를 "나중에 덧붙이는 것"이 아니라 "장면의 일부"로 생각하게 만들기 때문입니다.¹² 이 관점 전환이 중요합니다. 영상은 보이는 것만 만드는 작업이 아닙니다. 들리는 것까지 같이 연출하는 작업입니다.

다음 장에서는 이 감각을 한 단계 더 밀어붙여 보겠습니다. 이제 화면과 소리를 조금 다룰 수 있게 되었으니, 진짜 숏폼 세계로 들어갈 차례입니다. 요즘 바이럴 영상은 어떻게 기획되고, 어떻게 훅을 만들고, 어떻게 짧은 시간 안에 사람을 붙잡는지, 실제 워크플로우 중심으로 풀어보겠습니다.