화면이 좋아도 소리가 비면 장면이 얇아진다
AI 영상에서 초보자와 숙련자의 차이는 이제 화면만으로 갈리지 않는다. 같은 카페 장면이라도 아무 소리가 없으면 이미지가 움직이는 느낌에 머문다. 반대로 컵이 테이블에 닿는 작은 소리, 에스프레소 머신의 김 빠지는 소리, 멀리서 들리는 사람들의 대화가 들어가면 장면이 갑자기 현실처럼 느껴진다.
여기서 중요한 개념이 네이티브 오디오다. 어렵게 말하면 영상 생성과 동시에 대사, 효과음, 주변 소리까지 함께 만드는 기능이다. 쉽게 말해 "나중에 따로 소리를 붙이는 것"이 아니라 "처음부터 소리를 포함한 장면을 만드는 것"이다. Google DeepMind는 Veo 3 계열의 영상 생성에서 효과음, 주변 소음, 대사까지 영상과 함께 생성할 수 있다고 설명한다.1
이 장의 목표는 단순하다. 프롬프트에 "좋은 음악 넣어줘"라고 쓰는 대신, 어떤 소리가 어디서, 얼마나 크게, 어떤 순간에 들려야 하는지를 설계하는 것이다.
AI 생성 이미지
오디오는 네 칸으로 나누어 적는다
소리가 꼬이는 가장 큰 이유는 모든 오디오 지시를 한 문장에 섞기 때문이다.
나쁜 예시는 이렇다.
카페에서 여자가 커피를 마시며 말하고, 배경음악도 있고, 사람들이 떠들고, 컵 소리도 나는 감성적인 영상.이렇게 쓰면 AI는 무엇이 가장 중요한 소리인지 판단하기 어렵다. 대사가 묻히거나, 음악이 너무 크거나, 컵 소리가 이상한 타이밍에 날 수 있다.
오디오는 다음 네 칸으로 분리해 적는 것이 안정적이다.
대사: 인물이 실제로 말하는 문장
환경음: 장소가 원래 가지고 있는 소리
효과음: 특정 행동에 맞춰 나는 소리
배경음악: 감정과 리듬을 만드는 음악
기본 구조는 이렇게 쓴다.
Audio:
- Dialogue: 여자가 미소를 지으며 짧게 말한다. "오늘은 조금 천천히 가도 돼."
- Ambience: 조용한 아침 카페, 낮게 들리는 손님들의 대화, 에스프레소 머신의 부드러운 증기 소리.
- Sound effects: 컵이 나무 테이블에 닿을 때 작고 맑은 ceramic click sound.
- Music: 따뜻한 lo-fi piano music, very soft, dialogue보다 작게.여기서 Ambience는 주변 분위기 소리다. 도시 소음, 카페의 웅성거림, 숲속 바람, 비 오는 거리의 물소리처럼 장소를 믿게 만드는 소리다. Sound effects는 특정 순간에 붙는 소리다. 버튼 클릭, 문 열림, 제품 포장지 뜯는 소리, 발자국 소리처럼 행동과 연결된다.
초보자는 한 장면에 소리를 너무 많이 넣지 않는 것이 좋다. 처음에는 대사 1개, 환경음 1개, 효과음 1개, 배경음악 1개만 넣어도 충분하다.
대사는 짧아야 자연스럽다
AI 영상에서 대사가 길어지면 두 가지 문제가 생긴다. 첫째, 입 모양이 문장 전체를 따라가기 어렵다. 둘째, 짧은 영상 안에서 말이 장면을 압도한다.
특히 5~10초 영상에서는 대사를 한 문장으로 제한하는 편이 좋다. 정보 전달보다 "상황에 맞는 자연스러운 한마디"를 목표로 잡는다.
나쁜 예시:
남자가 카메라를 보며 말한다. "안녕하세요, 오늘은 제가 새로 출시된 스마트워치의 세 가지 핵심 기능과 사용 방법, 그리고 일주일간 사용해 본 솔직한 후기를 알려드리겠습니다."너무 길다. 입 모양도 불안정해지고, 숏폼에서는 첫 장면이 설명으로 느려진다.
좋은 예시:
남자가 스마트워치를 보며 놀란 듯 말한다. "잠깐, 이게 지금 내 스트레스를 읽은 거야?"이 문장은 짧고 상황이 있다. 표정도 만들기 쉽다. 시청자는 "무슨 기능이지?" 하고 다음 장면을 보게 된다.
대사를 쓸 때는 다음 세 가지를 함께 적으면 안정적이다.
[감정] + [행동] + [짧은 대사]예시는 다음과 같다.
여자가 컵을 들다가 멈칫한다. 눈이 커지며 작게 말한다. "이 향, 진짜 복숭아 같아."소년이 낡은 문고리를 잡고 숨을 삼킨다. 거의 속삭이듯 말한다. "안에서 누가 움직였어."리뷰어가 제품 뚜껑을 열고 웃는다. 밝고 빠르게 말한다. "소리부터 고급스럽네."한 장면에 두 사람이 말해야 한다면 더 조심해야 한다. 초보자는 한 컷에 한 명만 말하게 만드는 것이 안전하다. 꼭 두 명이 필요하다면 순서를 분명히 쓴다.
Dialogue: 여자가 먼저 말한다. "이거 네가 만든 거야?" 짧은 침묵 후, 남자가 작게 대답한다. "아니, 아침에 저절로 켜졌어."중요한 것은 침묵도 소리 설계의 일부라는 점이다. 말이 없는 0.5초가 긴장감을 만든다.
환경음은 장면의 신뢰도를 만든다
환경음은 눈에 잘 띄지 않지만 장면의 현실감을 크게 바꾼다. 숲속 장면에서 새소리와 바람이 없으면 배경이 그림처럼 느껴진다. 도시 장면에서 멀리 지나가는 차 소리가 없으면 공간이 비어 보인다.
장소별로 바로 쓸 수 있는 환경음 예시는 다음과 같다.
도시 거리:
Ambience: distant traffic hum, faint pedestrian chatter, a bus braking softly in the distance, light wind between buildings.카페:
Ambience: soft customer chatter, espresso machine hissing, ceramic cups clinking quietly, low indoor room tone.숲속:
Ambience: gentle wind through leaves, distant birds, dry grass rustling, a very faint stream far away.비 오는 밤:
Ambience: steady rain on asphalt, water dripping from a metal sign, distant tires passing through puddles.제품 광고 스튜디오:
Ambience: clean quiet studio tone, very subtle air movement, no crowd noise.
Sound effects: precise magnetic click as the product lid closes.여기서 핵심은 장소를 설명하는 소리와 행동을 설명하는 소리를 구분하는 것이다. 카페의 웅성거림은 환경음이다. 컵을 내려놓는 소리는 효과음이다. 제품 뚜껑이 닫히는 소리도 효과음이다.
효과음은 반드시 행동과 같은 문장에 묶어 주는 것이 좋다.
As the lipstick cap closes, a soft magnetic click is heard clearly in the foreground.When the character steps onto the wet pavement, a small splash sound matches the footstep.이렇게 쓰면 소리가 엉뚱한 타이밍에 나올 가능성이 줄어든다.
배경음악은 분위기보다 볼륨 관계가 먼저다
초보자는 배경음악을 "감성적인 음악", "긴장감 있는 음악", "힙한 음악"처럼 적는다. 틀린 방식은 아니지만 부족하다. AI에게 더 필요한 정보는 음악의 종류보다 얼마나 앞에 나와야 하는가다.
대사가 있는 장면에서는 음악이 뒤로 물러나야 한다.
Music: soft ambient piano, background only, very low volume, never overpowering the dialogue.제품 광고처럼 효과음이 중요한 장면에서는 음악보다 클릭음, 마찰음, 포장 소리가 선명해야 한다.
Music: minimal luxury electronic beat, low volume.
Sound effects: the product click and fabric texture sounds are crisp and louder than the music.공포나 반전 장면에서는 음악을 계속 깔기보다, 소리를 잠깐 비우는 것이 더 강할 때가 있다.
Music: no music for the first two seconds, only room tone and breathing. A sudden low bass hit when the shadow appears.소리를 설계할 때는 다음 우선순위를 생각하자.
시청자가 꼭 들어야 하는 소리
장면을 현실처럼 만드는 소리
감정을 보강하는 음악
항상 1번이 가장 앞에 와야 한다.
숏폼에서는 첫 1초의 소리가 후킹을 만든다
숏폼에서 첫 화면만큼 중요한 것이 첫 소리다. 특히 소리가 켜진 상태로 영상을 보는 환경에서는, 사람은 화면을 이해하기도 전에 소리로 "계속 볼지"를 판단할 때가 많다. 갑작스러운 클릭, 속삭임, 유리 깨지는 소리, 알림음, 숨을 삼키는 소리처럼 짧고 분명한 소리는 시선을 붙잡는다.
단, 크게만 만든다고 좋은 후킹이 아니다. 좋은 첫 소리는 질문을 만든다.
첫 1초: 어두운 방에서 갑자기 스마트폰 알림음이 한 번 울린다.
화면: 아무도 없는 책상 위 스마트폰이 혼자 켜진다.
Dialogue: 아주 작은 속삭임. "드디어 찾았다."이 소리는 시청자에게 묻는다. 누가 찾았지? 왜 휴대폰이 혼자 켜졌지?
바이럴 숏폼에서는 반복되는 훅 사운드도 유용하다. 예를 들어 제품이 변신할 때마다 같은 "whoosh-click"이 반복되면 리듬이 생긴다. 시청자는 다음 변화를 예측하며 계속 보게 된다.
Sound hook: every time the product changes color, use the same short whoosh-click sound, crisp and satisfying.반전 장면에는 대비가 중요하다. 조용한 소리에서 큰 소리로, 귀여운 음악에서 낮은 베이스로, 밝은 대사에서 갑작스러운 정적으로 바뀌면 반전이 강해진다.
Audio structure:
0-2s: cheerful toy music and cute squeaky footsteps.
2-4s: the toy suddenly stops; all music cuts out.
4-5s: deep cinematic boom as its eyes glow red.여기서 포인트는 "소리를 많이 넣는 것"이 아니라 "시청자가 다시 보고 싶을 만큼 정확한 타이밍에 소리를 배치하는 것"이다.
바로 쓰는 오디오 프롬프트 블록
아래 블록은 영상 프롬프트 뒤에 붙여 사용할 수 있다. 장면에 맞게 단어만 바꾸면 된다.
Audio:
- Dialogue: [인물]이 [감정]으로 [짧은 대사]라고 말한다. 대사는 자연스럽고 5초 이내로 끝난다.
- Ambience: [장소]에 어울리는 주변 소리. [구체적 환경음 2~3개].
- Sound effects: [행동]이 일어날 때 [효과음]이 정확히 들린다.
- Music: [장르/분위기] 음악, 낮은 볼륨, 대사와 핵심 효과음을 방해하지 않는다.
- Audio priority: dialogue and key sound effects in foreground, ambience in midground, music in background.제품 영상용:
Audio:
- Dialogue: 없음.
- Ambience: clean quiet studio tone.
- Sound effects: as the perfume bottle cap opens, a precise glass click; when mist sprays, a soft airy spray sound.
- Music: minimal luxury synth pad, very low volume.
- Audio priority: product sounds are crisp and in the foreground.아바타 설명 영상용:
Audio:
- Dialogue: 아바타가 카메라를 보며 밝고 또렷하게 말한다. "이 기능은 딱 한 가지만 기억하면 돼요."
- Ambience: quiet indoor studio room tone.
- Sound effects: subtle UI click when the graphic appears.
- Music: soft upbeat background music, very low volume.
- Audio priority: voice is clear, music never covers the dialogue.반전 숏폼용:
Audio:
- Dialogue: 소녀가 인형을 보며 작게 말한다. "방금 웃었어?"
- Ambience: quiet bedroom at night, faint clock ticking.
- Sound effects: the clock suddenly stops; a low bass hit when the doll turns its head.
- Music: no music for the first three seconds, then a short dark sting.
- Audio priority: silence and clock ticking are important before the reveal.실패했을 때는 소리의 수를 줄인다
오디오가 이상할 때 가장 먼저 할 일은 더 자세히 쓰는 것이 아니다. 먼저 줄여야 한다.
대사가 뭉개진다면 음악과 환경음을 낮춘다.
Keep the same visuals. Make the dialogue clearer and louder. Reduce the background music and ambience. Only one person speaks. No subtitles.효과음 타이밍이 맞지 않는다면 행동과 소리를 한 문장으로 묶는다.
Keep the same scene. The click sound must happen exactly when the product lid closes, not before or after. Make the click short, crisp, and realistic.소리가 너무 복잡하다면 레이어를 줄인다.
Keep the same visuals. Simplify the audio. Use only clear dialogue, soft cafe ambience, and one cup click sound. Remove extra music and unnecessary sound effects.입 모양이 어색하다면 대사를 더 짧게 바꾼다.
Keep the same character and camera. Replace the dialogue with a shorter line: "이거 진짜야?" Make the lip movement natural and the voice calm.오디오 수정도 영상 수정과 같다. 전체를 다시 만들기보다 유지할 것과 바꿀 것을 나눈다.
상업 업로드 전에는 반드시 확인한다
AI가 소리를 만들어 주더라도 업로드 책임까지 대신 져 주지는 않는다. 특히 상업적 콘텐츠라면 세 가지를 확인해야 한다.
첫째, 음악 저작권이다. 생성된 음악이라도 플랫폼, 광고주, 배포 지역에 따라 사용 조건이 다를 수 있다. 외부 음악을 추가로 섞었다면 라이선스를 반드시 확인한다.
둘째, 음성 모방이다. 유명인, 인플루언서, 직원, 고객의 목소리를 허락 없이 따라 하게 만들면 문제가 될 수 있다. 실제 사람처럼 들리는 음성을 쓸 때는 사용 허가 범위를 확인해야 한다.
셋째, 플랫폼 정책이다. YouTube Shorts, TikTok, Instagram Reels, 광고 플랫폼은 AI 생성 콘텐츠, 합성 음성, 음악 사용에 대해 각자 다른 규칙을 둘 수 있다. Google의 영상 생성 기능은 생성물에 보이지 않는 SynthID 워터마크가 포함될 수 있고, 이미지·영상·오디오에 대한 AI 생성 여부 확인 흐름도 안내하고 있다.2 업로드 전에 해당 플랫폼의 최신 정책을 확인하는 습관이 필요하다.
초보자용 기본 루틴
처음에는 이 순서만 지키면 된다.
장면을 먼저 만든다.
대사가 필요한지 결정한다.
대사는 한 문장으로 줄인다.
장소에 맞는 환경음 2개만 넣는다.
핵심 행동에 맞는 효과음 1개를 넣는다.
음악은 낮은 볼륨으로 뒤에 둔다.
결과를 보고 대사, 효과음, 음악 중 하나만 수정한다.
좋은 오디오는 화려한 소리가 아니다. 장면에 딱 맞는 소리다. 카페에는 카페다운 소리, 숲에는 숲다운 소리, 제품에는 제품의 촉감을 느끼게 하는 소리가 필요하다. 화면이 무엇을 보여 주는지 정했다면, 이제 소리가 무엇을 믿게 만들지 설계하자.
고퀄리티 오디오 체크리스트
대사, 환경음, 효과음, 배경음악을 분리해 적었는가?
대사는 5초 안에 끝나는 자연스러운 한 문장인가?
한 컷에 말하는 사람은 한 명인가?
환경음이 장소를 설명하고 있는가?
효과음이 행동과 같은 타이밍에 묶여 있는가?
음악이 대사와 핵심 효과음을 덮지 않는가?
첫 1초에 시선을 붙잡는 소리 후킹이 있는가?
반복 훅 사운드나 반전 효과음이 영상 구조와 맞는가?
상업 업로드 전 음악, 음성, 플랫폼 정책을 확인했는가?
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.