플랫폼별 프롬프트 변형 전략

같은 아이디어도 플랫폼에 맞게 다시 써야 한다

AI 비디오 프롬프트는 한 번 잘 써 두면 여러 도구에서 재사용할 수 있다. 하지만 그대로 복사해 넣는 것이 항상 좋은 방법은 아니다. 어떤 도구는 카메라 이동과 장면 연출에 강하고, 어떤 도구는 인물 움직임이나 스타일 효과에 강하다. 또 어떤 도구는 영상 자체를 만드는 것이 아니라 아바타가 대본을 말하게 만드는 데 특화되어 있다.

그래서 플랫폼별 변형의 핵심은 프롬프트를 완전히 새로 쓰는 것이 아니다. 같은 아이디어에서 강조할 정보를 바꾸는 것이다.

기본 구조는 그대로 둔다.

• 주체: 무엇이 등장하는가

• 행동: 무엇이 움직이는가

• 장면: 어디에서 벌어지는가

• 카메라: 어떻게 보여 줄 것인가

• 조명과 색감: 어떤 분위기인가

• 출력 조건: 길이, 화면비, 용도는 무엇인가

여기에 플랫폼별로 다음 네 가지를 추가한다.

1. 입력 방식: 텍스트만 쓰는가, 이미지를 넣는가, 기존 영상을 변형하는가

2. 제어 기능: 시작 프레임, 끝 프레임, 참조 이미지, 모션 영역, 립싱크를 쓰는가

3. 도구의 강점: 카메라, 인물 움직임, 스타일 효과, 발표자 영상 중 무엇에 강한가

4. 최종 사용처: 광고, 숏폼, 강의, 제품 소개, 뮤직비디오 중 어디에 쓸 것인가

Runway처럼 생성과 편집, 영상 변형, 레퍼런스 기반 워크플로를 함께 제공하는 도구는 장면 설계와 수정 지시를 함께 쓰는 것이 좋다.¹ 반면 HeyGen이나 Synthesia 같은 발표자형 도구는 화면 연출보다 대본, 발화 톤, 아바타의 표정, 립싱크 정확도가 더 중요하다.²

AI 생성 이미지

생성 방식별 프롬프트 차이

먼저 도구 이름보다 생성 방식을 구분해야 한다. 같은 Runway, Pika, Kling, Luma, PixVerse라도 텍스트 투 비디오로 쓸 때와 이미지 투 비디오로 쓸 때 프롬프트의 중심이 달라진다.

텍스트 투 비디오는 빈 화면에서 장면을 만드는 방식이다. 따라서 프롬프트 안에 화면의 모든 중요한 정보를 넣어야 한다.

템플릿

A [duration] video of [subject] [main action] in [location], filmed with [camera movement], under [lighting], in [style], [output format].

이미지 투 비디오는 이미 주체가 정해져 있다. 이때는 주체를 새로 만들라고 지시하기보다, 참조 이미지를 유지하라고 써야 한다.

템플릿

Use the reference image as the exact visual identity of the subject. Keep the shape, color, logo, outfit, and proportions unchanged. Animate only [motion]. Camera: [movement]. Lighting: [style].

비디오 투 비디오는 기존 영상 위에 변형을 얹는 방식이다. 이때 가장 중요한 문장은 '무엇을 유지할지'와 '무엇을 바꿀지'다.

템플릿

Keep the original subject, pose, timing, and camera movement. Change only [background / lighting / style / outfit]. Do not alter the face, body proportions, product shape, or logo.

아바타 기반 영상은 화면 프롬프트와 대본을 분리해야 한다. 화면은 짧게, 대본은 말하기 쉽게 쓴다.

템플릿

Presenter setup: [avatar role], [background], [camera framing], [lighting], [gesture style].
Script: [short spoken script with natural pauses].
Delivery: clear, friendly, confident, natural lip sync, subtle hand gestures.

도구의 강점에 맞춘 작성 방식

1. 카메라 연출형: Runway, Kling, Luma

카메라와 장면 설계에 강한 도구에서는 '무엇이 나온다'보다 '어떻게 보여 준다'를 자세히 써야 한다. Runway, Kling, Luma는 모두 시네마틱 장면, 제품 광고, 공간감 있는 영상에 자주 활용된다. 비교 자료에서도 Runway는 모션 제어와 편집 워크플로, Kling은 현실적인 움직임과 복잡한 동작, Luma는 빠른 테스트와 사실적 장면 생성에서 장점이 언급된다.³

이런 도구에는 다음 요소를 넣는다.

• 쇼트 크기: wide shot, medium shot, close-up

• 카메라 움직임: slow push-in, orbit shot, tracking shot

• 시간 순서: 0–2s, 2–5s, 5–8s

• 움직임 속도: slowly, smoothly, quickly, gently

• 안정 조건: stable camera, keep subject centered, no sudden cuts

좋은 작성 방식

0–2s: Close-up of the product on a clean table.
2–5s: Slow orbit camera move as light reflects on the surface.
5–8s: Smooth push-in to a centered hero shot, logo clearly visible.

나쁜 작성 방식

Make a cool cinematic product video.

'시네마틱'이라는 단어는 보조 표현일 뿐이다. 실제로는 렌즈, 조명, 카메라 이동, 마지막 히어로 샷을 써야 한다.

2. 캐릭터 움직임·숏폼 효과형: Pika, PixVerse, Viggle

Pika와 PixVerse처럼 빠른 숏폼, 스타일 효과, 시각적 변형에 자주 쓰이는 도구는 첫 장면의 후킹이 중요하다. 제품이 터지듯 등장하거나, 옷이 바뀌거나, 배경이 전환되거나, 캐릭터가 짧은 동작을 하는 식으로 한눈에 보이는 변화가 있어야 한다.

Viggle 계열의 모션 전이 방식은 더 다르다. 정지 캐릭터 이미지를 넣고, 참조 영상이나 템플릿의 움직임을 빌려 캐릭터에 적용하는 구조다.⁴ 따라서 프롬프트에서 '새 동작을 상상해 달라'고 하기보다 '참조 동작을 이 캐릭터에 적용하라'고 써야 한다.

Viggle식 템플릿

Use the uploaded character image as the fixed character identity. Apply the motion from the reference video. Keep the face, outfit, body proportions, and character style consistent. Do not change the character design. Use a clean background and centered full-body framing.

캐릭터 움직임 도구에서는 복잡한 안무보다 단순한 동작이 안정적이다.

• 좋음: two-step dance, arm wave, head nod, spin once

• 어려움: group choreography, fast acrobatics, handstand, complex footwork

3. 발표자·립싱크형: Synthesia, HeyGen

Synthesia와 HeyGen은 일반적인 시네마틱 영상 도구와 목적이 다르다. 이들은 인물이 말을 전달하는 발표자 영상, 교육 영상, 제품 설명, 현지화 영상에 적합하다. Synthesia는 기업 교육, 온보딩, 다국어 콘텐츠처럼 구조적이고 정돈된 발표자 영상에 잘 맞고, HeyGen은 마케팅, 소셜 영상, 빠른 현지화, 표현력 있는 아바타 영상에 자주 활용된다.⁵

HeyGen은 대본이나 오디오를 입력하고 아바타 또는 업로드한 영상을 선택해 입 모양을 동기화하는 방식의 립싱크 영상을 만들 수 있다.²

이런 도구에서는 카메라보다 다음 요소가 우선이다.

• 발표자 역할: product expert, online instructor, brand ambassador

• 말투: friendly, professional, energetic, calm

• 대본 길이: 짧고 끊어 읽기 쉬운 문장

• 표정과 제스처: subtle smile, small hand gestures, natural eye contact

• 자막: clean subtitles, large readable captions

• 배경: office, studio, home desk, branded backdrop

발표자형 템플릿

Presenter setup: A friendly product expert standing in a bright modern studio, medium shot, soft lighting, natural eye contact, subtle hand gestures.
Script: This portable blender helps you make a fresh smoothie in seconds. Add fruit, press one button, and take it with you.
Delivery: clear, warm, confident, natural pauses, accurate lip sync, clean subtitles.

기능을 사용할 때 추가해야 할 지시문

플랫폼 기능은 이름이 조금씩 다르다. 어떤 도구는 Motion Brush라고 부르고, 어떤 도구는 Region, Mask, Modify Region, Keyframe, Start Frame, End Frame 같은 이름을 쓴다. 이름보다 중요한 것은 '무엇을 고정하고 무엇을 움직일지'다.

참조 이미지

참조 이미지를 넣을 때는 유지 조건을 반드시 쓴다.

Use the reference image as the exact product design. Keep the same shape, material, color, logo position, and proportions. Do not redesign the product.

제품 광고에서는 특히 로고와 형태가 바뀌면 안 된다. 인물 영상이라면 얼굴형, 헤어스타일, 의상, 체형을 유지하라고 써야 한다.

시작 프레임과 끝 프레임

시작 프레임은 영상의 첫인상을 고정한다. 끝 프레임은 광고나 숏폼에서 가장 중요하다.

Start frame: the product sits on a clean kitchen counter with fruit around it.
End frame: centered hero shot of the product, logo clearly visible, soft morning light, no extra text.

끝 프레임을 지정하면 루프형 숏폼이나 광고 히어로 샷을 만들기 쉽다.

모션 브러시와 영역 제어

모션 브러시는 화면의 특정 부분만 움직이게 할 때 유용하다. 제품은 고정하고 배경의 빛, 물방울, 연기, 머리카락, 천만 움직이게 할 수 있다.

Animate only the smoothie swirl and small condensation droplets. Keep the blender body, logo, table, and background stable.

이 문장은 제품 왜곡을 줄이는 데 효과적이다.

립싱크

립싱크에서는 화면보다 오디오와 대본이 중요하다. 한 문장을 너무 길게 쓰면 입 모양과 표정이 어색해질 수 있다.

Use clear speech with natural pauses. Keep the face fully visible. Maintain accurate lip sync, natural blinking, and subtle facial expressions.

발표자 영상의 대본은 짧은 문장 3~5개가 좋다. 제품명, 핵심 장점, 행동 유도 문장을 분리하면 더 자연스럽다.

실전 예시: 하나의 제품 광고를 여러 플랫폼용으로 바꾸기

제품 아이디어는 다음과 같다.

• 제품: 매트 화이트 휴대용 블렌더

• 목적: 바쁜 아침에도 신선한 스무디를 빠르게 만들 수 있다는 장점 전달

• 영상 길이: 8초

• 사용처: 제품 광고, 숏폼, 발표자 소개 영상

기본 프롬프트

An 8-second product advertisement for a matte white portable blender on a bright kitchen counter. Fresh strawberries and ice drop into the cup, the blender starts, colorful smoothie swirls inside, ending with a clean hero shot of the product with condensation and soft morning light. Smooth camera push-in, realistic lighting, vertical 9:16, product centered, logo area clean and readable.

이 프롬프트를 그대로 써도 결과는 나온다. 하지만 플랫폼별로 조금씩 바꾸면 더 정확해진다.

Runway용: 샷 설계와 제품 고정

Use the reference product image as the exact blender design. Keep the shape, matte white material, logo area, and proportions unchanged.
0–2s: Close-up of strawberries and ice dropping into the blender cup on a bright kitchen counter.
2–5s: Slow controlled orbit shot as the smoothie swirls inside the transparent cup.
5–8s: Smooth push-in to a centered hero shot, soft morning light, condensation on the cup, logo clearly visible.
Commercial product video, realistic lighting, stable motion, vertical 9:16.

Runway용 변형에서는 '참조 제품 유지'와 '샷 순서'를 강조한다. 생성뿐 아니라 편집과 변형까지 고려할 수 있기 때문이다.

Kling용: 물리 움직임과 속도 강조

A realistic 8-second product ad for a matte white portable blender. Fresh strawberries and ice fall naturally into the transparent cup, then the blender starts with a smooth liquid vortex. The smoothie texture changes from fruit pieces to a creamy pink drink. Use realistic physics, clean reflections, stable product shape, and a slow push-in camera move. End with a sharp hero shot, logo visible, vertical 9:16.

Kling용 변형에서는 과일이 떨어지는 움직임, 액체 소용돌이, 질감 변화처럼 물리적인 동작을 구체화한다.

Luma용: 공간감과 빛 강조

An 8-second realistic kitchen product scene with strong spatial depth. Foreground strawberries, midground matte white portable blender, soft morning window light in the background. The camera slowly dollies from the fruit toward the blender as the smoothie swirls inside the cup. Natural reflections, bright clean kitchen atmosphere, shallow depth of field, centered hero shot at the end, vertical 9:16.

Luma용 변형에서는 foreground, midground, background처럼 공간의 깊이를 분리해 쓴다. 실내 공간과 조명 반응을 살리고 싶을 때 유리하다.

Pika·PixVerse용: 숏폼 후킹과 반복 재생

Vertical 9:16 short-form product ad. Start with an eye-catching close-up of a pink smoothie swirl filling the screen. Quick cut to strawberries and ice dropping into a matte white portable blender. Add clean energetic motion, bright colors, satisfying liquid movement, and a loopable ending where the final hero shot matches the first smoothie swirl. Large readable text space at the top, product centered, no distorted logo.

Pika나 PixVerse 같은 숏폼·효과형 도구에서는 첫 장면에 결과를 먼저 보여 주는 편이 좋다. '스무디가 만들어지는 과정'보다 '맛있어 보이는 결과'가 스크롤을 멈추게 한다.

Viggle용: 캐릭터 모션 광고

Use the uploaded character image as the fixed brand character. Apply the simple upbeat motion from the reference video: two-step dance, small arm wave, and cheerful pose. Keep the character face, outfit, and body proportions consistent. Place the matte white portable blender on a small table next to the character. Do not transform the blender. Clean studio background, centered full-body framing, vertical 9:16.

Viggle용 변형은 제품 자체보다 캐릭터의 움직임을 활용한 숏폼 광고에 적합하다. 제품은 손에 들게 하기보다 테이블 위에 고정하는 편이 왜곡이 적다.

Synthesia용: 기업형 제품 소개

Presenter setup: A professional product trainer in a clean bright studio, medium shot, soft lighting, calm smile, subtle hand gestures. Product image appears on the side as a simple visual card.
Script: Meet the portable blender for busy mornings. Add fruit and ice, press one button, and enjoy a fresh smoothie anywhere. It is compact, easy to carry, and simple to clean.
Delivery: clear, professional, warm tone, accurate subtitles, natural pauses.

Synthesia용 변형은 제품 광고라기보다 설명형 소개 영상에 가깝다. 교육, 세일즈 자료, 내부 발표에 잘 맞는다.

HeyGen용: UGC 스타일 발표자 광고

Presenter setup: A friendly creator in a bright home kitchen, vertical 9:16, medium close-up, natural daylight, casual outfit, holding a smoothie cup. Subtle hand gestures and expressive smile.
Script: I use this portable blender on busy mornings. Fruit, ice, one button, and my smoothie is ready in seconds. It fits in my bag, so I can take it anywhere.
Delivery: energetic, natural, creator-style, accurate lip sync, clean captions.

HeyGen용 변형은 더 사람 중심이다. 제품의 물리적 장면보다 '누가 어떻게 말하느냐'가 중요하다.

플랫폼 변형 체크리스트

프롬프트를 다른 도구로 옮길 때는 아래 순서로 수정한다.

1. 입력 방식 확인: 텍스트만 쓰는가, 이미지나 영상을 함께 넣는가

2. 고정 요소 작성: 얼굴, 제품 형태, 로고, 의상, 캐릭터 디자인

3. 움직일 요소 작성: 카메라, 손동작, 액체, 배경, 조명, 표정

4. 도구 강점 반영: 카메라형, 모션형, 숏폼형, 발표자형 중 어디에 가까운가

5. 출력 조건 추가: 9:16, 16:9, 8 seconds, loopable ending, subtitles

6. 금지 조건 추가: no logo distortion, no extra fingers, no text glitches, no face change

가장 좋은 플랫폼별 프롬프트는 길이가 긴 프롬프트가 아니다. 도구가 잘하는 일을 중심에 놓고, 도구가 헷갈릴 부분을 미리 막아 주는 프롬프트다. 같은 아이디어라도 Runway에는 샷 설계를, Kling에는 움직임과 물리를, Luma에는 공간감과 빛을, Pika와 PixVerse에는 후킹과 효과를, Synthesia와 HeyGen에는 대본과 전달력을, Viggle에는 참조 동작과 캐릭터 고정을 강조하면 결과가 훨씬 안정된다.

참고

¹Runway 제품 소개

²HeyGen AI 립싱크 영상 생성기

³Tom's Guide AI 비디오 생성기 비교

⁴Viggle AI 대안과 모션 전이 설명

⁵Synthesia vs HeyGen 발표자 도구 비교