참조 이미지와 영상으로 퀄리티를 끌어올리는 법

텍스트보다 강한 것은 좋은 재료다

프롬프트를 아무리 잘 써도 AI가 상상해야 할 부분이 너무 많으면 결과가 흔들린다. 예를 들어 "고급스러운 화장품 광고"라고 쓰면 AI는 모델의 얼굴, 제품 디자인, 배경, 조명, 색감을 모두 추측해야 한다. 이때 결과가 매번 달라지는 것은 자연스럽다.

참조 이미지는 이 추측을 줄이는 재료다. 인물 사진을 넣으면 얼굴과 분위기를 잡아 주고, 제품 사진을 넣으면 형태와 로고를 유지하기 쉽다. 배경 사진을 넣으면 공간의 구조가 안정되고, 무드보드를 넣으면 색감과 질감이 비슷해진다.

Flow는 텍스트, 이미지, 영상 입력을 함께 사용해 장면을 만들고 수정하는 제작 환경으로 설명된다.¹ 그 안에서 Gemini Omni는 실제 자료나 생성된 자료를 참조해 영상을 만들고, 대화하듯 편집하는 흐름과 잘 맞는다. 또 Veo 3.1의 Ingredients to Video처럼 참조 이미지와 프롬프트를 결합해 영상을 만드는 기능도 함께 활용할 수 있다.² 중요한 점은 이것이다. 참조 이미지는 "자동으로 좋은 영상을 만들어 주는 마법"이 아니라, AI에게 무엇을 유지해야 하는지 알려 주는 기준점이다.

이번 장의 목표는 텍스트만 쓰는 단계에서 벗어나, 사진과 기존 영상을 이용해 더 정확한 결과를 만드는 것이다.

AI 생성 이미지

먼저 정하라: 무엇을 고정하고 무엇을 움직일 것인가

사진을 영상으로 바꿀 때 가장 먼저 할 일은 프롬프트를 쓰는 것이 아니다. 고정할 것과 움직일 것을 나누는 일이다.

고정할 것은 참조 이미지가 담당한다. 움직일 것은 프롬프트가 담당한다.

• 고정할 것: 얼굴, 제품 형태, 로고, 의상, 배경 구조, 색감, 스타일

• 움직일 것: 표정 변화, 손동작, 카메라 이동, 조명 변화, 바람, 물결, 장면 전환, 소리

예를 들어 한 장의 인물 사진으로 소개 영상을 만든다고 하자. 이때 얼굴은 고정해야 한다. 하지만 고개를 살짝 돌리고, 눈을 카메라로 맞추고, 배경 조명이 천천히 밝아지는 것은 움직여야 한다.

나쁜 요청은 이렇게 쓴다.

이 사진을 멋진 자기소개 영상으로 만들어줘.

이 문장은 너무 넓다. AI가 얼굴, 포즈, 장소, 분위기, 카메라를 모두 다시 해석한다. 대신 이렇게 나누어 쓴다.

참조 이미지의 인물 얼굴, 헤어스타일, 의상은 유지한다. 인물은 카메라를 향해 부드럽게 미소 짓고, 고개를 살짝 오른쪽으로 돌린다. 배경은 따뜻한 스튜디오 조명으로 유지하되, 카메라는 천천히 클로즈업한다. 과한 표정 변화나 얼굴 변형은 피한다.

제품 사진도 마찬가지다.

참조 이미지의 화장품 병 모양, 로고 위치, 색상은 유지한다. 제품은 젖은 검은 대리석 위에 서 있고, 물방울이 표면에 맺혀 있다. 카메라는 낮은 각도에서 천천히 제품 앞으로 다가간다. 배경에는 부드러운 골드 라이트가 흐른다. 로고가 흐려지거나 다른 글자로 바뀌지 않게 한다.

핵심은 "사진을 움직여줘"가 아니다. "사진에서 이것은 유지하고, 이것만 움직여줘"라고 말해야 한다.

여러 장의 참조 이미지는 역할을 나누어야 한다

참조 이미지를 많이 넣으면 더 좋아질 것 같지만, 꼭 그렇지는 않다. 서로 다른 스타일의 이미지를 섞으면 AI가 무엇을 기준으로 삼아야 할지 헷갈린다. 공개된 Ingredients to Video 평가 설명에서도 프롬프트와 함께 1~3장의 참조 이미지를 포함한 예시가 언급된다.² 꼭 그 숫자에 묶일 필요는 없지만, 초보자라면 처음에는 1~3장 정도의 적은 재료로 시작하는 편이 안전하다.

여러 장을 쓸 때는 각 이미지에 역할을 부여한다.

• 1번 이미지: 얼굴 또는 캐릭터 정체성

• 2번 이미지: 의상, 제품, 소품

• 3번 이미지: 배경, 색감, 스타일

예를 들어 커피 브랜드 숏폼 광고를 만든다면 이렇게 준비할 수 있다.

• 참조 이미지 A: 모델 얼굴과 표정

• 참조 이미지 B: 실제 커피 컵과 로고

• 참조 이미지 C: 따뜻한 아침 햇살이 들어오는 카페 인테리어

프롬프트는 이미지의 역할을 명확히 써야 한다.

참조 이미지 A는 모델의 얼굴과 전체 인상에만 사용한다. 참조 이미지 B는 손에 든 커피 컵의 형태, 로고, 색상에만 사용한다. 참조 이미지 C는 배경의 조명, 색감, 카페 분위기에 사용한다. 모델은 창가 자리에 앉아 커피 향을 맡고 미소 짓는다. 컵 로고는 선명하게 유지한다. 카메라는 컵에서 얼굴로 천천히 틸트업한다.

역할을 적지 않으면 문제가 생긴다. 모델 얼굴이 제품 이미지의 색감을 따라가거나, 제품 로고가 배경 이미지의 장식처럼 바뀌거나, 카페 배경이 인물 사진의 흐릿한 벽으로 대체될 수 있다.

참조 이미지를 넣을수록 프롬프트는 더 짧아져도 된다고 생각하기 쉽다. 실제로는 반대다. 이미지가 많을수록 "이 이미지는 어디에 쓰라"는 지시가 더 중요해진다.

좋은 참조 이미지를 고르는 기준

좋은 참조 이미지는 예쁜 이미지가 아니다. AI가 읽기 쉬운 이미지다.

첫째, 핵심 대상이 선명해야 한다. 얼굴을 유지하고 싶다면 정면 또는 45도 각도의 깨끗한 얼굴 사진이 좋다. 제품을 유지하고 싶다면 로고, 형태, 재질이 잘 보여야 한다. 너무 어둡거나, 일부가 잘렸거나, 필터가 강하면 결과가 흔들린다.

둘째, 한 이미지에 역할을 하나만 담는 것이 좋다. 얼굴 참조 이미지는 얼굴에 집중하고, 배경 참조 이미지는 공간에 집중한다. 한 장 안에 인물, 제품, 복잡한 배경, 강한 글자, 다른 브랜드 로고가 모두 들어 있으면 AI가 무엇을 가져와야 할지 애매해진다.

셋째, 스타일이 서로 충돌하지 않아야 한다. 실사 인물 사진, 3D 캐릭터 이미지, 수채화 배경을 한꺼번에 넣고 "자연스럽게 합쳐줘"라고 하면 왜곡이 생기기 쉽다. 의도적으로 혼합 스타일을 만들 때가 아니라면 실사는 실사끼리, 애니메이션은 애니메이션끼리 맞추는 편이 안정적이다.

넷째, 텍스트가 많은 이미지는 피한다. AI 영상 생성 과정에서 글자는 흔들리거나 다른 문자처럼 바뀌기 쉽다. 제품 로고처럼 반드시 필요한 글자는 제품 참조 이미지 한 장에만 깔끔하게 들어가게 하고, 프롬프트에 "로고 형태와 위치 유지"를 적는다.

다섯째, 너무 많은 것을 고정하려 하지 않는다. 얼굴도 완벽히 같고, 의상도 같고, 배경도 같고, 조명도 같고, 손동작도 정확히 같아야 한다고 요구하면 움직임이 어색해질 수 있다. 처음에는 얼굴과 제품처럼 중요한 것 두세 개만 고정한다.

사진 한 장을 영상으로 바꾸는 기본 루틴

초보자는 다음 순서로 시작하면 좋다.

1. 가장 중요한 참조 이미지 한 장을 고른다.

2. 유지할 요소를 세 개 이하로 적는다.

3. 움직일 요소를 하나만 정한다.

4. 카메라 움직임을 작게 넣는다.

5. 실패하면 유지 요소와 움직임 중 하나만 수정한다.

예를 들어 여행 사진을 무드 영상으로 바꾸고 싶다면 이렇게 쓴다.

참조 이미지의 바닷가 절벽, 노을빛, 하늘 색감은 유지한다. 장면은 6초 길이의 여행 무드 영상이다. 바람에 풀이 천천히 흔들리고, 파도가 아래에서 부드럽게 움직인다. 카메라는 절벽 위에서 바다 쪽으로 아주 천천히 밀고 들어간다. 따뜻한 오렌지 톤, 잔잔한 파도 소리, 약한 바람 소리를 포함한다. 새로운 건물이나 사람이 추가되지 않게 한다.

이 프롬프트는 복잡하지 않다. 하지만 유지할 것과 움직일 것이 분명하다. 절벽과 노을은 고정한다. 풀, 파도, 카메라만 움직인다. 이렇게 시작해야 결과를 판단하기 쉽다.

실패했을 때도 수정이 간단하다.

• 문제가 얼굴 변형이라면: "얼굴 구조와 눈, 코, 입 비율을 참조 이미지에 더 가깝게 유지한다."

• 문제가 제품 변형이라면: "제품 병의 실루엣과 로고 위치를 바꾸지 않는다."

• 문제가 배경 변경이라면: "참조 이미지의 공간 구조를 유지하고 새로운 가구를 추가하지 않는다."

• 문제가 움직임 과다라면: "카메라는 거의 고정하고 피사체의 작은 움직임만 남긴다."

처음부터 화려한 움직임을 넣지 말자. 참조 기반 영상은 "정확도"를 먼저 잡고, 그다음 "연출"을 올리는 순서가 좋다.

기존 영상을 대화하듯 고치는 흐름

참조 자료는 이미지뿐 아니라 기존 영상도 될 수 있다. Flow는 실제 또는 생성된 입력 자료를 바탕으로 영상을 만들고, 자연어로 반복 수정하는 흐름을 강조한다.¹ 즉, 한 번 만든 결과를 버리지 않고 "이 컷에서 배경만 바꿔줘", "조명만 더 따뜻하게 해줘"처럼 고칠 수 있다.

기존 영상을 편집할 때도 원리는 같다. 유지할 것과 바꿀 것을 나눈다.

배경 변경 예시:

기존 영상의 인물 동작, 얼굴, 카메라 움직임은 유지한다. 배경만 현대적인 흰색 스튜디오로 바꾼다. 바닥에는 부드러운 그림자가 생기게 하고, 인물 주변 가장자리가 어색하게 잘리지 않게 한다.

흔들림 보정 예시:

기존 영상의 장면 구성과 인물 행동은 유지한다. 카메라 흔들림을 줄이고, 부드러운 짐벌 촬영처럼 안정적으로 보이게 한다. 움직임의 속도는 유지하되 프레임 떨림만 줄인다.

조명 조정 예시:

기존 영상의 배경과 인물 위치는 유지한다. 전체 조명을 늦은 오후의 따뜻한 햇살처럼 바꾼다. 얼굴의 그림자는 너무 진하지 않게 하고, 피부 톤은 자연스럽게 유지한다.

스타일 변환 예시:

기존 영상의 동작과 구도는 유지한다. 스타일만 1990년대 필름 카메라로 촬영한 듯한 질감으로 바꾼다. 약한 필름 그레인, 부드러운 대비, 따뜻한 색감을 적용한다. 얼굴 형태와 제품 로고는 바꾸지 않는다.

여기서 주의할 점은 "전부 더 좋게 만들어줘"라고 말하지 않는 것이다. AI는 무엇을 좋게 해야 하는지 모른다. 배경인지, 흔들림인지, 조명인지, 색감인지 따로 말해야 한다.

참조 자료가 많을수록 왜곡이 늘어나는 이유

참조 이미지가 너무 많거나 서로 다른 방향을 가리키면 결과가 이상해진다. 이를 "AI가 실수했다"고만 보기보다, 재료가 충돌했다고 보는 편이 정확하다.

가장 흔한 충돌은 네 가지다.

첫째, 얼굴 충돌이다. 서로 다른 얼굴 사진을 여러 장 넣으면 눈매, 턱선, 나이가 섞인다. 같은 인물이라도 조명과 각도가 너무 다르면 다른 사람처럼 보일 수 있다.

둘째, 스타일 충돌이다. 한 이미지는 고급 광고 사진이고, 다른 이미지는 스마트폰 일상 사진이고, 또 다른 이미지는 일러스트라면 영상의 질감이 흔들린다.

셋째, 배경 충돌이다. 실내 스튜디오와 야외 해변을 동시에 참조로 넣고 명확한 지시를 하지 않으면 공간이 어색하게 섞인다.

넷째, 정보 과부하다. 제품, 모델, 배경, 로고, 의상, 색감, 카메라 스타일을 모두 다른 이미지에서 가져오라고 하면 AI가 우선순위를 정하기 어렵다.

선별 기준은 간단하다.

• 얼굴이 중요하면 얼굴 참조 1장을 가장 우선한다.

• 제품이 중요하면 제품 단독 컷을 반드시 넣는다.

• 배경은 인물이나 제품보다 후순위로 둔다.

• 색감은 이미지보다 프롬프트로 설명해도 된다.

• 서로 다른 스타일 이미지는 한 프로젝트 안에서 섞지 않는다.

참조 자료를 줄이는 것은 퀄리티를 포기하는 일이 아니다. 오히려 AI가 따라야 할 기준을 선명하게 만드는 일이다.

실전 예시 1: 제품 광고 영상

목표는 "제품이 안 바뀌는 것"이다. 제품 광고에서 가장 중요한 것은 제품의 형태, 색상, 로고다. 배경이 멋져도 제품이 달라 보이면 실패다.

준비 자료:

• 제품 단독 사진 1장

• 원하는 배경 또는 무드 이미지 1장

• 필요하면 브랜드 컬러가 보이는 이미지 1장

프롬프트:

참조 이미지 A의 제품 병 모양, 뚜껑, 로고 위치, 색상을 유지한다. 참조 이미지 B는 배경의 고급스러운 어두운 스튜디오 분위기에만 사용한다. 제품은 젖은 검은 대리석 위에 놓여 있고, 작은 물방울이 표면에 맺혀 있다. 카메라는 낮은 각도에서 제품을 향해 천천히 push in 한다. 골드 림라이트가 제품 가장자리를 비춘다. 로고가 흐려지거나 다른 글자로 바뀌지 않게 한다.

실패 수정:

제품의 실루엣이 바뀌었다. 참조 이미지 A의 병 높이, 곡선, 뚜껑 비율을 더 강하게 유지한다. 배경 연출은 단순하게 줄이고 제품 중심 클로즈업으로 다시 생성한다.

실전 예시 2: 인물 소개 영상

목표는 "같은 사람처럼 보이는 것"이다. 화려한 배경보다 얼굴 안정성이 우선이다.

준비 자료:

• 얼굴이 선명한 인물 사진 1장

• 의상 참고 사진 1장 또는 같은 사진 사용

• 배경 무드 이미지 1장

프롬프트:

참조 이미지 A의 인물 얼굴, 헤어스타일, 전체 인상을 유지한다. 의상은 깔끔한 검은 재킷으로 유지한다. 참조 이미지 B는 배경의 따뜻한 사무실 분위기에만 사용한다. 인물은 카메라를 바라보다가 부드럽게 미소 짓는다. 카메라는 가슴 위 클로즈업에서 아주 천천히 다가간다. 얼굴 비율이 변하지 않게 하고, 과한 표정 변화는 피한다.

실패 수정:

인물이 다른 사람처럼 보인다. 배경과 카메라 움직임보다 얼굴 일관성을 우선한다. 눈매, 코, 입, 턱선이 참조 이미지 A와 더 비슷하게 유지되도록 하고, 표정 변화는 더 작게 만든다.

실전 예시 3: 여행 무드 영상

목표는 "장소의 감정"을 살리는 것이다. 여행 영상은 특정 사물보다 빛, 공기, 움직임이 중요하다.

준비 자료:

• 실제 여행지 사진 1장

• 원하는 색감의 무드 이미지 1장

• 필요하면 인물 뒷모습 사진 1장

프롬프트:

참조 이미지 A의 해변, 절벽, 노을 하늘 구조를 유지한다. 참조 이미지 B는 따뜻하고 잔잔한 색감에만 사용한다. 장면은 7초 길이의 세로형 여행 숏폼 영상이다. 바람에 머리카락과 옷자락이 살짝 흔들리고, 파도가 천천히 밀려온다. 카메라는 인물 뒤에서 바다를 향해 부드럽게 이동한다. 잔잔한 파도 소리와 약한 바람 소리를 포함한다. 새로운 건물이나 많은 사람은 추가하지 않는다.

Veo 3.1 관련 소개에서는 Ingredients to Video의 세로형 9:16 출력과 1080p·4K 업스케일 같은 흐름도 함께 언급된다.³ 다만 이런 출력 옵션은 사용하는 제품, 요금제, 지역에 따라 다를 수 있다. 여행 숏폼처럼 모바일에서 먼저 소비되는 영상은 가능하다면 처음부터 9:16으로 기획하는 편이 좋다.

초보자용 참조 자료 체크리스트

생성 버튼을 누르기 전에 아래 질문에 답해 보자.

• 이 영상에서 가장 중요한 것은 얼굴인가, 제품인가, 배경인가, 스타일인가?

• 참조 이미지마다 역할이 하나씩 정해져 있는가?

• 서로 다른 스타일의 이미지를 억지로 섞고 있지는 않은가?

• 반드시 유지할 요소를 세 개 이하로 줄였는가?

• 움직일 요소는 한두 개로 제한했는가?

• 로고나 글자가 필요하다면 선명한 단독 이미지가 있는가?

• 실패했을 때 무엇을 유지하고 무엇을 바꿀지 다시 말할 수 있는가?

참조 이미지는 고퀄리티 영상의 출발점이다. 좋은 프롬프트는 좋은 재료를 만나야 힘을 낸다. 초보자는 프롬프트를 길게 쓰기보다, AI가 헷갈리지 않을 재료를 고르고 역할을 분명히 나누는 연습부터 해야 한다. 그러면 결과물은 훨씬 안정적으로 변한다.

바로 복사해 쓰는 참조 기반 프롬프트 블록

참조 이미지 A는 [얼굴/캐릭터/제품]의 정체성을 유지하는 데 사용한다. 참조 이미지 B는 [배경/공간]에만 사용한다. 참조 이미지 C는 [색감/조명/스타일]에만 사용한다. 영상에서 반드시 유지할 요소는 [유지 요소 1], [유지 요소 2], [유지 요소 3]이다. 움직일 요소는 [행동], [카메라 움직임], [환경 변화]이다. [시간]초 길이의 [화면 비율] 영상으로 만든다. [원하지 않는 변형]은 피한다.

예시:

참조 이미지 A는 모델의 얼굴과 헤어스타일을 유지하는 데 사용한다. 참조 이미지 B는 손에 든 향수병의 형태와 로고에만 사용한다. 참조 이미지 C는 어두운 고급 호텔 라운지의 조명과 색감에만 사용한다. 모델은 향수병을 천천히 들어 올리고 카메라는 병에서 얼굴로 부드럽게 이동한다. 얼굴 변형, 로고 왜곡, 과도한 배경 변화는 피한다.

이 블록을 사용할 때는 빈칸을 많이 채우려 하지 말자. 중요한 것만 정확히 넣으면 된다. 참조 기반 영상의 기본은 단순하다. 적은 재료, 분명한 역할, 작은 움직임. 이 세 가지가 고퀄리티의 시작이다.

참고

²Veo 3.1 — Google DeepMind

³Veo 3.1 Ingredients to Video: More consistency, creativity and control