책에 포함된 노트AI를 잘 쓰는 법: 프롬프트를 넘어 컨텍스트·워크플로·에이전트까지

11부 63장. 텍스트, 이미지, 영상, 음악을 연결한 워크플로

2026-04-24Views 54약 10분생성형 AI 활용

11부 63장. 텍스트, 이미지, 영상, 음악을 연결한 워크플로

멀티모달 시대의 가장 큰 변화는, 이제 텍스트는 글만 만들고 이미지는 그림만 만들고 영상은 영상만 만드는 식으로 따로 놀지 않는다는 점이다. 한마디로 말해, 작업이 "파일의 종류" 중심에서 "의도와 흐름" 중심으로 바뀌고 있다.

예전에는 글을 쓰고, 그다음에 디자이너처럼 이미지를 붙이고, 그다음에 편집자처럼 영상을 만들고, 마지막에 배경음악을 따로 찾았다. 단계는 많았고, 맥락은 중간중간 자주 끊겼다. 그런데 멀티모달 AI는 이 끊긴 손목을 다시 이어 붙인다. 하나의 브리프에서 글, 장면, 화면 구성, 내레이션, 음악 분위기까지 연결해 생각할 수 있게 만든다.¹²

이 장의 핵심은 간단하다. 여러 모델을 "여러 개 써 보는 것"에서 끝내지 말고, 그것들을 "하나의 창작 시스템"으로 묶어야 한다는 것이다.

11부 63장. 텍스트, 이미지, 영상, 음악을 연결한 워크플로

멀티모달 작업은 왜 자꾸 산만해지는가

많은 사람이 멀티모달 AI를 쓸 때 이런 식으로 일한다. 먼저 텍스트 모델로 아이디어를 뽑고, 이미지 모델로 썸네일을 만들고, 영상 모델로 클립을 만들고, 음악 모델로 배경음을 붙인다. 얼핏 보면 최신식이다. 하지만 실제로는 따로 만든 조각들을 억지로 맞추는 경우가 많다.

문제는 도구가 많아서가 아니다. 기준이 하나가 아니기 때문이다.

텍스트는 "차분한 설명형"인데 이미지는 "과장된 광고형"이고, 영상은 "시네마틱 감성"인데 음악은 "가벼운 브이로그풍"이면 결과물은 금방 어색해진다. 각각은 그럴듯한데 함께 놓으면 한 팀이 만든 것 같지 않다. 밴드로 치면 기타, 드럼, 보컬이 모두 실력은 좋은데 같은 곡을 연주하지 않는 상태다.

그래서 멀티모달 워크플로의 첫 번째 원칙은 모델 선택이 아니라 단일한 원본 맥락, 즉 하나의 기준 문서를 만드는 것이다. 멀티모달 작업은 결국 "무엇을 만들 것인가"보다 "모든 산출물이 무엇을 공유해야 하는가"에서 품질이 갈린다.

먼저 만들어야 할 것은 콘텐츠가 아니라 브리프다

텍스트, 이미지, 영상, 음악을 연결하려면 시작점이 필요하다. 그 시작점은 프롬프트 한 줄이 아니라 브리프다. 브리프는 창작의 설계도이자 모든 모달리티가 공유할 공통 기억이다.

좋은 브리프에는 적어도 다음 요소가 들어간다.

목적: 무엇을 만들고 왜 만드는가
대상: 누가 보고 듣는가
핵심 메시지: 보고 나서 무엇을 느끼거나 이해해야 하는가
톤 앤 매너: 차분함, 유머, 프리미엄, 친근함 같은 전체 분위기
시각 기준: 색감, 구도, 인물 스타일, 브랜드 요소
음향 기준: 음악 장르, 템포, 악기 느낌, 긴장도
출력 기준: 길이, 비율, 플랫폼, 파일 형식

이 브리프가 중요한 이유는, 이후의 모든 단계가 여기서 파생되기 때문이다. 텍스트 초안도 브리프에서 나오고, 이미지 프롬프트도 브리프에서 나오고, 영상 샷리스트와 음악 방향도 같은 기준에서 나온다. 이렇게 해야 결과물이 "모양은 다른데 같은 작품"이 된다.

멀티모달 모델의 진짜 가치도 여기서 드러난다. 입력과 출력의 형식이 다양하다는 것보다, 서로 다른 형식 사이의 관계를 하나의 맥락 안에서 이어 줄 수 있다는 점이 더 중요하다.³⁴

워크플로의 기본 구조: 원본에서 파생본으로

멀티모달 작업을 안정적으로 만들려면, 매번 즉흥적으로 생성하지 말고 흐름을 고정해야 한다. 가장 실전적인 구조는 다음과 같다.

1. 원본 브리프 만들기

한 문장짜리 아이디어를 작업 가능한 설계 문서로 바꾼다. 이 단계에서 메시지, 타깃, 길이, 스타일, 금지 요소를 정리한다.

2. 텍스트 마스터 만들기

브리프를 바탕으로 핵심 카피, 설명 문장, 내레이션 초안, 장면 설명을 만든다. 여기서 텍스트는 단순한 결과물이 아니라 다른 모달리티를 생성하기 위한 씨앗 역할을 한다.

3. 시각 자산 만들기

텍스트 마스터에서 장면별 이미지 프롬프트를 뽑아 스타일 프레임, 키비주얼, 캐릭터 레퍼런스, 화면 요소를 만든다. 이미지는 영상의 콘티이자 분위기 가이드가 된다.

4. 영상 구조 만들기

텍스트와 이미지를 바탕으로 샷리스트, 씬 순서, 카메라 움직임, 전환, 길이를 정한다. 영상 모델을 쓰더라도 먼저 구조를 잡아야 결과가 흔들리지 않는다.

5. 음악과 음성 붙이기

내레이션 톤, 효과음 위치, 배경음악의 역할을 정한다. 음악은 마지막 장식이 아니라 리듬과 감정선을 잡는 도구다.

6. 조립하고 검수하기

텍스트, 이미지, 영상, 음악이 한 메시지를 향하는지 확인한다. 이때는 각 요소의 품질보다 요소 사이의 일관성을 본다.

이 구조의 장점은 간단하다. 나중에 수정이 생겨도 어디를 고쳐야 하는지 분명해진다. 메시지가 바뀌면 브리프와 텍스트 마스터를 고치고, 분위기가 바뀌면 시각 기준과 음악 기준을 고치면 된다. 반대로 이 구조가 없으면 수정할 때마다 모든 자산을 처음부터 다시 만들게 된다.

텍스트는 시작점이자 제어판이다

멀티모달 작업에서 텍스트는 여전히 중요하다. 하지만 이제 텍스트는 최종 결과물만이 아니라, 전체 생산 흐름을 제어하는 운영 언어가 된다.

예를 들어 "친환경 세제를 소개하는 30초 광고"를 만든다고 해 보자. 텍스트는 먼저 핵심 메시지를 만든다. "강한 세정력, 낮은 자극, 일상에 자연스럽게 스며드는 선택." 이 문장은 곧바로 다른 자산의 기준이 된다.

이미지에는 밝은 자연광, 깨끗한 주방, 과장되지 않은 생활감이 필요해진다. 영상에는 빠른 액션보다 부드러운 전환과 손동작 중심의 컷이 어울린다. 음악은 무거운 비트보다 가벼운 어쿠스틱이나 미니멀한 팝이 맞는다. 내레이션 속도도 조급하면 안 된다.

즉, 텍스트는 단순히 "설명문"이 아니라 전체 작업의 좌표계다.

그래서 실전에서는 텍스트를 여러 층으로 나누면 좋다.

한 줄 콘셉트: 작품의 핵심 한 문장
메시지 문장: 꼭 전달해야 할 주장
장면 문장: 씬별로 무엇이 보여야 하는지 설명
음향 문장: 어떤 감정 리듬이 필요한지 설명
변환 문장: 플랫폼별 길이와 형식에 맞춘 변형 규칙

이렇게 해 두면 모델이 달라져도 작업 흐름은 유지된다. 도구를 바꿔도 시스템이 무너지지 않는 이유다.

이미지가 들어오면 영상이 쉬워진다

영상 작업이 어려운 이유는 움직임 자체보다, 움직이기 전에 장면을 먼저 상상해야 하기 때문이다. 그래서 이미지가 영상 워크플로에서 중요한 중간 다리 역할을 한다.

이미지는 세 가지 일을 해 준다.

첫째, 스타일을 고정한다. "세련된 미래 도시"라고 말하는 것보다, 그 분위기를 담은 키프레임 몇 장이 있으면 훨씬 흔들림이 적다.

둘째, 장면을 압축한다. 영상은 시간축을 갖지만 이미지는 한 장으로 장면의 핵심을 묶어 준다. 어떤 오브젝트가 중심이고, 조명이 어떤지, 감정이 어떤지 한눈에 정리된다.

셋째, 모델 간 손실을 줄인다. 텍스트만으로 영상 프롬프트를 길게 쓰면 의도가 흩어지기 쉽다. 반면 이미지 레퍼런스를 함께 주면 영상 모델은 시작점이 분명해진다.

실제로 멀티모달 시스템은 텍스트와 이미지, 오디오, 비디오를 함께 받아 하나의 파이프라인으로 처리할수록 중간 변환과 맥락 손실을 줄일 수 있다.¹⁵ 그래서 텍스트 → 이미지 → 영상의 흐름은 귀찮은 우회로가 아니라, 품질을 안정시키는 준비 운동에 가깝다.

영상과 음악은 따로 만들지 말고 감정선으로 묶어라

많은 초보자가 음악을 마지막에 붙인다. 하지만 그렇게 하면 음악은 배경이 되고, 영상은 장면의 나열이 된다. 좋은 멀티모달 워크플로에서는 영상과 음악이 같은 감정선을 따라 움직인다.

예를 들어 설명형 콘텐츠라면, 장면 변화의 리듬과 내레이션의 호흡, 음악의 비트가 서로 싸우지 않아야 한다. 반대로 광고형 콘텐츠라면 후반부의 강조 지점에서 컷 전환, 자막 크기, 사운드의 밀도가 함께 올라가야 한다.

여기서 중요한 질문은 "무슨 음악을 넣을까?"가 아니다. "이 장면에서 시청자의 감정은 어떻게 이동해야 할까?"다.

이 질문에 답하면 음악 지시는 훨씬 쉬워진다. 예를 들어 이런 식이다.

도입 5초: 호기심, 가벼운 긴장
중간 15초: 신뢰, 이해, 몰입
마지막 10초: 확신, 기억, 행동 유도

이 감정선을 먼저 정해 두면, 음악 생성 모델이든 라이브러리 검색이든 선택 기준이 분명해진다. 내레이션 톤도 함께 맞출 수 있다. 결국 음향은 영상 뒤에 붙는 장식이 아니라, 시간을 설계하는 장치다.

가장 실용적인 멀티모달 워크플로 예시

이제 실제로 한 편의 짧은 콘텐츠를 만든다고 생각해 보자. 예시는 "신제품 런칭용 45초 소개 영상"이다.

단계 1: 브리프 작성

제품의 핵심 가치, 타깃 고객, 전달해야 할 감정, 금지 표현, 사용 플랫폼을 먼저 정리한다. 이 단계에서 "고급스럽지만 과장되지 않게" 같은 말은 너무 추상적이므로, 가능하면 시각 예시와 음악 예시까지 붙인다.

단계 2: 텍스트 마스터 생성

AI에게 제품 설명문, 핵심 카피, 씬별 내레이션, 화면 자막 초안을 만들게 한다. 이때 한 번에 완성하려 하지 말고, 먼저 메시지 구조를 잡고 나서 문장을 다듬는다.

단계 3: 이미지 스타일프레임 제작

각 씬의 핵심 장면을 이미지로 만든다. 제품 클로즈업, 사용 장면, 비교 장면, 엔딩 장면처럼 영상의 뼈대가 되는 컷부터 만든다. 이 이미지는 이후 영상 생성 프롬프트와 편집 기준의 참조점이 된다.

단계 4: 영상 샷리스트 확정

이미지와 텍스트를 바탕으로 컷 순서, 길이, 카메라 움직임, 전환 방식을 정한다. "첫 장면은 천천히 접근, 두 번째는 손동작 중심, 세 번째는 비교 오버레이"처럼 시간축으로 풀어쓴다.

단계 5: 내레이션과 음악 설계

텍스트 마스터에서 내레이션 최종본을 만든 뒤, 음성 톤과 속도를 정한다. 동시에 음악은 장면의 감정선과 맞춰 초반, 중반, 후반의 밀도를 설계한다. 필요하면 먼저 내레이션을 만든 후 그 길이에 맞게 음악을 다듬는다.

단계 6: 조립과 일관성 검수

완성된 자산을 한데 모아 본다. 이때 중요한 질문은 "각 요소가 좋은가?"보다 "서로 같은 이야기를 하는가?"다. 자막은 친근한데 음악은 지나치게 장엄하지 않은지, 영상은 미니멀한데 내레이션은 과도하게 과장되지 않은지 확인한다.

이런 방식으로 작업하면 AI는 도구 묶음이 아니라 제작 파이프라인이 된다. 실제 멀티모달 시스템 설계에서도 원본 입력을 라우팅하고, 필요한 형태로 변환한 뒤, 구조화된 출력과 검증 단계를 거치는 흐름이 중요하게 다뤄진다.⁶⁷

한 모델로 다 할 것인가, 여러 모델을 엮을 것인가

실무에서는 늘 이 질문이 나온다. 멀티모달 모델 하나로 끝내는 것이 좋을까, 아니면 텍스트·이미지·영상·음악에 각각 강한 모델을 조합하는 것이 좋을까.

답은 작업 목적에 따라 다르다.

하나의 모델 또는 한 서비스 안에서 가능한 한 많이 처리하면 맥락 유지가 쉽다. 대화 하나 안에서 이미지 분석, 문서 이해, 초안 작성까지 이어질 수 있기 때문이다. 최근 멀티모달 모델이 각 형식을 한 파이프라인에서 다루는 방향으로 발전하는 것도 이 장점 때문이다.²³

하지만 실제 제작에서는 여전히 특화 도구가 강한 영역이 있다. 이미지 생성은 강하지만 영상 제어는 약한 모델도 있고, 텍스트 추론은 뛰어나지만 오디오나 비디오 입력은 제한적인 모델도 있다.²⁵ 그래서 실전 감각은 이렇다.

처음 설계와 큰 방향 정리는 가능한 한 한곳에서 한다. 그리고 품질이 중요한 세부 생성은 특화 도구로 보낸다. 마지막에는 다시 공통 브리프를 기준으로 통합 검수한다.

즉, "올인원 대 특화 조합"의 싸움이 아니다. 더 중요한 것은 한 개의 창작 기준으로 여러 엔진을 운전할 수 있느냐다.

워크플로를 망치는 흔한 실수

멀티모달 작업이 잘 안 풀릴 때는 대개 생성 능력보다 연결 설계가 부족한 경우가 많다. 특히 다음 실수는 자주 보인다.

브리프 없이 바로 생성부터 시작한다.
텍스트, 이미지, 영상, 음악에 서로 다른 톤을 준다.
장면별 기준 없이 영상부터 길게 뽑는다.
이미지 레퍼런스 없이 영상 품질만 탓한다.
내레이션과 음악을 마지막 장식처럼 붙인다.
수정 기준이 없어 매번 처음부터 다시 만든다.

이 문제를 피하려면 "산출물 중심"에서 "상태 중심"으로 사고를 바꾸면 된다. 지금 내가 갖고 있어야 할 것은 완성본이 아니라, 브리프인지, 텍스트 마스터인지, 스타일프레임인지, 샷리스트인지, 검수표인지 생각하는 것이다. 상태가 분명하면 수정도 빨라지고 협업도 쉬워진다.

나만의 창작 시스템으로 묶는 법

이제 마지막 퍼즐을 맞춰 보자. 멀티모달 AI를 잘 쓰는 사람은 좋은 프롬프트를 많이 아는 사람이 아니다. 자산이 흩어지지 않게 흐름을 설계하는 사람이다.

가장 간단한 시스템은 다음처럼 만들 수 있다.

하나는 원본 저장소다. 브리프, 핵심 메시지, 금지 요소, 브랜드 기준, 참고 링크를 한곳에 모아 둔다.

둘째는 파생 규칙이다. 텍스트에서 어떤 문장이 이미지 프롬프트로 바뀌는지, 이미지에서 어떤 정보가 영상 샷리스트로 넘어가는지, 영상에서 어떤 감정선이 음악 지시로 번역되는지 정해 둔다.

셋째는 검수 루프다. 생성이 끝날 때마다 "메시지 일치", "시각 일치", "리듬 일치", "플랫폼 적합성"을 확인한다. 엔터프라이즈용 멀티모달 파이프라인에서도 구조화된 출력, 스키마 검증, 신뢰도 점수, 사람 검토 단계를 두는 이유가 여기에 있다.⁶⁷⁸

넷째는 재사용 자산이다. 잘 나온 브리프, 장면 템플릿, 음악 지시문, 검수표를 계속 축적한다. 그러면 다음 작업은 매번 처음이 아니라, 이전 시스템의 다음 버전이 된다.

이렇게 되면 비로소 텍스트, 이미지, 영상, 음악이 따로 있는 것이 아니라 하나의 창작 공정 안에서 역할을 나눠 갖게 된다.

결국 중요한 것은 연결이다

멀티모달 시대의 생산성은 버튼 수에서 나오지 않는다. 얼마나 많은 모델을 아느냐에서도 나오지 않는다. 핵심은 연결이다.

텍스트는 방향을 만들고, 이미지는 분위기를 고정하고, 영상은 시간을 설계하고, 음악은 감정을 밀어 준다. 이 네 가지를 따로 다루면 결과는 조각난다. 하지만 하나의 브리프, 하나의 메시지, 하나의 검수 기준으로 묶으면 AI는 여러 기능의 집합이 아니라 하나의 창작 시스템이 된다.

좋은 멀티모달 워크플로는 결국 이런 질문으로 요약된다.

"이 자산들은 각각 잘 만들어졌는가?"

여기서 한 걸음 더 나아가야 한다.

"이 자산들은 함께 있을 때 하나의 작품이 되는가?"

그 질문에 "그렇다"라고 답할 수 있을 때, 비로소 우리는 멀티모달 AI를 쓴 것이 아니라 멀티모달 시스템을 갖게 된다.