12장. LTX-2로 오디오 동기화 영상 만들기

영상 생성에서 많은 사람이 아직도 이렇게 생각합니다. 먼저 영상을 만들고, 그다음 음성을 입히고, 마지막에 효과음을 덧씌우는 식으로요. 이 방식은 익숙하지만, 장면이 길어질수록 어색함이 쌓입니다. 입 모양은 조금 늦고, 박자는 살짝 빗나가고, 화면은 멋진데 소리는 다른 방에서 재생되는 느낌이 납니다.

LTX-2 계열이 흥미로운 이유는 바로 여기 있습니다. 이 모델은 영상과 오디오를 "나중에 결혼시키는" 방식이 아니라, 처음부터 한 집에 살게 만드는 쪽에 가깝습니다. 움직임, 대사, 배경음, 음악을 하나의 생성 과정 안에서 함께 다루기 때문입니다.¹ ComfyUI에서 이 특성을 제대로 쓰기 시작하면, 영상 파이프라인의 사고방식 자체가 달라집니다. 이제 중요한 것은 컷 하나를 예쁘게 뽑는 일이 아니라, 장면의 시간축과 소리축을 함께 설계하는 일입니다.

2026년 기준으로는 LTX-2.3 계열까지 포함한 최신 워크플로우가 ComfyUI에 네이티브로 들어와 있고, 디테일, 오디오 품질, 세로형 영상, 텍스트 이해, 이미지-투-비디오 안정성도 크게 좋아졌습니다.⁴ 이 장에서는 그 흐름을 기준으로, 실무자가 바로 써먹을 수 있는 방식으로 LTX-2의 멀티모달 워크플로우를 정리하겠습니다.

12.1 LTX-2의 차별점 — 음성·음향·영상 단일 패스 생성

LTX-2를 한 문장으로 설명하면, 소리가 붙는 비디오 모델이 아니라 소리까지 포함한 장면 모델입니다. 공식 문서도 LTX-2를 모션, 대사, 효과음, 음악을 하나의 패스로 함께 생성하는 오디오-비디오 파운데이션 모델로 설명합니다.¹ 이 차이는 생각보다 큽니다.

보통의 영상 생성 워크플로우에서는 화면과 소리를 따로 다룹니다. 먼저 영상 모델로 움직임을 만들고, 그 위에 TTS나 음악 생성 모델을 얹고, 마지막에 편집기에서 싱크를 손봅니다. 이 접근은 모듈식이라 유연하지만, 반대로 말하면 맞춰야 할 것이 너무 많습니다. 입술과 음절, 카메라 리듬과 음악 박자, 효과음과 동작 충돌까지 전부 사람이 붙잡아야 합니다.

반면 LTX-2는 출발점이 다릅니다. 장면의 의미를 한 번에 해석하고, 그 결과로 영상과 오디오를 함께 뽑습니다.¹ 그래서 토킹 헤드, 간단한 내레이션 컷, 리듬이 중요한 뮤직 비주얼, 짧은 광고 시안 같은 분야에서 유난히 빠르게 결과를 확인할 수 있습니다. 10장에서 이야기했듯이 Wan 2.2가 카메라 언어와 묵직한 모션 쪽에 강하다면, LTX-2는 오디오까지 포함한 빠른 시안 제작에서 특히 빛납니다.

ComfyUI 관점에서도 장점이 분명합니다. LTX-2와 LTX-2.3은 템플릿과 네이티브 지원 경로가 잘 정리되어 있어서, 최신 ComfyUI만 준비되어 있으면 Template Library에서 바로 시작할 수 있습니다.¹²⁴ 여기에 공식 LTXVideo 노드 팩을 더하면 로더, 샘플러, 컨디셔닝, 업스케일, IC-LoRA 제어까지 한 흐름으로 이어집니다.²⁵

실무 감각으로 보면 LTX-2의 차별점은 세 가지로 압축됩니다.

• 장면과 소리를 한 번에 설계할 수 있다.

• 빠른 반복 속도로 시안 검증 비용을 낮춘다.

• 텍스트, 이미지, 구조 컨트롤, 업스케일을 하나의 그래프 안에 묶기 쉽다.¹²⁵

이 모델을 잘 다루려면 프롬프트 방식도 조금 바꿔야 합니다. LTX 쪽 공식 가이드는 짧은 키워드 나열보다 시간 순서가 보이는 하나의 흐르는 문단을 권합니다. 무엇이 먼저 일어나고, 누가 어떻게 움직이며, 카메라가 어떻게 반응하고, 어떤 소리가 들리는지를 직설적으로 적는 편이 좋습니다. 프롬프트 길이는 대체로 200단어 이내가 안정적입니다.¹

예를 들어 이런 식입니다.

A barista stands behind a small cafe counter and smiles at the camera. She lifts a cup, steam rises softly, and she says, "Fresh espresso for you." A quiet jazz piano plays in the background, cups clink lightly, and the camera slowly moves closer under warm morning light.

좋은 프롬프트의 핵심은 영어를 멋있게 쓰는 데 있지 않습니다. 장면의 시간 순서와 소리의 역할을 함께 적는 것이 핵심입니다. 누가 말하는지, 주변 소리가 무엇인지, 카메라가 다가가는지 멈춰 있는지까지 한 문맥으로 적어야 모델이 덜 헷갈립니다.

프로덕션 관점에서는 이 점을 꼭 기억하면 좋습니다. LTX-2에서 오디오는 후반 작업용 장식이 아니라, 처음부터 샷 설계의 일부입니다. 즉, 프롬프트를 쓸 때부터 화면팀과 사운드팀이 같은 문장을 보고 있다고 생각하면 됩니다.

12.2 T2V, I2V, Depth-to-Video, Pose-to-Video, Canny-to-Video 5가지 경로

LTX-2를 실전에 붙일 때는 "어떤 모델인가?"보다 "어떤 입력 경로로 장면을 붙잡을 것인가?"가 더 중요합니다. 공식 예제와 LTXVideo 워크플로우 기준으로 보면, LTX-2 계열은 크게 다섯 가지 경로를 중심으로 이해하면 편합니다. Text-to-Video와 Image-to-Video가 기본 축이고, Depth, Pose, Canny 같은 구조 제어는 IC-LoRA 기반 경로로 붙습니다.¹⁵

먼저 T2V는 가장 순수한 출발점입니다. 아무 입력 자료가 없을 때, 텍스트만으로 장면과 소리를 동시에 설계합니다. 이 방식은 아이디어 탐색 속도가 빠르고, "대사가 있는 짧은 컷이 되는가?"를 빨리 확인하기 좋습니다. 대신 자유도가 높은 만큼, 시드와 프롬프트를 제대로 관리하지 않으면 결과가 출렁이기 쉽습니다. 처음에는 저해상도와 짧은 길이로 시작하고, 샷이 맞기 시작하면 그때 길이와 화질을 올리는 편이 안전합니다.²

I2V는 정지 이미지를 출발점으로 삼습니다. 포스터, 제품 컷, 캐릭터 컨셉아트, 촬영 레퍼런스를 넣고 여기에 움직임과 오디오를 얹는 방식입니다. 실무에서는 이 경로가 특히 유용합니다. 이미 고객이 승인한 비주얼을 살리면서, 머리카락 흔들림, 시선 이동, 카메라 푸시인, 배경 환경음 같은 요소를 붙일 수 있기 때문입니다. LTX-2.3은 특히 이미지-투-비디오의 안정성이 좋아졌다고 공식 문서가 강조합니다.⁴

Depth-to-Video는 공간 구조를 붙잡고 싶을 때 강합니다. 장면 안의 전경과 배경이 분리되어 있고, 카메라가 움직일 때 입체감이 중요하다면 깊이 컨트롤이 큰 도움이 됩니다. 광고 제품 컷이나 실내 공간 시안처럼 "어디가 앞이고 뒤인지"가 흐트러지면 안 되는 작업에서 유용합니다.

Pose-to-Video는 사람의 움직임을 다룰 때 거의 직관적인 선택입니다. 춤, 걷기, 설명하는 손짓, 간단한 발표자 동작처럼 동작의 뼈대가 중요할 때 포즈는 아주 강력한 핸들입니다. 다만 포즈는 말 그대로 뼈대에 가깝습니다. 표정, 의상 질감, 손가락 디테일 같은 것은 여전히 프롬프트와 모델의 해석이 함께 책임집니다. 그래서 포즈만 넣고 모든 것이 자동으로 해결되길 기대하면 조금 실망할 수 있습니다.

Canny-to-Video는 윤곽선과 형태 보존 쪽에 강합니다. 제품 외곽, UI 레이아웃, 로고 주변 요소처럼 형태가 흔들리면 바로 티 나는 컷에서 효과적입니다. 엣지는 강한 대신 유연성은 상대적으로 적습니다. 그래서 감성적인 숲속 장면보다, 구조적 정확성이 중요한 모션그래픽과 상품 광고에 더 잘 맞습니다.

공식 LTXVideo 저장소는 이런 구조 제어를 위한 IC-LoRA 예제 워크플로우를 별도로 제공하고, 최근에는 depth와 edge를 하나의 유니언 LoRA로 묶어 처리하는 경로도 소개합니다.⁵ 쉽게 말하면, 깊이와 윤곽을 따로따로 여러 노드로 만지는 대신, 더 단순한 흐름으로 관리할 수 있는 셈입니다.

여기서 프로덕션 팁 하나만 기억하면 됩니다. 제어는 많이 넣을수록 좋은 것이 아니라, 흔들리기 쉬운 부분에만 넣을수록 좋습니다. 인물 동작이 불안하면 포즈를, 공간감이 깨지면 depth를, 형태가 흐트러지면 canny를 쓰면 됩니다. 모든 걸 한 번에 꽉 묶어 버리면 오히려 장면이 뻣뻣해집니다.

12.3 Multimodal Guider로 프롬프트 정합성 튜닝

LTX-2를 쓰다 보면 어느 순간 이런 고민이 생깁니다. 프롬프트는 잘 따르는데 움직임이 어색하다, 아니면 움직임은 그럴듯한데 내가 쓴 문장과 점점 멀어진다. 예전에는 이 둘을 하나의 CFG 감각으로 뭉뚱그려 조정하는 경우가 많았습니다. 그런데 멀티모달 영상에서는 이 방식이 너무 투박합니다.

LTX 쪽 워크플로우 가이드는 ComfyUI에서 Multimodal Guider를 쓰면 프롬프트 정합성과 크로스모달 일관성을 독립적으로 조절할 수 있다고 설명합니다.³ 쉽게 말해, "문장을 얼마나 빡세게 따를지"와 "영상과 오디오가 얼마나 한몸처럼 움직일지"를 따로 만질 수 있다는 뜻입니다.

이 노드가 중요한 이유는 단순합니다. 영상과 오디오가 함께 생성될 때는 충돌 지점이 늘어납니다. 프롬프트를 너무 세게 밀면 화면은 문장을 고집하느라 모션이 경직될 수 있고, 반대로 크로스모달 일관성만 너무 밀면 장면은 부드러워져도 내가 원한 구체적 내용이 흐려질 수 있습니다.³

감각적으로는 이렇게 이해하면 좋습니다.

실제 조정 순서는 단순하게 가져가면 됩니다. 영상이 프롬프트를 잘 못 따르면 프롬프트 정합성을 조금 올립니다. 반대로 떨림이나 지터가 보이고 오디오-비디오 결합이 약하면 크로스모달 쪽을 조금 올립니다. 중요한 것은 둘 다 끝까지 밀지 않는 것입니다. 둘을 동시에 과하게 올리면 결과가 오히려 과긴장 상태가 되기 쉽습니다.³

토킹 헤드에서 자주 보는 실패를 예로 들어 보겠습니다. 대사를 분명히 넣었는데 입 모양이 애매하다면, 무조건 프롬프트를 더 길게 쓰는 것이 답은 아닙니다. 오히려 Multimodal Guider에서 오디오-비디오 정합성을 조금 올리는 편이 더 효과적일 수 있습니다. 반대로 제품 광고 컷에서 병 모양이 자꾸 변형된다면, 오디오 쪽보다 프롬프트와 구조 제어를 먼저 강화해야 합니다.

이 노드는 결국 멀티모달 장면의 믹서라고 생각하면 이해가 쉽습니다. 볼륨 노브 하나만 있는 믹서보다, 대사와 배경음과 음악을 따로 조절하는 믹서가 훨씬 낫듯이 말입니다.

12.4 Save/Load Conditioning으로 배치 효율화

프로덕션에서는 멋진 한 번보다, 같은 조건에서 열 번 비교하는 일이 더 많습니다. 시드만 바꿔 보고, 카메라 LoRA만 바꿔 보고, 샘플러 설정만 바꿔 보고, 해상도만 바꿔 봅니다. 이때 가장 아까운 낭비가 무엇이냐면, 매번 똑같은 프롬프트와 입력을 다시 인코딩하는 것입니다.

LTX 쪽 ComfyUI 워크플로우 가이드는 바로 이 지점에서 LTXVSaveConditioning과 LTXVLoadConditioning 같은 노드의 장점을 강조합니다. 한 번 만든 프롬프트 인코딩을 저장해 두고, 여러 번의 추론에서 재사용할 수 있기 때문입니다.³ 말 그대로 컨디셔닝을 얼려 두었다가 꺼내 쓰는 방식입니다.

이 기능은 속도만의 문제가 아닙니다. 비교의 공정성을 확보하는 데도 중요합니다. 같은 장면을 테스트한다면서 사실은 매번 인코딩이 미세하게 다시 계산되면, 무엇이 결과 차이를 만든 것인지 해석하기 어려워집니다. Save/Load Conditioning을 쓰면 적어도 프롬프트 조건은 고정한 채, 샘플링 변수만 비교하기가 훨씬 쉬워집니다.³

실전에서는 보통 이렇게 씁니다.

• 확정된 프롬프트와 입력 이미지를 한 번 인코딩한다.

• 그 결과를 저장해 둔다.

• 시드, 스텝, 가이더 값, 카메라 제어, 업스케일 여부만 바꿔 여러 버전을 뽑는다.

• 다음 날 다시 열어도 같은 컨디셔닝으로 이어서 배치 테스트한다.

• 팀원끼리 같은 기준점으로 결과를 비교한다.

예를 들어 화장품 광고용 6초 컷을 만든다고 해 보겠습니다. 카피 문구와 제품 설명, 주변 효과음의 방향이 이미 확정되었다면, 프롬프트 인코딩을 한 번 저장한 뒤 아래 항목만 바꿔 보는 식이 효율적입니다.

다만 아무 때나 재사용하면 안 됩니다. 프롬프트 문장이 바뀌었거나, 텍스트 인코더가 바뀌었거나, 구조 제어 입력 이미지가 달라졌다면 새로 저장해야 합니다. 실무에서는 파일 이름에 모델 버전, 텍스트 인코더, 프롬프트 리비전 정도를 붙여 두는 습관이 꽤 유용합니다. 예를 들면 productA_shot03_gemma3_r2 같은 식입니다. 사소해 보이지만, 야간 배치가 길어질수록 이런 정리가 사람을 살립니다.

결국 Save/Load Conditioning은 단순한 편의 기능이 아닙니다. ComfyUI를 "클릭형 생성기"가 아니라 반복 실험 장치로 바꾸는 핵심 부품에 가깝습니다.

12.5 NVFP4 체크포인트로 4K 로컬 생성

이제 많은 사람이 궁금해하는 질문으로 가 보겠습니다. LTX-2를 로컬에서 4K까지 끌어올릴 수 있을까? 대답은 "가능은 하지만, 전략 없이 누르면 안 된다"입니다.

먼저 NVFP4부터 정리하겠습니다. ComfyUI는 NVIDIA Blackwell 계열 GPU를 위한 NVFP4 양자화 포맷을 공식 지원하고, 조건이 맞으면 FP8이나 FP16 계열보다 샘플링 속도를 크게 끌어올릴 수 있다고 설명합니다.⁶ 하지만 중요한 단서가 하나 있습니다. PyTorch가 CUDA 13.0 빌드여야 NVFP4 가속이 제대로 붙습니다. 이 조건이 맞지 않으면 모델은 돌아가더라도 오히려 FP8보다 더 느릴 수 있습니다.⁶

이 문장을 실무 번역하면 이렇습니다. NVFP4는 마법 가루가 아니라, 맞는 하드웨어와 맞는 소프트웨어 조합에서만 진짜 힘을 낸다는 뜻입니다.

현실적인 판단 기준은 아래처럼 잡으면 됩니다.

여기서 "로컬 4K 생성"의 의미도 분명히 해야 합니다. 프로덕션에서 4K는 꼭 처음부터 4K 네이티브 한 방으로 뽑는다는 뜻이 아닙니다. 오히려 공식 LTXVideo 저장소가 제공하는 2단계 파이프라인이 더 실전적입니다. 먼저 상대적으로 안정적인 해상도에서 기본 영상을 만들고, 그다음 전용 spatial upscaler와 temporal upscaler로 해상도와 FPS를 올리는 방식입니다.⁵ 이 방법이 GPU와 인간 정신 건강 둘 다에 더 친절합니다.

LTX-2.3 쪽 공식 자료도 spatial upscaler, temporal upscaler, distilled LoRA, FP8 모델 같은 부품을 명확히 분리해 제공합니다.⁴⁵ 그래서 실제 운영은 보통 이런 흐름이 됩니다.

• 1단계: 720p 또는 1080p에서 컷의 방향과 소리를 잠근다.

• 2단계: 1440p 또는 더 높은 품질로 재생성한다.

• 3단계: spatial upscaler로 4K 납품 해상도에 맞춘다.

• 4단계: 필요하면 temporal upscaler로 FPS를 보완한다.⁵

VRAM이 빠듯한 시스템이라면 공식 저장소가 안내하는 low-VRAM 로더와 --reserve-vram 옵션도 도움이 됩니다.⁵ 또 ComfyUI는 최근 NVIDIA 카드 전반에 대해 async offloading과 pinned memory를 기본 활성화했고, 모델을 VRAM에 전부 올리지 못하는 상황에서는 이 최적화가 꽤 유의미한 차이를 만들 수 있습니다.⁶

결론적으로 NVFP4 운용의 핵심은 "무조건 FP4로 간다"가 아닙니다. 더 정확히는 이렇게 정리해야 합니다.

• RTX 50 시리즈와 CUDA 13.0 환경이라면 NVFP4를 적극 검토한다.

• 그 외 다수의 환경에서는 FP8이 더 안정적인 출발점일 수 있다.

• 4K는 네이티브 한 방보다 2단계 업스케일 경로가 성공률이 높다.

• 짧고 좋은 샷을 먼저 확보한 뒤 고해상도로 올리는 것이 프로덕션스럽다.⁴⁵⁶

LTX-2를 잘 다룬다는 것은 단순히 새 모델을 배웠다는 뜻이 아닙니다. 영상과 소리를 하나의 그래프로 설계하는 사고방식을 익혔다는 뜻에 가깝습니다. 이 감각이 생기면, 이후의 영상 파이프라인은 훨씬 더 유기적으로 보이기 시작합니다. 더 이상 "그림 만들고 소리 붙이기"가 아니라, 처음부터 장면 자체를 생성하는 쪽으로 사고가 이동하기 때문입니다. 그리고 그 순간 ComfyUI는 영상 생성 툴이 아니라, 작은 오디오-비디오 스튜디오가 됩니다.

참고

¹LTX-2.0 ComfyUI Workflow Examples - ComfyUI

²Using ComfyUI with LTX-2 | LTX Documentation

³ComfyUI Video Generation Model Workflow Guide - LTX-2.3

⁴LTX-2.3 ComfyUI Workflow Examples - ComfyUI

⁵ComfyUI-LTXVideo - GitHub

⁶New ComfyUI Optimizations for NVIDIA GPUs - NVFP4 Quantization, Async Offload, and Pinned Memory