11장. Wan 2.2로 영상 생성하기

오픈소스 영상 생성 모델이 많아졌지만, 실제로 ComfyUI 안에서 일로 써먹기 좋은 첫 번째 모델을 하나만 고르라면 Wan 2.2는 아주 강력한 후보입니다. 이유는 단순합니다. 가벼운 쪽으로는 5B 하이브리드 모델이 있고, 품질 쪽으로는 14B T2V·I2V 모델이 있으며, 공식 템플릿까지 잘 준비되어 있어서 "돌아가는 데모"가 아니라 "반복 가능한 워크플로우"로 이어지기 쉽기 때문입니다.¹

Wan 2.2를 처음 보면 이름이 조금 복잡합니다. 하지만 구조를 알면 어렵지 않습니다. 5B는 입문과 저사양 대응, 14B는 품질과 제어력, 그리고 Lightx2v LoRA는 속도 부스터라고 생각하면 거의 맞습니다. 이 장에서는 그 세 가지를 ComfyUI의 실전 그래프로 연결해 보겠습니다.

11.1 Wan 2.2 5B (저사양) vs 14B (고품질)

Wan 2.2 계열은 크게 세 갈래로 이해하면 됩니다. Wan2.2-TI2V-5B는 텍스트-투-비디오와 이미지-투-비디오를 한 모델에서 모두 처리하는 하이브리드 버전이고, Wan2.2-T2V-A14B는 텍스트 기반 생성에 집중한 고품질 버전, Wan2.2-I2V-A14B는 시작 이미지를 바탕으로 움직임을 만드는 고품질 버전입니다.¹

여기서 중요한 차이는 단순히 파라미터 수만이 아닙니다. 14B 쪽은 Wan 2.2의 MoE 구조를 더 본격적으로 활용합니다. 쉽게 말해, 영상 생성 초반에는 고노이즈 전문가가 들어와 장면의 큰 구조와 움직임을 잡고, 후반에는 저노이즈 전문가가 들어와 디테일과 질감을 정리합니다. 촬영장에 비유하면, 한 사람은 동선과 블로킹을 잡고, 다른 사람은 조명과 표정을 정리하는 셈입니다.¹

실무 감각으로 비교하면 아래처럼 정리할 수 있습니다.

5B를 선택해야 하는 순간은 분명합니다. 프롬프트가 아직 흔들리고, 장면 길이와 구도를 계속 바꿔야 하며, 로컬 GPU 여유가 넉넉하지 않을 때입니다. 공식 문서도 5B를 메모리 최적화와 고압축 VAE를 강점으로 소개하고 있고, 실제 로컬 테스트 사례에서도 16GB급 GPU에서 720p 근처 영상을 현실적인 시간 안에 생성한 예가 보고되었습니다.¹²

반대로 14B를 선택해야 하는 순간도 명확합니다. 텍스트 해석이 더 중요하고, 복잡한 배경과 다중 객체가 등장하며, 카메라의 무게감이 결과물 품질을 좌우할 때입니다. 특히 "그럴듯한 움직임"이 아니라 "촬영된 것 같은 움직임"이 필요하면 14B가 훨씬 설득력이 있습니다.

처음에는 많은 사람이 14B부터 잡고 싶어 합니다. 하지만 프로덕션에서는 오히려 반대로 가는 편이 안전합니다. 5B로 프롬프트와 샷을 잠그고, 14B로 결정판을 뽑는 방식이 실패 비용이 가장 낮습니다. 영상은 한 번 돌리는 데 시간이 많이 들기 때문에, 처음부터 최고 화질만 바라보면 GPU와 인내심이 같이 녹습니다.

VRAM이 빠듯하다면 GGUF나 커뮤니티 양자화 경로도 있습니다. 다만 이 장에서는 공식 네이티브 워크플로우를 기준선으로 잡겠습니다. 기준선이 있어야, 나중에 FP8이나 GGUF로 내려갔을 때 무엇이 달라졌는지 눈에 들어오기 때문입니다.¹

11.2 Text-to-Video 워크플로우 구축

Wan 2.2를 T2V로 사용할 때 가장 먼저 익혀야 할 것은, 이 모델이 짧은 문장을 마법처럼 영화로 바꿔 주는 자판기가 아니라는 점입니다. 오히려 반대입니다. Wan 2.2는 프롬프트에 적힌 장면 의도를 꽤 성실하게 따라가려는 편이라, 사용자가 카메라와 동작을 애매하게 쓰면 결과도 애매해지기 쉽습니다.¹

ComfyUI 공식 템플릿 기준으로 T2V 워크플로우는 다음 흐름으로 이해하면 편합니다.¹

• Load Diffusion Model에서 high-noise 14B 모델 로드

• 두 번째 Load Diffusion Model에서 low-noise 14B 모델 로드

• Load CLIP에서 umt5_xxl_fp8_e4m3fn_scaled.safetensors 로드

• Load VAE에서 wan_2.1_vae.safetensors 로드

• 텍스트 인코딩 노드에서 positive / negative prompt 작성

• EmptyHunyuanLatentVideo에서 해상도와 프레임 길이 설정

• 샘플링 후 디코드하여 Save Video로 저장

이 그래프를 처음 열면 "왜 모델이 두 개지?"라는 생각이 듭니다. 그 질문이 정확합니다. Wan 2.2 14B의 핵심은 바로 그 두 모델입니다. 초반 단계에서 high-noise 모델이 모션과 구도를 크게 잡고, 후반 단계에서 low-noise 모델이 세부를 다듬습니다. 그래서 14B의 결과물은 단순히 더 선명한 것이 아니라, 움직임과 표면이 서로 덜 싸우는 느낌이 납니다.

T2V에서 가장 중요한 입력은 결국 프롬프트입니다. 그런데 이미지 프롬프트 쓰듯이 형용사만 늘어놓으면 잘 안 됩니다. 영상 프롬프트는 적어도 다음 네 층을 가져가는 편이 좋습니다.

• 주체: 누가 등장하는가

• 동작: 무엇을 어떻게 움직이는가

• 카메라: 카메라가 어떻게 반응하는가

• 장면 톤: 조명, 색감, 렌즈 감각, 분위기

예를 들어 다음처럼 쓰면 좋습니다.

A lone female swordsman stands in a rainy alley at night, neon reflections on the wet ground. She slowly lifts her sword and turns her head toward the camera. The camera performs a slow dolly-in, cinematic lighting, shallow depth of field, subtle wind in her hair, tense atmosphere.

이 프롬프트의 좋은 점은 예쁜 단어가 많아서가 아니라, 주체의 동작과 카메라의 동작이 분리되어 있다는 점입니다. 영상 모델은 이 둘을 헷갈리면 금방 이상해집니다. 인물이 앞으로 걸어오는데 카메라도 동시에 뒤로 빠지고 줌인까지 하면, 사람도 모델도 순간적으로 멀미를 합니다.

해상도와 길이는 욕심보다 안정성이 먼저입니다. 첫 결과는 보통 480p~720p, 3~5초 정도로 시작하는 편이 좋습니다. 너무 긴 영상을 한 번에 뽑으면 중간부터 캐릭터가 다른 사람처럼 바뀌거나, 배경이 미묘하게 흔들리기 쉽습니다. 영상 생성에서는 "긴 한 방"보다 "짧은 성공을 여러 번"이 훨씬 프로덕션스럽습니다.

실전 출발점으로는 이런 감각을 추천합니다.

여기서 고정 시드는 아주 중요합니다. 이미지 생성에서도 시드는 중요했지만, 영상에서는 더 중요합니다. 같은 장면에서 프롬프트 한 줄만 바꾸고 싶은데 시드까지 계속 바뀌면, 무엇 때문에 결과가 달라졌는지 판단하기가 어려워집니다. Wan 2.2는 조명과 카메라 느낌에 잘 반응하므로, 한 번 괜찮은 시드를 찾으면 카메라 문장만 바꿔 비교해 보는 식이 효율적입니다.

T2V에서 자주 나오는 실수도 미리 알아두면 좋습니다.

• 장면 설명보다 스타일 수식어가 지나치게 많은 경우

• 카메라 동작을 세 개 이상 한 문장에 섞는 경우

• 7초 이상 길이를 처음부터 욕심내는 경우

• 배경과 인물 동작이 서로 다른 속도로 충돌하는 경우

Wan 2.2는 잘 나오면 정말 영화 스틸이 움직이는 듯한 맛을 줍니다. 대신 그 대가로, 사용자가 장면 문법을 조금은 정리해 주길 요구합니다. 이 점이 바로 Wan 2.2가 입문용 장난감이 아니라 프로덕션 도구처럼 느껴지는 이유입니다.

11.3 Image-to-Video로 정지 이미지에 움직임 부여

실무에서 Wan 2.2의 진짜 강점은 오히려 I2V에서 더 잘 드러납니다. 이유는 간단합니다. T2V는 모델이 장면을 처음부터 모두 발명해야 하지만, I2V는 이미 시작 프레임이 있기 때문에 캐릭터, 조명, 구도, 색감을 더 안정적으로 붙들 수 있습니다. 광고 시안, 뮤직비주얼, 썸네일 애니메이션, 제품 히어로 샷 같은 작업에서 I2V가 유난히 실용적인 이유가 여기에 있습니다.¹

공식 14B I2V 템플릿의 기본 구조는 T2V와 비슷하지만, 가운데에 시작 이미지 입력이 들어갑니다.¹

• high-noise I2V 모델 로드

• low-noise I2V 모델 로드

• UMT5 텍스트 인코더 로드

• wan_2.1_vae 로드

• Load Image로 첫 프레임 업로드

• 프롬프트에서 움직임과 카메라 방향 지정

• EmptyHunyuanLatentVideo에서 해상도와 길이 조정

• 생성 후 비디오 저장

I2V에서 가장 중요한 것은 프롬프트를 "새로 그리게" 쓰지 않는 것입니다. 이미 첫 프레임이 정체성을 들고 있으므로, 프롬프트는 그 이미지의 정체성을 부정하지 말고 어떻게 움직일지를 알려주는 쪽이 효과적입니다.

예를 들어 제품 사진이 있다면 이렇게 접근합니다.

A premium perfume bottle remains centered on a glossy black surface. Soft mist drifts around it. The camera slowly rotates to the right while a narrow spotlight moves across the glass, revealing reflections and details. Luxurious commercial lighting, elegant pacing.

이 프롬프트는 향수병을 새로 만들라고 하지 않습니다. 대신 안개가 흐르고, 카메라가 천천히 돌고, 조명이 표면을 훑는다고 말합니다. I2V의 핵심은 바로 이겁니다. 정체성은 이미지가 쥐고, 움직임은 프롬프트가 유도합니다.

좋은 시작 이미지를 고르는 기준도 분명합니다.

• 피사체 윤곽이 분명할 것

• 조명 방향이 한눈에 읽힐 것

• 지나치게 복잡한 배경이 아닐 것

특히 얼굴 클로즈업에서는 눈, 입, 머리카락 같은 작은 움직임만 넣어도 충분히 살아납니다. 초보자는 자꾸 사람을 걷게 하고 뛰게 만들고 싶어 하지만, 실제로는 호흡, 시선 이동, 미세한 고개 회전, 머리카락 흔들림 같은 작은 움직임이 훨씬 설득력 있게 나오는 경우가 많습니다.

길이 설정도 조심해야 합니다. 한 장의 정지 이미지에서 너무 긴 영상을 뽑으면 중반 이후부터 모델이 "그 다음 장면"을 상상하기 시작합니다. 그 순간 캐릭터 얼굴이 살짝 달라지거나, 의상이 변하거나, 배경 구조가 미끄러집니다. 그래서 I2V는 보통 짧고 밀도 있는 클립으로 생각하는 편이 좋습니다. 4초짜리 강한 샷 하나가, 10초짜리 흔들리는 샷보다 훨씬 쓸모 있습니다.

조금 더 제어를 올리고 싶다면 첫 프레임만이 아니라 첫 프레임과 마지막 프레임을 함께 주는 방식도 있습니다. 공식 문서에는 FLF2V 워크플로우가 별도로 소개되어 있고, 시작과 끝 이미지를 지정해 그 사이를 보간하듯 장면을 만들 수 있습니다. 장면의 출발과 도착이 명확할 때 유용한 방식입니다.¹

11.4 Lightx2v LoRA로 4-step 고속 생성

영상 생성에서 가장 잔인한 순간은 프롬프트가 틀렸는데 그 사실을 15분 뒤에 아는 순간입니다. Lightx2v LoRA는 바로 그 고통을 줄이기 위한 도구입니다. 핵심 아이디어는 간단합니다. Wan 2.2의 고품질을 최대한 유지하면서, 긴 스텝 수를 줄여 4-step 근처의 초고속 생성으로 가져가는 것입니다.³⁵

Lightx2v 쪽 문서를 보면 이 LoRA는 Wan 2.2 증류 모델에서 뽑아낸 가중치이며, high-noise용과 low-noise용이 따로 존재합니다. 즉, 14B의 두 단계 구조를 그대로 존중하면서 각각을 가볍게 가속하는 방식입니다. 온라인으로 LoRA를 불러와도 되고, 작업 환경이 고정됐다면 오프라인 병합도 가능합니다.³

ComfyUI에서 이해해야 할 핵심은 아주 단순합니다. high 모델에는 high LoRA, low 모델에는 low LoRA를 붙여야 한다는 점입니다. 둘을 뒤집으면 결과가 이상해지거나, 속도는 빨라도 장면이 쉽게 무너집니다.

Lightx2v / Lightning 계열에서 많이 쓰는 시작 설정은 대체로 비슷합니다.⁴

이 세팅의 감각을 쉽게 말하면 이렇습니다. 앞의 2스텝에서 장면의 리듬과 큰 동작을 툭 던지고, 뒤의 2스텝에서 그것을 정리합니다. 정교한 유화 대신, 빠르게 마른 마커로 콘셉트를 밀어붙인 뒤 마지막에 라인을 정돈하는 느낌에 가깝습니다.

실제로 Wan2.2-Lightning 프로젝트는 4-step 생성이 가능하고, 적절한 경우 기존 대비 큰 폭의 속도 향상을 줄 수 있다고 설명합니다.⁵ 다만 장점만 있는 것은 아닙니다. 공식 저장소에서도 아주 큰 움직임이 들어간 장면에서 아티팩트가 생길 수 있고, 차량 진행 방향이 뒤집히는 사례 같은 제한을 언급합니다.⁵ 속도는 공짜가 아닙니다. 빠르게 갈수록, 장면의 극단적 복잡성에 대한 여유가 줄어듭니다.

그래서 Lightx2v LoRA는 이런 상황에서 특히 빛납니다.

• 프롬프트를 빠르게 여러 개 시험할 때

• 카메라 방향만 여러 버전으로 비교할 때

• SNS용 짧은 클립을 대량 생성할 때

• 최종 렌더 전 프리비즈를 확인할 때

반대로 이런 상황에서는 조금 더 신중해야 합니다.

• 손, 얼굴, 머리카락 디테일이 아주 중요한 클로즈업

• 자동차, 군중, 폭발처럼 큰 방향성 모션이 많은 샷

• 클라이언트에게 바로 보내는 최종본

가장 추천하는 운영법은 이렇습니다. Lightx2v로 샷을 고르고, 베이스 14B로 재렌더링한다. 이 한 줄이 정말 강력합니다. 빠른 단계에서 구도와 모션을 확인한 뒤, 살아남은 컷만 무거운 워크플로우로 다시 뽑으면 됩니다. 프로덕션 관점에서 GPU 시간은 늘 부족하므로, 이 방식은 거의 필수에 가깝습니다.

11.5 카메라 모션과 시네마틱 컨트롤

Wan 2.2가 사랑받는 이유를 한 문장으로 줄이면, 카메라를 말로 시키는 맛이 좋다는 것입니다. 단순히 "여자가 걷는다"보다 "카메라가 천천히 뒤로 트래킹하며, 피사체를 같은 크기로 유지한다" 같은 문장에 반응이 좋습니다. 즉, 장면을 묘사하는 모델이면서 동시에 꽤 괜찮은 촬영감독 보조처럼 행동합니다.¹

가장 쉬운 제어는 프롬프트 안에 카메라 문장을 넣는 것입니다. 이때는 카메라 동작을 욕심내지 않는 편이 좋습니다. 한 샷에 하나의 주된 카메라 동작만 주는 것이 안정적입니다.

• slow dolly-in: 천천히 앞으로 밀고 들어가는 느낌

• pan left / pan right: 고정된 위치에서 좌우 회전

• tracking shot: 피사체를 따라 이동

• static shot: 움직이지 않는 구도 유지

• handheld slight shake: 미세한 핸드헬드 흔들림

좋은 카메라 프롬프트는 보통 다음 순서를 따릅니다.

• 샷 크기: close-up, medium shot, wide shot

• 렌즈 감각: 35mm, telephoto, shallow depth of field

• 카메라 동작: slow zoom in, dolly left, orbit right

• 리듬: steady, smooth, restrained, tense

예를 들어 인물 클로즈업을 만들고 싶다면 이렇게 쓰면 됩니다.

Medium close-up of a young actor under warm tungsten light. He looks slightly off-camera, then slowly turns toward the lens. The camera performs a gentle dolly-in, steady movement, shallow depth of field, subtle cinematic contrast.

이 문장에서 중요한 것은 영어를 잘 썼느냐가 아니라, 인물의 동작과 카메라의 동작이 부딪히지 않도록 정리돼 있다는 점입니다.

그런데 프롬프트만으로는 부족한 경우가 있습니다. 예를 들어 정말로 Pan Left를 하고 싶은데 결과가 자꾸 줌처럼 느껴진다든지, Zoom In을 썼더니 피사체가 변형된다든지 하는 경우입니다. 이럴 때는 Wan 2.2 생태계의 Fun Camera Control 경로가 유용합니다. ComfyUI 공식 문서에는 전용 워크플로우가 있고, WanCameraEmbedding 노드에서 카메라 모션 타입을 직접 고를 수 있습니다. Pan Up, Pan Down, Pan Left, Pan Right, Zoom In, Zoom Out, Static 등을 지정하고, 해상도·프레임 수·속도까지 함께 설정할 수 있습니다.⁶

이 방식의 장점은 말 그대로 카메라를 노드로 다룬다는 점입니다. 프롬프트에 "천천히 왼쪽으로 팬"을 다섯 번 써도 모델이 반드시 그 의도를 같은 강도로 지키지는 않는데, 카메라 임베딩 노드로 직접 조건을 주면 훨씬 안정적으로 따라옵니다.⁶

물론 여기에도 균형이 필요합니다. Fun Camera 워크플로우 역시 Lightx2v 4-step LoRA를 붙여 빠르게 돌릴 수 있지만, 공식 문서는 이 가속 버전이 영상의 역동성을 줄일 수 있다고 안내합니다. 실제 테스트 수치도 같은 640×640, 81프레임 기준으로 4-step LoRA 쪽이 훨씬 빠르지만, 대신 다이내믹이 덜 살아날 수 있음을 보여 줍니다.⁶ 즉, 속도와 카메라 제어와 모션의 생동감은 서로 줄다리기를 합니다.

카메라 모션을 다룰 때 기억하면 좋은 실전 규칙도 있습니다.

• 한 샷에는 카메라 동작 하나를 우선으로 둔다.

• 피사체 동작과 카메라 동작을 따로 쓴다.

• slow, gentle, steady 같은 속도 단서를 꼭 넣는다.

• 줌과 팬과 오비트를 한 번에 다 넣지 않는다.

• 최종본보다 먼저 3초짜리 테스트 컷으로 검증한다.

Wan 2.2를 쓰다 보면 금방 알게 됩니다. 이 모델의 장점은 단순히 "영상이 나온다"가 아닙니다. 내가 어떤 샷을 원하는지 말할수록 더 잘 따라온다는 점입니다. 그래서 Wan 2.2는 오픈소스 영상 생성의 실전 진입점으로 특히 가치가 큽니다. 저사양에서는 5B로 시작하고, 품질이 필요하면 14B로 올라가고, 속도가 급하면 Lightx2v로 가속하고, 카메라가 중요하면 Fun Camera로 고정한다. 이 네 가지 선택지가 이미 갖춰져 있기 때문입니다. ComfyUI 안에서 이 구조를 익히면, 영상 생성은 더 이상 운이 아니라 설계가 됩니다.

참고

¹Wan2.2 Video Generation ComfyUI Official Native Workflow Example

²ComfyUI + Wan 2.2 AI 영상 생성 오픈소스, Wan 2.2 사용법 | ComfyUI로 로컬에서 실행하기

⁴FAST Image to Video in ComfyUI (Wan2.2 & Lightning LoRA)

⁵GitHub - ModelTC/Wan2.2-Lightning: Wan2.2-Lightning: Speed up wan2.2 model with distillation

⁶ComfyUI Wan 2.2 Fun Camera Control: Video Generation Workflow Example