10장. AI 영상 모델 지형도

이미지 생성에 익숙한 사람도 영상 생성에 들어오면 잠깐 멍해집니다. 사진 한 장을 잘 만드는 것과, 시간이 흐르는 장면을 설계하는 것은 전혀 다른 문제이기 때문입니다. 이미지에서는 한 컷의 완성도가 핵심이지만, 영상에서는 프레임 사이의 연결, 카메라의 무게감, 움직임의 자연스러움, 길이와 속도까지 한꺼번에 관리해야 합니다. 한마디로 말해, 영상 생성은 "예쁜 그림"이 아니라 "흐르는 장면"을 만드는 일입니다.

2026년의 시장은 더 흥미롭습니다. 이제는 "최고의 단일 모델"을 찾는 시대가 아니라, 샷의 목적에 따라 모델을 라우팅하는 시대입니다. 빠른 시안은 LTX-2로 뽑고, 카메라 언어가 중요한 컷은 Wan 2.2로 밀어붙이고, 멀티샷과 캐릭터 일관성이 중요하면 Seedance나 Kling 같은 API 모델로 넘기는 식입니다. 실제 프로덕션에서는 이 혼합 운용이 가장 현실적입니다.⁵⁶

10.1 영상 생성의 기본 개념: Frame, FPS, 해상도, 컨디셔닝

영상 모델을 이해하는 가장 쉬운 방법은, 이미지 생성 파이프라인 위에 시간축이 하나 더 생겼다고 생각하는 것입니다. 그런데 이 시간축 하나가 문제를 세 배쯤 어렵게 만듭니다. 프레임 하나가 잘 나와도 다음 프레임에서 얼굴이 바뀌거나, 손이 늘어나거나, 배경이 흔들리면 결과물 전체가 무너집니다.

먼저 프레임을 이해해야 합니다. 5초짜리 24fps 영상은 대략 120장 안팎의 프레임으로 이루어집니다. 즉, 모델은 "한 번만 잘 그리면 되는" 것이 아니라 수십에서 수백 장을 서로 어긋나지 않게 만들어야 합니다. 그래서 영상 모델의 핵심 평가지표는 단순 선명도보다도 시간적 일관성, 즉 앞뒤 프레임이 얼마나 자연스럽게 이어지느냐에 있습니다.

FPS는 자주 오해되는 항목입니다. FPS는 재생 속도이지, 생성 속도가 아닙니다. 60fps가 더 부드럽게 보일 수는 있지만, 같은 길이라면 만들어야 할 프레임 수가 많아지므로 비용도 함께 올라갑니다. 프로덕션에서는 처음부터 60fps로 달리기보다 24fps나 25fps로 프리뷰를 만든 뒤, 필요하면 후처리에서 보간하는 방식이 더 효율적입니다.

해상도는 욕심과 현실의 줄다리기입니다. 처음부터 4K를 누르면 멋져 보이지만, 실제 현장에서는 480p나 720p로 구도와 모션을 먼저 확인한 뒤 최종본만 키우는 편이 훨씬 안전합니다. NVIDIA는 ComfyUI에 RTX Video Super Resolution 노드를 제공해 로컬 업스케일 경로를 강화했고, FP8·NVFP4 같은 저정밀 포맷 지원도 넓혀 로컬 영상 생성의 부담을 줄이고 있습니다.⁴

컨디셔닝은 영상 모델의 핸들입니다. Text-to-Video는 말 그대로 텍스트만으로 장면을 만들고, Image-to-Video는 정지 이미지를 시작점으로 움직임을 붙입니다. 여기에 첫 프레임과 마지막 프레임을 함께 주거나, 포즈·깊이·엣지 같은 구조 정보를 넣으면 결과를 더 세게 붙잡을 수 있습니다. Wan 2.2는 공식 워크플로우에서 T2V, I2V, 첫·마지막 프레임 기반 비디오 생성을 제공하고, Hunyuan Video도 T2V와 I2V를 모두 지원합니다. LTX-2 계열은 오디오와 비디오를 함께 다루는 흐름까지 자연스럽게 포함합니다.¹²³

여기서 중요한 감각이 하나 있습니다. 컨디셔닝이 많을수록 제어력은 올라가지만, 모델이 자유롭게 움직일 공간은 줄어듭니다. 그래서 광고 컷처럼 의도가 분명한 작업은 강한 컨디셔닝이 유리하고, 몽환적인 무드 영상처럼 우연성을 살리고 싶을 때는 오히려 텍스트 중심이 더 좋을 수 있습니다.

또 하나 기억할 점은, 모델마다 프레임 수 규칙과 권장 해상도가 조금씩 다르다는 사실입니다. 예를 들어 LTX-2 워크플로우는 8n+1 형태의 프레임 수를 권장하는 경우가 많습니다. 이런 제약은 사소해 보여도, 모르면 노드가 멀쩡한데 결과가 이상해지는 원인이 됩니다.²

10.2 오픈소스 vs API 모델 — 무엇을 언제 쓸 것인가

2026년 영상 생성의 진짜 질문은 "오픈소스가 좋나, API가 좋나?"가 아닙니다. 더 정확한 질문은 "어느 샷을 어느 비용 구조로 어느 통제 수준에서 만들 것인가?"입니다. 프로덕션에서는 기술보다 운영이 먼저입니다.

오픈소스 모델의 가장 큰 장점은 통제권입니다. 모델 파일을 내 장비나 내 클라우드에 두고, 노드 단위로 파이프라인을 바꾸고, 반복 횟수에 따른 한계 비용을 거의 전기료 수준으로 낮출 수 있습니다. 민감한 고객 자료를 외부 서버에 올리지 않아도 된다는 점도 큽니다. Wan 2.2와 Hunyuan Video는 ComfyUI 공식 문서와 템플릿을 통해 비교적 정석적인 로컬 운용 경로가 잡혀 있고, ComfyUI는 App View까지 도입해 영상 워크플로우의 진입 장벽도 낮추고 있습니다.¹³⁴

반면 API 모델의 장점은 완성도와 편의성입니다. Kling 3.0, Seedance 2.0 Pro 같은 상용 계열은 별도 모델 관리나 의존성 지옥 없이 높은 기본 품질을 바로 끌어낼 수 있습니다. 특히 멀티샷, 네이티브 오디오, 고해상도, 강한 캐릭터 일관성처럼 "결과 중심"의 기능은 아직도 API 쪽이 더 매끈한 경우가 많습니다.⁵

대신 대가도 분명합니다. API는 호출 비용이 누적되고, 정책이 바뀌고, 지역 제한이 생기고, 어떤 기능은 오늘 되다가 다음 달엔 막힐 수 있습니다. Seedance 2.0 Pro만 봐도 2026년 들어 지역별 제공 방식과 제한 조건이 계속 흔들렸습니다. 즉, API는 빠르지만, 내 파이프라인의 주도권이 항상 내 손에 있지는 않습니다.⁵

프로덕션 관점에서 판단 기준은 보통 다음 순서로 정리하면 됩니다.

• 원본 자료가 민감하고 외부 업로드가 부담스럽다면 로컬 오픈소스가 우선이다.

• 짧은 시간 안에 수십 개 시안을 돌려야 한다면 빠른 로컬 모델이나 저비용 API가 유리하다.

• 한 컷의 성공 확률과 즉시 납품이 중요하다면 상용 API가 안전하다.

• 장기적으로 같은 스타일과 같은 인물을 반복 생산해야 한다면 재현 가능한 로컬 파이프라인의 가치가 커진다.

• 최종 결과보다 프롬프트 실험과 모션 탐색이 먼저라면 빠른 모델을 앞단에 두는 편이 낫다.

실무에서는 하이브리드 전략이 자주 승리합니다. 예를 들어 사내 프리비즈는 LTX-2로 뽑고, 최종 카메라 모션이 필요한 쇼트만 Wan 2.2로 다시 렌더링하는 방식이 있습니다. 혹은 전체 스토리보드는 로컬로 잠그고, 클라이언트에게 보여줄 히어로 컷만 Kling이나 Seedance로 올리는 방법도 있습니다. 중요한 것은 기술 충성도가 아니라 샷 라우팅 능력입니다.⁵⁶

10.3 모델별 비교: Wan 2.2, LTX-2, Seedance 2.0, Kling, Hunyuan Video

아래 비교는 2026년 시점에서 ComfyUI 사용자에게 실제로 의미 있는 다섯 축을 정리한 것입니다. 핵심은 "누가 최고인가"가 아니라 "누가 어떤 역할에 맞는가"입니다.¹²³⁵⁶

Wan 2.2는 로컬 시네마 카메라에 가장 가까운 모델입니다. 공식 문서 기준으로 5B 하이브리드 모델과 14B T2V·I2V 모델이 나뉘어 있고, MoE 구조에서 고노이즈·저노이즈 전문가를 분리해 품질을 끌어올립니다. 텍스트 해석, 복잡한 장면, 조명과 구도 제어, 그리고 "카메라가 왜 이렇게 움직여야 하는지" 같은 영화적 언어에 강점이 있습니다. 실전 비교에서도 LTX 쪽이 더 빠르지만, 카메라 아크, 무게감 있는 모션, 질감 유지에서는 Wan 쪽이 더 촬영감독스럽다는 평가가 많습니다.¹⁶

LTX-2는 속도로 사고방식을 바꿔 버리는 모델입니다. LTX-2 계열은 오디오와 비디오를 함께 다루는 워크플로우가 강점이고, 이미지 기반 애니메이션, 오디오 구동, 확장, 일부 인페인팅까지 폭넓게 다룰 수 있습니다. 특히 "될까?"를 빨리 확인하는 데 탁월합니다. 실사용 비교에서는 Wan 2.2보다 대체로 훨씬 빠르게 첫 결과를 얻을 수 있었고, 그래서 프롬프트 탐색과 스토리보드 단계에서 매우 강력합니다. 다만 카메라의 묵직한 관성이나 세밀한 질감 보존은 Wan 쪽이 더 낫다는 평가가 이어집니다.²⁶

Hunyuan Video는 로컬 사실주의 진영의 든든한 중장비입니다. 13B 규모의 하이브리드 아키텍처와 3D VAE, 강한 텍스트-이미지-비디오 정렬 능력을 바탕으로 T2V와 I2V를 모두 지원합니다. Wan이 감독의 언어에 강하다면, Hunyuan은 장면의 안정성과 사실적인 움직임 쪽에 더 어울린다고 보면 이해가 쉽습니다. 다만 무거운 편이고, 로컬 장비 부담도 만만치 않습니다. 그래서 Hunyuan은 "로컬에서 사실적인 컷을 만들고 싶은데, 세팅은 감수할 수 있다"는 팀에게 잘 맞습니다.³

Seedance 2.0 Pro는 캐릭터와 서사를 다루는 데 강한 상용 모델입니다. 오디오와 비디오를 한 번에 생성하고, 텍스트·이미지·비디오·오디오를 함께 넣는 쿼드 입력, 멀티샷 네이티브 스토리텔링, 프레임 단위의 제어를 강점으로 내세웁니다. 그래서 한 인물이 여러 쇼트에 걸쳐 등장하는 광고, 뮤직 비주얼, 짧은 서사 영상에 특히 매력적입니다. 다만 2026년의 접근성은 기술만이 아니라 정책의 영향을 크게 받았습니다. 프로덕션에서는 이 점을 반드시 일정표와 견적표에 함께 적어 두어야 합니다.⁵

Kling 3.0은 결과물이 먼저 필요한 팀이 좋아할 만한 모델입니다. 네이티브 4K와 60fps, 내장 오디오, 그리고 한 번의 생성에서 여러 카메라 컷을 다루는 스토리보드 기능은 매우 생산적입니다. 복잡한 세팅 없이도 "바로 보여줄 수 있는 영상"이 나오는 쪽에 가깝습니다. 반대로 말하면, 로컬 노드 그래프처럼 샅샅이 뜯어고치는 재미는 덜합니다. 그래서 Kling은 연구용 실험실보다 납기 중심의 편집실에 더 잘 어울립니다.⁵

이 다섯 모델을 한 줄로 정리하면 이렇습니다.

• 가장 빠르게 방향을 찾고 싶다면 LTX-2

• 로컬에서 카메라와 모션을 정교하게 밀고 싶다면 Wan 2.2

• 로컬 사실주의 대안을 원한다면 Hunyuan Video

• 캐릭터 일관성과 멀티샷 서사가 중요하면 Seedance 2.0 Pro

• 높은 기본 품질로 빨리 납품해야 하면 Kling 3.0

결국 2026년의 영상 생성은 모델 하나를 고르는 게임이 아닙니다. 앞단에서는 빠른 모델로 탐색하고, 중간에서는 구조 컨디셔닝으로 흔들림을 줄이고, 끝단에서는 목적에 맞는 엔진으로 마감하는 파이프라인 설계가 핵심입니다. 프로덕션에서 강한 사람은 프롬프트를 잘 쓰는 사람보다, 언제 LTX로 가볍게 던지고 언제 Wan으로 진득하게 밀어붙일지 아는 사람입니다. 그 감각이 쌓이면 ComfyUI는 단순한 생성기가 아니라, 영상 제작의 라우팅 콘솔이 됩니다.

참고

¹Wan2.2 Video Generation ComfyUI Official Native Workflow Example

²LTX-2 | Comfy with ComfyUI

³Hunyuan Video Examples - ComfyUI

⁴NVIDIA and ComfyUI Streamline Local AI Video Generation for Game Developers and Creators at GDC

⁵AI Video Generation Tools 2026: Live Comparison & Rankings

⁶LTX-2.3 vs WAN 2.2: Open-Source Video Model Comparison (2026)