긴 비디오 생성의 어려움은 프레임 수를 늘리는 데만 있지 않습니다. 짧은 클립에서는 자연스러워 보이던 인물, 사물, 배경이 시간이 길어질수록 조금씩 어긋납니다. 장면의 의미가 흔들리고, 움직임이 반복되며, 앞뒤 맥락이 맞지 않는 문제가 생깁니다. 이를 흔히 semantic drift, 즉 의미 드리프트라고 부릅니다.
이 문제를 줄이기 위해 최근 주목받는 방향 중 하나가 Monte Carlo Tree Search, MCTS를 긴 비디오 생성의 추론 과정에 적용하는 방식입니다. 핵심은 단순합니다. 다음 장면을 바로 확정하지 않고, 여러 가능한 continuation을 미리 굴려 본 뒤 더 나은 경로를 선택하는 것입니다.
긴 비디오 생성은 왜 쉽게 무너지는가
긴 비디오 생성의 본질적 과제는 비디오 확산 모델이 잘 다루는 짧은 생성 지평을 더 긴 시퀀스로 확장하는 데 있습니다.2 기존 training-free 방식은 크게 두 흐름으로 나뉩니다. 하나는 양방향 모델 확장 방식이고, 다른 하나는 자기회귀 방식입니다.2
양방향 확장 방식은 특정 모델 아키텍처와 강하게 결합되기 쉽고, 생성 길이가 길어질수록 품질 저하가 발생할 수 있습니다.2 반면 자기회귀 방식은 이전에 만든 결과를 바탕으로 다음 구간을 이어 붙이기 때문에 exposure bias가 누적될 수 있습니다. 이 과정에서 드리프트 오류가 커지고, 반복적인 모션 패턴이 나타나기 쉽습니다.2
따라서 긴 비디오 생성에서 중요한 질문은 “어떻게 더 많은 프레임을 만들 것인가”가 아닙니다. 더 정확히는 “앞으로 이어질 장면까지 고려해 현재 선택을 어떻게 더 잘 고를 것인가”입니다.
MCTS는 생성 과정을 ‘선택 문제’로 바꾼다
MCTS는 여러 선택지를 탐색하고, 각 선택이 미래에 어떤 결과로 이어질지 rollout을 통해 평가한 뒤, 그 보상을 역전파해 더 나은 경로를 고르는 탐색 방식입니다.
긴 비디오 생성에 적용하면 의미가 분명해집니다. 모델이 다음 chunk를 하나만 생성하고 그대로 진행하는 대신, 여러 continuation을 look-ahead rollout으로 미리 평가합니다. 그런 다음 보상을 되돌려 현재 시점에서 더 유리한 경로를 선택합니다.1
즉 MCTS의 역할은 비디오 생성 모델 자체를 새로 학습시키는 것이 아니라, 추론 시점에서 더 계획적으로 선택하게 만드는 것에 가깝습니다. “다음 장면”만 보는 것이 아니라 “몇 단계 뒤까지 이어졌을 때 일관적인가”를 판단에 포함하는 방식입니다.
이 관점은 긴 비디오에서 특히 중요합니다. 짧은 클립에서는 작은 오류가 눈에 띄지 않을 수 있지만, 긴 영상에서는 초기 선택의 작은 불일치가 뒤로 갈수록 커질 수 있습니다. MCTS는 이 누적 오류를 줄이기 위해 후보 경로를 비교하는 구조를 제공합니다.
장점은 일관성, 대가는 계산 비용
MCTS 기반 접근의 장점은 명확합니다. 긴 영상에서 중요한 객체 유지, 시간적 일관성, 텍스트-비디오 정렬 같은 기준을 단일 생성 결과에 맡기지 않고, 여러 후보 continuation을 비교하면서 다룰 수 있습니다.1
하지만 비용도 분명합니다. look-ahead rollout은 추론 중 여러 미래 경로를 시험해 보는 과정이므로 계산량을 증가시킵니다. Ethan He가 공유한 설명에서도 MCTS가 여러 continuation을 평가하고 보상을 역전파한다는 점, 그리고 test-time look-ahead rollout이 추론 비용을 늘린다는 점이 언급됐습니다.3
따라서 이 접근은 모든 상황에 적합한 만능 해법이라기보다, 비용과 품질 사이의 선택지로 이해하는 편이 정확합니다. 짧은 영상, 빠른 초안, 대량 생성에는 부담이 클 수 있습니다. 반대로 광고, 영화 프리비즈, 시뮬레이션처럼 긴 시간 동안 정체성·배경·동작의 일관성이 중요한 작업에서는 추가 계산을 감수할 가치가 생깁니다.
FlowLong과의 비교: 같은 문제, 다른 해법
MCTS가 “미래 후보를 탐색해 더 나은 경로를 고르는” 방식이라면, FlowLong은 긴 비디오를 만드는 또 다른 inference-time 접근입니다. FlowLong은 추가 학습 없이 긴 비디오를 생성하는 방법을 제안하며, 특정 비디오 생성 아키텍처에 종속되지 않는 architecture-agnostic 방식을 표방합니다.2
FlowLong의 핵심은 겹치는 슬라이딩 윈도우를 사용해 긴 비디오를 생성하고, 인접 윈도우의 예측된 clean sample을 Tweedie matching으로 혼합하는 것입니다.2 이 Tweedie matching은 겹치는 영역에서 매니폴드 제약과 시간적 일관성을 함께 강제하는 데 사용됩니다.2
두 접근은 방식은 다르지만 같은 문제를 겨냥합니다. 긴 영상에서 시간이 지날수록 생기는 불일치와 드리프트를 추론 시점에서 줄이려는 것입니다. 이는 앞으로 긴 비디오 생성의 경쟁이 단순히 모델 크기나 학습 데이터 규모에만 머물지 않을 가능성을 보여 줍니다. 중요한 축은 추론 중 얼마나 잘 계획하고, 비교하고, 일관성을 검증하느냐가 될 수 있습니다.
실무적으로 어떻게 봐야 하나
MCTS for long video generation을 볼 때 핵심 판단 기준은 세 가지입니다.
첫째, 생성 길이가 충분히 긴가입니다. 짧은 클립에서는 look-ahead rollout의 이득보다 비용이 더 클 수 있습니다.
둘째, 일관성이 결과물의 품질을 좌우하는가입니다. 인물 정체성, 사물 위치, 배경 구조, 장면 목표가 오래 유지되어야 한다면 MCTS식 탐색의 가치가 커집니다.
셋째, 추론 비용을 감당할 수 있는가입니다. MCTS는 품질을 위해 계산을 더 쓰는 test-time scaling 접근에 가깝습니다. 빠른 생성이 우선인 환경과 고품질 장면 계획이 우선인 환경에서 판단은 달라질 수 있습니다.
결론적으로 MCTS는 긴 비디오 생성을 “더 길게 샘플링하는 문제”에서 “미래를 보고 더 나은 경로를 선택하는 문제”로 재정의합니다. 긴 영상에서 드리프트와 일관성 문제가 핵심 병목이라면, 앞으로의 개선은 모델 내부뿐 아니라 추론 시점의 계획 알고리즘에서도 나올 가능성이 큽니다.
1Planning at Inference: MCTS Test-Time Scaling for Long Video Generation
2FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.