LongLive-2.0: 긴 영상 생성의 병목을 '모델'이 아니라 '인프라'로 푼다

AI 생성 이미지

긴 영상 생성의 난점은 단순히 “더 좋은 모델”을 만드는 데서 끝나지 않습니다. 생성 시간이 길어질수록 메모리 사용량과 연산 지연이 함께 커지고, 학습과 추론 모두에서 병목이 뚜렷해집니다.

NVIDIA가 공개한 LongLive-2.0은 이 문제를 모델 구조만이 아니라 NVFP4 기반 병렬 인프라로 풀려는 접근입니다.¹ 핵심 질문은 하나입니다. 긴 영상을 더 길고 빠르게 만들려면, 계산을 어떤 정밀도로 처리하고 어떻게 나눠 실행해야 하는가입니다.

LongLive-2.0이 겨냥한 문제

LongLive-2.0의 목표는 장편 비디오 생성에서 발생하는 속도와 메모리 병목을 줄이는 것입니다.¹ 이를 위해 학습과 추론 전체 워크플로에 NVFP4 기반 병렬 인프라를 적용합니다.¹

NVFP4는 4비트 부동소수점 형식입니다. 더 낮은 정밀도로 연산하면 메모리 사용량을 줄이고 처리량을 높일 수 있습니다. 하지만 긴 영상 생성에서는 단순히 비트를 낮추는 것만으로 충분하지 않습니다. 시간 길이가 늘어나면 연산과 캐시, 디코딩, GPU 간 데이터 배치가 함께 부담이 되기 때문입니다.

그래서 LongLive-2.0의 초점은 “저비트 연산” 자체보다 저정밀도와 병렬 실행을 전체 파이프라인에 맞게 결합하는 것에 있습니다.

학습: Balanced SP로 시간축을 나눠 처리한다

학습 단계에서 LongLive-2.0은 sequence-parallel autoregressive training을 사용합니다.¹ 긴 영상을 시간 방향으로 나누고, 여러 rank가 나눠 처리하는 방식입니다.

이 구현은 Balanced SP로 명명됐습니다.¹ Balanced SP는 각 rank에 두 종류의 시간 청크를 짝지어 배치합니다.

• clean-history 시간 청크

• noisy-target 시간 청크

이 구성은 긴 영상을 하나의 거대한 덩어리로 처리하지 않고, 시간 구조를 유지하면서 분산 처리하도록 설계된 방식입니다.¹ 장편 영상에서는 프레임 수가 늘어날수록 학습 부담이 빠르게 커지기 때문에, 이런 시간축 분할 방식이 메모리와 속도 병목을 줄이는 데 중요해집니다.

추론: NVFP4만이 아니라 전체 실행 경로가 중요하다

LongLive-2.0은 추론에서도 NVFP4 기반 접근을 사용합니다.¹ 특히 장편 영상 생성에서는 추론 단계에서도 연산량과 메모리 사용량이 크게 늘어나므로, 학습과 마찬가지로 실행 인프라 설계가 중요합니다.

논문이 보여주는 방향은 명확합니다. 긴 영상 생성의 성능은 모델 크기 하나로 결정되지 않습니다. 낮은 정밀도, 병렬화, 메모리 사용 방식, 시간축 처리 방식이 함께 맞물려야 실제 처리 속도와 확장성이 개선됩니다.

즉, LongLive-2.0은 “어떤 모델이 더 좋은가”보다 한 단계 더 실용적인 질문을 던집니다. 긴 영상을 생성하는 전체 워크플로를 어떻게 더 가볍고 빠르게 만들 것인가입니다.

실무적으로 볼 때의 판단 기준

LongLive-2.0을 볼 때 중요한 포인트는 세 가지입니다.

1. 정밀도만 낮추는 접근이 아니다
   NVFP4를 학습과 추론 전체에 적용하고, 이를 병렬 처리 구조와 함께 설계합니다.¹

2. 시간축 분할이 핵심이다
   Balanced SP는 긴 영상을 시간 청크 단위로 나눠 처리하면서, clean-history와 noisy-target 청크를 각 rank에 짝지어 배치합니다.¹

3. 긴 영상 생성은 인프라 문제다
   장편 비디오에서는 모델 품질뿐 아니라 메모리, 처리량, GPU 간 분산, 추론 경로가 모두 병목이 될 수 있습니다.

LongLive-2.0의 의미는 여기에 있습니다. 긴 영상 생성의 경쟁력은 더 큰 모델을 만드는 것만으로 확보되지 않습니다. 실제로 긴 영상을 다루려면 정밀도, 병렬화, 시간축 배치, 학습·추론 파이프라인을 함께 설계해야 합니다.

¹LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation