Google Research가 초 단위의 짧은 비디오 클립을 수 분 길이의 일관된 스토리로 변환하기 위해 설계된 AI Video Co-Director 프레임워크를 발표했습니다12. 구글의 대형 언어 모델 Gemini와 비디오 생성 모델 Veo 상위에서 오케스트레이션 레이어로 구동되는 이 기술은 4개의 에이전트 기반(agentic) 시스템으로 구성되어 있습니다12. AI 영상 생성 기술이 고화질 단일 클립 생성을 넘어 장편 내러티브로 확장되는 시점에서, 구글의 이번 발표는 단순한 모델 크기 확장이 아닌 파이프라인 제어 구조의 전환을 제시한다는 점에서 주목받고 있습니다.
기존 AI 영상 제작 파이프라인에서 가장 큰 걸림돌은 장면이 누적될수록 캐릭터의 의상이나 배경이 미세하게 바뀌는 '정체성 표류(identity drift)'와, 앞선 샷의 작은 시각적 오류가 후속 생성 단계로 전파되어 전체 영상을 망치는 '연쇄 오류(cascading errors)'였습니다1. Google Research는 비디오 스토리텔링을 독립된 프롬프트들의 단순 연결이 아닌, 상태 추적과 전역 최적화(global optimization) 문제로 재정의하며 이러한 구조적 한계를 극복하고자 했습니다12.
독립적 생성의 한계: 정체성 표류와 연쇄 오류가 발생하는 이유
현재의 생성형 비디오 모델들은 수 초 분량의 단일 샷을 생성하는 데 뛰어난 성능을 보입니다. 그러나 복잡한 줄거리를 가진 영상을 제작할 때는 수십 개의 샷을 이어서 생성해야 합니다. 이 과정에서 각 샷을 독립적으로 프롬프팅하거나 순차적 체인 구조로 연결하면 세맨틱 표류(semantic drift) 현상이 일어납니다2. 등장인물이 방을 나갔다가 다시 들어왔을 때 옷의 패턴이나 머리 스타일이 변경되거나, 배경의 구조적 배치가 변하는 문제가 대표적입니다.
또한 기존 시스템에서는 전단부 프롬프트나 초기 생성 자산에 포함된 왜곡(artifact)이 뒤따르는 영상 합성 과정으로 그대로 전파되는 연쇄 오류가 자주 발생했습니다2. 이는 영상이 길어질수록 오류가 누적되어 전체 서사의 일관성을 깨뜨리는 주요 원인이 되었습니다. 문제를 일으킨 특정 프롬프트나 자산을 역추적하기 어려운 '신용 할당 문제(credit assignment problem)' 역시 수동 수정 작업을 과도하게 늘리는 요인이었습니다2.
Google Research의 AI Video Co-Director 프레임워크는 이러한 문제를 해결하기 위해 시각적 일관성 관리를 테스트 시점의 목표(test-time objective)로 다루며, 하위 모델에 일관된 가이드라인을 동적으로 주입하는 계층적 구조를 도입했습니다2.
4개 에이전트 프레임워크의 구동 원리
이번에 공개된 프레임워크는 장편 비디오 생성 파이프라인의 각 병목 지점을 해결하기 위해 4개의 특화된 모듈로 나뉩니다12.
첫째, AI Video Co-Director(또는 Co-Director)는 전체 영상의 창의적 방향성을 총괄하는 계층적 다중 에이전트 시스템입니다12. 멀티암드 밴딧(MAB, Multi-Armed Bandit) 알고리즘을 사용해 탐색(exploration)과 활용(exploitation)의 균형을 맞추며, '창의적 전략(Creative Strategy)', '내러티브 모드(Narrative Mode)', '미학적 원형(Aesthetic Archetype)'이라는 3가지 차원에서 최적의 조합을 샘플링합니다2. 이렇게 결정된 상위 전략은 하위 사전 제작(Pre-Production) 및 제작(Production) 에이전트의 시스템 프롬프트에 동적으로 주입되어 파이프라인 전체가 하나의 일관된 연출 방향 아래 작동하도록 통제합니다2. 영상이 완성되면 MLLM(Multimodal LLM) 판사가 평가를 내리고, 이 피드백을 MAB 알고리즘에 보상 신호로 전달해 생성 루프를 지속적으로 개선합니다2.
둘째, CANVAS(Continuity-Aware Narratives via Visual Agentic Storyboarding)는 장면 전환 및 재방문 시의 시각적 연속성을 보장하는 스토리보딩 시스템입니다2. CANVAS는 캐릭터, 장소, 소품의 상태를 지속적 시각 기억(persistent visual memory)에 구조화된 형태로 저장합니다2. 서사가 진행되는 동안 이 기억 장치에서 시각적 앵커를 회수하거나 필요 시 신규 인스턴스를 생성함으로써, 등장인물이 특정 장소로 돌아왔을 때 외형과 공간 배치를 일정하게 유지합니다2.
셋째, A²RD(Agentic Autoregressive Diffusion)는 시각적 기억을 바탕으로 세그먼트 단위 생성을 수행하는 자가회귀형 비디오 생성 아키텍처입니다2. A²RD는 새로운 줄거리를 전개하는 '외삽(extrapolation)' 모드와, 기존 등장인물 및 환경에 서사를 고정하는 '내삽(interpolation)' 모드를 가변적으로 전환합니다2. 이를 통해 서사의 전개 속도와 기존 설정 간의 물리적 연속성을 안정적으로 조율합니다2.
넷째, VQQA(Video Quality Question Answering)는 생성된 영상의 결함을 피드백하여 자동으로 수정하는 닫힌 루프(closed-loop) 정제 시스템입니다2. VQQA는 프롬프트에 맞춰 시각적 질문을 동적으로 생성하고, 시각-언어 모델(VLM)의 평가를 자연어 형태의 '세맨틱 그래디언트(semantic gradient)'로 변환하여 프롬프트를 재작성합니다2. 직접 픽셀을 수정하는 대신 프롬프트를 개선해 더 나은 잠재 공간(latent space)을 탐색하는 블랙박스 최적화 방식을 취하며, 국소적 수정이 전체 맥락을 훼손하지 않도록 글로벌 선택(Global Selection) 메커니즘을 적용해 전체 후보 중 최고 점수의 결과를 선택합니다2.
벤치마크 성과와 평가 조건의 세부 분석
Google Research는 연구 논문에서 각 프레임워크가 달성한 수치적 성과를 상세히 제시했습니다. 단, 각 측정 수치는 서로 다른 조건과 평가 체계에서 산출되었으므로 세부 맥락을 정확히 이해하는 것이 중요합니다.
장편 비디오 생성의 일관성을 검증한 주요 수치는 A²RD 연구에서 나왔습니다. A²RD는 약 1분 분량(VBench-Long), 3분 및 5분 분량(LVBench-C), 그리고 10분 분량의 10개 시나리오(LVBench-C) 평가를 실시했습니다3. A²RD 논문은 벤치마크 전반에서 기준 모델 대비 일관성이 최대 30%, 내러티브 응집력이 최대 20% 향상되었다고 보고했습니다3.
여기서 유의할 점은 10분 분량 시나리오의 캐릭터, 환경, 객체 일관성 평가는 정교한 AI 평가자인 멀티모달 언어 모델(MLLM) 판사에 의해 측정되었다는 점입니다3. 해당 논문에 포함된 인간 대상 평가 연구는 10분 분량이 아닌 별도의 1분 분량(VBench-Long) 샘플을 대상으로 수행되었습니다3. 따라서 30% 일관성 향상 수치를 10분 영상에 대한 인간 평가 결과로 오인해서는 안 됩니다3.
다른 프레임워크들의 평가 지표 역시 각자의 전용 과제에 맞춰 산출되었습니다:
CANVAS: 스토리보드 평가 단계에서 베이스라인 대비 배경 연속성 21.6%, 캐릭터 일관성 9.6%, 소품 일관성 7.6% 향상을 기록했습니다3. 부록 연구에서는 스토리보드 키프레임을 Veo 모델에 전달하여 생성한 약 1.5분 길이의 비디오 비교 결과를 포함하고 있습니다3.
Co-Director: 렌더링된 비디오 평가 지표인 GenAD-Bench에서 81.4점을 기록했으나, 이는 4개 샷으로 구성된 12초 분량의 광고 영상에 대한 평가 수치입니다3. 또한 ViStoryBench-Lite 테스트는 정적 스토리보드 이미지를 대상으로 측정되었습니다3.
VQQA: 피드백 루프를 적용하지 않은 기본 생성 대비 T2V-CompBench에서 11.57%, VBench2에서 8.43%의 절대적인 점수 향상을 나타냈습니다3. 이는 텍스트-비디오 및 이미지-비디오 전환 시 프롬프트 최적화 성능을 입증하는 지표입니다3.
실제 적용 시 고려사항과 검증 기준
구글의 발표는 발표 시점 기준으로 개별 수록 논문들(3월~5월 제출)의 성과를 종합한 것입니다. 외부 검증 결과에 따르면, 현재 공개된 연구 데이터는 4개의 시스템이 단일 실행 파이프라인으로 묶여 10분짜리 비디오를 생성한 통합 벤치마크를 직접 입증하기보다는, 각 단계(기획, 스토리보드, 비디오 자가회귀 생성, 프롬프트 정제)별 솔루션을 각각 검증한 형태입니다3.
따라서 AI 생성 비디오 파이프라인 도입을 검토하는 스튜디오나 테크 크리에이터는 다음과 같은 기준을 바탕으로 기술적 적용 가능성을 판단할 필요가 있습니다.
첫째, 시각적 기억(Memory) 레이어의 유무입니다. 장편 콘텐츠 제작 시 단일 대형 모델에 의존하기보다, CANVAS처럼 캐릭터 및 장소의 특징을 개별 노드로 기억하고 검색하는 구조가 내장되어 있는지 확인해야 합니다.
둘째, 자동 피드백 및 프롬프트 최적화 메커니즘입니다. VQQA와 같이 VLM 기반 비평을 통해 속성 결합 오류(attribute binding error)를 자동으로 교정하는 블랙박스 최적화 루프가 결합되면 수동 재작업 시간을 크게 줄일 수 있습니다.
셋째, 목적에 따른 시스템 조합 판단입니다. 숏폼 광고나 10초 내외의 빠른 컷 전환 영상에는 Co-Director의 MAB 전략이나 VQQA 프롬프트 정제만으로도 충분한 효과를 볼 수 있지만, 수 분 이상의 장편 내러티브 콘텐츠 구축에는 A²RD의 내삽·외삽 제어와 CANVAS의 기억 구조가 필수적으로 요구됩니다.
Google Research의 AI Video Co-Director 프레임워크는 AI 비디오 생성이 단순히 단일 컷의 픽셀 품질을 높이는 단계를 지나, 오케스트레이션과 상태 관리를 통해 긴 호흡의 서사를 구성하는 방향으로 진화하고 있음을 잘 보여줍니다.
참고
2Automating coherent long-form video generation
3Review Finds Only One of Google's Four Video Systems Has Ten-Minute Consistency Results
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.