컴퓨터 비전에서는 깊이 추정, 객체 분할, 자세 인식처럼 작업별로 모델을 설계하는 방식이 일반적이다. Google DeepMind의 GenCeption은 이 전제를 뒤집는다. 비디오 생성 모델이 사전 학습 과정에서 익힌 시공간 표현을 여러 시각 인식 작업에 재사용한다.
비디오 생성기를 범용 시각 모델로 바꾸다
GenCeption은 알리바바의 오픈소스 비디오 확산 모델 Wan2.1을 백본으로 사용한다.12 입력 영상과 함께 수행할 작업을 텍스트로 지정하면, 한 번의 순전파로 깊이, 분할, 표면 법선, 3D 자세 등의 결과를 생성한다.
핵심은 작업마다 별도의 구조를 만드는 대신, 여러 시각 작업을 하나의 작업 비종속적 아키텍처에서 공동 학습한다는 점이다. 텍스트 프롬프트가 원하는 작업을 지정하고, 모델은 픽셀 단위 예측부터 3D 키포인트와 추적처럼 형식이 다른 결과까지 처리한다. 평가에는 표현 참조 분할도 포함됐다.23
생성 모델의 사전 학습이 유용한 이유
연속된 비디오를 자연스럽게 생성하려면 프레임별 모양만 학습해서는 부족하다. 물체가 시간에 따라 유지되는 방식, 장면의 3D 기하, 카메라 움직임, 물체 간 물리적 상호작용까지 반영해야 한다. 텍스트 조건부 생성은 이 시공간 정보와 언어 의미를 사전 학습 단계부터 연결한다.
연구진은 범용 시각 사전 학습에 필요한 조건을 세 가지로 정리한다.
시간과 공간에 따른 변화 학습
시각 정보와 언어 의미의 정렬
데이터와 연산 규모에 따른 확장성
비디오 생성 모델은 이 조건을 동시에 충족할 수 있기 때문에, 생성뿐 아니라 인식에도 활용할 수 있다는 것이 GenCeption의 출발점이다.3
실험 결과도 이 가능성을 뒷받침한다. 동일한 미세조정 데이터를 사용한 비교에서 비디오 생성 사전 학습 백본은 V-JEPA와 VideoMAE V2의 최대 공개 변형보다 높은 성능을 보였다.3 후속 학습 데이터 대부분이 합성 비디오 7,500개였다는 점은, 대규모 작업별 데이터 없이도 생성 백본의 기존 표현을 활용할 수 있음을 보여준다.13
실용성은 범용성과 비용을 함께 봐야 한다
GenCeption이 완전한 물리 시뮬레이터임을 입증한 것은 아니다. 더 직접적인 의미는 비디오 생성 모델 내부의 표현이 깊이, 분할, 표면 법선, 자세 추정, 추적 등 다양한 인식 작업에 재사용될 수 있다는 데 있다.
다만 범용성이 곧 효율성을 뜻하지는 않는다. 140억 개 매개변수를 가진 대형 모델은 81프레임 비디오를 처리하는 데 약 10초가 걸린다.1 따라서 오프라인 영상 분석이나 자동 라벨링처럼 여러 작업을 한 모델로 처리하는 환경에서는 매력적일 수 있지만, 실시간 로봇이나 엣지 환경에서는 경량 전문 모델이 여전히 유리할 수 있다.
GenCeption이 제시하는 변화는 명확하다. 컴퓨터 비전 시스템을 설계할 때 질문이 더 이상 “작업마다 어떤 모델을 새로 만들 것인가”에만 머물지 않는다. 이제는 “생성 모델이 이미 학습한 표현을 어떤 인식 작업에 재사용할 수 있는가”도 중요한 판단 기준이 된다.
2Video Generation Models are General-Purpose Vision Learners -- 프로젝트 페이지
3Video Generation Models are General-Purpose Vision Learners
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.