공개 노트

Mirage: 비디오 생성에 '공간 기억'을 붙이다

2026-06-14Views 7약 3분생성형 AI 활용

Summary

비디오 생성의 다음 병목은 선명도만이 아니다. 카메라가 컵을 지나쳤다가 다시 돌아왔을 때, 컵이 같은 위치와 모습으로 남아 있어야 비로소 “세계”를 만든다고 말할 수 있다.

Microsoft Research와 여러 대학 연구진이 만든 비디오 월드 모델 Mirage는 이 문제를 픽셀을 다시 그려 맞추는 방식이 아니라, 모델 내부에 3D 공간 기억을 남기는 방식으로 접근한다.

Mirage가 기억하는 것은 픽셀이 아니다

Mirage의 핵심은 잠재 공간 메모리다. 잠재 공간은 생성 모델이 픽셀 이미지를 직접 다루기 전에 사용하는 압축된 특징 표현이다. Mirage는 정적인 장면 내용을 3D 잠재 토큰으로 저장하고, 생성 중 이 캐시를 직접 읽고 갱신한다.¹

작동 방식은 다음과 같다. 먼저 첫 프레임에서 3D 잠재 캐시를 초기화한다. 이후 새로운 목표 시점의 영상을 만들 때마다 이 캐시를 읽고, 생성된 비디오 청크를 거치며 갱신된 정적 콘텐츠를 다시 캐시에 기록한다.¹

즉, Mirage는 이미 본 장면을 픽셀 이미지 모음으로 보관하는 대신, 확산 모델이 이해하는 내부 표현 안에 일종의 3D 지도를 유지한다.

기존의 3D 일관성 방식은 RGB 공간에서 구성한 명시적 포인트 클라우드 메모리에 의존하는 경우가 많았다.² 이 접근은 직관적이지만 비디오 생성 모델 입장에서는 비효율이 생긴다. 모델은 잠재 공간에서 생성 과정을 진행하는데, 메모리는 픽셀 공간에 있기 때문이다.

그 결과 반복적인 렌더링과 VAE 인코딩이 필요해진다.² 또한 픽셀 공간을 오가는 과정에서 학습된 잠재 표현의 풍부한 특징이 손실될 수 있다.²

Mirage는 이 왕복을 줄인다. 장면 정보를 확산 잠재 공간에 직접 저장해 픽셀 공간 재구성을 피한다.² 연구진은 이 구조가 색상 기반 시스템보다 최대 10.57배 빠른 생성과 최대 55배 적은 메모리 사용을 달성했다고 밝혔다.

Mirage는 Alibaba의 오픈소스 비디오 모델 Wan2.2를 기반으로 구축됐고, LoRA 어댑터로 파인튜닝됐다. 중요한 점은 완전히 새로운 비디오 생성 모델을 처음부터 만든 것이 아니라, 기존 비디오 확산 모델에 공간 기억 구조를 결합했다는 데 있다.

이 관점에서 Mirage의 의미는 단순한 성능 수치보다 넓다. 비디오 월드 모델의 경쟁축이 “프레임을 얼마나 잘 그리는가”에서 “장면을 어디에 저장하고, 얼마나 일관되게 다시 불러오는가”로 이동하고 있음을 보여준다.

Mirage를 볼 때 핵심 질문은 세 가지다.

Mirage는 이 질문에 대해 잠재 공간 메모리, 3D 캐시, 읽기와 쓰기 구조로 답한다. 그래서 특히 공간 구조가 오래 유지되는 비디오 생성에 유리한 방향을 제시한다.

다만 현재 설명의 중심은 정적 장면 콘텐츠다.¹ 움직이는 사람이나 물체까지 장기적으로 안정되게 기억하는 문제는 별도의 과제로 남아 있다. 따라서 먼저 주목할 적용처는 부동산 투어, 시뮬레이션 배경, 로봇 내비게이션처럼 공간 구조의 일관성이 중요한 영역이다.

결론은 명확하다. 앞으로 비디오 생성 모델을 평가할 때는 출력 품질만 볼 것이 아니라, 장면 정보를 어디에 저장하고 어떻게 갱신하는지도 함께 봐야 한다. Mirage는 그 기준을 잠재 공간의 3D 기억으로 옮겨 놓은 사례다.