AI는 이미 그럴듯한 영상을 만들 수 있습니다. 하지만 장면이 자연스럽게 이어진다고 해서 그 안에 “세계”가 존재하는 것은 아닙니다. 세계라면 화면 밖에 있는 물체도 계속 존재해야 하고, 사용자의 행동이 남긴 결과도 시간이 지나며 유지되어야 합니다.
VAST AI Research가 연구 프리뷰로 공개한 Project Eden은 바로 이 지점을 겨냥합니다. Eden은 픽셀 시퀀스 예측보다 객체, 공간, 이벤트, 행동, 기억, 물리적 결과를 시간에 따라 유지하는 것을 월드 모델의 핵심 조건으로 봅니다.1
월드 모델의 기준: 다음 프레임이 아니라 지속되는 상태
기존 액션 조건부 비디오 생성은 사용자의 입력에 따라 다음 장면을 만들어냅니다. 그러나 이 방식은 세계에 대한 이해를 최근 몇 프레임의 짧은 컨텍스트 안에 압축합니다. 그 결과 물체가 카메라 시야를 벗어나면 독립된 상태로 보존되기 어렵고, 다시 등장할 때는 모델이 그럴듯하게 추론해 복원해야 합니다.1
이 한계는 장면의 일관성 문제로 나타납니다. 사라졌던 물체의 위치가 달라지거나, 이전 행동의 결과가 유지되지 않거나, 시점이 바뀌었을 때 같은 공간이 다른 상태처럼 보일 수 있습니다.
정적 3D 장면 생성도 완전한 해답은 아닙니다. 탐색 가능한 공간 구조를 제공할 수는 있지만, 시간의 흐름, 물리적 변화, 상태 전이를 기본 구조로 포함하지는 않습니다.1 즉, 공간은 있어도 그 공간이 사건과 행동에 따라 변해가는 “세계”라고 보기는 어렵습니다.
Eden의 핵심: 상태와 렌더링을 분리한다
Project Eden은 지속형 멀티플레이어 월드 모델입니다. 핵심 설계는 기본 세계 상태와 시각적 렌더링을 분리하는 데 있습니다.1 쉽게 말해, 이미지는 세계를 저장하는 장소가 아니라 세계 상태를 특정 시점에서 관찰한 결과입니다.
VAST는 월드 모델이 두 가지를 동시에 다뤄야 한다고 설명합니다. 하나는 특정 시점의 객관적 세계 상태(State)이고, 다른 하나는 행동, 사건, 규칙에 따라 그 상태가 어떻게 바뀌는지에 대한 전이(Transition)입니다.1
이 관점에서 Eden의 목표는 공간, 이벤트, 시점, 객체 정체성, 물리 변화, 시각 외형을 모두 픽셀 이력에 압축하지 않는 것입니다. 시각 렌더링은 상태를 저장하는 매체가 아니라, 상태를 관찰하는 방식으로 정의됩니다.1
3계층 구조로 보는 Project Eden
Eden은 이 분리를 구현하기 위해 3계층 구조를 사용합니다.1
첫째, 진화하는 구조화 상태 계층은 세계의 콘텐츠, 거친 기하, 객체 의미, 사용자 행동의 결과를 압축된 암시적 또는 구조적 표현으로 유지합니다. 여기서 중요한 것은 보이는 장면 자체가 아니라, 시간이 지나도 이어져야 할 세계의 상태입니다.
둘째, 상태-관찰 인터페이스는 현재 상태를 특정 시점에서 관찰할 수 있는 형태로 바꿉니다. 즉, 세계 전체의 상태와 카메라가 보는 장면 사이를 연결합니다.
셋째, 생성형 신경 렌더링은 그 관찰 조건을 바탕으로 최종 시각 결과를 만듭니다. 질감, 조명, 재질, 연기나 물 같은 세부 표현은 이 단계에서 생성됩니다.
이 구조가 중요한 이유는 명확합니다. 사용자가 어떤 공간에서 변화를 만들면, 그 변화는 일시적인 영상 효과가 아니라 세계 상태에 기록되어야 합니다. 다른 사용자가 같은 공간에 들어왔을 때도 같은 결과를 관찰할 수 있어야 지속형 멀티플레이어 월드라고 부를 수 있습니다.
평가 기준은 화질보다 지속성이다
Project Eden을 이해할 때 단순히 “영상이 얼마나 사실적인가”만 보면 핵심을 놓칩니다. 더 중요한 질문은 다음과 같습니다.
물체가 화면 밖으로 나간 뒤에도 같은 정체성과 상태를 유지하는가?
사용자의 행동 결과가 시간이 지나도 남아 있는가?
시점이 바뀌어도 같은 세계 상태를 일관되게 관찰할 수 있는가?
공간이 단순한 배경이 아니라 사건과 규칙에 따라 변하는 환경인가?
이 기준은 게임, 가상공간, 디지털 트윈, 로봇 학습 환경을 바라보는 방식에도 영향을 줍니다. 특히 에이전트 훈련에는 매번 새로 생성되는 장면보다, 행동하면 결과가 남고 그 결과가 다음 행동의 조건이 되는 환경이 더 중요합니다.
Project Eden은 아직 연구 프리뷰입니다. 그럼에도 메시지는 분명합니다. 다음 세대 월드 모델의 경쟁은 “얼마나 그럴듯하게 보이는가”에서 “얼마나 일관된 세계를 오래 유지하는가”로 이동하고 있습니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.