AI 비디오는 한 번 생성하고 끝나는 영상에서, 사용자의 행동에 반응하는 “인터랙티브 월드 모델”로 이동하고 있습니다. 이 변화에서 더 어려워진 것은 생성 자체보다 평가입니다. 이제 중요한 질문은 단순히 “보기 좋은가”가 아니라 “사용자가 움직이고 지시를 바꿔도 같은 세계가 유지되는가”입니다.
WBench는 무엇을 평가하는가
LongCat의 WBench는 인터랙티브 비디오 월드 모델을 평가하기 위한 다중 턴 벤치마크입니다. 데이터셋은 289개 테스트 케이스와 1,058개 상호작용 턴으로 구성되며, 각 테스트 케이스는 하나의 월드 설정과 그 뒤를 잇는 여러 단계의 사용자 행동을 포함합니다.1
WBench의 핵심 설계는 초기 “세계 설정”과 이후 “상호작용”을 분리해 본다는 점입니다. 세계 설정에는 장면, 스타일, 주체, 1인칭·3인칭 시점이 포함됩니다. 이후 사용자 행동은 네 가지 유형으로 나뉩니다. 내비게이션, 주체 행동, 이벤트 편집, 시점 전환입니다.1
이 구분은 실용적입니다. 모델이 처음 장면을 잘 만들었지만 이후 행동을 무시했는지, 지시는 따랐지만 공간·인물·시점의 일관성을 잃었는지, 혹은 물리적으로 어색한 결과를 냈는지 더 명확히 진단할 수 있기 때문입니다.
좋은 영상과 좋은 세계는 다르다
기존 비디오 생성 평가가 주로 시각적 품질에 집중했다면, WBench는 인터랙티브 환경에서 필요한 조건을 더 넓게 봅니다. 평가 차원은 비디오 품질, 설정 준수, 상호작용 준수, 일관성, 물리 준수의 5가지입니다.1
즉 WBench에서 좋은 모델은 단지 선명하고 그럴듯한 영상을 만드는 모델이 아닙니다. 처음 설정한 세계를 유지하고, 사용자의 행동을 반영하며, 여러 턴이 지나도 앞뒤가 맞고, 물리적으로 납득 가능한 결과를 내야 합니다.
평가는 22개 자동 하위 지표를 통해 이뤄집니다. 이 지표들은 전문 비전 모델과 대형 멀티모달 모델을 결합해 산출됩니다.1 따라서 WBench는 단순한 순위표라기보다, 모델이 어떤 조건에서 강하고 어디에서 무너지는지 보여주는 진단 프레임에 가깝습니다.
서로 다른 입력 방식을 어떻게 비교하는가
인터랙티브 월드 모델은 입력 방식이 서로 다를 수 있습니다. 어떤 모델은 텍스트 명령을 받고, 어떤 모델은 카메라 포즈를 받으며, 또 어떤 모델은 “앞으로 이동” 같은 이산 행동 제어를 사용할 수 있습니다.
WBench는 특히 내비게이션 평가에서 이 차이를 다루기 위해 텍스트, 6-DoF 포즈, 이산 행동 제어를 하나의 프로토콜로 통합합니다.1 여기서 6-DoF 포즈는 위치 3자유도와 회전 3자유도를 포함하는 카메라 자세 표현입니다.1 이 통합 프로토콜은 서로 다른 입력 인터페이스를 가진 모델군을 비교하기 위한 장치입니다.2
이 점은 벤치마크의 활용도를 높입니다. 특정 입력 방식에 맞춘 모델만 평가하는 것이 아니라, 다양한 제어 방식을 가진 월드 모델을 같은 문제의식 아래 비교할 수 있기 때문입니다.
WBench를 어떻게 읽어야 하는가
WBench 게시물은 20개 최신 모델을 대상으로 평가했다고 밝혔습니다. 중요한 해석은 “어떤 모델이 1등인가”보다 “어떤 능력이 아직 부족한가”에 있습니다. 인터랙티브 비디오에서는 화질, 설정 준수, 행동 반영, 장면 일관성, 물리적 그럴듯함이 동시에 필요하지만, 모델마다 강점과 약점은 다를 수 있습니다.
예를 들어 게임, 로봇, 디지털 트윈처럼 사용자가 계속 개입하는 환경에서는 단일 프롬프트 성능만으로 충분하지 않습니다. 앞으로 이동하고, 주체가 점프하고, 사건이 바뀌고, 3인칭에서 1인칭으로 전환되는 상황에서도 세계가 무너지지 않아야 합니다.
WBench의 의미는 새로운 점수표를 하나 더 만든 데 있지 않습니다. AI 비디오를 “생성된 클립”이 아니라 “상호작용 속에서 유지되는 세계”로 평가해야 한다는 기준을 제시한 데 있습니다. 앞으로 월드 모델을 볼 때 가장 먼저 물어야 할 질문도 여기에 가깝습니다.
이 모델은 사용자의 다음 행동까지 견딜 수 있는가?
1WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.