공개 노트

WBench: 월드 모델을 "그럴듯한 영상" 너머로 평가하기

2026-06-05Views 5약 3분생성형 AI 활용

Summary

인터랙티브 월드 모델은 단순히 보기 좋은 영상을 만드는 기술이 아닙니다. 사용자의 지시에 따라 장면이 바뀌고, 여러 번의 상호작용 뒤에도 세계의 규칙과 상태가 유지되어야 합니다.

Meituan LongCat이 공개한 WBench는 바로 이 능력을 평가하기 위한 벤치마크입니다. 논문은 2026년 5월 25일 arXiv에 제출됐으며, 식별자는 2605.25874입니다.¹

WBench가 보려는 것

WBench는 인터랙티브 비디오 월드 모델을 평가하기 위한 멀티턴 벤치마크입니다.¹ 여기서 멀티턴은 한 번의 프롬프트로 끝나는 생성이 아니라, 여러 차례의 사용자 입력에 모델이 연속적으로 반응하는 상황을 뜻합니다.

이 차이가 중요합니다. 단일 프롬프트에서는 그럴듯한 영상을 만들 수 있어도, 사용자가 계속 개입하는 환경에서는 다른 능력이 필요합니다. 모델은 이전 상태를 기억해야 하고, 새 지시를 반영해야 하며, 장면의 일관성과 물리적 자연스러움을 유지해야 합니다.

WBench는 이를 다음 5가지 축으로 평가합니다.¹

즉 WBench의 핵심 질문은 "영상이 예쁜가"가 아니라 "이 모델이 하나의 세계처럼 작동하는가"입니다.

기존 벤치마크는 인터랙티브 월드 모델에 필요한 역량 중 일부만 다룬다는 한계가 있었습니다.¹ WBench는 이 문제를 해결하기 위해 각 테스트 케이스에 월드 설정과 멀티턴 상호작용 시퀀스를 함께 지정합니다.¹

구성도 비교적 구체적입니다. WBench에는 289개의 테스트 케이스와 1,058개의 상호작용 턴이 포함됩니다.¹ 또한 다양한 장면, 스타일, 주체를 다루도록 설계됐습니다.¹

이 구조의 장점은 실패를 더 세밀하게 볼 수 있다는 점입니다. 예를 들어 모델이 처음 장면은 잘 만들지만 이후 지시를 무시하는지, 지시는 따르지만 공간적 일관성을 잃는지, 또는 물리적으로 어색한 변화를 만드는지 구분할 수 있습니다.

WBench 프로젝트는 20개 모델을 평가했고, 모든 차원에서 강한 단일 모델은 없다고 보고합니다.² 이는 월드 모델을 비교할 때 평균 점수 하나만 보는 방식이 충분하지 않다는 뜻입니다.

어떤 모델은 영상 품질이 뛰어나지만 상호작용 지시를 안정적으로 따르지 못할 수 있습니다. 반대로 사용자의 조작에는 잘 반응하지만, 장면 일관성이나 물리적 자연스러움이 약할 수도 있습니다.

따라서 WBench는 단순한 순위표라기보다 진단 도구에 가깝습니다. 연구자나 제품 팀이 월드 모델을 평가할 때는 먼저 필요한 능력을 정해야 합니다.

이 질문에 따라 적합한 모델은 달라질 수 있습니다.

WBench의 의미는 분명합니다. 비디오 월드 모델은 이제 보기 좋은 샘플 몇 개만으로 평가하기 어렵습니다. 실제 인터랙티브 환경에서는 사용자의 지시를 따르고, 이전 상태를 유지하며, 물리적으로 말이 되는 변화를 만들어야 합니다.

WBench는 이런 능력을 비디오 품질, 설정 준수, 상호작용 준수, 일관성, 물리 준수라는 평가 축으로 나눠 보여줍니다. 덕분에 모델을 선택하거나 개선할 때 "무엇이 부족한지"를 더 구체적으로 판단할 수 있습니다.

결국 WBench가 던지는 질문은 하나입니다. 이 모델은 영상을 만드는가, 아니면 사용자가 계속 개입할 수 있는 세계를 만드는가.