멀티모달 대규모 언어모델(MLLM)은 이제 비디오를 보고 장면을 설명하거나 질문에 답하는 데 꽤 능숙해졌다. 하지만 비디오 이해에서 더 어려운 문제는 따로 있다. 화면 속 세계가 시간에 따라 어떻게 바뀌는지 계속 기억하고 갱신할 수 있느냐다.
VSTAT은 바로 이 능력을 평가하기 위한 벤치마크다. 단순히 “무엇이 보이는가”가 아니라 “무엇이 언제, 어떻게 변했는가”를 모델이 따라갈 수 있는지 묻는다.
VSTAT은 무엇인가
VSTAT의 정식 명칭은 Visual STAte Tracking benchmark다. 2026년 6월 arXiv에 공개된 논문은 VSTAT을 MLLM의 시각적 상태 추적 능력을 진단하는 비디오 벤치마크로 제안한다.1
여기서 말하는 상태 추적은 단순한 픽셀 단위 추적이나 객체 위치 추적에 그치지 않는다. 모델은 비디오 속 물체의 개수, 위치, 속성, 관계가 시간에 따라 어떻게 변하는지 파악해야 한다. 즉 한 장면을 잘 인식하는 능력보다, 변화하는 세계 상태를 지속적으로 유지하는 능력이 핵심이다.
VSTAT은 합성 비디오와 실제 세계 비디오에서 추출한 834개 클립과 1,500개 질문으로 구성된다.1
기존 비디오 평가와 무엇이 다른가
VSTAT의 질문은 단일 프레임이나 짧은 구간만 보고 답할 수 없도록 설계됐다.1 전체 비디오 스트림을 따라가며 사건을 계속 인식하고, 앞뒤 변화를 통합해야 한다.
예를 들어 단순히 “공이 보이는가”를 묻는다면 모델은 특정 프레임만 보고도 답할 수 있다. 반면 “처음에는 어디에 있던 물체가 마지막에는 어떤 상태가 되었는가” 같은 질문은 중간 과정의 변화를 놓치면 답하기 어렵다. 물체가 가려지거나, 비슷한 대상이 여러 개 등장하거나, 속성이 중간에 바뀌면 모델은 매 순간 내부 상태를 업데이트해야 한다.
이 차이가 VSTAT의 핵심이다. 많은 비디오 벤치마크가 장면 인식, 이벤트 분류, 질의응답 정확도를 본다면, VSTAT은 모델이 비디오 속 세계를 시간에 따라 일관되게 추적하는지를 평가한다.
결과가 보여주는 병목
논문은 최신 MLLM들이 기존 비디오 벤치마크에서는 강한 성능을 보였음에도, VSTAT에서는 인간보다 크게 낮은 성능을 보였다고 보고했다.1 또한 답변 사전확률 기반 베이스라인보다 약간 높은 수준에 그쳤다고 한다.1
이는 현재 모델의 비디오 이해가 아직 “지속적 상태 추적”에는 취약하다는 신호다. 모델이 특정 장면을 설명하거나 짧은 이벤트를 인식하는 것과, 긴 흐름 속에서 변화한 상태를 끝까지 유지하는 것은 다른 문제다.
VSTAT이 주는 실용적 기준
VSTAT은 비디오 AI를 평가할 때 확인해야 할 질문을 바꾼다.
모델이 단일 프레임을 잘 이해하는가?
짧은 클립의 이벤트를 분류할 수 있는가?
긴 비디오 안에서 상태 변화를 계속 추적할 수 있는가?
앞의 두 질문만으로는 충분하지 않다. 영상 기반 에이전트, 로봇, 감시, 스포츠 분석처럼 시간이 핵심인 영역에서는 세 번째 질문이 특히 중요하다. 실제 환경에서는 물체와 사람, 상황이 계속 바뀌기 때문이다.
따라서 비디오 MLLM을 평가하거나 도입할 때는 단순한 장면 이해 성능이나 긴 컨텍스트 지원 여부만 볼 것이 아니라, 상태 변화 추적 능력을 별도로 확인해야 한다. VSTAT은 그 능력을 드러내기 위한 기준점으로 볼 수 있다.
1Benchmarking Visual State Tracking in Multimodal Video Understanding
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.