Video Moment Retrieval(VMR)은 긴 비편집 영상에서 문장 쿼리에 해당하는 특정 순간을 찾는 과제입니다.1 예를 들어 사용자가 "양파를 써는 장면"이라고 입력하면, 시스템은 영상 전체가 아니라 그 행동이 나타나는 구간을 찾아야 합니다.
겉으로는 단순한 검색 문제처럼 보이지만, 실제 VMR 벤치마크와 실제 사용자 검색 사이에는 중요한 간극이 있습니다. 많은 VMR 모델은 사용자가 직접 입력한 검색어가 아니라, 영상을 본 사람이 자세히 작성한 캡션에 가까운 문장으로 학습·평가됩니다. 캡션은 보통 길고 구체적이지만, 실제 검색어는 짧고 불완전하며 때로는 모호합니다.
캡션은 설명이고, 검색어는 요청이다
CVPR 2026 논문 Beyond Caption-Based Queries for Video Moment Retrieval은 바로 이 차이를 다룹니다.2 연구진은 HD-EPIC, YouCook2, ActivityNet-Captions 등 3개 데이터셋의 쿼리를 조정하는 파이프라인을 설계해, 기존 캡션 기반 쿼리를 실제 검색 쿼리에 더 가깝게 바꾸는 벤치마크를 구성했습니다.2
핵심 문제는 두 가지입니다.
첫째, 검색 쿼리는 캡션보다 정보가 적습니다. 캡션이 "오른손으로 나무 도마 위의 은색 칼을 집는다"처럼 장면을 자세히 설명한다면, 사용자는 "칼 집기"처럼 짧게 입력할 가능성이 큽니다. 모델이 캡션에만 익숙하면 이런 축약된 표현을 제대로 해석하지 못할 수 있습니다.
둘째, 하나의 검색어가 영상 안의 여러 순간과 대응될 수 있습니다. "양파 썰기" 같은 행동은 조리 영상에서 여러 번 반복될 수 있습니다. 이 경우 단일 정답 구간만 찾는 방식은 실제 검색 경험을 충분히 반영하지 못합니다.
성능 하락은 모델 문제가 아니라 평가 조건 문제일 수 있다
이 논문이 중요한 이유는 "모델이 VMR을 잘한다"는 판단 기준을 다시 보게 만들기 때문입니다. 캡션 기반 쿼리에서 높은 점수를 얻은 모델이라도, 짧고 덜 구체적인 검색 쿼리에서는 성능이 떨어질 수 있습니다.2
논문은 특히 DETR 계열 VMR 모델에서 active decoder-query collapse 문제를 지적합니다.2 쉽게 말하면, 여러 후보 순간을 찾기 위해 여러 쿼리가 작동해야 하는데 실제로는 일부 쿼리만 활성화되는 현상입니다. 검색 쿼리처럼 정보가 부족하고 여러 순간이 답이 될 수 있는 환경에서는 이런 문제가 더 크게 드러납니다.
연구진은 디코더 self-attention 제거와 decoder-query dropout 같은 수정을 통해 더 많은 쿼리가 활성화되도록 했고, 검색 쿼리 환경에서 성능 개선을 보고했습니다.2 이는 모델 구조 자체도 중요하지만, 어떤 종류의 쿼리로 평가하느냐가 성능 해석에 큰 영향을 준다는 점을 보여줍니다.
실전형 VMR은 “있는 장면 찾기”를 넘어야 한다
제품 관점에서 이 연구의 메시지는 분명합니다. 영상 검색 시스템을 만들 때는 "정답 캡션을 잘 맞히는가"만으로는 부족합니다. 실제 사용자는 짧게 묻고, 대충 묻고, 같은 행동을 여러 방식으로 표현합니다. 더 나아가 영상에 없는 내용을 검색할 수도 있습니다.
이 지점은 오픈셋 VMR 연구와도 연결됩니다. 기존 VMR 연구는 주어진 모든 쿼리가 영상과 관련 있다고 보는 폐쇄집합 가정에 기반하는 경우가 많습니다.1 반면 오픈셋 VMR은 영상과 관련 있는 쿼리는 순간 검색을 수행하고, 관련 없는 쿼리는 거부해야 하는 설정입니다.1 OpenVMR 연구도 영상 관련 쿼리를 in-distribution, 영상 무관 쿼리를 out-of-distribution으로 다루며, 먼저 두 유형을 구분한 뒤 관련 쿼리에 대해서만 순간 검색을 수행합니다.1
따라서 실전형 VMR을 평가하려면 최소한 세 가지를 함께 봐야 합니다.
캡션처럼 자세한 문장이 아니라 짧은 검색어에서도 잘 작동하는가
하나의 검색어가 여러 순간과 연결될 때 적절히 대응하는가
영상에 없는 쿼리를 무리하게 매칭하지 않고 거부할 수 있는가
무엇을 배울 수 있나
Beyond Caption-Based Queries for Video Moment Retrieval의 가치는 새로운 벤치마크를 제안했다는 데만 있지 않습니다. 이 연구는 VMR 평가가 실제 사용자의 검색 행태와 얼마나 가까운지를 따져야 한다는 기준을 제시합니다.2
영상 검색 모델을 개발하거나 도입하려는 입장이라면, 다음 질문을 던져볼 필요가 있습니다. 지금 성능 지표는 사람이 쓴 캡션을 맞히는 능력을 보는가, 아니면 사용자가 실제로 입력할 검색어를 처리하는 능력을 보는가? 이 차이를 구분하지 않으면, 벤치마크에서는 좋아 보이지만 제품에서는 기대만큼 작동하지 않는 시스템을 만들 수 있습니다.
CVPR 2026 메인 컨퍼런스 논문은 2026년 5월 23일 CVF Open Access에 공개됐습니다.3 CVF는 카메라레디로 제출된 논문 PDF를 최종 출판본으로 보관하며, 출판 후 소규모 수정이 필요한 경우 저자가 arXiv 버전을 업데이트하도록 안내합니다.3 따라서 논문 원문은 CVF Open Access에서 확인하되, 이후 수정 사항은 arXiv나 프로젝트 페이지도 함께 살펴보는 것이 좋습니다.
1Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.