텍스트-비디오 모델이 발전할수록 평가 질문도 달라집니다. 이제는 “영상이 그럴듯한가?”만으로 충분하지 않습니다. 프롬프트가 요구한 대상, 관계, 동작을 실제로 반영했는지까지 확인해야 합니다.
VQAScore는 바로 이 지점을 겨냥한 평가 지표입니다. 보기 좋은 결과물보다 “문장을 얼마나 정확히 구현했는가”를 평가하려는 흐름을 보여줍니다.
VQAScore는 무엇을 평가하는가
VQAScore는 생성된 이미지·영상·3D 결과가 주어진 텍스트와 얼마나 잘 맞는지 측정하는 지표입니다. 방식은 직관적입니다. VQA 모델에 “이 결과가 이 문장을 보여주나요?”라고 묻고, “Yes”가 나올 확률을 점수로 사용합니다.1
이 접근은 기존 CLIPScore가 놓치기 쉬운 문제를 보완하려는 시도입니다. 예를 들어 CLIPScore는 단어 순서나 관계를 충분히 구분하지 못해 “말이 풀을 먹는다”와 “풀이 말을 먹는다” 같은 문장을 헷갈릴 수 있습니다.2 반면 VQAScore는 질문-응답 형식으로 결과물이 텍스트의 의미를 충실히 담았는지 더 직접적으로 확인합니다.
즉 VQAScore의 핵심은 화질이나 스타일 평가가 아니라, 텍스트와 시각 결과 사이의 의미적 일치도를 재는 데 있습니다.
왜 여러 VLM 지원이 중요한가
VQAScore는 t2v_metrics 저장소를 통해 텍스트-이미지, 텍스트-비디오, 3D 모델 평가에 사용할 수 있습니다. 저장소 설명에 따르면 한 줄의 파이썬 코드로 평가를 실행할 수 있으며, GPT-4 계열, Gemini, Gemma, Qwen 계열 등 다양한 비전-언어 모델을 지원합니다. 2025년 9월에는 20개 이상의 최신 비디오-언어 모델 지원이 추가됐다고 공지했습니다.3
여기서 중요한 점은 평가 모델을 선택할 수 있다는 것입니다. 같은 생성 결과라도 어떤 VLM을 평가자로 쓰느냐에 따라 다른 관점에서 점수를 볼 수 있습니다. 연구자는 폐쇄형 API 모델과 오픈소스 VLM을 비교할 수 있고, 반복 실험에서 사람 평가 전에 후보를 빠르게 걸러낼 수 있습니다.
물론 자동 평가는 절대적인 정답이 아닙니다. 그러나 텍스트-비디오 모델을 여러 버전으로 실험하거나 프롬프트를 대량으로 비교해야 할 때, VQAScore 같은 지표는 비용과 시간을 줄이는 실용적인 기준점이 됩니다.
패키지의 변화가 보여주는 확장 방향
t2v-metrics 패키지는 빠르게 업데이트되어 왔습니다. 1.0 버전은 2024년 4월 1일 공개됐고, 1.0.1과 1.1은 2024년 4월 11일, 1.2는 2024년 8월 1일 공개됐습니다. 이후 3.0 버전은 2025년 9월 13일 공개됐습니다.4
패키지 크기도 커졌습니다. 1.2 버전의 휠 파일은 315KB였고, 3.0 버전은 1MB입니다.4 파일 크기만으로 기능을 단정할 수는 없지만, VQAScore가 단일 지표를 넘어 더 넓은 텍스트-비주얼 평가 도구로 확장되고 있음을 보여주는 단서로 볼 수 있습니다.
다음 평가 기준: 보기 좋은가보다 정확하고 유용한가
영상 생성 평가의 관심사는 점점 세분화되고 있습니다. KIVI는 텍스트-비디오 모델을 사실성과 유용성 기준으로 평가하며, 평가 질문을 “영상이 보기 좋은가”에서 “정확하고 유용한 정보를 전달하는가”로 옮깁니다.5 KIVI-Bench는 18개 지식 집약 카테고리에 걸쳐 1,080개 프롬프트를 포함합니다.5
이 흐름에서 VQAScore의 의미도 분명해집니다. 텍스트-비디오 모델을 평가할 때는 화질, 움직임, 스타일뿐 아니라 프롬프트 충실도와 사실성을 함께 봐야 합니다. 특히 제품 데모, 교육 영상, 절차 설명처럼 정보 전달이 중요한 영상에서는 평가 지표 선택이 모델 선택만큼 중요합니다.
결론적으로 VQAScore는 “보기 좋은 영상”을 넘어 “문장을 제대로 구현한 영상”을 평가하기 위한 도구입니다. 텍스트-비디오 모델을 실험한다면, 사람 평가에 들어가기 전에 VQAScore 같은 자동 지표로 후보를 선별하는 것이 현실적인 출발점이 될 수 있습니다.
1Evaluating Text-to-Visual Generation with Image-to-Text Generation
2[2404.01291] Evaluating Text-to-Visual Generation with Image-to-Text Generation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.