문서 AI를 평가할 때 흔히 먼저 보는 것은 답변 정확도입니다. 하지만 실제 업무에서는 곧바로 다음 질문이 따라옵니다.
그 답은 문서의 어디에서 나왔나?
CiteVQA는 바로 이 질문을 평가하기 위한 벤치마크입니다. 기존 Doc-VQA 평가가 주로 최종 답변이 맞는지에 집중했다면, CiteVQA는 답변과 그 답을 뒷받침하는 문서 내 근거를 함께 평가합니다.1 문서 AI가 단순히 그럴듯한 답을 생성하는지, 아니면 검증 가능한 근거를 바탕으로 답하는지를 구분하려는 시도입니다.
CiteVQA는 무엇을 다르게 보나
CiteVQA의 핵심은 “출처를 제시했는가”에서 한 걸음 더 나아갑니다. 모델은 답변마다 문서 안의 요소 수준 근거를 바운딩박스로 표시해야 합니다.1 단순히 페이지 번호를 말하는 것이 아니라, 표, 문단, 그림, 수식 등 답을 뒷받침하는 실제 영역을 좌표로 짚어야 합니다.
근거 표기에는 구조화된 내용, 페이지 번호, 문서 인덱스, 바운딩박스 좌표가 포함됩니다.2 즉, 사람이 나중에 같은 문서를 열어 모델의 판단 근거를 다시 확인할 수 있어야 합니다.
데이터셋은 711개 PDF와 1,897개 질문으로 구성됐으며, 영어 문서 451개와 중국어 문서 260개를 포함합니다. 문서는 7개 대분야와 30개 세부분야를 포괄하고, 단일 문서 질의응답뿐 아니라 여러 문서를 함께 봐야 하는 추론 시나리오도 포함합니다.2
왜 “맞는 답, 틀린 근거”가 문제인가
CiteVQA의 핵심 지표는 Strict Attributed Accuracy, 즉 SAA입니다. 답이 맞는 것만으로는 충분하지 않습니다. 답도 맞고, 인용한 위치도 맞아야 점수를 받습니다.1
이 기준이 중요한 이유는 명확합니다. 법률, 금융, 의료처럼 검토와 책임 추적이 필요한 분야에서는 답변 자체보다도 “그 답을 믿을 수 있는 이유”가 중요합니다. 답은 맞아 보이지만 근거 위치가 틀리다면, 사용자는 모델이 실제로 문서를 이해했는지 확인할 수 없습니다. 더 나아가 오류가 발생했을 때 어느 근거에서 문제가 생겼는지도 추적하기 어렵습니다.
CiteVQA가 겨냥하는 위험은 이런 Attribution Hallucination입니다. 모델이 정답에 가까운 문장을 만들면서도 실제 근거와 다른 문서 영역을 인용하는 현상입니다.1 이 경우 표면적으로는 신뢰할 만해 보이지만, 검증 가능한 문서 AI로 보기에는 부족합니다.
문서 AI를 평가할 때 바뀌어야 할 질문
CiteVQA가 주는 실무적 메시지는 단순합니다. 문서 기반 AI를 도입하거나 평가할 때는 “답이 맞는가”만 보지 말고, 다음 질문을 함께 던져야 합니다.
답변의 근거가 문서 안에 명확히 표시되는가?
표시된 근거가 실제 답을 뒷받침하는 위치인가?
단일 문서뿐 아니라 여러 문서에 걸친 근거도 추적할 수 있는가?
사람이 나중에 같은 근거를 다시 확인할 수 있는 형태인가?
이 기준으로 보면 좋은 문서 AI는 단순한 답변 생성기가 아닙니다. 답변과 함께 검증 가능한 근거 경로를 제공하는 시스템에 가깝습니다.
CiteVQA에서 Gemini-3.1-Pro-Preview가 100점 만점에 76점을 기록했다는 점도 이 과제를 잘 보여줍니다.1 강력한 모델도 문서 내 근거를 정확히 귀속하는 문제에서는 아직 개선 여지가 큽니다.
결국 CiteVQA의 의미는 문서 AI 평가의 초점을 “정답률”에서 “추적 가능한 정답률”로 옮긴 데 있습니다. 앞으로 업무용 문서 AI를 판단할 때는 답변 품질만큼이나 근거 귀속의 정확성을 핵심 기준으로 봐야 합니다.
1CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.