AI 생성 이미지
AI 평가에서 묻는 질문은 보통 “맞혔는가?”입니다. 하지만 더 중요한 질문이 있습니다. “무엇을 근거로 맞혔는가?”
counterfactual evaluation gap은 이 두 질문 사이에서 생깁니다. 입력의 일부를 바꿔 봤을 때, 인간이 중요하게 보는 단서와 모델이 실제로 의존한 단서가 다르게 드러나는 현상입니다. 겉으로는 성능이 좋아 보여도, 모델이 엉뚱한 단서에 기대고 있다면 새로운 과제에서 쉽게 무너질 수 있습니다.
반사실 평가는 “그 단서가 없었다면?”을 묻는다
반사실 평가는 입력에서 특정 요소를 제거하거나 바꾼 뒤 결과가 어떻게 달라지는지 확인합니다. 예를 들어 이미지에서 어떤 객체를 지웠을 때 장면 설명이 크게 바뀐다면, 그 객체는 모델 판단에 중요한 역할을 했다고 볼 수 있습니다.
최근 CSS(Counterfactual Semantic Saliency) 연구는 이 아이디어를 장면 이해 평가에 적용했습니다. CSS는 장면 속 객체를 인과적으로 제거했을 때 발생하는 의미 변화를 측정해 객체 중요도를 계산하는 프레임워크입니다.1
이 접근이 중요한 이유는 평가 대상을 열어보지 않아도 된다는 점입니다. CSS는 블랙박스·모델 비종속 방식으로 설계되어 폐쇄형 VLM에도 적용할 수 있습니다.1 기존 화이트박스 해석 기법이 폐쇄형 아키텍처에 적용되기 어렵다는 한계를 우회하는 방식입니다.1
점수는 높아도, 근거는 다를 수 있다
일반적인 정답률이나 벤치마크 점수는 모델이 어떤 특징에 의존했는지 잘 보여주지 못합니다. 수동적 평가 지표만으로는 모델 판단에 영향을 준 인과적 특징을 분리하기 어렵기 때문입니다.1
CSS 연구는 이 문제를 더 직접적으로 보기 위해 307개의 복잡한 자연 장면과 1,306개의 고품질 반사실 변형 이미지를 사용했습니다.1 인간 기준선도 16,289개의 유효 응답으로 구성했습니다.1
분석 결과, 대상 VLM들은 인간과 다른 방식으로 장면을 읽었습니다. 모델들은 인간보다 다음 요소에 더 많이 의존했습니다.1
큰 객체
이미지 중앙에 있는 객체
시각적으로 더 두드러지는 객체
이것이 평가 격차의 핵심입니다. 모델이 정답을 맞혔다고 해서 인간과 같은 이유로 맞힌 것은 아닙니다. 익숙한 데이터셋에서는 큰 객체나 중앙 객체가 우연히 유용한 단서일 수 있습니다. 하지만 새로운 장면이나 과제에서는 그런 단서가 정답과 무관할 수 있습니다.
평가셋은 정답표를 넘어 개입 실험이 되어야 한다
counterfactual evaluation gap을 줄이려면 평가 방식도 바뀌어야 합니다. 단일 입력에 대한 정답 여부만 볼 것이 아니라, 원본 입력과 반사실 입력을 함께 비교해야 합니다.
실제로 확인해야 할 것은 다음과 같습니다.
객체를 제거했을 때 판단이 어떻게 달라지는가
객체 위치를 바꿨을 때 모델이 같은 결론을 유지하는가
시각적으로 두드러지는 요소가 바뀌면 답도 과도하게 흔들리는가
사람이 중요하게 보는 단서와 모델이 민감하게 반응하는 단서가 일치하는가
이런 방식은 모델의 “성능”이 아니라 “의존 구조”를 보여줍니다. 모델이 과제의 본질을 이해했는지, 아니면 훈련 데이터에서 자주 본 표면 패턴에 기대고 있는지를 구분하는 데 도움이 됩니다.
LLM 에이전트 평가에서도 비슷한 문제가 나타납니다. 한 연구에서는 스킬 추가 후 평균 통과율 변화가 +0.3%p에 그쳤지만, 반사실 추적 감사는 같은 실행 기록에서 522개의 행동 변화 패턴을 찾아냈습니다.2 결과 점수만 보면 놓치는 변화가 있다는 뜻입니다.
결론: “얼마나 맞혔나”보다 “왜 맞혔나”를 보라
counterfactual evaluation gap은 AI 평가의 blind spot을 드러냅니다. 모델이 높은 점수를 받더라도, 그 판단 근거가 인간의 판단 근거와 다르면 실제 배포 환경에서는 취약할 수 있습니다.
따라서 더 좋은 평가는 단순히 정답률을 높이는 평가가 아닙니다. 입력을 바꾸고, 단서를 제거하고, 조건을 흔들어 보면서 모델이 무엇에 의존하는지 확인하는 평가입니다.
AI가 새로운 과제에서도 강한지 알고 싶다면 질문을 바꿔야 합니다.
“맞혔는가?”에서 “무엇을 근거로 맞혔는가?”로.
반사실 평가는 그 근거를 드러내는 실용적인 방법입니다.
1Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.