멀티모달 AI의 추론 능력은 놀랍도록 발전했지만, 정작 이미지를 제대로 보고 있는지 묻는 질문에는 어떤 답을 내놓을까. Moonshot AI가 공개한 Moonshot PerceptionBench는 이 물음에 냉정한 점수표를 제시한다. 이 벤치마크는 추론이나 사전 지식을 완전히 배제하고, 오직 ‘순수한 시각 인지’ 능력만을 평가한다.
지식을 걷어내고 ‘보는 능력’만 남기다
기존 멀티모달 벤치마크의 맹점은 오답의 원인이 불분명하다는 데 있었다. 이미지를 보여주고 “왜 이런 현상이 발생했나?”라고 물었을 때, 틀린 이유가 시각 처리 오류인지, 논리 부족인지, 지식 공백인지 분간하기 어려웠다. Moonshot PerceptionBench는 이 지점을 해부하기 위해 42개 기존 벤치마크에서 최첨단 MLLM이 실제로 실패한 사례를 추적했다1. 연구진은 오답 중에서도 시각 인지 단계에서 발생한 오류만을 분리하여 10가지 원자적 시각 능력(위치 인식, 객체 속성, 개수 세기, 관계 이해, 공간 인식, OCR, 세밀한 객체 구분, 장면 통합, 환각 탐지 등)을 정의했다.
이렇게 탄생한 3,000개의 질문은 각각 단 하나의 시각 능력만을 검사하도록 설계되었다2. 복잡한 추론이나 외부 지식은 필요하지 않다. 이미지를 정확히 관찰하기만 하면 답할 수 있는 짧고 명확한 형태로 구성하여, 평가 대상을 시각 인지 자체로 한정한 것이다. 초기 17,000개 이상의 문제를 제작한 뒤 여러 차례 검증을 거쳐 최종 3,000개를 선별했으며, 이 중 약 60%는 실제 모델의 실패 사례를 세분화하고 40%는 특정 시각 능력 평가를 위해 새롭게 설계했다.
비슷한 점수 뒤에 숨은 전혀 다른 약점
16개의 최첨단 멀티모달 모델을 평가한 결과, 어떤 모델도 정확도 60%를 넘지 못했다1. 더 중요한 발견은 비슷한 평균 점수를 받은 모델들조차 10가지 세부 능력에서는 완전히 다른 강점과 약점 프로필을 보였다는 점이다. OCR에 강하지만 공간 인식에 취약한 모델, 객체 위치는 잘 찾으면서도 세밀한 구분에는 실패하는 모델 등, 하나의 종합 점수로는 결코 드러나지 않던 불균형이 낱낱이 해부된 것이다.
전체 평균에서 가장 취약한 능력은 인지 관련 환각으로 기록됐다. 모델들은 이미지에 존재하지 않는 사물을 실제처럼 자신 있게 묘사했으며, 같은 이미지에 대한 유사한 질문에도 답변이 오락가락하는 비일관성을 노출했다. 이는 모델이 장면을 진짜 이해한 것이 아니라, 확률적으로 가장 그럴듯한 답을 추정하고 있음을 강하게 시사한다.
결론: 물리 AI 시대, 경쟁의 축은 ‘정확히 보는 것’으로 이동한다
Moonshot PerceptionBench가 증명한 것은 추론 고도화와 정확한 시각 인지가 별개의 과제라는 사실이다. 자율주행, 로봇 공학, 의료 영상 등 현실 세계와 맞닿은 물리 AI에서는 논리적 사고 이전에 정확히 보는 능력이 기본 전제가 된다. 이 벤치마크는 더 이상 하나의 종합 점수에 의존하지 않고, 모델의 시각 인지 능력을 원자 단위로 진단할 수 있는 기준을 제시한다. 앞으로 멀티모달 모델의 경쟁은 ‘보는 능력’ 자체의 신뢰성을 높이는 방향으로 전환될 것이다.
1PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.