멀티모달 AI가 이미지를 “본다”고 할 때 중요한 것은 단순히 정답을 맞히는 능력만이 아닙니다. 더 실질적인 질문은 이것입니다. 모델이 얼마나 다양한 시각 세계에서도 안정적으로 추론할 수 있는가.
WorldBench는 이 질문을 정면으로 다루는 비전-언어 벤치마크입니다. 이미지와 텍스트를 함께 이해하는 멀티모달 대형언어모델, 즉 MLLM의 시각 추론 능력을 평가하기 위해 공개됐습니다.1
WorldBench가 묻는 것: 과제보다 ‘시각적 다양성’
WorldBench의 문제의식은 명확합니다. 기존 멀티모달 벤치마크는 과제 유형을 늘리는 데 집중해 왔지만, 실제 세계의 폭넓은 시각적 다양성을 충분히 담아내지는 못했다는 것입니다.1
여기서 말하는 시각적 다양성은 단순히 이미지 수가 많다는 뜻이 아닙니다. 모델이 생물 등 여러 도메인에 걸친 다양한 시각 개념을 접하고, 그 안에서 근거를 찾아 추론할 수 있는지를 보는 기준입니다.1
이를 위해 WorldBench는 수천 개의 시각 개념 분류체계를 구축해 사용합니다.1 이미지는 검색엔진과 기존 데이터셋에서 수집됐고, 이 수집 과정은 시각 세계를 폭넓게 대표하도록 설계된 분류체계의 안내를 받았습니다.1
즉 WorldBench의 핵심은 “더 많은 문제”가 아니라 “더 넓은 시각 세계”입니다.
2,000개 VQA가 보여주는 난도
WorldBench 데이터셋에는 2,000개의 손으로 작성된 VQA 항목이 포함되어 있습니다.2 또한 이 항목들은 인간 검증을 거쳤습니다.2
이 구성은 중요한 의미가 있습니다. 모델이 단순히 이미지 속 물체 이름을 맞히는 수준을 넘어, 이미지의 세부 정보와 질문의 조건을 연결해 판단해야 한다는 뜻입니다. 실제 서비스 환경에서도 사용자는 정돈된 대표 이미지보다 훨씬 복잡하고 다양한 입력을 던집니다. WorldBench는 바로 그 지점에서 모델의 한계를 드러내려는 벤치마크입니다.
성능 결과도 이 메시지를 뒷받침합니다. Gemini-3.1-Pro는 WorldBench에서 64% 정확도를 기록했습니다.2 이 숫자는 최신 모델이 “이미지를 볼 줄 안다”는 표현만으로는 부족하다는 점을 보여줍니다. 다양한 시각 입력 앞에서 안정적으로 추론하는 일은 여전히 어렵습니다.
순위표보다 중요한 활용법
WorldBench를 볼 때 중요한 것은 단순한 평균 점수 비교가 아닙니다. 제품이나 서비스에 MLLM을 적용하려는 입장이라면 다음 질문이 더 실용적입니다.
내가 다루는 입력은 어떤 시각 도메인에 가까운가?
모델이 특정 유형의 이미지에만 강한 것은 아닌가?
문서, 화면, 장면, 생물 등 실제 입력 분포가 바뀌어도 성능이 유지되는가?
데모용 이미지가 아니라 예외적이고 낯선 이미지에서도 추론이 가능한가?
WorldBench의 가치는 여기 있습니다. 멀티모달 AI 평가를 “무엇을 맞혔는가”에서 “얼마나 넓은 시각 세계를 견디는가”로 옮겨 놓습니다.
결국 WorldBench가 주는 결론은 단순합니다. MLLM은 빠르게 발전하고 있지만, 아직 세상을 넓고 안정적으로 본다고 말하기는 어렵습니다. 앞으로의 경쟁은 더 큰 모델을 만드는 것만이 아니라, 더 다양한 시각 입력에서도 덜 흔들리는 모델을 만드는 방향으로 이어질 가능성이 큽니다.
1WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.