AI 생성 이미지
로봇과 embodied AI가 실제 환경에서 유용해지려면, 장면을 인식하는 능력만으로는 부족합니다. 현실의 공간은 한 번의 관찰로 완전히 드러나지 않습니다. 물체는 다른 물체에 가려질 수 있고, 내부에 무엇이 들어 있는지는 열어봐야 알 수 있으며, 어떤 대상의 기능은 직접 상호작용해야 확인되는 경우가 많습니다.
이 지점에서 공간 지능의 의미가 달라집니다. 단순히 이미지를 해석하는 문제가 아니라, 어떤 행동을 통해 필요한 관찰을 만들고 그 결과를 바탕으로 다시 판단하는 문제입니다. 즉 공간 지능은 ‘지각’만의 문제가 아니라 지각과 행동이 서로 맞물리는 루프에 가깝습니다.
ESI-Bench는 이 관점을 평가로 옮긴 벤치마크입니다.1
수동 관찰의 한계가 드러나는 지점
많은 시각 AI 평가는 주어진 이미지나 영상에서 정답을 찾는 방식으로 설계됩니다. 이런 방식은 모델의 인식 능력을 비교하기에는 유용하지만, 실제 환경에서 에이전트가 겪는 문제를 충분히 반영하지 못할 수 있습니다.
예를 들어 어떤 물체가 용기 안에 있는지, 문 뒤에 무엇이 있는지, 특정 물체가 움직일 수 있는지, 어떤 도구가 특정 기능을 수행할 수 있는지는 멀리서 한 장면을 보는 것만으로 판단하기 어렵습니다. 이때 필요한 것은 더 많은 픽셀 자체가 아니라, 정답을 확인할 수 있는 적절한 관찰입니다.
ESI-Bench가 다루는 핵심도 여기에 있습니다. 이 벤치마크는 가려진 구조, 동역학, 포함 관계, 기능성처럼 수동 관찰만으로 해결하기 어려운 정보를 평가 대상으로 삼습니다.1 따라서 관찰자는 카메라처럼 장면을 받아들이는 존재가 아니라, 환경 안에서 움직이고 조작하며 증거를 수집하는 주체로 설정됩니다.
벤치마크의 핵심: 무엇을 보고, 어디로 가고, 무엇을 만질 것인가
ESI-Bench에서 에이전트는 자기중심적 관찰과 공간 질문을 받습니다.1 중요한 점은 그다음입니다. 에이전트는 지각, 이동, 조작 중 어떤 능력을 어떤 순서로 사용할지 결정해야 합니다.1
이는 평가의 초점을 바꿉니다. 모델이 장면을 잘 이해하는지뿐 아니라, 이해에 필요한 정보를 얻기 위해 올바른 행동을 선택하는지도 보게 됩니다. 가까이 가야 하는 문제인지, 다른 각도에서 봐야 하는 문제인지, 직접 조작해야 하는 문제인지 구분하는 능력이 평가 대상이 되는 셈입니다.
구성 면에서 ESI-Bench는 OmniGibson 위에 구축되었고, BEHAVIOR-1K의 현실적인 상호작용 장면을 기반으로 합니다.1 전체 규모는 10개 작업 범주, 29개 하위 범주, 3,081개 인스턴스입니다.1 또한 과제 설계에는 Spelke의 핵심 지식 체계가 반영되었습니다.1
이런 설계는 ESI-Bench가 단순한 시각 질의응답 벤치마크가 아니라, 물리적 환경에서 공간 개념을 어떻게 확인하고 활용하는지를 보려는 평가라는 점을 보여줍니다.
최신 MLLM 평가가 시사하는 것
연구진은 최신 MLLM을 대상으로 ESI-Bench 실험을 수행했습니다.1 여기서 주목할 대목은 능동 탐색이 수동 관찰 방식보다 높은 성능을 보였다는 점입니다.1
이 결과는 직관적이면서도 중요합니다. 공간 문제에서 성능 차이는 모델 내부의 언어·시각 추론 능력만으로 설명되지 않습니다. 필요한 정보를 얻기 위한 행동 전략이 성능에 직접 영향을 줍니다. 다시 말해 좋은 공간 AI는 ‘주어진 것을 잘 해석하는 모델’인 동시에 ‘무엇을 확인해야 하는지 아는 에이전트’여야 합니다.
이는 로봇 시스템 개발에도 의미가 있습니다. 실제 서비스 로봇이나 가정용 에이전트가 실패했을 때, 원인은 물체 인식 오류일 수도 있지만 관찰 경로 선택 실패일 수도 있습니다. 열어봐야 할 것을 열지 않았거나, 가까이 가야 할 곳에 가지 않았거나, 조작을 통해 확인해야 할 정보를 시각 추론만으로 추정했을 가능성이 있습니다.
남는 과제: 평가가 행동 지능을 얼마나 잘 분리해낼 수 있는가
ESI-Bench의 방향성은 분명하지만, 이 유형의 평가는 더 까다로운 질문도 함께 제기합니다. 에이전트가 정답을 맞혔을 때 그것이 장면 이해 때문인지, 우연히 유리한 관찰을 얻었기 때문인지, 혹은 행동 선택이 실제로 적절했기 때문인지 구분하는 일이 중요해집니다.
반대로 실패했을 때도 마찬가지입니다. 지각이 틀렸는지, 이동이 부족했는지, 조작 순서가 부적절했는지, 질문의 공간 개념을 잘못 해석했는지 분석할 수 있어야 합니다. embodied AI 평가가 어려운 이유는 바로 이 복합성에 있습니다. 모델, 행동 정책, 환경 상호작용이 하나의 루프로 얽혀 있기 때문입니다.
따라서 ESI-Bench의 가치는 단순히 점수표를 추가하는 데 있지 않습니다. 공간 지능을 평가할 때 무엇을 분리해서 봐야 하는지, 어떤 실패를 중요하게 다뤄야 하는지, 그리고 수동 관찰 중심의 평가가 놓치는 부분이 무엇인지 보여주는 데 있습니다.
앞으로 봐야 할 것
ESI-Bench 이후 주목할 지점은 세 가지입니다.
첫째, MLLM이 공간 질문에 답하는 능력과 실제로 필요한 관찰을 획득하는 능력이 함께 개선되는지 봐야 합니다. 둘째, 지각·이동·조작을 어떤 순서로 결합하는지가 성능에 얼마나 큰 영향을 주는지 살펴볼 필요가 있습니다. 셋째, 가려진 구조나 포함 관계, 기능성처럼 수동 이미지 이해로는 부족한 영역에서 에이전트가 얼마나 안정적으로 증거를 모으는지 확인해야 합니다.
결국 ESI-Bench가 던지는 질문은 단순합니다. AI가 공간을 이해한다고 말하려면, 이미 보이는 것을 설명하는 데서 그쳐서는 안 됩니다. 보이지 않는 것을 확인하기 위해 어떻게 행동할지까지 판단할 수 있어야 합니다.
1[2605.18746] ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.