공간 추론은 AI가 물체의 위치, 거리, 방향, 움직임을 이해하는 능력입니다. 로봇, 자율주행, 3D 장면 이해처럼 현실 세계를 다루는 문제에서 중요하지만, VLM에게는 여전히 까다로운 영역입니다.
SpatialClaw가 던지는 질문은 분명합니다. 공간 추론 성능을 높이려면 더 많은 도구를 붙이면 될까요? 논문의 답은 그보다 한 단계 더 나아갑니다. 중요한 것은 도구의 종류뿐 아니라, 에이전트가 도구 결과를 어떻게 확인하고, 저장하고, 다시 조합할 수 있느냐입니다.
SpatialClaw는 무엇이 다른가
SpatialClaw는 훈련 없이 동작하는 공간 추론 에이전트 프레임워크입니다. 핵심은 VLM 에이전트가 지속형 Python 커널에서 코드를 한 단계씩 작성하고 실행한다는 점입니다.1
이 커널에는 입력 프레임, 지각 프리미티브, 기하 프리미티브가 미리 로드됩니다.1 따라서 세그멘테이션, 깊이 추정, 기하 계산 같은 중간 결과가 단발성 응답으로 사라지지 않습니다. 변수로 남아 다음 코드에서 다시 참조되고, 조합되고, 수정될 수 있습니다.
이 차이는 공간 추론에서 특히 중요합니다. 예를 들어 에이전트가 먼저 물체를 찾고, 그 위치를 계산하고, 관계를 비교한 뒤, 필요하면 다시 다른 방식으로 확인할 수 있어야 합니다. SpatialClaw는 이런 반복적 작업 흐름을 구조화된 도구 호출이 아니라 코드 실행 환경 안에서 처리합니다.
왜 액션 인터페이스가 병목이 되는가
기존 접근에는 두 가지 한계가 있습니다.
하나는 단일 실행 코드 방식입니다. 이 방식은 중간 결과를 보기 전에 전체 분석 전략을 먼저 확정해야 합니다.1 처음 계획이 틀리면 이후 단계도 함께 흔들릴 수 있습니다.
다른 하나는 구조화된 도구 호출 방식입니다. 도구를 명확하게 호출할 수 있다는 장점은 있지만, 인터페이스가 고정돼 있어 여러 연산을 자유롭게 섞고 재구성하기 어렵습니다.1
SpatialClaw는 이 사이에서 다른 선택을 합니다. 에이전트가 Python 커널 안에서 결과를 확인하며 다음 코드를 작성하게 합니다. 즉, "한 번에 답하기"보다 "보고, 계산하고, 고치고, 다시 판단하기"에 가까운 방식입니다.
성능 수치보다 주목할 지점
SpatialClaw 논문은 2026년 6월 11일 arXiv에 제출됐으며, 식별자는 2606.13673입니다.1 평가는 정적 3D 공간 추론뿐 아니라 동적 3D/4D 공간 추론 과제까지 포함했습니다.1
결과적으로 SpatialClaw는 20개 공간 추론 벤치마크에서 평균 정확도 59.9%를 기록했습니다. 이는 최근 공간 에이전트 대비 평균 11.2%포인트 높은 수치입니다.1
하지만 더 중요한 신호는 일반화입니다. SpatialClaw는 벤치마크별 또는 모델별 적응 없이 동일한 설정으로 평가됐고, 두 모델 계열의 6개 VLM 백본에서 성능 향상이 확인됐습니다.1 특정 데이터셋이나 특정 모델에 맞춘 개선이 아니라, 액션 인터페이스 자체의 효과를 보여주는 결과로 볼 수 있습니다.
에이전트 설계에서 얻을 수 있는 교훈
SpatialClaw의 메시지는 단순합니다. 복잡한 추론 문제에서는 모델 크기나 도구 수만이 성능을 결정하지 않습니다. 에이전트가 중간 결과를 어떤 형태로 다루고, 다음 행동에 어떻게 반영할 수 있는지가 중요합니다.
공간 추론은 이 점을 잘 보여주는 사례입니다. 마스크를 확인하고, 좌표를 계산하고, 거리나 방향을 비교하고, 필요하면 다시 시각 정보를 검토하는 과정이 모두 추론의 일부입니다. 이 과정을 끊어진 도구 호출로 처리할지, 지속적인 작업 공간 안에서 처리할지에 따라 에이전트의 사고 범위가 달라집니다.
따라서 에이전트를 설계할 때는 "어떤 도구를 붙일 것인가"만 묻지 않아야 합니다. 그 도구의 결과가 저장되는지, 다시 계산에 쓰일 수 있는지, 여러 결과를 조합할 수 있는지까지 봐야 합니다.
SpatialClaw가 보여주는 핵심은 코드가 단순한 실행 수단을 넘어 에이전트의 작업 공간이 될 수 있다는 점입니다. 특히 3D 공간 추론처럼 중간 확인과 반복적 수정이 필요한 문제에서는, 액션 인터페이스 설계가 성능의 중요한 병목이 될 수 있습니다.
참고
1[2606.13673] SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.