로봇 조작에서 어려운 점은 물체를 단순히 “보는 것”이 아니라, 물체가 어디에 있고 얼마나 떨어져 있으며 어떤 방향으로 잡아야 하는지를 판단하는 데 있다. 단안 RGB 카메라는 설치와 활용이 쉽지만, 복잡하거나 어수선한 장면에서는 정밀 조작에 필요한 깊이 단서가 부족할 수 있다.1
StereoPolicy는 이 한계를 겨냥한 로봇 모방학습 접근이다. 핵심 아이디어는 동기화된 좌우 RGB 뷰를 직접 융합해, 명시적인 3D 재구성 없이도 로봇 정책이 공간 관계를 더 잘 활용하도록 만드는 것이다.1
StereoPolicy가 해결하려는 문제
많은 로봇 조작 정책은 RGB 이미지에서 행동을 예측한다. 이 방식은 간단하고 2D 비전 모델의 발전을 활용하기 좋지만, 단안 관측만으로는 깊이와 상대 위치를 안정적으로 추론하기 어렵다. 특히 물체가 겹쳐 있거나, 얇은 구조물이 있거나, 정밀한 위치 맞춤이 필요한 상황에서는 작은 공간 판단 오류가 곧 실패로 이어질 수 있다.1
기존에는 RGB-D, 깊이맵, 포인트클라우드처럼 명시적인 3D 표현을 만들어 이 문제를 보완하는 경우가 많았다. 그러나 실제 환경에서는 깊이 센서가 컵 손잡이, 얇은 거치대, 투명 컵 같은 대상을 안정적으로 포착하지 못할 수 있다.2
StereoPolicy는 다른 경로를 택한다. 깊이맵이나 포인트클라우드를 먼저 만들지 않고, 좌우 RGB 이미지 쌍 자체를 정책 입력의 중요한 단서로 사용한다.
3D를 재구성하지 않고 스테레오 단서를 쓴다
StereoPolicy의 구조는 비교적 직관적이다. 좌우 이미지를 각각 사전학습된 2D 비전 인코더로 처리한 뒤, Stereo Transformer가 두 표현을 융합한다.1 이 과정에서 모델은 좌우 이미지 사이의 차이를 활용해 거리, 정렬, 대응 관계에 대한 단서를 암묵적으로 학습한다.
중요한 점은 이것이 “카메라를 하나 더 붙이는” 단순한 하드웨어 변화가 아니라는 것이다. StereoPolicy는 이미 강력해진 2D 사전학습 표현을 유지하면서, 로봇 조작에 필요한 기하 정보를 보강하려는 시도에 가깝다.
그래서 이 접근은 기존 로봇 정책을 완전히 새로 설계하자는 주장보다, 시각 입력 표현을 더 실용적으로 개선하자는 제안으로 읽는 편이 적절하다. 논문은 StereoPolicy가 확산 기반 정책과 VLA 모델에 통합될 수 있다고 설명한다.1
왜 실용적인가
StereoPolicy의 실용성은 “명시적 3D 없이도 깊이 단서를 활용한다”는 데 있다. 로봇 조작에서는 3D 정보가 중요하지만, 3D 재구성 파이프라인은 센서 품질, 캘리브레이션, 환경 조건에 민감할 수 있다. StereoPolicy는 이 부담을 줄이면서도 스테레오 이미지가 제공하는 공간 정보를 정책 학습에 반영하려 한다.
프로젝트 페이지에 따르면 실제 탁상 조작 실험에서 StereoPolicy-DP는 평균 성공률 59.0%를 기록해 RGB, RGB-D, 포인트클라우드, 멀티뷰 기준선보다 높은 결과를 보였다.2 이 결과는 스테레오 입력이 단순히 정보량을 늘리는 것을 넘어, 정밀 조작 정책의 표현력을 개선할 수 있음을 시사한다.
적용할 때 봐야 할 기준
StereoPolicy를 평가할 때 핵심 질문은 “스테레오가 항상 최고인가”가 아니다. 더 중요한 질문은 “내 작업이 깊이와 정렬 오차에 얼마나 민감한가”다.
컵 걸기, 삽입, 버튼 누르기, 양팔 조작처럼 몇 센티미터 차이가 실패로 이어지는 작업이라면 스테레오 입력의 가치가 커질 수 있다. 반대로 장면이 단순하고 깊이 정보가 성능을 크게 좌우하지 않는다면 이득은 제한적일 수 있다.
결국 StereoPolicy의 의미는 로봇 비전이 다시 기하 정보를 중요하게 다루고 있다는 점에 있다. 다만 이번에는 무거운 3D 재구성에만 의존하기보다, 2D 사전학습 표현과 스테레오 단서를 결합하는 더 가벼운 경로를 제안한다. 로봇 조작 정책을 설계할 때는 “어떤 모델을 쓸 것인가”만큼이나 “공간 정보를 어떤 형태로 입력할 것인가”가 중요해지고 있다.
1StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.