ALOHA 2의 프레임과 카메라

지난 장에서 우리는 손끝의 마찰과 사람의 피로가 어떻게 데이터 품질을 바꾸는지 보았다. 이번에는 시선을 조금 멀리 옮겨 보자. 손이 좋아졌다고 해서 곧바로 좋은 데이터가 쏟아지지는 않는다. 로봇이 어디까지 팔을 뻗을 수 있는지, 사람은 어디에 설 수 있는지, 카메라는 무엇을 보고 무엇을 놓치는지까지 함께 맞아떨어져야 한다. ALOHA 2가 흥미로운 이유는 바로 여기 있다. 이 시스템은 그리퍼만 고친 것이 아니라, 작업 셀 전체를 데이터 수집 장치로 다시 설계했다.¹²

로봇 학습에서는 흔히 모델 아키텍처를 이야기한다. Transformer를 쓰는지, 행동을 몇 프레임씩 예측하는지, 관측을 어떻게 인코딩하는지가 중요하다는 말이다. 하지만 실제 로봇에서는 그보다 앞단에 더 거대한 아키텍처가 있다. 바로 프레임과 카메라다. 카메라가 보지 못한 것은 모델도 배울 수 없고, 프레임이 허용하지 않는 자세는 데이터로 쌓이지 않는다. 그런 의미에서 작업 공간 구조와 카메라 배치는 사실상 모델의 일부다.

프레임은 철제 가구가 아니라 데이터의 경계선이다

ALOHA 2는 작업 셀을 둘러싼 프레임을 20x20mm 알루미늄 압출 구조로 다시 만들었다.¹² 얼핏 보면 단순한 기구 개선처럼 보이지만, 이 선택은 꽤 영리하다. 알루미늄 압출 프레임은 필요한 지점에 정확히 부품을 고정하기 쉽고, 수정과 유지보수도 비교적 간단하다. 연구 장비는 멋지게 한 번 조립하는 것보다, 계속 고치고 다시 맞추고 재현하는 능력이 더 중요하다. 그런 점에서 압출 프레임은 로봇 연구실의 레고 블록에 가깝다.

ALOHA 2 팀은 이 프레임 위에 리더 로봇, 중력 보상 장치, 그리고 오버헤드 카메라와 아래에서 올려다보는 웜스아이 시점의 카메라 장착점을 얹었다.¹ 중요한 것은 단순화와 강성을 동시에 잡으려 했다는 점이다. 너무 복잡한 프레임은 작업 공간을 가리고, 케이블과 손, 물체가 부딪히는 원인이 된다. 반대로 너무 허술하면 카메라가 흔들리고 기준 좌표가 조금씩 바뀐다. ALOHA 2는 이 둘 사이에서, 최소한의 구조로 필요한 고정성만 남기는 방향을 택했다.²

이 선택의 의미는 작업을 해 보면 바로 드러난다. 양손 조작은 원래 공간을 많이 먹는다. 왼손이 잡고 오른손이 비틀고, 다시 왼손이 받쳐 주는 동안 팔 경로가 계속 교차한다. 이때 프레임 막대 하나가 시야를 가리거나 손목 카메라와 부딪히기 시작하면, 사람은 자기도 모르게 동작을 우회한다. 즉, 해야 할 과제를 수행하는 대신 장비를 피하는 습관을 배운다. 그리고 그 습관이 그대로 데이터가 된다.

프레임을 비우자, 데이터의 종류가 늘어났다

ALOHA 2는 원래 ALOHA에 있던 테이블 반대편의 세로 프레임들을 제거해 작업 공간을 더 열어 두었다.¹² 이 변화는 생각보다 훨씬 중요하다. 왜냐하면 연구자가 수집할 수 있는 데이터의 종류를 바꿔 버리기 때문이다.

기존처럼 앞뒤가 막힌 작업 셀은 테이블 위 정적인 양손 조작에는 괜찮을 수 있다. 하지만 현실의 작업은 그렇게 얌전하지 않다. 사람 한 명이 반대편에서 물체를 건네줄 수도 있고, 큰 바구니나 상자 같은 소품이 테이블 앞쪽에 놓일 수도 있다. 로봇이 셔츠를 펼치거나 큰 포장재를 다루려면, 손끝만이 아니라 물체 전체가 움직일 공간이 필요하다.

ALOHA 2의 개방형 프레임은 이런 상황을 훨씬 쉽게 만든다. 공식 자료도 이 변화 덕분에 작업 공간 반대편에 사람이 서서 로봇과 상호작용할 수 있고, 더 큰 소품을 배치해 사람-로봇 협업 데이터나 더 다양한 작업 장면을 수집할 수 있다고 설명한다.¹ 이 점은 매우 상징적이다. ALOHA 2는 단지 더 튼튼한 장비가 아니라, 더 넓은 행동 세계를 담는 데이터 공장으로 바뀐 셈이다.

여기서 독자가 꼭 기억하면 좋은 문장이 하나 있다. 작업 공간이 좁으면 로봇의 지능도 좁아진다. 모델이 멍청해서가 아니다. 처음부터 배울 수 있는 행동의 폭이 제한되기 때문이다. 로봇이 늘 같은 높이의 테이블, 같은 위치의 물체, 같은 크기의 소품만 경험한다면, 정책도 그 작은 우주 안에서만 영리해진다.

왜 하필 Intel RealSense D405였을까

ALOHA 2는 카메라도 바꿨다. 이전의 소비자용 웹캠 대신 더 작고, 깊이 정보를 제공하며, 글로벌 셔터를 지원하는 Intel RealSense D405를 채택했다.¹² 이 변화는 단순한 부품 교체가 아니다. 카메라가 더 작아졌다는 사실부터 이미 조작 성능과 연결된다.

양손 로봇의 손목 주변은 언제나 붐빈다. 그리퍼, 링크, 케이블, 물체, 반대쪽 팔, 때로는 사람 손까지 한 프레임 안에 들어온다. 카메라 덩치가 크면 그 자체가 장애물이 된다. 실제로 ALOHA 2 자료는 더 작은 D405와 맞춤형 3D 프린트 마운트를 통해 팔로워 암 주변의 부피를 줄여, 조작을 덜 방해하도록 했다고 설명한다.¹ 아주 현실적인 개선이다. 로봇 손이 섬세한 작업을 해야 하는데 카메라 하우징이 먼저 존재감을 뽐내면 곤란하다.

D405의 장점은 크기만이 아니다. 깊이 센서는 물체와 손의 상대 위치를 더 풍부하게 기록할 수 있게 해 준다. 물론 모든 정책이 깊이 영상을 직접 쓰는 것은 아니다. 그래도 깊이 정보가 있으면 나중에 포인트 클라우드나 3차원 구조를 활용한 후속 연구로 확장하기가 쉬워진다. 다시 말해, 오늘의 데이터가 내일의 다른 모델에도 쓸모 있어지는 것이다.

글로벌 셔터도 중요하다.¹ 쉽게 말하면, 화면을 위에서 아래로 순차적으로 훑듯 찍는 방식보다 빠른 움직임에서 왜곡이 적다. 양손 조작에서는 손과 물체가 순간적으로 스치듯 움직이는 장면이 자주 나온다. 이때 영상이 일그러지면 모델은 접촉 직전의 미세한 관계를 흐릿하게 배운다. 로봇이 나사를 끼우거나 얇은 포장재 끝을 집는 장면에서는 이 작은 차이가 꽤 크게 작용한다.

ALOHA 2는 또한 D405가 더 넓은 시야와 더 많은 커스터마이징 여지를 준다고 강조한다.¹² 로봇 연구에서 커스터마이징 가능성은 꽤 큰 미덕이다. 손목 각도를 조금 틀고 싶을 때, 시야를 몇 도만 더 벌리고 싶을 때, 새 그리퍼와 간섭 없이 마운트를 다시 뽑아 쓰고 싶을 때 이런 유연성이 실제 연구 속도를 좌우한다.

멀티뷰 카메라는 양손 조작의 사각지대를 줄인다

원래 ALOHA 계열은 여러 시점의 카메라를 적극적으로 사용해 왔다. 초기 ALOHA와 ACT 실험에서도 정책 입력은 여러 시점의 이미지와 관절 상태를 함께 받았고, 예시 구성으로는 총 4대의 RGB 카메라가 사용되었다. 이 가운데 2대는 고정형, 2대는 손목 장착형이었다.³ ALOHA 2는 이 멀티뷰 철학을 더 실전적으로 다듬은 셈이다.

왜 이렇게 많은 시점이 필요할까. 이유는 양손 작업이 원래 서로를 가리기 때문이다. 한 손이 물체를 잡는 순간, 다른 손이 그 손을 가리고, 물체는 다시 두 손에 가려진다. 여기에 포장재나 천처럼 형태가 계속 바뀌는 물체가 들어오면 장면은 금세 복잡해진다. 카메라 하나만으로는 세계가 자꾸 사라진다.

오버헤드 뷰는 작업 전체의 배치를 보여 준다. 컵이 어디 있고, 두 팔의 간격이 어떤지, 다음 동작을 위해 어느 쪽으로 이동해야 하는지를 읽는 데 좋다. 아래쪽이나 전면 쪽의 고정 카메라는 손 아래쪽 접촉이나 테이블 가장자리 근처의 관계를 더 잘 드러낼 수 있다. 손목 카메라는 마지막 한 끗, 즉 그리퍼 끝단과 물체 표면의 관계를 가까이서 보여 준다. 이 시점들은 서로 경쟁하지 않고 서로의 약점을 메운다.

특히 폐색, 즉 가림 현상은 미세 조작에서 치명적이다. 배터리를 슬롯에 넣거나 얇은 물체 모서리를 집는 장면을 떠올려 보자. 위에서 보면 들어가는 것 같지만, 옆에서 보면 아직 약간 비뚤어져 있을 수 있다. 손목 카메라에서는 접촉부가 잘 보이지만, 전체 문맥은 놓칠 수 있다. 멀티뷰는 바로 이 문제를 푼다. 하나의 시점이 틀려도 다른 시점이 살려 준다.

이 점에서 카메라 수는 단순히 정보량의 문제가 아니다. 실패를 덜 배우게 만드는 장치이기도 하다. 폐색이 심한 단일 시점 데이터에서는 조작자가 이미 보상 동작을 많이 넣은 뒤에야 접촉 실패가 드러난다. 반면 여러 시점이 있으면 접촉 직전의 올바른 정렬이 더 잘 기록되고, 정책은 그 미묘한 전조를 더 일찍 배울 수 있다.

카메라 마운트가 흔들리면, 데이터셋도 흔들린다

카메라를 몇 대 다는 것만으로는 충분하지 않다. 어떻게 고정하느냐가 더 중요할 때가 많다. ALOHA 2는 카메라 장착점을 단단하게 유지하면서도, 카메라 본체와 마운트는 더 작고 덜 거슬리게 만들려 했다.¹² 이 방향은 로봇 학습 관점에서 매우 타당하다.

모방학습 모델은 생각보다 시야의 습관에 민감하다. 같은 컵을 같은 위치에서 집는 데모라도, 카메라 높이가 매번 조금씩 다르고 수평이 살짝 기울어져 있다면 모델 입장에서는 서로 다른 환경처럼 보일 수 있다. 사람은 "비슷하네" 하고 넘기지만, 모델은 배경의 선 하나, 손목의 위치 오프셋 하나에도 영향을 받는다.

그래서 카메라 마운트 강성은 단순한 기계적 완성도가 아니다. 그것은 데이터 분포를 고정하는 장치다. 나사가 느슨해져 카메라가 한두 도만 내려앉아도, 정책이 보는 세상은 달라진다. 더 무서운 것은 이 변화가 조용히 일어난다는 점이다. 연구자는 어느 날 성능이 떨어졌다고 느끼지만, 원인은 코드가 아니라 카메라 각도일 수 있다.

이런 이유로 실무에서는 시야 일관성도 매우 중요하다. 원래 ALOHA 코드베이스는 여러 카메라를 고정된 장치 이름에 연결해 좌우 손목, 높고 낮은 고정 시점을 일관되게 다루도록 구성했고, 카메라 셋업과 캘리브레이션 절차도 별도로 관리한다.⁴ 이는 단순한 편의 기능이 아니다. 오른손 손목 카메라와 왼손 손목 카메라가 어느 날 바뀌어 들어오면, 데이터셋의 의미 자체가 흔들린다. 모델은 갑자기 오른손 세계를 왼손 세계로 배우게 된다.

로봇 학습에서 이런 운영 디테일은 종종 과소평가된다. 하지만 카메라는 센서이면서 동시에 라벨의 일부다. "이 이미지가 어느 시점에서 왔는가"라는 정보가 뒤틀리면, 관측과 행동의 대응 관계도 뒤틀린다. 결국 잘못 학습한 모델은 엉뚱한 타이밍에 팔을 비틀거나, 시야에 없는 물체를 있는 것처럼 추정하게 된다.

카메라 배치는 곧 학습 가능한 행동의 범위다

여기서 한 걸음 더 나아가 보자. 카메라는 단지 현재 장면을 기록하는 장치가 아니다. 어떤 행동이 학습 가능해지는지를 결정한다.

예를 들어 손목 카메라가 없다면, 미세 삽입이나 접촉 직전 정렬 같은 과제는 더 어려워진다. 반대로 전체 고정 뷰가 약하면, 큰 물체를 양손으로 펼치거나 장기 과제에서 공간 관계를 유지하는 행동은 흔들린다. 카메라 배치는 곧 과제 설계와 연결된다. 어떤 시점을 보느냐에 따라 성공하기 쉬운 작업과 어려운 작업이 달라지고, 결국 연구실이 축적하는 데이터셋의 성격도 달라진다.

이 말은 조금 도발적으로 들릴 수 있지만 사실에 가깝다. 정책의 성능은 체크포인트 파일 안에서만 만들어지지 않는다. 카메라 브래킷과 프레임 볼트에서 이미 절반쯤 결정된다. ALOHA 2가 프레임과 카메라를 함께 손본 것은 그래서 매우 중요하다. 이 시스템은 모델을 바꾸기 전에, 모델이 볼 세계부터 더 안정적이고 더 풍부하게 만들었다.

ALOHA 2가 가르쳐 주는 것

ALOHA 2의 프레임과 카메라 설계를 한 문장으로 요약하면 이렇다. 좋은 행동 데이터는 넓은 작업 공간, 방해가 적은 구조, 일관된 시야, 그리고 폐색을 견디는 멀티뷰에서 나온다.¹²

20x20 알루미늄 압출 프레임으로 단순화한 이유는 단지 조립이 쉬워서가 아니었다. 필요한 강성은 남기고 불필요한 장벽은 줄여, 더 많은 작업과 더 다양한 상호작용을 받아들이기 위해서였다. 작업 공간을 넓힌 변화는 사람-로봇 협업 데이터와 큰 소품을 다루는 과제로 이어졌다. D405 채택은 카메라를 작고 똑똑하게 만들어 조작 방해를 줄이고, 깊이와 글로벌 셔터로 더 나은 관측 기반을 제공했다. 멀티뷰 구성은 양손 작업의 고질병인 폐색을 완화했고, 단단한 마운트와 시야 일관성은 데이터셋을 조용히 오염시키는 분포 변화를 막아 주었다.¹²³⁴

로봇은 눈으로만 배우지 않는다. 하지만 눈이 흔들리면 손도 흔들린다. ALOHA 2는 바로 그 사실을 아주 실용적인 방식으로 보여 준다. 더 좋은 모델을 만들기 전에, 먼저 더 흔들리지 않는 세계를 보여 주는 것. 그것이 이 장의 핵심이다.

다음 장에서는 한 걸음 더 나아가, 이렇게 잘 정돈된 실제 작업 셀을 어떻게 시뮬레이션과 연결하는지 살펴볼 것이다. 현실을 더 잘 보는 것만으로는 충분하지 않다. 이제는 현실을 더 닮은 가상 세계도 필요하다.

참고

¹ALOHA 2 Project Website

²ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation

³Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

⁴GitHub - tonyzhaozh/aloha