Mobile ALOHA의 전신 구조

테이블 위에서만 일하던 로봇에 바퀴를 붙인다고 해서 곧바로 집안일 로봇이 되지는 않는다. Mobile ALOHA의 핵심은 단순히 이동 기능을 추가한 ALOHA가 아니라, 이동과 양손 조작을 하나의 행동으로 묶어 기록하고 학습할 수 있게 만든 전신 데이터 수집기라는 데 있다. 이 장에서는 그 구조를 차근차근 해부해 보자. 로봇이 방 안을 움직이면서 두 팔로 일하는 장면 뒤에서, 어떤 정보가 오가고 무엇이 새로 기록되는지 이해하면 Mobile ALOHA가 왜 중요한지 훨씬 선명하게 보인다.

정적 ALOHA 위에 무엇이 더해졌는가

정적 ALOHA의 세계는 비교적 단순했다. 고정된 작업대 앞에 로봇이 서 있고, 두 팔이 물체를 다룬다. 카메라는 대체로 같은 구도를 유지하고, 로봇이 해야 할 일은 주로 팔 끝에서 벌어진다. 시작 자세도 비교적 일정하고, 작업 대상도 로봇의 팔이 닿는 범위 안에 들어온다.

Mobile ALOHA는 이 틀을 깨뜨린다. 이제 로봇은 먼저 어디로 가야 하는지를 결정해야 하고, 그다음 어떤 자세로 멈춰야 하는지를 맞춰야 하며, 마지막으로 그 자리에서 양손으로 조작해야 한다. 즉, 과제가 세 단계로 늘어난 것이 아니라, 원래 따로 생각하던 세 종류의 행동이 한 덩어리로 합쳐진 셈이다.

이 차이는 작아 보이지만 구조적으로는 아주 크다. 정적 ALOHA가 손과 팔의 기술을 모으는 장치였다면, Mobile ALOHA는 몸 전체의 리듬을 모으는 장치다. 접근할 때는 베이스가 주인공이고, 물체를 집을 때는 손목과 그리퍼가 주인공이며, 긴 과제에서는 다시 둘이 번갈아 주도권을 가져간다. Mobile ALOHA의 설계는 바로 이 교대 구조를 데이터로 남기기 위해 존재한다.

전체 아키텍처: 베이스, 양팔, 시야, 기록기의 결합

Mobile ALOHA의 전체 구조를 가장 간단히 말하면 이렇다. 이동 베이스 위에 양팔 조작 시스템을 올리고, 이를 전신 원격조작 인터페이스와 동기화해 하나의 에피소드로 기록하는 시스템이다. 여기서 중요한 것은 부품의 개수보다 연결 방식이다.

로봇 쪽에는 크게 네 층이 있다. 맨 아래에는 공간을 이동하는 바퀴 베이스가 있고, 그 위에는 좌우 팔과 그리퍼가 달려 있다. 그 주변에는 환경과 손끝을 보는 카메라가 배치된다. 마지막으로 이 모든 센서와 제어 신호를 같은 시간축으로 묶는 기록 계층이 있다.

사람 쪽에도 대응되는 구조가 있다. 양손 조작은 기존 ALOHA처럼 리더 장치가 담당한다. 사람이 왼손과 오른손을 움직이면 로봇의 팔로 그 의도가 전달된다. 여기에 더해 Mobile ALOHA에서는 베이스 이동을 위한 입력이 들어온다. 이 입력은 전진, 후진, 좌우 이동, 회전처럼 몸 전체의 위치를 바꾸는 명령을 만든다. 구현 방식은 다양할 수 있지만 핵심은 같다. 팔을 위한 입력과 베이스를 위한 입력이 동시에 살아 있어야 한다는 점이다.

그래서 Mobile ALOHA의 아키텍처는 두 개의 시스템을 억지로 붙인 모습이 아니라, 하나의 전신 행동을 여러 하위 계층으로 나눠 처리하는 모습에 가깝다. 사람은 자연스럽게 "조금 더 다가간 뒤 오른손으로 당기고, 왼손으로 받치자"라고 생각한다. Mobile ALOHA는 바로 그 생각을 베이스 명령과 양팔 명령으로 쪼개어 로봇에 전달하고, 다시 한 묶음의 행동 데이터로 저장한다.

전신 원격조작은 어떻게 이루어지는가

전신 원격조작의 본질은 입력 장치의 화려함이 아니라 동시성에 있다. 한 손은 팔을 조작하고, 다른 채널은 베이스를 움직이며, 시스템은 이 둘을 같은 장면의 일부로 본다. 그래서 Mobile ALOHA에서는 한 시연이 단순한 팔 궤적이 아니라, "접근-정렬-조작-재이동"의 흐름 전체를 담게 된다.

예를 들어 로봇이 선반 앞에 다가가 물건을 꺼내는 장면을 생각해 보자. 조작자는 먼저 베이스를 움직여 적절한 거리까지 접근한다. 너무 멀면 팔이 닿지 않고, 너무 가까우면 팔이 접힌 상태에서 관절 여유가 줄어든다. 적당한 위치에 오면 베이스 회전을 미세하게 조절해 몸의 정면을 맞춘다. 그 뒤에야 양팔이 본격적으로 움직인다. 한 손은 문을 밀거나 잡아 고정하고, 다른 손은 물체를 꺼낸다. 작업이 끝나면 다시 베이스를 후퇴시키거나 방향을 바꾼다.

중요한 점은 이런 흐름이 따로 저장되지 않는다는 것이다. "베이스 이동 데이터", "팔 조작 데이터"가 분리된 파일로 남는 것이 아니라, 같은 에피소드 안의 연속된 시간열로 묶인다. 덕분에 학습하는 정책은 단순히 물체를 집는 법만이 아니라, 언제 이동을 멈추고 언제 손을 쓰는지, 언제 자세를 다시 맞추는지, 조작 중 베이스를 고정해야 하는지 아니면 천천히 보정해야 하는지까지 함께 배울 수 있다.

이것이 전신 원격조작의 진짜 가치다. 로봇이 사람의 손기술만 흉내 내는 것이 아니라, 사람의 몸 운영 방식까지 데이터로 가져오게 된다. 집안일은 손끝만으로 해결되지 않는다. 좋은 시연은 늘 "어디에 서서, 어떤 각도로 몸을 두고, 두 손을 어떤 순서로 쓰는가"를 포함한다. Mobile ALOHA는 그 보이지 않던 절반을 기록한다.

세 대의 카메라는 무엇을 나눠 보는가

Mobile ALOHA의 시야 구성에서 중요한 특징은 세 대의 카메라가 서로 다른 역할을 맡는다는 점이다. 보통 하나는 장면 전체를 보는 외부 시야이고, 나머지 둘은 좌우 손목 근처에서 손끝 주변을 보는 시야다. 단순히 카메라 수를 늘린 것이 아니라, 이동형 조작에서 필요한 두 종류의 시각 정보를 분리해 둔 셈이다.

장면 전체를 보는 카메라는 로봇이 지금 어디를 향하고 있는지, 작업 대상이 몸 전체 기준으로 어느 쪽에 있는지, 주변 장애물이 얼마나 가까운지를 알려 준다. 이 카메라는 이동 중 특히 중요하다. 베이스를 돌려 접근할 때는 손목 카메라보다 넓은 문맥이 필요하기 때문이다. 문, 캐비닛, 싱크대, 의자 같은 물체는 손끝 클로즈업만으로는 관계를 파악하기 어렵다.

반대로 손목 카메라는 미세 조작에서 빛을 발한다. 그리퍼가 컵 손잡이에 얼마나 가까운지, 비닐 포장 끝을 제대로 물고 있는지, 냄비 손잡이 안쪽으로 손이 충분히 들어갔는지 같은 정보는 손목 근처 시야가 훨씬 잘 보여 준다. 특히 이동형 조작에서는 로봇이 몸 전체를 움직이며 접근하기 때문에 대상이 화면 안에서 계속 크기와 각도를 바꾸는데, 손목 카메라는 마지막 순간의 정밀한 정렬을 도와준다.

이 세 대의 카메라 조합은 장점이 뚜렷하다. 로봇은 넓은 문맥과 손끝 디테일을 동시에 본다. 이동할 때는 장면 카메라가 길잡이 역할을 하고, 잡을 때는 손목 카메라가 확대경 역할을 한다. 사람으로 치면 방 전체를 훑어보는 시선과 손끝을 내려다보는 시선을 함께 쓰는 셈이다.

하지만 단점도 있다. 손목 카메라는 손이 조금만 돌아가도 화면이 크게 흔들리고, 물체가 그리퍼나 팔에 가려지기 쉽다. 이동 중에는 진동과 시점 변화가 커져 영상이 더 불안정해질 수 있다. 장면 카메라는 문맥은 좋지만 손끝 접촉은 멀리 보여 세밀한 접촉 상태를 놓칠 수 있다. 결국 Mobile ALOHA의 시야 설계는 완벽한 해답이라기보다, 넓게 보기와 가깝게 보기 사이의 절충이라고 이해하는 편이 정확하다.

이동형 조작에서 손목 시야가 특별히 중요한 이유

정적 ALOHA에서도 손목 시야는 유용했지만, Mobile ALOHA에서는 그 중요성이 한층 커진다. 이유는 간단하다. 이동하는 로봇은 늘 완벽한 정렬 상태로 도착하지 않기 때문이다. 약간 비스듬히 멈추고, 물체가 예상보다 조금 왼쪽에 있고, 조명이 달라지고, 작업대 높이가 조금 바뀌는 일이 흔하다. 이런 현실 오차는 마지막 몇 센티미터에서 드러난다.

바로 이때 손목 카메라가 살아난다. 장면 카메라가 "대략 여기"를 알려 준다면, 손목 카메라는 "정확히 지금 어디를 물고 있는가"를 알려 준다. Mobile ALOHA가 긴 과제를 수행할 때 마지막 조작 성공률을 떠받치는 것도 대개 이 손목 시야다. 사람도 서랍 앞까지 걸어간 뒤에는 결국 손 근처를 본다. 로봇도 비슷하다.

그러나 손목 시야에 지나치게 의존하면 문제가 생긴다. 손목 카메라는 장면 전체를 잃기 쉽고, 물체에 너무 가까이 다가간 뒤에야 오류를 알게 되는 경우가 많다. 다시 말해 손목 시야는 정밀하지만 늦다. 그래서 Mobile ALOHA의 좋은 시연은 대개 두 종류의 시야를 번갈아 사용한다. 먼저 넓은 시야로 접근을 맞추고, 마지막에는 손목 시야로 접촉을 마무리한다. 이 리듬까지 함께 학습되어야 이동형 조작이 안정해진다.

움직이는 몸에서 생기는 운영 문제

모바일 매니퓰레이션의 어려움은 알고리즘보다 먼저 물리에서 튀어나온다. 고정된 테이블 로봇에서는 크게 신경 쓰지 않던 문제가, 바퀴 위에 양팔을 올리는 순간 한꺼번에 중요해진다. 대표적인 것이 무게중심, 속도, 충돌 위험이다.

무게중심부터 보자. 양팔이 앞으로 길게 뻗거나 무거운 물체를 들면 로봇의 하중 분포가 바뀐다. 여기에 베이스가 움직이면 관성까지 더해진다. 한 손으로는 버틸 수 있는 상황도 두 손이 동시에 다른 방향으로 힘을 쓰면 훨씬 불안정해질 수 있다. 문을 당기면서 다른 손으로 물체를 받치는 동작은 보기엔 자연스럽지만, 로봇 입장에서는 베이스가 살짝 끌려가거나 상체가 흔들릴 수 있는 까다로운 장면이다.

속도도 단순한 효율 문제가 아니다. 사람은 빠르게 걸어가다가 마지막에는 천천히 손을 뻗는다. Mobile ALOHA도 비슷한 운용 원리가 필요하다. 베이스가 지나치게 빠르면 카메라 영상이 흔들리고 정렬 오차가 커진다. 반대로 지나치게 느리면 시연 수집 자체가 비효율적이고 조작자의 피로가 늘어난다. 결국 실용적인 시스템은 이동 구간과 조작 구간의 속도 프로파일을 다르게 가져가야 한다. 멀리 이동할 때와 마지막 접근, 미세 조작 중 정지 상태는 서로 다른 리듬을 가져야 한다.

충돌 위험은 이동형 조작에서 가장 현실적인 제약이다. 정적 ALOHA는 대체로 작업 공간이 제한되어 있어 예상치 못한 부딪힘이 비교적 적다. 하지만 Mobile ALOHA는 방 안을 다닌다. 베이스는 바닥 물체와 부딪힐 수 있고, 팔은 문틀이나 가구 모서리와 간섭할 수 있으며, 손목 카메라는 가까운 표면을 향해 급격히 흔들릴 수 있다. 특히 양팔을 펼친 상태로 이동하면 몸의 유효 폭이 넓어져 좁은 통로에서 위험이 커진다. 그래서 실제 운용에서는 "이동할 때 팔을 접어 두고, 도착 후 펼친다" 같은 습관 자체가 중요한 데이터가 된다.

Mobile ALOHA의 전신 제어는 왜 더 까다로운가

정적 ALOHA에서는 제어의 중심이 주로 팔이었다. 물론 카메라와 그리퍼, 프레임도 중요했지만, 핵심 난점은 손끝 행동을 얼마나 정확히 재현하고 기록하느냐였다. Mobile ALOHA에서는 제어 문제가 한 단계 커진다. 이제 시스템은 단일 팔 궤적이 아니라 전신 협응을 다뤄야 한다.

전신 협응이 까다로운 이유는 각 부분이 서로의 조건이 되기 때문이다. 베이스 위치가 나쁘면 팔이 불편해지고, 팔이 물체를 멀리서 억지로 잡으려 하면 베이스 안정성이 나빠진다. 손목 카메라가 잘 보이도록 손을 돌리면 그립 방향이 틀어질 수 있고, 충돌을 피하려고 베이스를 비스듬히 세우면 한쪽 팔의 작업 공간이 줄어든다. 즉, 무엇 하나를 좋게 만들면 다른 하나가 나빠질 수 있다.

이런 구조에서는 "정답 자세"가 하나로 고정되지 않는다. 같은 냄비를 캐비닛에 넣는 작업도, 어떤 날은 왼쪽에서 접근하는 편이 좋고 어떤 날은 정면에서 조금 더 멀리 멈추는 편이 나을 수 있다. Mobile ALOHA가 가치 있는 이유는 바로 이런 타협의 기술을 데이터로 모은다는 데 있다. 사람은 그때그때 몸을 조정해 일을 끝낸다. 로봇은 그 조정 자체를 배워야 한다.

정적 ALOHA와 Mobile ALOHA의 관측 공간은 어떻게 달라지는가

관측 공간은 로봇이 한 순간에 무엇을 보고, 무엇을 상태로 알고 있느냐를 뜻한다. 정적 ALOHA에서는 주된 관측이 비교적 분명하다. 카메라 이미지, 좌우 팔 관절 상태, 그리퍼 열림 정도, 그리고 작업대 기준의 안정된 장면 정보가 핵심이다. 환경이 크게 움직이지 않으니 관측의 기준축도 비교적 고정되어 있다.

Mobile ALOHA에서는 여기에 새로운 층이 붙는다. 이제 로봇은 팔 상태만이 아니라 베이스의 움직임과 자세 변화도 알아야 한다. 어느 방향을 향하고 있는지, 지금 이동 중인지 멈췄는지, 목표 물체와의 상대 위치가 어떻게 바뀌는지 같은 정보가 중요해진다. 카메라 이미지 역시 더 이상 단순한 테이블 장면이 아니다. 같은 물체도 접근 과정에서는 멀리 보였다가, 회전하며 측면으로 보였다가, 손목 근처에서 크게 보인다.

즉, Mobile ALOHA의 관측 공간은 두 방향으로 넓어진다. 하나는 몸의 상태가 늘어난다는 점이고, 다른 하나는 시각 문맥의 변화 폭이 커진다는 점이다. 정적 ALOHA가 "이 장면에서 손을 어떻게 움직일까"를 묻는다면, Mobile ALOHA는 "지금 이 위치와 방향에서, 이 장면을 보며, 먼저 몸을 움직일까 손을 움직일까"를 함께 묻는다. 질문 자체가 길어지는 것이다.

행동 공간은 왜 훨씬 넓어지는가

행동 공간은 로봇이 실제로 낼 수 있는 명령의 범위다. 정적 ALOHA에서는 주로 양팔의 관절 목표와 그리퍼 명령이 중심이다. 물론 이것만으로도 충분히 복잡하지만, 기본적으로는 테이블 위에서 손끝을 어떻게 움직일지가 핵심이다.

Mobile ALOHA는 여기에 베이스 제어가 들어온다. 전진과 후진, 좌우 이동, 회전 같은 이동 명령이 행동 공간에 추가되면서 정책은 더 이상 "무엇을 잡을까"만 배우지 않는다. 언제 접근할지, 얼마나 다가갈지, 어느 각도로 설지, 조작 중 베이스를 완전히 멈출지 조금씩 보정할지까지 선택해야 한다.

이 확장은 단순히 차원이 늘어난다는 뜻이 아니다. 행동들 사이의 관계가 훨씬 복잡해진다는 뜻이다. 정적 ALOHA에서는 오른손이 앞으로 가면 화면 속 컵과의 관계가 달라진다. Mobile ALOHA에서는 베이스가 10센티미터 움직여도 양손의 상대적 난이도가 바뀌고, 두 손의 협업 방식이 달라지며, 카메라 시점 자체도 바뀐다. 그래서 Mobile ALOHA의 정책은 손만 움직이는 정책보다 훨씬 더 많은 상호작용을 배워야 한다.

아래 비교는 이 차이를 직관적으로 보여 준다.

이 표에서 중요한 것은 Mobile ALOHA가 모든 것을 새로 시작한 시스템이 아니라는 점이다. 정적 ALOHA가 잘하던 양손 조작 능력 위에, 몸의 이동과 장면 전환을 덧붙여 과제의 범위를 현실 쪽으로 밀어냈다. 그래서 Mobile ALOHA는 완전히 다른 계열이라기보다, ALOHA 철학을 전신으로 확장한 버전이라고 보는 편이 정확하다.

데이터의 관점에서 보면 무엇이 달라지는가

데이터 수집기라는 관점에서 Mobile ALOHA를 다시 보면, 가장 큰 변화는 행동의 앞부분과 뒷부분이 생긴다는 점이다. 정적 ALOHA에서는 대체로 "이미 작업 위치에 도착한 뒤 무엇을 할 것인가"가 데이터의 중심이었다. Mobile ALOHA에서는 "그 위치에 어떻게 도착했는가"와 "끝난 뒤 어떻게 빠져나왔는가"까지 함께 남는다.

이 차이는 학습에 매우 크다. 실제 집안일 실패의 상당수는 손끝이 아니라 접근 단계에서 이미 결정되기 때문이다. 싱크대 앞에 너무 멀리 섰다면 그다음 집기 동작은 처음부터 불리하다. 캐비닛 앞 각도가 잘못되었다면 냄비를 넣는 순간 팔이 문과 간섭한다. 정적 데이터만 보면 이런 실패는 그리퍼 문제처럼 보일 수 있다. 그러나 Mobile ALOHA의 전신 데이터는 원인이 어디서 시작되었는지를 더 잘 보여 준다.

또 하나 중요한 점은, 데이터가 길어질수록 정책이 배워야 할 리듬도 길어진다는 사실이다. 사람은 이동할 때와 조작할 때 몸의 긴장도를 다르게 쓴다. Mobile ALOHA 시연에도 이런 리듬이 들어 있다. 멀리 갈 때는 과감하게 움직이고, 물체 근처에서는 속도를 줄이고, 접촉 직전에는 거의 멈추며, 실패 기미가 보이면 약간 물러났다 다시 들어간다. 이런 미세한 운영 습관은 규칙으로 적기 어렵지만, 시연 데이터에는 자연스럽게 녹아든다. 바로 그래서 좋은 원격조작 하드웨어가 좋은 행동 데이터를 만든다.

Mobile ALOHA가 보여 준 설계의 핵심

Mobile ALOHA의 전신 구조를 한 문장으로 요약하면, 손 기술을 모으는 시스템에서 몸 전체의 작업 흐름을 모으는 시스템으로의 확장이다. 이동 베이스는 단순한 하부 부품이 아니라 조작 성공률을 좌우하는 자세 생성기이고, 전신 원격조작 인터페이스는 단순한 조종 장치가 아니라 접근과 조작의 관계를 같은 시간축에 기록하는 데이터 생성기다. 세 대의 카메라는 넓은 문맥과 손끝 디테일을 나눠 보며, 시스템은 그 모든 신호를 하나의 행동 에피소드로 묶는다.

이 구조를 이해하면 Mobile ALOHA가 왜 중요한지 자연스럽게 보인다. 로봇이 현실 공간에서 유용해지려면 잘 잡는 것만으로는 부족하다. 어디로 가야 할지, 어디서 멈춰야 할지, 언제 양손을 펼치고 언제 몸을 고정해야 할지까지 함께 배워야 한다. Mobile ALOHA는 바로 그 전신의 문법을 모으기 시작한 시스템이다.

다음 장에서는 이 구조가 실제로 어떤 과제에서 힘을 발휘하는지 살펴볼 것이다. 새우를 볶고, 냄비를 캐비닛에 넣고, 엘리베이터를 타는 장면들은 단순한 데모가 아니다. Mobile ALOHA의 전신 구조가 왜 필요했는지를 가장 생생하게 보여 주는 시험장이기 때문이다.