테이블 밖으로: Mobile ALOHA의 문제의식

정적인 테이블 위에서는 로봇이 꽤 영리해 보인다. 컵을 집고, 블록을 옮기고, 뚜껑을 닫는 장면만 보면 이제 집안일도 곧 해낼 것처럼 느껴진다. 하지만 식탁 위의 짧은 과제와 실제 집안일 사이에는 생각보다 깊은 골짜기가 있다. 집은 테이블이 아니다. 물건은 늘 같은 자리에 있지 않고, 사람은 지나가고, 문은 열려 있기도 닫혀 있기도 하며, 해야 할 일은 보통 한 번의 집기로 끝나지 않는다. 이 장에서 우리가 보려는 것은 바로 그 골짜기다. 왜 팔이 좋아졌다고 해서 집안일 로봇이 곧바로 탄생하지 않는지, 그리고 왜 Mobile ALOHA가 그 틈을 정면으로 겨냥했는지 차근차근 살펴보자.

테이블탑 성공이 곧 가정용 성공은 아니다

테이블탑 조작은 로봇 연구에서 아주 중요한 출발점이다. 작업 공간이 비교적 좁고, 카메라 배치도 안정적이며, 물체의 종류와 위치를 통제하기 쉽기 때문이다. 연구자는 같은 장면을 여러 번 반복하면서 데이터도 모으고, 실패 원인도 분석할 수 있다. ALOHA가 큰 의미를 가진 것도 바로 이런 환경에서 양손 조작 데이터를 저비용으로 대량 수집할 수 있게 했기 때문이다.

하지만 집안일은 테이블 위 작업보다 훨씬 길고 흐릿하다. 예를 들어 컵을 싱크대로 옮겨 씻는 일은 단순히 컵을 집는 것으로 끝나지 않는다. 컵이 어디 있는지 보고, 그쪽으로 다가가고, 몸을 적절히 돌리고, 주변 물체에 부딪히지 않도록 팔을 접고, 컵을 집은 뒤 다시 이동하고, 수도꼭지와 그릇, 물의 흐름까지 고려해야 한다. 로봇에게는 이 모든 단계가 하나의 긴 연속 과제다.

여기서 중요한 차이가 드러난다. 테이블탑 조작은 보통 "이미 도착한 상태"에서 시작한다. 로봇은 물체 앞에 잘 배치되어 있고, 카메라는 좋은 각도에서 장면을 보고 있으며, 팔이 닿을 수 있는 거리 안에 대상이 들어와 있다. 반면 가정 환경의 일은 "어디에 가야 하는가"부터 시작한다. 즉, 조작 이전에 이동이 있고, 이동 이후에도 다시 조작을 위해 자세를 재정렬해야 한다. 이 단계가 빠지면 집안일의 절반 이상이 사라진다.

쉽게 말해, 테이블 위 로봇은 요리를 잘하는 사람이 아니라 도마 앞에 이미 서 있는 사람에 가깝다. 그러나 실제 집안일은 냉장고로 가고, 재료를 꺼내고, 팬을 찾고, 싱크대와 조리대 사이를 오가는 일까지 포함한다. Mobile ALOHA의 문제의식은 여기서 출발한다. 로봇이 정말 현실 공간에서 일하려면, 손만이 아니라 몸 전체가 움직여야 한다는 것이다.

집안일은 이동과 조작이 한 덩어리다

모바일 매니퓰레이션이라는 말은 어렵게 들리지만 뜻은 단순하다. 움직이면서 조작하는 능력이다. 바퀴 달린 베이스가 공간을 이동하고, 팔과 그리퍼가 물체를 다루며, 카메라와 센서가 주변을 본다. 문제는 이 세 가지가 따로따로 잘한다고 해서 전체가 잘되는 것이 아니라는 점이다.

로봇이 집 안에서 수건을 집어 세탁 바구니에 넣는 장면을 떠올려 보자. 먼저 수건의 위치를 찾아야 한다. 그다음 그 위치까지 접근해야 한다. 너무 멀면 팔이 닿지 않고, 너무 가까우면 팔을 펼 공간이 부족하다. 옆에 의자가 있으면 베이스를 틀어 들어가야 하고, 바닥에 놓인 물건이 있으면 경로를 수정해야 한다. 겨우 도착했다고 끝이 아니다. 이제 팔이 수건을 집는 동안 베이스는 흔들리지 않아야 하고, 그리퍼는 얇고 흐물거리는 천을 안정적으로 잡아야 한다. 그 후 다시 세탁 바구니 쪽으로 이동하면서 수건을 떨어뜨리지 않아야 한다.

이처럼 모바일 매니퓰레이션은 지각, 경로 계획, 자세 조절, 접촉 조작이 동시에 얽힌 문제다. 지각은 무엇을 어디서 볼지의 문제이고, 경로는 어떻게 그곳까지 갈지의 문제이며, 조작은 도착한 뒤 무엇을 어떻게 만질지의 문제다. 인간은 이 셋을 거의 본능적으로 묶어서 처리한다. 우리는 문 손잡이를 보면서 동시에 걸어가고, 손을 뻗고, 몸을 비켜서 문을 연다. 하지만 로봇은 이런 통합이 아직 어렵다. 분야별로 나누어 만든 시스템은 많지만, 실제 생활 공간에서 이를 하나의 자연스러운 행동으로 이어 붙이는 일은 훨씬 까다롭다.

바로 그래서 Mobile ALOHA는 "이동하는 베이스가 붙은 ALOHA" 이상이어야 한다. 핵심은 이동과 조작을 하나의 행동 흐름으로 기록하고 학습하는 데 있다. 팔 동작만 따로 모아서는 부족하고, 베이스 움직임만 따로 모아도 부족하다. 집안일은 처음부터 끝까지 하나의 전신 과제이기 때문이다.

왜 모바일 매니퓰레이션은 이렇게 어려운가

테이블 위 조작에서는 어려움의 중심이 주로 손끝에 있었다. 잡기 어렵고, 미끄럽고, 접촉이 복잡했기 때문이다. 모바일 매니퓰레이션에서는 여기에 새로운 층이 더해진다. 손끝의 어려움 위에 몸 전체의 어려움이 쌓인다.

첫째, 지각이 더 불안정해진다. 로봇이 움직이면 카메라 시야도 계속 변한다. 테이블탑 환경에서는 카메라가 고정되어 있어서 같은 장면을 비슷한 각도로 관찰할 수 있었지만, 이동하는 로봇은 관측 자체가 흔들린다. 물체가 잠깐 가려질 수도 있고, 거리와 각도가 계속 바뀌며, 조명도 방마다 다르다. 같은 컵이라도 식탁 위에 있을 때와 싱크대 옆에 있을 때는 전혀 다른 모습으로 보일 수 있다.

둘째, 경로와 자세가 조작 성능을 결정한다. 사람은 무의식적으로 좋은 위치에 서서 일한다. 서랍을 열 때는 몸을 약간 비스듬히 두고, 냄비를 넣을 때는 허리를 낮추거나 옆으로 비켜 공간을 만든다. 로봇도 비슷하다. 목표 지점까지 도달했다고 해서 곧장 작업이 가능한 것은 아니다. 베이스의 방향, 로봇과 물체의 상대 위치, 팔의 관절 여유, 충돌 가능성까지 모두 맞아야 한다. 즉, 이동은 단순한 운송이 아니라 조작을 위한 준비 동작이다.

셋째, 균형과 안정성이 문제로 등장한다. 바퀴 베이스는 이동에 유리하지만, 팔을 멀리 뻗거나 무거운 물체를 들면 무게중심이 바뀐다. 양손을 동시에 쓰면 그 영향은 더 커진다. 한 손으로 문을 당기고 다른 손으로 물체를 받치는 작업은 사람에게는 자연스럽지만, 로봇에게는 베이스 흔들림과 팔 간섭, 접촉 불안정이 한꺼번에 생길 수 있다. 특히 집안일은 정확한 위치 제어보다 '대충 맞춰도 되는 유연함'이 필요할 때가 많은데, 로봇은 오히려 그런 느슨한 상황에서 더 쉽게 흔들린다.

넷째, 과제가 길어질수록 오차가 쌓인다. 짧은 조작에서는 작은 위치 오차가 큰 문제를 일으키지 않을 수 있다. 하지만 이동, 접근, 집기, 운반, 재배치, 다시 접근, 놓기처럼 단계가 늘어나면 각 단계의 작은 실수가 다음 단계의 조건을 무너뜨린다. 처음에는 컵을 중심에서 2센티미터 비껴 보았고, 다음에는 베이스가 3도 틀어졌고, 이후 그리퍼가 물체를 약간 비뚤게 잡았다고 해 보자. 각각은 사소해 보여도 마지막 단계에서는 실패로 폭발한다. 모바일 매니퓰레이션이 특히 어려운 이유는 바로 이 누적 오차 때문이다.

양손과 이동 베이스는 서로를 방해하기도 한다

양손 조작만으로도 이미 복잡하다. 두 팔은 서로 부딪히지 않아야 하고, 한 손은 잡고 다른 손은 받치거나 비틀어야 하며, 접촉 순서와 힘의 배분도 중요하다. 그런데 여기에 이동 베이스까지 붙으면 시스템은 갑자기 전신 문제로 바뀐다.

가장 단순한 예를 보자. 로봇이 양손으로 큰 상자를 잡고 있다고 하자. 이때 베이스가 조금만 흔들려도 두 손의 상대 위치가 동시에 무너질 수 있다. 한 손 조작에서는 베이스의 작은 진동을 손 하나가 어느 정도 흡수할 수 있지만, 양손 조작에서는 두 손이 같은 물체를 다른 방향에서 제어하기 때문에 미세한 흔들림이 더 치명적이다. 상자의 한쪽 모서리를 한 손이 밀고, 다른 손이 당기는 순간 타이밍이 어긋나면 물체가 비틀리거나 빠져나갈 수 있다.

문제는 공간 간섭만이 아니다. 제어 목표도 서로 충돌한다. 베이스는 안정적인 위치를 유지하려 하고, 팔은 넓은 작업 공간을 확보하려 하며, 양손 작업은 때로 몸통의 정면보다 약간 비튼 자세를 요구한다. 예를 들어 캐비닛 문을 열고 냄비를 넣는 작업에서는 문을 피하기 위해 베이스를 비스듬히 세워야 할 수 있다. 하지만 그렇게 하면 한쪽 팔은 작업하기 쉬워지고 다른 쪽 팔은 관절 한계에 가까워질 수 있다. 다시 말해, 전신 행동에서는 어느 한 부분의 최적이 전체의 최적이 아니다.

이 점이 중요하다. Mobile ALOHA가 다루려는 것은 단순한 "팔 제어 + 주행 제어"의 합이 아니다. 실제로는 몸 전체의 타협과 협조를 학습해야 한다. 어느 거리에서 멈출지, 어떤 각도로 접근할지, 양손이 서로를 어떻게 도울지, 조작 중 베이스는 얼마나 고정될지 같은 세밀한 선택이 모두 데이터에 담겨야 한다. 이것은 기존의 테이블탑 시연 데이터만으로는 잘 포착되지 않는 종류의 지식이다.

가정 환경은 길고, 느리고, 변덕스럽다

가정용 로봇을 어렵게 만드는 또 하나의 요소는 환경의 비정형성이다. 연구실 테이블은 잘 정돈되어 있지만, 실제 집은 그렇지 않다. 의자는 어제와 오늘 위치가 다르고, 장난감은 갑자기 바닥에 생기고, 주방에는 젖은 수건이 걸려 있고, 조리도구는 사람의 습관에 따라 제각각 놓인다. 로봇이 해야 할 일은 이런 변덕을 견디는 것이다.

특히 집안일은 생각보다 길다. 주방에서 한 가지 요리를 보조하는 작업만 해도 여러 장소를 오가며 물건을 찾고, 옮기고, 열고, 닫고, 씻고, 다시 놓는 과정이 이어진다. 사람은 이런 긴 작업을 문맥으로 묶어 처리한다. 팬을 찾으러 가는 동안 이미 다음에 사용할 조리도구를 떠올리고, 물건을 옮길 때 돌아오는 길의 동선까지 함께 고려한다. 하지만 로봇은 긴 수평선 위에서 집중력을 유지하기가 어렵다. 한 단계씩 잘하더라도, 여러 단계가 이어지는 순간 오류가 쌓이고 판단이 흔들린다.

여기서 중요한 사실이 드러난다. 가정용 로봇에게 필요한 것은 한 번의 화려한 집기가 아니라 긴 작업을 끝까지 완주하는 능력이다. 한 번 잘 잡는 것보다, 여러 공간을 오가며 물체를 잃지 않고, 목표를 잊지 않고, 상황 변화에 대응하는 것이 더 중요하다. 결국 집안일 로봇의 성능은 최고 장면의 인상보다 평균적인 안정성과 복원력에 달려 있다.

Mobile ALOHA의 문제의식은 바로 이 지점에서 선명해진다. 로봇이 현실 세계에서 유용해지려면 짧고 정적인 과제의 성공률만으로는 부족하다. 길고 이동이 포함된 과제에서 어떻게 행동을 조직하는지, 실패 직전의 흔들림을 어떻게 회복하는지, 주변 환경 변화 속에서도 어떻게 목적을 유지하는지까지 데이터로 배워야 한다.

전신 행동 데이터가 왜 필요한가

우리는 앞에서 로봇 AI의 병목이 모델만이 아니라 좋은 행동 데이터라고 여러 번 이야기했다. Mobile ALOHA는 이 명제를 한 단계 더 밀어붙인다. 집안일 로봇의 병목은 단순한 팔 동작 데이터 부족이 아니라, 전신 행동 데이터의 부족이라는 것이다.

전신 행동 데이터란 말 그대로 몸 전체의 의사결정이 담긴 기록이다. 어디를 봤는지, 어떤 경로로 접근했는지, 어느 위치에서 멈췄는지, 양손을 어떤 순서로 썼는지, 조작 중 베이스를 얼마나 움직였는지, 실패 조짐이 생겼을 때 어떻게 자세를 다시 잡았는지가 함께 들어 있다. 이 데이터는 단순한 관절 값의 모음이 아니다. 작업 문맥 속에서 몸 전체를 어떻게 조직했는지 보여 주는 행동의 지도에 가깝다.

왜 이것이 중요할까. 로봇이 실제 집에서 해야 할 일은 대개 정답이 하나가 아니다. 같은 컵을 집어도 왼쪽에서 접근할 수도 있고, 오른쪽에서 돌아갈 수도 있으며, 먼저 의자를 밀고 공간을 만들 수도 있다. 사람은 상황에 맞게 이런 선택을 유연하게 바꾼다. 따라서 로봇도 결과만이 아니라 과정의 구조를 배워야 한다. 전신 행동 데이터는 바로 그 과정을 담는다.

더구나 전신 데이터는 실패를 이해하는 데도 유용하다. 컵을 놓친 원인이 단순히 그리퍼 힘 부족인지, 접근 각도가 나빴기 때문인지, 베이스가 너무 멀리 멈췄기 때문인지, 혹은 이동 중 시야를 잃었기 때문인지는 전신 맥락을 봐야 알 수 있다. 집안일은 원인이 여러 층에서 얽혀 있기 때문에, 데이터도 여러 층을 함께 기록해야 한다.

이 점에서 Mobile ALOHA는 데이터 수집기의 성격을 새로 정의한다. 원래 ALOHA가 양손 조작 데이터를 모으는 강력한 도구였다면, Mobile ALOHA는 현실 공간에서 전신 행동 데이터를 모으는 도구로 확장된다. 로봇이 테이블 위에서 손끝의 기술을 익혔다면, 이제는 집 안에서 몸 전체의 흐름을 배워야 한다.

Mobile ALOHA가 겨냥한 다음 단계

Mobile ALOHA의 등장은 단순히 연구 과제를 더 어렵게 만들기 위한 것이 아니다. 오히려 로봇 연구를 현실에 더 가깝게 가져오기 위한 방향 전환이다. 테이블탑 조작은 중요하지만, 그것만으로는 집안일 로봇의 핵심 문제를 다루기 어렵다. 현실의 과제는 늘 이동과 조작이 섞여 있고, 양손은 공간 전체 속에서 협력해야 하며, 긴 작업은 누적 오차를 견뎌야 한다.

그래서 Mobile ALOHA가 겨냥하는 것은 하나의 인상적인 데모가 아니라, 더 넓은 행동 범위다. 로봇이 방을 가로질러 이동하고, 문을 통과하고, 물체를 찾고, 두 손으로 다루며, 다시 다른 위치로 옮기는 일련의 흐름을 배울 수 있게 하는 것이다. 이것이야말로 집안일 로봇이 되기 위한 진짜 문턱이다.

다음 장에서는 이 문제의식을 실제 시스템 설계로 옮겨 보겠다. 이동 베이스와 양팔, 카메라와 전신 원격조작 인터페이스가 어떻게 결합되는지, 그리고 인간의 몸 움직임이 어떻게 로봇의 전신 행동 데이터로 기록되는지를 살펴볼 것이다. 테이블 밖으로 나온 로봇은 더 복잡해지지만, 동시에 훨씬 더 현실적이 된다. 바로 그 지점에서 Mobile ALOHA의 진짜 이야기가 시작된다.