Mobile ALOHA의 대표 과제들

Mobile ALOHA의 데모를 처음 보면 감탄부터 나오기 쉽다. 로봇이 주방을 오가고, 문을 열고, 팬을 씻고, 엘리베이터를 타는 장면은 확실히 인상적이다. 하지만 이 장에서 더 중요하게 볼 것은 "와, 된다"가 아니다. 어떤 작업을 고르느냐에 따라, Mobile ALOHA가 무엇을 잘하고 무엇에서 아직 흔들리는지가 드러난다는 점이다.

논문 속 대표 과제들은 단순히 보기 좋은 장면이 아니다. 하나하나가 서로 다른 어려움을 시험하는 작은 시험장이다. 어떤 과제는 양손 협응을 묻고, 어떤 과제는 이동과 조작의 연결을 묻고, 또 어떤 과제는 마지막 몇 센티미터의 미세한 위치 보정을 묻는다. 그래서 이 사례들을 뜯어보면 Mobile ALOHA가 단순한 "움직이는 양팔 로봇"이 아니라, 전신 행동 데이터를 모으기 위한 실험 플랫폼이라는 사실이 더 선명해진다.

대표 과제는 왜 중요한가

로봇 데모는 종종 오해를 낳는다. 사람은 장면 하나만 보고 "저 로봇은 이제 집안일을 할 수 있구나"라고 생각하기 쉽다. 하지만 연구자의 눈으로 보면 데모는 오히려 반대다. 무엇이 아직도 어렵다는 사실을 압축해서 보여 주는 장면이다.

예를 들어 컵 하나를 집는 데모는 파지와 시각 정렬을 본다. 반면 Mobile ALOHA의 대표 과제들은 그보다 훨씬 길다. 이동, 접근, 자세 맞춤, 양손 조작, 물체 운반, 재정렬, 작업 마무리까지 이어진다. 다시 말해 성공 장면이 길수록, 그 안에 숨어 있는 실패 지점도 많아진다.

이 장에서는 특히 다섯 부류의 과제를 통해 Mobile ALOHA의 능력을 읽어 보려 한다. 새우를 볶고 서빙하는 과제는 장기 양손 협응을, 냄비를 캐비닛에 넣는 과제는 공간과 힘의 제약을, 엘리베이터 과제는 이동과 조작의 연계를, 팬 헹구기는 지속적인 위치 재조정을, 의자 밀기와 청소 같은 가사 과제는 반복적이지만 끝까지 만만하지 않은 현실성을 보여 준다.

새우를 볶고 서빙하기: 한 번의 집기가 아니라 긴 요리 흐름이다

새우를 볶고 접시에 담아 내는 장면은 Mobile ALOHA의 대표 데모 가운데서도 상징성이 크다. 이유는 분명하다. 이 과제는 단순한 pick-and-place가 아니다. 요리는 본질적으로 연속적인 상태 변화를 다루는 작업이기 때문이다.

로봇은 먼저 조리 도구와 재료가 놓인 위치까지 이동해야 한다. 그다음 팬과 집게, 주걱 같은 도구를 다루며, 한 손은 팬을 안정시키고 다른 손은 재료를 움직여야 한다. 요리 중에는 물체의 위치만 바뀌는 것이 아니다. 팬의 각도, 재료의 퍼짐, 도구 끝이 닿는 방향, 조리대와의 거리까지 함께 바뀐다. 마지막에는 조리된 음식을 접시로 옮기고 서빙 위치까지 정리해야 한다.

여기서 진짜 어려운 점은 "두 손을 쓴다"는 사실 자체가 아니다. 더 어려운 것은 두 손이 서로 다른 역할을 계속 바꿔 가며 협력해야 한다는 점이다. 한 손은 지지하고, 다른 손은 뒤집고, 잠시 뒤에는 역할이 바뀔 수 있다. 사람에게는 자연스러운 이 전환이 로봇에게는 매우 어렵다. 왜냐하면 정책은 각 순간마다 단순히 손의 좌표를 내는 것이 아니라, 지금 장면에서 어느 손이 주도권을 잡아야 하는지까지 암묵적으로 배워야 하기 때문이다.

또 하나의 난점은 요리 작업이 접촉을 피할 수 없는 과제라는 데 있다. 팬 바닥을 긁지 않으면서 재료를 모아야 하고, 너무 세게 누르면 재료가 튈 수 있으며, 너무 약하게 움직이면 집게나 주걱이 헛돈다. 다시 말해 시각만으로 끝나지 않는다. Mobile ALOHA가 이런 과제를 수행한다는 것은, 적어도 행동 데이터 안에 "대충 이 정도로 접근하고, 이 정도 속도로 밀고, 실패 기미가 보이면 다시 정렬하는" 인간의 운영 습관이 들어 있다는 뜻이다.

서빙 단계도 만만치 않다. 조리에서 성공했다고 끝이 아니다. 팬을 기울이는 각도, 접시 위치, 흘리지 않기 위한 손목 조정까지 필요하다. 이 마지막 부분은 특히 중요하다. 많은 로봇 데모가 물체를 집는 데서 끝나지만, 실제 집안일은 대개 흘리지 않고, 부딪히지 않고, 보기 좋게 마무리하는 단계에서 품질 차이가 난다. 새우 볶기 데모는 바로 그 점을 드러낸다. Mobile ALOHA가 보여 준 것은 요리의 완성이 아니라, 긴 과제를 구성하는 조작의 리듬을 데이터로 담을 수 있다는 가능성이다.

캐비닛을 열고 무거운 냄비를 넣기: 공간과 힘의 제약이 한꺼번에 몰려온다

두 문이 달린 캐비닛을 열고 냄비를 넣는 작업은 얼핏 단순해 보인다. 하지만 로봇 입장에서는 매우 악질적인 과제다. 이유는 이 작업이 문제의 종류를 한 번에 여러 개 섞어 놓기 때문이다.

먼저 문이 문제다. 캐비닛 문은 단순한 장애물이 아니라, 작업 공간 자체를 바꿔 버리는 움직이는 경계다. 문이 닫혀 있으면 안쪽 물체에 접근할 수 없고, 문을 반쯤 열면 팔의 궤적이 제한되며, 너무 크게 열면 오히려 문이 로봇 팔의 회전 공간을 막을 수 있다. 게다가 양문 캐비닛이라면 왼쪽과 오른쪽이 서로 다른 간섭을 만든다. 한 손으로 문을 잡아 둬야 하는 경우도 많고, 문이 다시 닫히지 않게 힘을 유지해야 할 수도 있다.

그다음은 냄비다. 냄비는 컵이나 작은 상자와 다르다. 손잡이가 어색한 방향으로 나 있을 수 있고, 무게 중심이 손잡이 쪽에 있지 않을 수도 있으며, 부피가 커서 캐비닛 입구를 통과할 때 여유 공간이 거의 없을 수 있다. 사람은 이런 상황에서 자연스럽게 냄비를 살짝 들어 올리고, 비틀고, 한쪽을 먼저 넣은 뒤 각도를 바꿔 밀어 넣는다. 하지만 로봇에게는 이 동작이 매우 어렵다. 단순히 목표 위치를 맞추는 것으로는 부족하고, 좁은 입구를 통과하기 위한 중간 자세들을 통과해야 하기 때문이다.

이 과제가 특히 흥미로운 이유는 힘의 제약도 동시에 등장한다는 데 있다. 냄비가 무거우면 두 손으로 들어야 안정적이다. 그런데 두 손으로 냄비를 잡으면 문을 잡아 줄 손이 없다. 반대로 한 손으로 문을 고정하면 나머지 한 손 또는 팔 하나에 더 큰 부담이 간다. 결국 작업 전략 자체가 난제가 된다. 먼저 문을 활짝 열어 둘지, 냄비를 잠시 바닥이나 선반에 기대 놓고 다시 잡을지, 정면으로 접근할지 약간 비스듬히 설지 모두 선택 문제다.

Mobile ALOHA가 이 과제를 수행할 수 있다는 것은 단순히 힘이 세다는 뜻이 아니다. 오히려 더 중요한 것은 전신 자세를 잘 고른다는 데 있다. 캐비닛 앞에서 몇 센티미터만 멀어도 팔이 끝까지 뻗어 불안정해지고, 너무 가까우면 냄비를 돌릴 공간이 사라진다. 앞 장에서 본 전신 구조가 왜 필요했는지가 바로 여기서 드러난다. 냄비 넣기는 손끝 정밀도만의 문제가 아니라, 베이스 정렬이 절반을 먹고 들어가는 과제다.

엘리베이터 호출과 탑승: 이동과 조작이 이어질 때 비로소 현실이 된다

엘리베이터를 부르고 탑승하는 장면은 Mobile ALOHA가 왜 테이블 밖으로 나가야 했는지를 가장 직관적으로 보여 준다. 이 과제는 집기 자체보다 이동-정렬-조작-재이동의 연결이 더 중요하다.

생각해 보자. 엘리베이터 버튼을 누르려면 우선 버튼 패널 앞까지 가야 한다. 그런데 단순히 가까이 가는 것만으로는 부족하다. 너무 비스듬히 서면 팔이 버튼을 불편한 각도로 눌러야 하고, 너무 멀면 손이 닿지 않으며, 너무 가까우면 버튼을 누른 뒤 문이 열릴 때 후퇴하기 어렵다. 버튼 하나 누르기 전에 이미 자세 선택 문제가 시작되는 셈이다.

버튼을 누른 뒤에는 또 다른 종류의 지능이 필요하다. 문이 열리기를 기다리고, 열리는 순간 진입 경로를 맞추고, 문턱을 넘고, 내부에서 회전하거나 멈출 자리를 잡아야 한다. 여기서는 손보다 베이스가 주인공처럼 보이지만, 사실 손도 여전히 중요하다. 필요하면 다시 버튼을 누르거나, 균형을 맞추기 위해 팔을 접어 충돌 위험을 줄여야 할 수 있기 때문이다.

이 과제가 보여 주는 핵심은, 현실의 로봇 작업이 거의 언제나 짧은 조작 과제들의 연결이라는 사실이다. 버튼 누르기는 쉬워 보이고, 앞으로 조금 가는 것도 쉬워 보이고, 문이 열리면 안으로 들어가는 것도 쉬워 보인다. 그러나 이 셋을 한 에피소드로 묶는 순간 난도가 급격히 올라간다. 왜냐하면 앞 동작의 작은 오차가 뒤 동작의 초기 조건을 바꿔 버리기 때문이다.

예를 들어 버튼을 누른 뒤 몸이 약간 오른쪽으로 틀어져 있다면, 문이 열렸을 때 바로 진입하기 어렵다. 진입 각도가 나쁘면 문틀과 팔이 간섭할 수 있다. 내부로 들어간 뒤 위치를 잘못 잡으면 다시 버튼에 닿기 어려울 수 있다. 그러니까 엘리베이터 과제는 "하나의 어려운 행동"이 아니라, 여러 개의 평범한 행동이 서로의 발목을 잡는 과제다.

Mobile ALOHA가 이런 장면을 수행했다는 것은 큰 의미가 있다. 로봇이 현실 공간에서 쓸모 있으려면 문 손잡이를 멋지게 잡는 능력만으로는 부족하다. 그보다 더 중요한 것은, 작은 과제들을 끊기지 않게 이어 가는 운영 능력이다. 엘리베이터 데모는 바로 그 연결 능력을 보여 준다.

팬을 수도꼭지 아래서 헹구기: 마지막 몇 센티미터를 계속 고쳐야 한다

팬을 싱크대로 가져가 수도꼭지 아래에서 헹구는 작업은 아주 일상적이다. 그래서 더 어렵다. 이 과제는 로봇이 정답 자세 하나를 찾아 가는 것이 아니라, 작업 도중 계속 위치를 다시 맞춰야 한다는 점을 선명하게 보여 준다.

싱크대 앞에 멈추는 것만으로는 끝나지 않는다. 팬의 크기와 손잡이 방향에 따라 수도꼭지 아래로 들어갈 수 있는 경로가 달라지고, 수도꼭지의 높이와 위치도 제약이 된다. 팬을 너무 높이 들면 수도꼭지에 부딪힐 수 있고, 너무 낮으면 물이 팬 안쪽에 잘 들어가지 않는다. 게다가 헹구는 동안에는 팬을 조금 돌리고, 기울이고, 다시 당기며 물이 닿는 위치를 바꿔야 할 수 있다.

이런 작업에서 어려운 것은 힘 그 자체보다 지속적인 재정렬이다. 물체를 한 번 잘 잡았다고 끝나지 않는다. 오히려 잡은 뒤가 더 어렵다. 팬은 넓고, 손잡이는 한쪽으로 길며, 손목을 조금만 틀어도 팬의 앞쪽 끝이 크게 움직인다. 사람은 이럴 때 손목과 팔꿈치, 몸통 위치를 동시에 미세하게 조절한다. Mobile ALOHA도 비슷한 종류의 조정이 필요하다.

또한 이 과제는 손목 시야와 장면 시야의 역할 분담이 왜 중요한지도 잘 보여 준다. 싱크대까지 접근할 때는 넓은 장면 정보가 필요하지만, 팬의 가장자리가 수도꼭지와 얼마나 가까운지는 손목 근처의 세밀한 시야가 더 잘 알려 준다. 문제는 이 둘이 늘 완벽하게 맞물리지 않는다는 점이다. 넓게 보면 손끝이 흐릿하고, 가까이 보면 전체 위치 감각을 잃기 쉽다. 결국 좋은 시연은 둘 사이를 오가며 "조금 더 다가가고, 잠깐 멈추고, 손목을 돌리고, 다시 위치를 고친다"는 리듬을 만든다.

팬 헹구기 과제는 그래서 흥미롭다. 이 장면은 대단히 화려하지는 않지만, 집안일 로봇의 진짜 어려움이 들어 있다. 집에서는 정답 좌표에 도달하면 끝나는 일이 거의 없다. 대부분은 계속 보고, 계속 맞추고, 계속 수정해야 하는 작업이다. 팬 헹구기는 바로 그 현실을 보여 준다.

의자 밀기, 청소, 정리 작업: 화려하지 않지만 가정용 로봇의 본질에 가깝다

의자를 밀고, 주변을 정리하고, 간단한 청소를 하는 작업은 연구 데모로는 상대적으로 덜 극적이다. 요리나 엘리베이터처럼 눈길을 확 끌지는 않는다. 그러나 실제로는 이런 과제들이 가정용 로봇의 본질에 더 가깝다. 왜냐하면 집안일의 대부분은 한 번의 멋진 조작이 아니라, 작은 목표를 연속해서 처리하는 반복적 운영이기 때문이다.

의자 밀기부터 보자. 사람에게는 쉬워 보이지만 로봇에게는 생각보다 까다롭다. 의자는 바퀴가 있을 수도 있고 없을 수도 있으며, 밀면 직선으로 가지 않고 살짝 회전할 수 있다. 어디를 밀어야 원하는 방향으로 잘 움직이는지도 항상 같지 않다. 너무 높은 위치를 밀면 의자가 기울 수 있고, 너무 낮은 위치를 밀면 힘이 잘 전달되지 않을 수 있다. 결국 이 작업은 단순히 "힘주기"가 아니라, 물체의 형상과 마찰 조건을 보고 적절한 접촉점을 선택하는 문제다.

청소도 마찬가지다. 바닥의 작은 쓰레기를 밀어 모으는 일은 보기보다 어렵다. 먼지나 천 조각은 딱딱한 물체처럼 예측 가능하게 움직이지 않는다. 가벼운 물체는 그리퍼 바람이나 팔의 미세한 접촉만으로도 튀어나가고, 걸레나 수건 같은 것은 잡히다가도 흐느적거리며 빠져나간다. 이런 작업에서 중요한 것은 정밀한 한 번의 파지가 아니라, 실패해도 다시 접근할 수 있는 끈질긴 운영이다.

정리 작업은 또 다른 차원의 어려움을 보여 준다. 정리는 대개 동일한 동작의 반복처럼 보이지만, 실제로는 매번 대상이 다르다. 컵은 컵대로, 옷은 옷대로, 상자는 상자대로 다뤄야 한다. 같은 선반에 넣더라도 물체의 크기와 형태에 따라 접근 전략이 달라진다. 즉, 정리 작업은 단순한 반복이 아니라 약간씩 다른 상황을 계속 흡수하며 처리하는 일반화 능력을 요구한다.

이런 과제들의 공통점은 성공 기준이 하나가 아니라는 데 있다. 의자는 "원하는 자리까지 옮겼는가"가 중요하고, 청소는 "눈에 띄게 깨끗해졌는가"가 중요하며, 정리는 "질서 있게 배치되었는가"가 중요하다. 다시 말해 산업용 로봇처럼 밀리미터 단위의 단일 목표로 끝나지 않는다. Mobile ALOHA가 이런 과제를 다룬다는 것은, 가정용 로봇이 앞으로 마주할 현실이 얼마나 모호한지 미리 보여 주는 셈이다.

이 과제들이 공통으로 보여 주는 것

겉보기에 서로 다른 과제들이지만, 자세히 들여다보면 공통된 구조가 있다. Mobile ALOHA의 대표 데모들은 하나같이 다음 질문을 던진다.

• 로봇은 작업 대상 앞에 어떻게 접근할 것인가

• 접근한 뒤 어떤 자세로 멈출 것인가

• 양손과 베이스의 역할을 언제 바꿔 가며 쓸 것인가

• 실패 조짐이 보일 때 어떻게 다시 정렬할 것인가

• 작업이 끝난 뒤 다음 상태로 얼마나 자연스럽게 넘어갈 것인가

이 다섯 가지는 사실 집안일의 공통 문법에 가깝다. 새우 볶기에서는 조리 도구와 팬 앞에 접근해야 하고, 냄비 넣기에서는 캐비닛 앞에 정확히 서야 하며, 엘리베이터에서는 버튼과 문 앞에서 자세를 맞춰야 한다. 팬 헹구기에서는 작업 도중 계속 재정렬해야 하고, 의자 밀기나 정리 작업에서는 하나의 작업이 끝난 뒤 곧바로 다음 작업으로 넘어가야 한다.

즉, Mobile ALOHA의 과제들은 서로 다른 분야를 시험하는 듯 보이지만, 실제로는 같은 능력을 다양한 모양으로 묻고 있다. 그 능력은 한마디로 전신으로 긴 과제를 운영하는 능력이다.

이 데모들이 곧바로 "가정용 로봇 완성"을 뜻하지는 않는다

여기서 조심해야 할 점도 있다. 대표 과제가 인상적이라고 해서, 로봇이 곧바로 아무 집에나 가서 같은 수준으로 일할 수 있다는 뜻은 아니다. 오히려 이런 데모는 현재 기술의 한계도 함께 보여 준다.

첫째, 과제는 여전히 비교적 잘 정의된 장면에서 수행된다. 물체의 종류와 배치, 동선, 조명의 범위가 완전히 무작위인 것은 아니다. 실제 가정은 훨씬 더 어지럽고, 예외 상황이 많다.

둘째, 시연 데이터의 품질에 성능이 크게 좌우된다. Mobile ALOHA가 잘하는 장면 뒤에는 대개 조작자가 만들어 낸 좋은 전신 행동 데이터가 있다. 즉, 모델이 마법처럼 문제를 푼 것이 아니라, 좋은 하드웨어와 좋은 시연이 모델이 배울 수 있는 길을 열어 준 것이다.

셋째, 긴 과제일수록 작은 오차가 누적된다. 버튼을 누르는 데 1센티미터 오차가 나도 큰 문제는 아닐 수 있다. 하지만 그런 오차가 이동, 정렬, 파지, 운반, 삽입 단계를 거치며 쌓이면 마지막 성공률은 급격히 떨어진다. 그래서 Mobile ALOHA의 진짜 가치는 완성된 가정용 로봇이라기보다, 그 누적 오차를 연구할 수 있는 데이터 수집기에 가깝다.

데모를 해부해 보면, 결국 중요한 것은 "좋은 행동 데이터"다

이 장의 대표 과제들을 다시 한 번 묶어 보면 메시지는 분명하다. Mobile ALOHA의 인상적인 장면들은 로봇이 특별히 영리한 비밀 알고리즘 하나를 얻어서 나온 결과가 아니다. 그보다는, 인간이 전신으로 수행하는 긴 작업을 로봇의 관측과 행동 시퀀스로 바꾸어 기록할 수 있게 되었기 때문에 가능해진 결과에 가깝다.

새우를 볶는 장면은 양손 협응과 장기 계획의 데이터를, 냄비를 캐비닛에 넣는 장면은 좁은 공간과 힘 제약 속 전략 데이터를, 엘리베이터 장면은 이동과 조작의 연결 데이터를, 팬 헹구기는 지속적 위치 보정 데이터를, 의자 밀기와 정리 작업은 반복되는 가사 운영 데이터를 보여 준다. 서로 다른 장면처럼 보이지만, 사실은 모두 같은 질문으로 모인다. 사람의 몸 운영 방식을 얼마나 잘 데이터화할 수 있는가라는 질문이다.

그래서 Mobile ALOHA의 대표 과제들은 단순한 쇼케이스가 아니다. 이 장면들은 로봇 AI의 병목이 어디에 있는지를 드러낸다. 병목은 모델 크기만이 아니다. 현실적인 과제를 잘게 쪼개고, 좋은 시연을 모으고, 이동과 조작이 얽힌 긴 행동을 한 에피소드로 남기는 일 자체가 병목이다. Mobile ALOHA는 그 병목을 정면으로 건드린다.

다음 장에서는 한 걸음 더 나아가 보자. 이런 대표 과제들이 왜 소수의 모바일 데이터만으로는 충분하지 않은지, 그리고 정적 ALOHA 데이터와 Mobile ALOHA 데이터를 함께 쓰는 공동학습이 왜 성능을 끌어올리는지 살펴볼 것이다. 결국 중요한 것은 데모 한 편이 아니라, 서로 관련된 행동 데이터를 어떻게 묶어 더 큰 학습 자산으로 만들 것인가에 있다.