프롤로그: 로봇은 왜 아직도 집안일을 못 하는가

우리는 오랫동안 집안일 로봇을 기다려 왔다. 바닥을 청소하는 기계는 이미 집 안에 들어왔고, 음성 비서도 낯설지 않다. 그런데도 여전히 냄비를 싱크대로 옮기고, 젖은 행주를 짜고, 서랍에서 수저를 꺼내 정리하고, 빨래를 개는 로봇은 흔하지 않다. 사람의 눈으로 보면 이런 일은 대단한 지능의 증거처럼 보이지도 않는다. 오히려 너무 평범해서, "이 정도는 벌써 로봇이 할 수 있어야 하는 것 아닌가?"라는 생각이 먼저 든다.

하지만 바로 그 평범함이 문제다. 집안일은 공식처럼 정리된 작업이 아니라, 끝없이 변하는 현실과 맞붙는 일이다. 물건은 늘 같은 자리에 있지 않고, 조명은 매번 다르며, 비닐은 손에 달라붙고, 그릇은 미끄럽고, 문은 덜 닫혀 있을 때도 있다. 인간은 이런 변화를 거의 의식하지 않고 처리한다. 손으로 만져 보고, 눈으로 슬쩍 확인하고, 잘 안 되면 힘을 조금 바꾸고, 필요하면 다른 손으로 받쳐 든다. 그러나 로봇에게는 이 모든 것이 각각의 난제다.

이 책은 바로 그 지점에서 출발한다. 왜 로봇은 아직도 집안일을 잘 못하는가. 그리고 왜 이 문제를 이해하려면 알고리즘만이 아니라, 몸과 손, 원격조작, 그리고 무엇보다 좋은 행동 데이터를 봐야 하는가. ALOHA, Mobile ALOHA, ALOHA 2는 이 질문에 답하기 위해 등장한 중요한 이정표다.

로봇 팔은 강하지만, 집에서는 종종 서툴다

로봇 팔은 약한 기계가 아니다. 공장에서는 놀라울 만큼 정확하고 빠르게 움직인다. 자동차 부품을 옮기고, 용접하고, 반복 작업을 쉬지 않고 수행한다. 같은 위치에 같은 부품이 놓이고, 작업 순서가 고정되어 있으며, 환경이 잘 통제된다면 로봇은 인간보다 더 안정적일 수 있다. 산업용 로봇이 성공한 이유는 단지 팔이 강해서가 아니라, 세계를 로봇이 다루기 쉬운 형태로 정리했기 때문이다.

집은 정반대다. 컵은 어제와 오늘의 위치가 다르고, 수건은 접힌 모양이 제각각이며, 문손잡이의 각도도 늘 같지 않다. 공장에서는 물체가 로봇을 기다리지만, 집에서는 로봇이 어지러운 세상을 이해해야 한다. 공장에서는 작업이 반복되지만, 집에서는 비슷해 보이는 일도 매번 조금씩 다르다. 로봇 팔이 집에서 서툴러 보이는 이유는 팔의 힘이 부족해서가 아니다. 세상이 로봇에게 너무 자유롭고, 너무 지저분하고, 너무 예외가 많기 때문이다.

예를 들어 접시를 식기건조대에서 꺼내 찬장에 넣는 일은 사람에게 간단하다. 하지만 로봇에게는 먼저 접시가 어디에 있는지 정확히 봐야 하고, 다른 그릇에 걸리지 않게 집어야 하며, 미끄러지지 않을 정도의 힘으로 잡아야 하고, 이동 중 충돌을 피해야 하고, 찬장 문이 열려 있는지까지 확인해야 한다. 이 과정 어디에서든 작은 오차가 생기면 작업 전체가 실패할 수 있다. 인간에게는 하나의 동작처럼 보이는 일이 로봇에게는 인식, 계획, 접촉, 균형, 예외 처리의 연쇄로 분해된다.

인간에게 쉬운 일이 로봇에게 어려운 이유

집안일은 대체로 손끝의 일이다. 강한 힘보다 적당한 힘 조절이 중요하고, 큰 동작보다 미세한 보정이 중요하다. 팬을 헹굴 때는 물살과 표면의 미끄러움을 견뎌야 하고, 비닐봉지를 열 때는 얇은 재질의 변형을 읽어야 하며, 빨래를 들 때는 축 늘어진 천의 모양이 손 안에서 계속 바뀐다. 이런 작업은 모두 "접촉이 많은 일"이라는 공통점을 가진다.

접촉이 많다는 것은 곧 예측이 어렵다는 뜻이다. 로봇이 물체를 만지는 순간, 세계는 더 이상 카메라만으로 설명되지 않는다. 손가락과 물체 사이의 마찰, 눌림, 흔들림, 뒤틀림이 발생하고, 그 결과는 작은 자세 차이에도 크게 달라진다. 컵 손잡이를 잡는 일은 물체를 인식하는 문제이기도 하지만, 동시에 손의 접근 각도와 손가락의 닫히는 타이밍, 손목의 회전, 그리고 혹시 놓쳤을 때 다시 시도하는 방식의 문제이기도 하다.

시야도 문제다. 사람은 손으로 물체를 가리면서도 머리를 기울이거나 몸을 움직여 필요한 정보를 얻는다. 손끝 감각도 활용한다. 반면 로봇은 카메라의 위치가 제한되어 있고, 물체를 집는 순간 오히려 중요한 부분이 가려질 수 있다. 물체가 투명하거나 반사되면 더 까다롭다. 싱크대 주변처럼 물기가 있는 환경은 시각적으로도, 기계적으로도 불편하다.

불확실성은 집안일의 기본값이다. 서랍이 완전히 닫혀 있는지, 스펀지가 얼마나 젖었는지, 의자가 바닥에서 얼마나 잘 미끄러지는지, 수건이 두 겹으로 접혀 있는지 한 겹으로 접혀 있는지, 이런 변수들은 모두 행동을 바꾼다. 인간은 이런 불확실성을 귀찮은 예외로 느끼지 않는다. 눈과 손과 몸을 함께 써서 순간적으로 조정하기 때문이다. 로봇은 바로 그 즉흥적 조정을 배우는 데 어려움을 겪는다.

그래서 집안일은 "물체를 옮기는 문제"가 아니다. 더 정확히 말하면, 불완전한 시야 속에서 부드럽고 불규칙한 대상과 반복적으로 접촉하면서, 실패를 크게 내지 않고, 계속 동작을 수정해야 하는 문제다. 이 정의를 받아들이는 순간, 왜 집안일 로봇이 아직 흔하지 않은지 조금 선명해진다.

규칙으로 짜는 로봇에서, 따라 배우는 로봇으로

오랫동안 로봇 연구의 중심에는 규칙과 계획이 있었다. 물체의 위치를 추정하고, 경로를 계산하고, 충돌을 피하며, 정해진 순서대로 움직이게 만드는 방식이다. 이런 접근은 구조가 단순하고 환경이 안정적인 곳에서는 매우 강력하다. 하지만 집에서는 상황이 너무 빨리 달라진다. 규칙을 많이 넣을수록 예외도 함께 늘어난다. 접촉이 복잡한 작업에서는 정확한 물리 모델을 세우는 것조차 쉽지 않다.

그래서 무게중심이 조금씩 이동했다. 로봇에게 모든 상황을 일일이 설명하는 대신, 사람이 직접 시연한 행동을 통해 배우게 하자는 흐름이 강해졌다. 아이가 어른을 보며 배우듯, 로봇도 사람의 행동을 관찰하고 흉내 내며 기술을 익히게 하려는 것이다. 이를 보통 모방학습이라고 부른다. 말 그대로 "이렇게 해 보라"고 보여 주는 방식이다.

이 접근의 매력은 분명하다. 사람은 접촉이 많은 작업에서 매우 뛰어난 시범 교사다. 컵을 어느 각도로 잡아야 하는지, 문이 뻑뻑할 때 얼마나 더 밀어야 하는지, 수건이 미끄러질 때 다른 손으로 어디를 받쳐야 하는지, 우리는 이런 판단을 매번 자연스럽게 수행한다. 그 행동을 데이터로 잘 기록할 수만 있다면, 로봇은 복잡한 규칙 목록이 아니라 실제 행동의 흐름에서 배울 수 있다.

문제는 바로 그 "잘 기록할 수만 있다면"이다. 인터넷에는 텍스트와 이미지가 넘쳐나지만, 로봇이 실제 세상에서 팔을 움직이고 물체와 접촉하며 작업을 완수한 데이터는 매우 부족하다. 로봇 행동 데이터는 비싸다. 기계를 마련해야 하고, 사람을 투입해야 하며, 공간이 필요하고, 실패와 고장이 발생하며, 안전도 관리해야 한다. 좋은 데이터는 그냥 다운로드되지 않는다. 누군가가 몸으로 만들어야 한다.

로봇 AI의 병목이 점점 모델 자체에서 데이터 수집으로 옮겨 간 이유가 여기에 있다. 더 큰 신경망만으로는 충분하지 않다. 무엇을 보고, 어떻게 움직였고, 왜 성공했고, 어디서 실패했는지를 담은 행동 데이터가 있어야 한다. 로봇에게는 텍스트 말뭉치 대신, 손과 팔과 몸의 경험이 필요하다.

좋은 행동 데이터는 어떻게 만들어지는가

행동 데이터는 단순한 영상 모음이 아니다. 로봇이 실제로 배울 수 있는 데이터가 되려면, 적어도 세 가지가 맞물려야 한다. 로봇이 본 장면, 로봇이 가진 몸의 상태, 그리고 그 순간 사람이 혹은 정책이 내린 행동이 시간축 위에서 정확히 맞아떨어져야 한다. 카메라에는 컵이 보이고, 관절 상태에는 팔의 자세가 기록되며, 행동에는 그다음 순간 손목을 얼마나 회전하고 그리퍼를 얼마나 닫을지가 담긴다. 이 셋이 어긋나면 로봇은 세계와 행동의 대응관계를 잘못 배운다.

더 까다로운 것은 데이터의 질이다. 같은 백 개의 시연이라도 조작자가 피곤해 후반부에 흔들렸다면, 카메라가 자주 가려졌다면, 성공은 했지만 동작이 불필요하게 길었다면, 그 데이터는 로봇에게 나쁜 습관을 가르칠 수도 있다. 반대로 부드럽고 일관된 시연, 실패가 났을 때의 회복 전략까지 담긴 시연, 다양한 배치와 조명 조건을 포함한 시연은 훨씬 값지다. 좋은 행동 데이터는 많이 모으는 것만으로는 부족하다. 잘 모아야 한다.

이 지점에서 하드웨어가 갑자기 중요해진다. 데이터 수집은 결국 사람이 로봇을 얼마나 자연스럽게 조작할 수 있는가의 문제이기 때문이다. 조작 인터페이스가 불편하면 시연 품질이 떨어진다. 지연이 크면 세밀한 접촉이 어려워진다. 그리퍼가 뻑뻑하면 작은 물체를 다루기 힘들다. 팔의 움직임이 거칠면 조작자는 빨리 피곤해진다. 데이터 문제는 곧 하드웨어 문제이기도 하다.

그래서 ALOHA가 중요해졌다

ALOHA가 주목받은 이유는 단순히 또 하나의 로봇 팔 시스템이어서가 아니다. 그 핵심은 저비용, 양손, 원격조작, 그리고 데이터 수집에 있다. 쉽게 말해 ALOHA는 "사람이 로봇에게 시범을 보여 주기 위한 장치"를 더 현실적인 가격과 구조로 만든 시도라고 볼 수 있다.

왜 이것이 중요할까. 첫째, 양손 작업은 집안일의 중심에 있기 때문이다. 한 손으로 컵을 들고 다른 손으로 문을 열거나, 한 손으로 봉지를 잡고 다른 손으로 내용물을 넣는 일은 집에서 너무 흔하다. 둘째, 원격조작은 사람의 능숙한 손동작을 로봇 행동 데이터로 바꾸는 가장 직접적인 방법 가운데 하나다. 셋째, 저비용이라는 조건은 연구를 소수의 큰 기관에서 더 넓은 생태계로 확장시킨다. 비싼 장비 몇 대로는 행동 데이터의 시대를 열기 어렵다. 더 많은 연구실, 더 많은 스타트업, 더 많은 제작자가 실험할 수 있어야 데이터도 빨리 쌓인다.

ALOHA의 진짜 의미는 "로봇을 잘 움직이게 하는 기계"를 넘어, "로봇이 배울 수 있는 경험을 생산하는 기계"라는 데 있다. 이 관점을 받아들이면 로봇 하드웨어가 단순한 몸체가 아니라 데이터 공장처럼 보이기 시작한다. 손맛이 좋은 그리퍼, 덜 피곤한 조작 인터페이스, 안정적인 카메라 배치, 유지보수가 쉬운 프레임은 모두 더 나은 행동 데이터를 위한 조건이다.

그리고 이 흐름은 ALOHA에서 멈추지 않는다. ALOHA 2는 더 나은 조작감과 데이터 품질을 향해 시스템을 다듬고, Mobile ALOHA는 로봇을 테이블 밖 현실 공간으로 끌고 나간다. 즉, "팔이 있는 로봇"에서 "몸 전체로 집 안을 다니며 일하는 로봇"으로 질문이 확장된다.

이 책이 따라갈 질문

이 책의 중심에는 하나의 질문이 있다. 인간의 행동은 어떻게 로봇의 지능이 되는가.

겉보기에는 단순해 보인다. 사람이 시범을 보이고, 로봇이 따라 하면 되는 것 아닌가 싶다. 그러나 실제로는 수많은 층위가 겹쳐 있다. 사람의 손동작을 어떤 인터페이스로 읽을 것인가. 어떤 카메라와 센서로 장면을 기록할 것인가. 행동을 한 스텝씩 배울 것인가, 여러 스텝의 덩어리로 배울 것인가. 양손의 협응을 어떻게 표현할 것인가. 이동과 조작이 함께 들어가면 데이터는 어떻게 달라지는가. 적은 시연으로도 복잡한 과제를 익히게 하려면 어떤 학습 전략이 필요한가. 몸이 다른 로봇들 사이에서 데이터는 얼마나 재사용될 수 있는가.

이 질문들은 알고리즘만의 질문이 아니다. 하드웨어 설계의 질문이기도 하고, 실험 운영의 질문이기도 하며, 결국은 산업 전략의 질문이기도 하다. 누가 더 큰 모델을 만들 것인가 못지않게, 누가 더 좋은 행동 데이터를 더 싸고 빠르게 모을 수 있는가가 중요해진다. 로봇 AI에서 데이터 수집 시스템은 주변 장치가 아니라 핵심 인프라가 된다.

이 책은 그래서 두 가지 시선을 함께 가져가려 한다. 하나는 로봇의 손끝을 가까이서 보는 시선이다. 그리퍼가 왜 중요한지, 접촉이 왜 어려운지, 양손 조작이 왜 범용성의 핵심인지 살펴본다. 다른 하나는 더 큰 지도를 보는 시선이다. ALOHA, ALOHA 2, Mobile ALOHA 같은 시스템이 왜 지금의 로봇 AI 경쟁에서 전략적 의미를 갖는지, 그리고 모방학습과 데이터 스케일링이 어디까지 갈 수 있는지 묻는다.

앞으로 우리가 보게 될 것들

이제부터 우리는 먼저 큰 그림을 볼 것이다. 로봇 학습의 병목이 왜 데이터인지, 양손 조작이 왜 그렇게 어려운지, 원격조작이 왜 단순한 조종 장치가 아니라 학습의 입력장치인지 하나씩 살펴볼 것이다. 그다음에는 ALOHA와 ACT를 통해 행동 데이터를 실제로 학습 가능한 형태로 바꾸는 과정을 따라간다. 이어서 ALOHA 2가 왜 더 나은 데이터 공장으로 진화했는지, Mobile ALOHA가 왜 집안일 문제를 새로운 차원으로 확장했는지 살펴볼 것이다.

마지막으로 우리는 실전적인 질문으로 돌아온다. 직접 시스템을 만들려면 무엇이 필요한가. 좋은 시연은 무엇이고, 나쁜 시연은 무엇인가. 적은 데이터로도 성능을 끌어올리려면 어떤 실험 설계가 필요한가. 그리고 이 모든 흐름이 가정용 로봇, 로봇 파운데이션 모델, 데이터의 소유권과 안전 문제와 어떻게 연결되는가를 묻게 될 것이다.

로봇의 미래는 더 똑똑한 두뇌만으로 오지 않는다. 더 나은 몸, 더 나은 손, 더 나은 입력장치, 그리고 더 나은 행동 데이터가 함께 와야 한다. 집안일 로봇이 아직 우리 곁에 완전히 오지 못한 이유도 바로 여기에 있다. 아직 우리는 로봇에게 충분한 현실의 손맛을 가르치지 못했다.

그리고 ALOHA의 이야기는, 그 손맛을 어떻게 데이터로 만들 것인가에 대한 가장 흥미로운 답변 가운데 하나다.