양손 조작이 어려운 이유

우리는 집안일을 할 때 두 손을 거의 의식하지 않습니다. 한 손으로 문을 잡고 다른 손으로 손잡이를 돌리고, 한 손으로 봉투를 벌리며 다른 손으로 물건을 넣고, 한 손으로 그릇을 지탱한 채 다른 손으로 수세미를 움직입니다. 사람에게는 너무 자연스러운 일이라서, 로봇도 팔 두 개만 달아 주면 비슷하게 할 수 있을 것처럼 보입니다. 하지만 바로 여기에서 오해가 시작됩니다. 팔이 두 개라는 사실과 두 팔을 능숙하게 함께 쓰는 능력은 전혀 다른 문제입니다.

양손 조작은 단순히 한 손 조작을 두 배로 늘린 것이 아닙니다. 오히려 훨씬 더 복잡한 종류의 지능을 요구합니다. 두 팔이 각각 어디에 있어야 하는지, 어느 힘으로 물체를 잡아야 하는지, 한쪽이 움직일 때 다른 쪽은 얼마나 버텨야 하는지, 물체와 탁자와 서랍과 문짝이 어떤 접촉을 만들고 있는지를 동시에 맞춰야 합니다. 집안일 로봇이 어려운 이유는 힘이 부족해서가 아니라, 이런 협응의 문제가 생각보다 거대하기 때문입니다.

한 손 조작과 양손 조작은 왜 차원이 다른가

한 손 조작은 어렵지만, 그래도 문제를 비교적 깔끔하게 나눌 수 있습니다. 로봇이 해야 할 일은 대개 이렇습니다. 물체를 본다. 손을 가져간다. 집는다. 옮긴다. 놓는다. 물론 실제로는 이 과정도 쉽지 않지만, 적어도 하나의 팔과 하나의 그리퍼가 하나의 물체를 상대하는 구조로 생각할 수 있습니다.

그런데 양손 조작이 되면 상황이 달라집니다. 이제 로봇은 왼팔과 오른팔의 자세를 각각 결정해야 하고, 두 손의 상대적 거리와 각도도 맞춰야 합니다. 한 손이 움직이면 다른 손이 어떻게 반응해야 하는지도 함께 계산해야 합니다. 게다가 두 손이 같은 물체를 동시에 잡는 순간, 두 팔은 더 이상 독립적인 시스템이 아닙니다. 보이지 않는 막대로 묶인 것처럼 서로에게 영향을 줍니다.

쉽게 말해, 한 손 조작은 혼자 춤추는 일에 가깝고, 양손 조작은 파트너와 호흡을 맞추는 춤에 가깝습니다. 혼자 춤출 때는 내 균형만 신경 쓰면 되지만, 둘이 추면 상대의 속도와 리듬, 중심 이동까지 읽어야 합니다. 로봇에게 이 차이는 엄청납니다.

여기서 중요한 개념이 상태공간입니다. 상태공간은 로봇이 가질 수 있는 자세와 움직임의 경우의 수를 뜻합니다. 팔이 하나일 때도 경우의 수는 많지만, 팔이 둘이 되면 경우의 수는 단순히 두 배가 아니라 훨씬 더 크게 늘어납니다. 왜냐하면 각 팔의 자세뿐 아니라, 두 팔 사이의 관계까지 문제에 포함되기 때문입니다. 그래서 양손 조작은 계산할 것이 많아질 뿐 아니라, 실수할 수 있는 방식도 기하급수적으로 늘어납니다.

두 손은 각각 움직이는 것이 아니라 역할을 나눠야 한다

양손 작업의 어려움은 단순한 동시 제어에 있지 않습니다. 진짜 어려운 점은 역할 분담입니다. 집안일의 많은 순간에서 두 손은 똑같은 일을 하지 않습니다. 한 손은 물체를 단단히 고정하고, 다른 손은 그것을 움직입니다. 한 손은 지탱하고, 다른 손은 정밀하게 조작합니다. 한 손은 당기고, 다른 손은 방향을 맞춥니다.

예를 들어 병뚜껑을 연다고 해봅시다. 한 손은 병 몸통이 돌아가지 않게 잡아야 하고, 다른 손은 뚜껑을 비틀어야 합니다. 이때 중요한 것은 둘 다 세게 잡는 것이 아닙니다. 병은 미끄러지지 않을 만큼 고정해야 하고, 뚜껑은 돌릴 수 있을 만큼 잡아야 합니다. 힘이 너무 약하면 헛돌고, 너무 강하면 물체가 찌그러지거나 움직임이 막힙니다.

수건을 개는 일도 비슷합니다. 한 손이 천의 한쪽 끝을 잡아 형태를 유지해야, 다른 손이 나머지 부분을 맞출 수 있습니다. 비닐봉지를 열 때도 한 손은 벌리고, 다른 손은 밀어 넣습니다. 서랍을 열 때는 한 손이 손잡이를 당기고, 다른 손은 안의 물건이 쏟아지지 않게 받칠 수 있어야 합니다. 이처럼 양손 조작은 두 개의 독립된 행동이 아니라, 목적을 공유하는 서로 다른 역할의 결합입니다.

이 역할 분담은 상황에 따라 계속 바뀝니다. 방금 전까지 지지하던 손이, 다음 순간에는 주조작 손이 될 수 있습니다. 요리를 할 때 한 손으로 볼을 잡고 다른 손으로 거품기를 돌리다가, 재료를 붓는 순간 두 손의 역할이 다시 재편됩니다. 로봇은 이런 전환을 자연스럽게 해내야 합니다. 사람은 별 생각 없이 하지만, 로봇에게는 매우 높은 수준의 타이밍 감각과 접촉 이해가 필요합니다.

집안일은 "잡기" 하나로 끝나지 않는다

로봇 데모를 보면 물체를 집어 옮기는 장면이 자주 나옵니다. 하지만 실제 가사 작업은 집기만으로 끝나지 않습니다. 오히려 집은 뒤부터가 시작입니다. 집안일에는 다음 같은 동작이 뒤섞여 있습니다.

• 잡기

• 누르기

• 당기기

• 비틀기

• 밀기

• 받치기

• 벌리기

• 맞추기

문제는 이 동작들이 순서대로 깔끔하게 분리되지 않는다는 점입니다. 하나의 과제 안에서 동시에 일어나는 경우가 많습니다. 프라이팬을 씻을 때를 생각해 봅시다. 한 손은 팬을 잡고 각도를 유지해야 하고, 다른 손은 수세미를 누르며 문질러야 합니다. 여기에는 잡기, 지지하기, 누르기, 마찰을 유지한 채 움직이기가 한꺼번에 들어 있습니다.

빨래를 개는 일은 부드러운 천을 다루는 문제라서 더 어렵습니다. 천은 잡는 위치에 따라 모양이 달라지고, 한쪽을 당기면 다른 쪽이 따라 움직입니다. 로봇은 강체, 즉 단단한 물체를 다루는 것보다 이런 유연한 물체를 훨씬 어려워합니다. 사람이야 촉감과 시각을 함께 써서 천의 장력을 느끼지만, 로봇은 그것을 정교하게 해석하기가 쉽지 않습니다.

주방은 특히 까다로운 장소입니다. 그릇은 미끄럽고, 수저는 가늘고, 냄비는 무겁고, 봉지는 구겨지고, 재료는 쏟아집니다. 거기에 물, 기름, 반사광, 증기까지 더해지면 카메라가 보는 장면도 복잡해집니다. 양손 로봇은 단순히 두 개의 손이 아니라, 다양한 접촉을 견디며 과제를 이어 가는 몸 전체의 제어 시스템이 되어야 합니다.

가사 작업이 어려운 이유는 접촉이 너무 많기 때문이다

로봇이 잘하는 작업은 보통 접촉이 단순한 편입니다. 정해진 위치에 있는 부품을 집어서 정해진 위치에 놓는 작업처럼, 환경이 잘 정돈되어 있고 물체의 모양이 일정한 경우입니다. 이런 문제에서는 접촉이 비교적 예측 가능합니다.

반면 집안일은 접촉이 풍부한 과제입니다. 이 말은 로봇이 물체와 한 번만 닿는 것이 아니라, 여러 표면과 여러 방향으로 계속 상호작용해야 한다는 뜻입니다. 컵을 씻는 일만 해도 손과 컵, 컵과 싱크대, 물과 표면, 수세미와 오염물 사이의 접촉이 동시에 벌어집니다. 청소기 선을 정리하거나 세탁물을 바구니에 넣는 일도 마찬가지입니다. 물체의 형태가 순간마다 바뀌고, 환경이 예상 밖의 반응을 보입니다.

접촉이 많아지면 어려운 이유는 세 가지입니다.

• 조금만 힘이 달라도 결과가 크게 달라진다.

• 눈으로만 봐서는 현재 상태를 완전히 알기 어렵다.

• 실수했을 때 다음 상태가 빠르게 꼬인다.

예를 들어 지퍼를 올리다가 각도가 조금 틀어지면 바로 걸립니다. 비닐봉지에 물건을 넣다가 봉지 입구를 충분히 벌리지 못하면 물건이 걸리거나 쓰러집니다. 냄비를 캐비닛에 넣을 때 좌우 간격을 조금만 잘못 맞춰도 벽면에 부딪히고, 그 충돌이 다시 냄비의 자세를 무너뜨립니다. 양손 조작은 이런 작은 오차가 쌓여 과제 전체를 무너뜨리기 쉽습니다.

그래서 가정용 로봇에서 중요한 것은 단순한 위치 정확도만이 아닙니다. 접촉을 버티는 능력, 즉 살짝 부딪혀도 상황을 회복하고, 미끄러지면 다시 잡고, 예상과 다른 힘이 들어와도 과제를 이어 가는 능력이 필요합니다. 이 점에서 양손 조작은 로봇의 진짜 실력을 드러내는 시험대가 됩니다.

로봇은 물체만 다루는 것이 아니라 환경과 씨름한다

사람이 집안일을 할 때 상대하는 것은 물체만이 아닙니다. 문, 서랍, 손잡이, 선반, 싱크대, 벽, 바닥, 캐비닛, 세탁기 뚜껑 같은 환경 전체가 작업의 일부입니다. 양손 조작은 종종 물체 하나를 정교하게 조작하는 문제라기보다, 물체와 환경 사이의 관계를 관리하는 문제에 가깝습니다.

예를 들어 냄비를 선반 안에 넣는다고 해봅시다. 로봇은 냄비만 잘 잡아서는 안 됩니다. 선반 입구의 폭, 손잡이의 돌출 방향, 냄비 바닥이 선반에 닿는 순간의 마찰, 팔이 벽에 부딪히지 않는 경로까지 고려해야 합니다. 때로는 한 손으로 문을 열어 두고, 다른 손으로 물체를 넣어야 합니다. 이 순간 로봇은 두 개의 물체를 조작하는 것이 아니라, 환경 자체를 과제에 맞게 바꾸고 있는 셈입니다.

청소도 마찬가지입니다. 의자를 밀어 공간을 만들고, 바닥의 물체를 치우고, 쓰레기통 뚜껑을 열고, 걸레를 빨아 짜는 과정은 모두 환경과의 상호작용입니다. 이때 두 손은 단순한 집게가 아니라, 주변 세계를 재배치하는 도구가 됩니다.

이런 이유로 양손 조작은 "팔이 둘인 조작"이 아니라 "환경을 활용하는 조작"이라고 보는 편이 더 정확합니다. 범용 로봇이 집안에서 진짜 유용해지려면, 물체를 드는 능력보다 먼저 환경과 관계 맺는 능력을 배워야 합니다.

왜 두 팔이 있어도 바로 집안일 로봇이 되지 않는가

여기서 많은 사람이 품는 질문이 있습니다. "그렇다면 그냥 팔 두 개 달고, 카메라 좀 붙이고, AI 모델 하나 학습시키면 되는 것 아닌가?" 아쉽지만 현실은 그렇게 단순하지 않습니다.

두 팔이 있는 로봇이 집안일을 못 하는 이유는, 집안일이 하나의 기술이 아니라 여러 기술의 엮음이기 때문입니다. 로봇은 봐야 하고, 손을 가져가야 하고, 적절한 힘으로 잡아야 하고, 두 팔의 타이밍을 맞춰야 하고, 접촉이 어긋났을 때 바로 수정해야 합니다. 게다가 작업 도중 물체가 가려지거나, 미끄러지거나, 예상보다 무겁거나, 주변 환경이 방해할 수도 있습니다.

사람은 이런 문제를 몸 전체의 감각으로 해결합니다. 시각으로 보고, 손끝 감각으로 미끄러짐을 느끼고, 팔의 저항으로 무게를 짐작하고, 실패하면 즉시 자세를 바꿉니다. 반면 많은 로봇 시스템은 아직 이런 감각의 통합이 충분하지 않습니다. 보이는 것과 느끼는 것과 움직이는 것을 하나의 부드러운 루프로 묶는 일이 매우 어렵기 때문입니다.

결국 양손 로봇의 난점은 하드웨어 성능만의 문제가 아닙니다. 더 좋은 손, 더 낮은 마찰, 더 안정적인 프레임, 더 적절한 카메라 배치, 더 피로가 적은 원격조작 인터페이스, 더 질 좋은 인간 시연 데이터, 더 접촉 친화적인 학습 방식이 모두 함께 맞물려야 합니다. 이 책에서 ALOHA, ALOHA 2, Mobile ALOHA를 중요하게 보는 이유도 바로 여기에 있습니다. 이 계열은 "팔 두 개"를 보여 주는 데서 멈추지 않고, 양손 조작을 실제로 배울 수 있는 데이터 수집 구조를 만들려 했기 때문입니다.

양손 조작은 왜 범용 로봇의 핵심 능력인가

범용 로봇이란 한 가지 정해진 일만 하는 기계가 아니라, 다양한 환경에서 여러 과제를 수행할 수 있는 로봇을 뜻합니다. 그런 로봇에게 양손 조작이 중요한 이유는 명확합니다. 우리의 생활 세계가 원래 두 손을 전제로 설계되어 있기 때문입니다.

집 안의 수많은 물건과 도구는 사람이 두 손으로 다루기 쉽게 만들어져 있습니다. 냄비 손잡이, 서랍 구조, 세탁물 정리 방식, 접이식 가구, 비닐 포장, 병뚜껑, 봉투, 상자, 청소도구 대부분이 그렇습니다. 즉, 인간 환경에 적응하려면 두 손을 잘 쓰는 능력이 거의 필수입니다.

더 중요한 것은 양손 조작이 단지 과제를 더 많이 할 수 있게 해 주는 것이 아니라, 더 안정적으로 할 수 있게 해 준다는 점입니다. 한 손으로만 하려면 불안정한 자세를 억지로 만들거나, 환경에 과하게 의존해야 하는 경우가 많습니다. 반면 두 손을 쓰면 한 손이 물체를 고정하고 다른 손이 정밀한 일을 맡을 수 있어 성공률이 높아집니다. 다시 말해 양손성은 사치가 아니라, 현실 세계에서 필요한 실용성입니다.

그래서 범용 로봇 연구에서 양손 조작은 일종의 분수령으로 여겨집니다. 한 손으로 물체를 집어 옮기는 단계에서, 두 손으로 환경과 물체를 동시에 다루는 단계로 넘어가야 비로소 "정리", "조립", "요리 보조", "세탁", "청소" 같은 생활 과제가 시야에 들어옵니다. 그리고 바로 그 지점에서 로봇 학습의 병목이 다시 드러납니다. 양손 조작은 너무 복잡해서, 사람이 일일이 규칙을 써 넣기 어렵습니다. 결국 로봇은 사람의 시연을 많이 보고, 그 행동의 구조를 데이터로 배워야 합니다.

손이 둘이면 문제가 두 배가 아니라, 세계가 달라진다

양손 조작이 어려운 이유를 한 문장으로 줄이면 이렇습니다. 두 손은 물체를 더 많이 잡게 해 주는 것이 아니라, 더 복잡한 세계와 상호작용하게 만든다.

한 손 조작이 물체 하나를 옮기는 문제라면, 양손 조작은 물체와 물체, 물체와 환경, 왼손과 오른손, 힘과 마찰, 지지와 이동의 관계를 동시에 다루는 문제입니다. 그래서 양손 로봇은 단순히 "팔이 하나 더 있는 로봇"이 아니라, 훨씬 높은 수준의 협응과 접촉 이해를 요구하는 시스템입니다.

집안일 로봇이 어려운 이유도 여기에 있습니다. 세상은 이미 인간의 두 손에 맞춰져 있고, 그 질서 속으로 들어가려는 로봇은 단순한 정확함보다 더 깊은 능력을 필요로 합니다. 보고, 만지고, 버티고, 맞추고, 역할을 나누고, 실수에서 회복하는 능력 말입니다.

다음 장에서는 이 어려운 양손 조작을 로봇에게 어떻게 가르칠 수 있는지 살펴볼 것입니다. 핵심은 의외로 화려한 알고리즘보다 먼저, 인간의 능숙한 손동작을 로봇이 배울 수 있는 형태로 옮겨 주는 원격조작 인터페이스에 있습니다. 로봇 학습의 진짜 입력장치는 키보드도 코드도 아니라, 사람의 몸에 가까운 조작 장치일지 모릅니다.