지난 장에서 우리는 양손 조작이 왜 어려운지 살펴보았습니다. 두 손을 함께 쓴다는 것은 단순히 팔이 하나 더 생기는 일이 아니라, 역할 분담과 접촉, 타이밍과 힘 조절이 한꺼번에 얽히는 일이라고 했습니다. 그런데 여기서 자연스럽게 다음 질문이 생깁니다. 그렇게 복잡한 행동을 로봇은 도대체 어떻게 배우는가 하는 질문입니다.
많은 사람은 먼저 학습 알고리즘을 떠올립니다. 하지만 실제 현장에서는 그보다 앞선 단계가 더 중요할 때가 많습니다. 사람의 능숙한 행동을 로봇이 따라 배울 수 있는 형태로 어떻게 기록할 것인가 하는 문제입니다. 이때 등장하는 것이 원격조작, 즉 텔레오퍼레이션입니다.
원격조작은 흔히 사람이 멀리서 로봇을 움직이는 기술로 설명됩니다. 물론 맞는 말입니다. 하지만 로봇 학습의 관점에서 보면 그것만으로는 절반만 본 셈입니다. 원격조작은 단순한 제어 수단이 아니라, 인간의 행동을 로봇의 행동 데이터로 번역하는 입력장치입니다. 키보드와 마우스가 컴퓨터를 위한 입력장치라면, 원격조작 인터페이스는 로봇을 위한 입력장치입니다. 그리고 입력장치가 나쁘면, 그 위에서 만들어지는 데이터도 흔들립니다.
원격조작은 왜 데이터의 출발점인가
로봇이 사람처럼 행동하려면 사람의 행동을 봐야 합니다. 문제는 로봇이 배우는 대상이 말이나 글이 아니라는 점입니다. 언어모델은 인터넷에 널린 텍스트를 읽으며 성장할 수 있지만, 로봇은 그렇게 할 수 없습니다. 로봇에게 필요한 것은 "컵을 집는다", "서랍을 열어 둔 채 다른 손으로 물건을 넣는다", "팬을 기울이며 물로 헹군다" 같은 몸의 움직임이 시간에 따라 어떻게 이어지는지에 대한 데이터입니다.
이런 데이터는 저절로 생기지 않습니다. 누군가 실제로 로봇을 움직여야 하고, 그 움직임이 카메라 영상과 관절 상태, 그리퍼의 열림 정도, 베이스 이동량 같은 정보와 함께 기록되어야 합니다. 즉, 좋은 행동 데이터는 실험실의 조용한 하드디스크에서 태어나는 것이 아니라, 사람과 로봇이 맞물린 조작 현장에서 태어납니다.
바로 이 지점에서 원격조작의 의미가 바뀝니다. 원격조작은 단지 로봇을 대신 움직이는 편리한 방법이 아닙니다. 로봇 학습용 데이터셋을 생산하는 공정의 첫 번째 기계입니다. 그리고 이 기계의 품질이 좋지 않으면, 뒤에 아무리 훌륭한 모델을 붙여도 결과가 불안정해집니다.
쉽게 비유해 봅시다. 마이크가 나쁘면 가수의 노래가 서툴게 녹음됩니다. 가수가 못해서가 아니라, 입력이 나빠서입니다. 원격조작도 비슷합니다. 조작자가 분명 능숙하게 과제를 해결했는데, 인터페이스가 둔하거나 불안정하면 데이터에는 머뭇거림, 떨림, 불필요한 수정 동작이 잔뜩 남습니다. 그러면 로봇은 사람의 의도를 배우기보다, 인터페이스의 서투름까지 함께 배우게 됩니다.
마스터-슬레이브, 혹은 리더-팔로워라는 번역 장치
원격조작을 이해하는 가장 기본적인 틀은 마스터-슬레이브 구조입니다. 최근에는 표현상의 이유로 리더-팔로워라는 말을 더 자주 쓰기도 합니다. 이름은 달라도 핵심 아이디어는 같습니다. 사람이 직접 잡고 움직이는 쪽이 있고, 그 움직임을 따라 하는 로봇 쪽이 있습니다.
리더 암은 인간이 손으로 만지고 움직이는 장치입니다. 조작자는 이 리더 암을 왼손과 오른손으로 각각 잡고, 실제 작업을 하듯 움직입니다. 그러면 시스템은 리더 암의 관절 각도나 말단 위치, 그리퍼 개폐 상태를 읽어 냅니다. 그리고 이 정보를 로봇 본체에 달린 팔로워 암으로 보냅니다. 팔로워 암은 이 신호를 받아 비슷한 자세와 움직임을 재현합니다.
겉으로 보기엔 단순한 따라 하기처럼 보이지만, 실제로는 꽤 정교한 번역이 일어납니다. 사람의 손은 부드럽고 빠르며, 약간의 실수는 촉감으로 바로 수정합니다. 반면 로봇은 관절 한계가 있고, 기구학 구조가 있으며, 속도와 가속도에도 제약이 있습니다. 따라서 시스템은 단순히 "사람이 이렇게 움직였으니 똑같이 움직여라"라고 명령하는 것이 아니라, 사람의 의도를 로봇이 실행 가능한 궤적으로 바꿔 주는 변환기 역할을 해야 합니다.
이 변환이 어색하면 조작자는 바로 불편함을 느낍니다. 손을 조금 움직였는데 로봇이 너무 크게 반응하거나, 반대로 크게 움직여야 겨우 반응한다면 조작자는 금세 리듬을 잃습니다. 그 결과 데이터는 본래 과제의 구조보다 인터페이스 보정 동작으로 더 많이 채워집니다.
사람의 손동작은 어떻게 로봇 궤적이 되는가
사람이 리더 암을 움직였다고 해서 그 자체가 바로 좋은 데이터가 되는 것은 아닙니다. 중요한 것은 어떤 정보가 기록되고, 어떤 기준으로 동기화되는가입니다.
원격조작 과정에서는 보통 몇 가지 층위의 정보가 함께 쌓입니다. 조작자가 보는 카메라 영상이 있고, 로봇 팔의 관절 상태가 있으며, 그리퍼가 얼마나 열리고 닫혔는지가 있습니다. 여기에 시간 정보가 정확히 맞물려야 합니다. 그래야 "이 장면을 보며 이 자세에서 이만큼의 행동을 했다"는 관계가 생깁니다. 모방학습은 바로 이 관계를 학습하는 과정입니다.
예를 들어 조작자가 왼손으로 그릇을 잡아 고정하고, 오른손으로 수세미를 밀어 넣는다고 해봅시다. 로봇에게 중요한 것은 단순히 최종 성공 장면이 아닙니다. 어느 시점에 왼손이 먼저 지지 자세를 만들었는지, 오른손이 접근할 때 속도를 얼마나 줄였는지, 접촉이 생긴 뒤에는 얼마나 짧게 수정 동작이 들어갔는지가 모두 중요합니다. 좋은 시연 데이터는 결과만 기록하지 않습니다. 결과에 이르는 과정의 구조를 담아냅니다.
그래서 원격조작 인터페이스는 두 가지 일을 동시에 해야 합니다. 하나는 사람이 쉽게 조작하게 하는 것이고, 다른 하나는 그 조작을 학습에 적합한 시간적 궤적으로 남기는 것입니다. 앞의 기능만 있고 뒤의 기능이 약하면 조작은 재미있을 수 있어도 학습 데이터셋으로서의 가치는 떨어집니다. 반대로 기록은 정교한데 사람이 너무 피곤하면, 장기적으로 데이터 수집 규모가 늘지 않습니다.
좋은 원격조작 인터페이스는 "손맛"을 만든다
로봇 연구자들이 하드웨어를 이야기할 때 종종 조작감이나 손맛 같은 표현을 씁니다. 언뜻 감성적인 말처럼 들리지만, 사실은 매우 실용적인 개념입니다. 조작감이 좋다는 것은 단순히 기분이 좋다는 뜻이 아닙니다. 사람의 의도가 적은 스트레스와 적은 오차로 로봇 행동으로 전달된다는 뜻입니다.
좋은 조작감이 있으면 사람은 과제 자체에 집중할 수 있습니다. 컵을 어디로 가져갈지, 어떤 손이 먼저 지지할지, 접촉이 생기면 어떻게 수정할지에 집중하게 됩니다. 반대로 조작감이 나쁘면 사람은 내내 장치를 상대하게 됩니다. 왼쪽 리더 암이 너무 무겁다, 그리퍼 스프링이 거칠다, 가운데에서 마찰이 걸린다, 손을 조금만 틀어도 로봇이 과민하게 반응한다 같은 문제에 정신을 빼앗깁니다.
바로 이 차이가 데이터 품질을 가릅니다. 같은 과제를 같은 사람이 시연해도, 조작감이 좋은 시스템에서는 시연의 리듬이 안정적이고 반복성이 높습니다. 반면 조작감이 나쁜 시스템에서는 성공은 하더라도 매번 경로가 들쭉날쭉하고, 불필요한 멈춤과 재시도가 많아집니다. 학습 모델의 입장에서 보면 전자는 "일관된 전략"이고, 후자는 "잡음이 많은 시도"에 가깝습니다.
지연은 작은 불편이 아니라 학습 신호의 왜곡이다
원격조작에서 가장 자주 언급되는 문제 중 하나가 지연입니다. 사람이 리더 암을 움직인 뒤 로봇이 한 박자 늦게 따라오면, 조작자는 본능적으로 보정 동작을 넣기 시작합니다. 조금 더 움직이고, 다시 멈추고, 예상보다 늦게 오면 반대로 과하게 수정합니다. 이 과정은 짧은 순간에는 사소해 보여도, 데이터 전체로 보면 큰 차이를 만듭니다.
지연이 심한 시연은 겉보기 성공 여부와 별개로 궤적이 울퉁불퉁해집니다. 직선으로 가도 될 동작이 여러 번의 미세 수정으로 나뉘고, 그리퍼를 닫는 타이밍도 앞뒤로 흔들립니다. 그러면 모델은 원래 과제의 핵심보다 조작자의 보정 습관을 더 많이 보게 됩니다.
더 중요한 것은 지연이 접촉 작업에서 특히 치명적이라는 점입니다. 물체에 닿기 직전에는 속도를 줄이고, 닿은 뒤에는 살짝 밀어 보며 상태를 확인하고, 필요하면 바로 자세를 고쳐야 합니다. 그런데 영상과 움직임 사이에 시간차가 있으면 이런 섬세한 루프가 무너집니다. 결국 조작자는 보수적으로 움직일 수밖에 없고, 작업은 느려지고, 데이터는 자신감 없는 동작으로 채워집니다.
로봇 학습에서 이런 데이터는 종종 문제를 일으킵니다. 모델이 신중함을 배웠다고 보기보다는, 불확실한 입력환경에서 생긴 머뭇거림을 배웠다고 보는 편이 정확한 경우가 많기 때문입니다. 즉, 지연은 단순한 사용성 문제가 아니라 학습 신호 자체를 흐리게 만드는 요인입니다.
정밀도는 성공률이 아니라 시연의 일관성을 좌우한다
정밀도라는 말을 들으면 보통 "얼마나 정확하게 목표 위치에 도달하는가"를 떠올립니다. 물론 그것도 중요합니다. 하지만 데이터 수집에서는 다른 의미가 하나 더 있습니다. 바로 같은 의도를 같은 방식으로 반복할 수 있는가입니다.
예를 들어 병뚜껑을 잡는 장면을 생각해 봅시다. 리더 그리퍼의 감각이 둔하면 조작자는 병을 잡는 힘을 매번 다르게 줄 가능성이 큽니다. 어느 시연에서는 너무 약하게 잡아 미끄러지고, 다른 시연에서는 너무 세게 잡아 뚜껑 회전이 어색해집니다. 겉으로는 둘 다 "병뚜껑 열기" 시연이지만, 로봇이 받아들이는 행동 분포는 상당히 달라집니다.
정밀한 인터페이스는 사람의 능숙함을 더 선명하게 드러나게 합니다. 손끝에서 느끼는 미세한 조절을 로봇 관절 공간으로 무리 없이 옮겨 주기 때문입니다. 반대로 정밀도가 낮으면 사람은 과제를 해결하더라도 불안정한 우회 전략을 자주 쓰게 됩니다. 한 번에 넣을 수 있는 물체를 여러 번 들이대며 맞추거나, 그리퍼를 괜히 여러 차례 열고 닫거나, 실제로는 필요 없는 큰 동작으로 여유를 확보하려고 합니다.
이런 데이터가 쌓이면 모델은 과제를 효율적으로 푸는 법보다, 불확실한 하드웨어에서 살아남는 습관을 배우게 됩니다. 그래서 정밀도는 단순히 멋진 데모를 위한 사치가 아닙니다. 데이터의 구조를 선명하게 만드는 핵심 요소입니다.
피로도는 데이터 규모를 가르는 보이지 않는 벽이다
원격조작을 처음 볼 때는 지연이나 정밀도 같은 기술적 요소에만 눈이 가기 쉽습니다. 하지만 장기적인 데이터 수집에서 의외로 더 큰 차이를 만드는 것은 피로도입니다. 사람이 한두 번 시연하는 것과, 하루에 수십 번 같은 과제를 반복하는 것은 완전히 다른 문제이기 때문입니다.
조작 장치가 무겁거나, 손목 각도가 부자연스럽거나, 팔을 계속 들고 있어야 하거나, 그리퍼를 과한 힘으로 쥐어야 한다면 조작자는 금방 지칩니다. 처음 몇 번은 괜찮아도 시간이 지나면 움직임이 커지고 거칠어지며, 세밀한 타이밍이 흐트러집니다. 즉, 피로는 단지 작업자의 컨디션 문제가 아니라, 데이터셋의 후반부 품질을 갉아먹는 요인입니다.
더구나 피로도는 규모의 경제와도 직결됩니다. 어떤 시스템이 한 시간 안에 조작자를 지치게 만든다면, 그 시스템은 이론적으로는 데이터 수집이 가능해도 실제로는 큰 데이터셋을 만들기 어렵습니다. 반대로 인체공학이 잘 설계된 시스템은 조작자의 집중을 오래 유지하게 해 주고, 결과적으로 더 많은 데모를 안정적으로 모을 수 있습니다.
여기서 중요한 통찰이 하나 있습니다. 로봇 데이터의 병목은 저장공간이 아니라 사람의 몸일 수 있다는 점입니다. 조작자가 편해야 데이터가 쌓입니다. 결국 원격조작의 개선은 곧 데이터 수집 공장의 생산성 향상입니다.
안전성은 실패를 줄이는 것이 아니라 좋은 실패를 남기는 일이다
안전성 역시 단순히 사고 방지 차원만으로 보면 절반만 이해한 것입니다. 물론 사람과 장비를 보호하는 것은 기본입니다. 하지만 학습 관점에서 더 흥미로운 점은, 안전한 시스템일수록 조작자가 과감한 시도를 할 수 있다는 사실입니다.
만약 로봇이 조금만 잘못 움직여도 크게 충돌하거나, 그리퍼가 예민하게 닫히거나, 비상 정지가 불편하다면 조작자는 자연스럽게 소극적으로 행동합니다. 속도를 지나치게 낮추고, 접촉을 피하고, 조금만 불안해도 작업을 중단합니다. 그러면 데이터는 지나치게 보수적인 행동으로 채워집니다.
반대로 안전장치가 잘 마련되어 있고, 충돌에 대한 내성이 있으며, 조작자가 시스템을 신뢰할 수 있으면 조금 더 실제적인 행동을 시연할 수 있습니다. 접촉을 수반하는 작업, 경계가 좁은 공간을 통과하는 작업, 양손이 동시에 움직이는 복잡한 작업을 더 자연스럽게 시도하게 됩니다. 이때 생기는 실패도 가치가 있습니다. 왜 실패했는지 분석할 수 있고, 성공 직전의 교정 동작도 남기 때문입니다.
좋은 데이터셋은 성공 장면만 모은 깨끗한 앨범이 아닙니다. 안전한 환경 안에서 시도와 수정, 실패와 회복이 함께 기록된 학습 가능한 경험의 모음에 더 가깝습니다.
조작감이 나쁜 하드웨어는 시연의 일관성을 무너뜨린다
이제 중요한 결론 하나가 보입니다. 데이터 품질은 주로 모델 훈련 단계에서 결정되는 것이 아니라, 훨씬 앞선 원격조작 단계에서 이미 상당 부분 정해집니다.
조작감이 나쁜 하드웨어는 여러 방식으로 시연 일관성을 무너뜨립니다. 먼저 사람마다 다른 보정 습관을 유발합니다. 어떤 사람은 천천히 크게 움직이며 맞추고, 어떤 사람은 빠르게 접근한 뒤 짧게 수정합니다. 또 같은 사람도 피곤한 시간대와 그렇지 않은 시간대의 궤적이 달라집니다. 한 번은 매끄럽게 성공한 작업이, 다음 번에는 손목 저항 때문에 이상한 각도로 접근하게 될 수도 있습니다.
문제는 이런 차이가 과제의 본질에서 온 것이 아니라는 점입니다. 작업 전략의 다양성은 원래 소중한 데이터일 수 있습니다. 하지만 하드웨어 결함에서 비롯된 다양성은 그렇지 않습니다. 그것은 행동 지능의 풍부함이 아니라, 측정 과정의 불안정성에 가깝습니다.
이런 데이터로 학습한 모델은 종종 애매한 행동을 보입니다. 기본적으로는 과제를 아는 것 같지만, 중요한 순간에 손이 흔들리거나 쓸데없는 우회 동작을 합니다. 이는 모델이 멍청해서라기보다, 사람이 보여 준 시연 안에 이미 불필요한 흔들림이 많이 섞여 있었기 때문일 수 있습니다.
결국 좋은 원격조작 시스템이란 사람을 대신해 로봇을 움직이는 장치가 아니라, 사람의 능숙함에서 잡음을 덜어 주는 장치라고 볼 수 있습니다.
왜 원격조작 경험의 개선이 곧 데이터 스케일링인가
AI 분야에서 스케일링이라는 말은 보통 더 큰 모델, 더 많은 데이터, 더 많은 연산을 뜻합니다. 로봇에서는 여기에 중요한 항목이 하나 더 들어갑니다. 바로 더 많은 좋은 시연을 지속적으로 만들 수 있는가입니다.
원격조작 경험이 개선되면 가장 먼저 나타나는 변화는 시연 한 개의 품질 향상입니다. 동작이 더 매끄럽고, 타이밍이 일관되고, 불필요한 보정이 줄어듭니다. 하지만 진짜 큰 변화는 그다음에 옵니다. 조작자가 덜 지치고, 작업 전환이 빨라지고, 실패해도 다시 시도하기 쉬워집니다. 그러면 하루에 모을 수 있는 데이터 양이 늘고, 여러 과제를 병렬로 수집하기도 쉬워집니다.
즉, 원격조작 개선은 단지 "더 잘 조종한다"의 문제가 아닙니다. 그것은 곧
더 오래 수집할 수 있고,
더 다양한 과제를 시도할 수 있으며,
더 일관된 행동 분포를 남길 수 있다는 뜻입니다.
바로 이 세 가지가 데이터 규모 확장으로 이어집니다. 로봇 학습에서 스케일링 법칙은 서버실에서만 만들어지는 것이 아닙니다. 작업대 앞에서 조작자가 느끼는 손목의 부담, 그리퍼의 마찰, 반응 속도의 차이에서 시작되기도 합니다.
원격조작은 인간 지능을 로봇 데이터로 압축하는 과정이다
여기까지 오면 원격조작을 보는 시선이 조금 달라집니다. 그것은 단순히 사람이 로봇을 대신 움직이는 임시 수단이 아닙니다. 오히려 인간의 감각운동 지능을 로봇이 배울 수 있는 신호로 압축하는 과정입니다.
사람은 물체를 보며, 손끝의 감촉을 느끼고, 미끄러짐을 예측하고, 다음 움직임을 거의 즉흥적으로 조정합니다. 이런 능력 전체를 일일이 코드로 적어 넣는 것은 매우 어렵습니다. 원격조작은 그 복잡한 능숙함을 일단 행동의 형태로 남기게 해 줍니다. 그래서 로봇은 규칙을 하나하나 배우는 대신, 사람의 연속적인 시연에서 과제의 구조를 학습할 수 있습니다.
물론 원격조작이 만능은 아닙니다. 사람의 시연이 늘 최적인 것도 아니고, 모든 감각을 충분히 전달하는 것도 아닙니다. 그럼에도 불구하고 현재의 로봇 학습에서 원격조작이 중요한 이유는 분명합니다. 아직 로봇이 스스로 대량의 고품질 행동 데이터를 만들어 내기 어렵기 때문입니다. 결국 사람의 몸이 먼저 길을 내고, 로봇은 그 길을 따라 배우게 됩니다.
입력장치를 이해하면 데이터의 질이 보인다
로봇 학습에서 우리는 종종 모델 구조나 벤치마크 성능에 먼저 눈길을 줍니다. 하지만 현장의 관점에서 보면 더 근본적인 질문이 있습니다. 그 데이터는 어떤 손에서, 어떤 장치로, 어떤 피로와 어떤 지연을 거쳐 만들어졌는가 하는 질문입니다.
이 질문을 던지기 시작하면 데이터의 질이 어디서 결정되는지 보이기 시작합니다. 좋은 카메라 배치도 중요하고, 학습 알고리즘도 중요합니다. 그러나 그 앞단에서 사람의 동작을 자연스럽고 안정적으로 로봇 행동으로 바꿔 주는 원격조작 인터페이스가 받쳐 주지 못하면, 데이터는 쉽게 흐려집니다.
그래서 ALOHA 계열 시스템이 던진 가장 중요한 메시지 가운데 하나는 이것입니다. 로봇 AI의 경쟁력은 더 똑똑한 모델만으로 생기지 않는다는 사실입니다. 좋은 행동 데이터를 만들 수 있는 몸과 장치, 다시 말해 잘 설계된 원격조작 하드웨어가 있어야 비로소 학습이 시작됩니다.
다음 장에서는 바로 그 지점에서 출발한 시스템, ALOHA의 탄생을 살펴보겠습니다. 왜 저비용 양손 원격조작 하드웨어가 로봇 연구의 흐름을 바꾸었는지, 그리고 그것이 어떻게 데이터 수집의 문턱을 낮추며 새로운 생태계를 만들었는지 본격적으로 들어가 보겠습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.