로봇 실험실에서 진짜 시간을 많이 잡아먹는 것은 학습 자체보다도 디버깅이다. 모델 하나를 더 돌리는 일보다, 왜 로봇이 방금 컵을 놓쳤는지 제대로 알아내는 일이 더 어렵다. ALOHA, ALOHA 2, Mobile ALOHA 같은 시스템을 실제로 굴려 보면 성능 저하는 대개 극적인 대실패가 아니라, 사소해 보이는 흔들림으로 시작된다. 그리퍼가 한 번 미끄러지고, 손목 카메라가 살짝 가려지고, 조작자는 오후가 되자 피곤해지고, 데이터셋은 어느새 한쪽 상황으로만 두꺼워진다. 그러고 나면 정책은 "어제는 되던 것"을 오늘 갑자기 못 하게 된다.
그래서 실전에서는 새로운 모델을 찾는 능력만큼, 실패를 빠르게 진단하는 능력이 중요하다. 디버깅이 빠른 팀은 같은 하드웨어와 같은 예산으로도 훨씬 멀리 간다. 로봇 연구의 생산성은 결국 얼마나 빨리 실패를 읽고, 원인을 좁히고, 다시 수집과 학습으로 되돌릴 수 있는가에 달려 있다.
실패는 랜덤이 아니라 주소다
로봇이 실패하면 초보자는 흔히 이렇게 말한다. "모델이 아직 약하네요." 하지만 그 말은 너무 크고, 너무 늦고, 너무 모호하다. 실전에서는 실패를 더 작은 주소로 바꿔야 한다. 어디서 실패했는가. 접근 단계인가, 정렬 단계인가, 파지 단계인가, 이동 중인가, 마지막 배치 직전인가. 이 주소가 선명해지는 순간 해결책도 갑자기 현실적으로 바뀐다.
예를 들어 물체를 못 잡는 실패라고 해서 모두 같은 실패는 아니다. 물체 근처까지도 못 가면 시야나 전역 위치 정보가 부족한 쪽을 먼저 의심해야 한다. 물체까지는 잘 가는데 손이 자꾸 엇나가면 마지막 정렬 구간의 데이터 밀도나 카메라 시점이 문제일 수 있다. 닿기까지는 좋은데 잡고 나서 놓친다면 그리퍼 마찰, 그립 타이밍, 이동 중 진동이 더 유력하다. 겉으로는 전부 "집기 실패"처럼 보여도, 안쪽에서는 전혀 다른 병이다.
실험실의 생산성은 여기서 갈린다. 잘하는 팀은 실패를 감으로 기억하지 않는다. 짧은 영상과 함께 유형으로 쪼개고, 어느 구간에서 가장 많이 터지는지 기록한다. 그러면 다음 행동이 분명해진다. 카메라를 옮길지, 그리퍼를 손볼지, 특정 상황 데이터를 더 모을지, 아니면 아예 과제 정의를 다시 자를지 결정할 수 있다. 실패를 분류하지 않으면 모든 문제가 모델 문제처럼 보이고, 결국 가장 비싼 해결책만 반복하게 된다.
물체를 놓치거나 미끄러뜨릴 때 먼저 볼 것들
로봇이 물체를 자주 놓치는 장면은 늘 모델 부족처럼 보인다. 하지만 ALOHA 계열 시스템에서는 이 문제가 생각보다 자주 하드웨어와 데이터의 경계에서 생긴다. 특히 작은 물체, 표면이 미끄러운 물체, 얇은 포장재, 비정형 물체는 파지 자체보다도 파지 직전의 정렬과 파지 이후의 유지에서 무너진다.
먼저 그리퍼 자체를 의심해야 한다. 마찰이 줄었는지, 그립 테이프가 닳았는지, 좌우 손가락이 같은 힘과 같은 속도로 닫히는지 확인해야 한다. 연구자는 종종 그리퍼를 하나의 고정된 부품처럼 취급하지만, 실제로는 소모품에 가깝다. 어제 잘 잡던 플라스틱 컵을 오늘 자꾸 놓친다면, 정책보다 먼저 그리퍼 표면 상태가 달라졌을 가능성이 크다. 아주 작은 마모도 얇은 물체에서는 큰 차이를 만든다.
다음으로 봐야 할 것은 시야다. 물체를 놓치는 정책은 종종 "잡는 법"을 모르는 것이 아니라, 정확히 어디를 잡아야 하는지 마지막 순간에 제대로 못 보고 있는 것이다. 손목 카메라가 손가락에 가려지거나, 상단 시점에서 물체 경계가 반사광 때문에 날아가면, 정책은 마지막 몇 센티미터를 추측으로 처리하게 된다. 이때 로봇은 물체에 닿긴 닿지만, 미묘하게 비껴 잡거나 가장자리를 스치듯 쥔다. 사람 눈에는 거의 성공처럼 보이지만, 이동을 시작하는 순간 툭 미끄러진다.
데이터 문제도 자주 숨어 있다. 잡는 장면은 많아 보이는데 실제로는 "잘 정렬된 쉬운 잡기"만 너무 많고, 조금 어긋난 상태에서 다시 맞춰 잡는 데이터는 거의 없을 수 있다. 그러면 정책은 교과서적인 접근만 잘하고, 현실의 삐끗한 상황에서는 갑자기 약해진다. 특히 양손 작업에서는 한 손이 살짝 늦거나 빨라지는 순간 반대 손의 역할도 흔들리기 때문에, 파지 실패가 더 자주 연쇄적으로 나타난다.
이럴 때는 원인을 한 번에 고치려 하지 말고, 세 층으로 나누는 편이 좋다.
그리퍼 층: 마찰, 정렬, 닫힘 속도, 테이프 마모, 손가락 간 유격
시야 층: 손목 카메라 가림, 상단 시점 해상도, 반사광, 그림자, 손끝이 보이는지 여부
데이터 층: 쉬운 성공만 많은지, 미세 보정 장면이 충분한지, 파지 직전 구간이 다양한지
실전적인 처방도 이 순서가 좋다. 먼저 하드웨어를 점검하고, 다음으로 카메라에서 실제 접촉 순간이 보이는지 확인하고, 마지막으로 데이터셋에서 비슷한 실패 장면이 얼마나 있는지 본다. 많은 팀이 이 순서를 반대로 한다. 모델부터 다시 학습시키고, 그래도 안 되면 데이터를 더 모으고, 마지막에야 그리퍼 테이프를 바꾼다. 하지만 로봇은 물리 세계에서 움직인다. 물리적인 문제는 먼저 물리적으로 확인하는 편이 훨씬 빠르다.
카메라 위치가 나쁘면 정책은 똑똑해져도 멀어진다
카메라는 로봇에게 세계를 보여 주는 창이다. 그런데 그 창이 애매하면 모델이 아무리 좋아도 끝내 애매하게 배운다. ALOHA 계열에서 카메라 문제는 대개 두 가지 형태로 나타난다. 하나는 중요한 순간이 아예 안 보이는 경우이고, 다른 하나는 보이긴 하지만 일관되게 안 보이는 경우다. 후자가 더 위험하다. 학습은 되는 것처럼 보이기 때문이다.
예를 들어 상단 카메라는 장면 전체를 잘 보여 주지만, 손끝의 미세한 각도 차이는 놓치기 쉽다. 반대로 손목 카메라는 접촉 직전 상황을 잘 보여 주지만, 손 자체가 시야를 가리거나 한쪽으로 치우친 장면에서는 정보가 급격히 줄어든다. 두 시점이 서로를 보완해야 하는데, 실제 배치가 나쁘면 둘 다 반쪽짜리 정보만 주게 된다.
카메라 위치가 나쁠 때 자주 나타나는 징후가 있다. 로봇이 큰 방향은 대체로 맞는데 마지막 정렬에서 계속 비슷하게 실패한다. 특정 쪽에서 접근할 때만 성능이 급격히 떨어진다. 사람 눈에는 충분히 보이는 것 같지만, 녹화 영상을 정책 입력 기준으로 보면 손끝과 물체 경계가 겹쳐 있다. 이럴 때는 데이터 개수를 늘리는 것이 해결책이 아니다. 흐린 창으로 더 오래 보는 것과 같기 때문이다.
좋은 점검 방법은 단순하다. 실제 실패 에피소드를 멈춰 놓고 세 장면을 본다. 접근 직전, 첫 접촉 직전, 파지 또는 삽입 직전이다. 그 세 시점에서 "정책이 지금 결정을 내리는 데 필요한 정보가 화면에 분명히 있는가"를 묻는다. 이 질문에 자신 있게 예라고 답하기 어렵다면, 카메라 구성부터 다시 보는 편이 맞다.
카메라를 조정할 때는 화각만 넓히면 된다고 생각하기 쉽다. 하지만 너무 넓으면 손끝 정밀도가 사라지고, 너무 가까우면 문맥이 사라진다. 결국 중요한 것은 과제의 병목 구간을 중심으로 시야를 설계하는 것이다. 컵을 집는 과제와 서랍을 여는 과제와 봉지를 벌리는 과제는 필요한 시야가 다르다. 실험실이 편하다는 이유로 모든 작업에 같은 배치를 정답처럼 쓰면, 일부 과제는 태생적으로 불리한 조건에서 시작하게 된다.
한 가지 더 조심할 점이 있다. 카메라를 몇 센티미터 옮기는 것은 사람에게는 사소하지만, 정책에게는 세계 자체를 바꾸는 일이다. 그래서 카메라 위치를 바꿨다면 같은 과제의 연장이라고 여기지 말고, 작은 버전 변경처럼 취급하는 편이 좋다. 그래야 나중에 성능 차이가 모델 때문인지, 시야 변화 때문인지 추적할 수 있다.
데이터는 많은데 성능이 안 나올 때는 양보다 분포를 의심하라
로봇 연구에서 가장 허탈한 순간 중 하나는 이 말이다. "데모는 꽤 많은데 왜 아직도 안 되지?" 이때 사람들은 대개 모델 구조를 바꾸거나 학습 시간을 더 늘린다. 물론 그럴 때도 있다. 하지만 실전에서는 더 자주 분포 문제가 숨어 있다. 데이터 총량은 많은데, 정작 정책이 실제로 자주 마주치는 상황은 얇게 들어가 있는 것이다.
분포 문제는 여러 얼굴을 가진다. 한쪽 방향에서 접근하는 시연이 유난히 많을 수 있다. 특정 조작자 스타일이 데이터셋을 지배할 수 있다. 쉬운 초기 배치가 대부분이고, 조금만 틀어진 장면은 소수일 수 있다. 낮 시간 조명 아래 데이터는 많은데 저녁 반사광은 거의 없을 수 있다. Mobile ALOHA처럼 이동이 섞이면 더 심해진다. 정지 후 조작은 많은데, 살짝 덜 정렬된 채 접근한 장면은 적을 수 있다.
이런 데이터셋은 겉보기에는 풍부하다. 파일도 많고, 총 시간도 길고, 성공 시연 비율도 높다. 그런데 정책은 이상하게 특정 상황에서만 계속 약하다. 이는 대개 "모델이 못 배운다"기보다 "그 상황을 충분히 본 적이 없다"는 뜻이다. 더 솔직하게 말하면, 데이터셋이 현실의 중요한 부분을 균등하게 대표하지 못한 것이다.
이럴 때 가장 먼저 해야 할 일은 평균을 버리는 것이다. 전체 성공률, 전체 손실, 전체 데모 수 같은 평균값만 보고 있으면 분포의 구멍이 보이지 않는다. 대신 조건별로 잘라 봐야 한다. 어느 방향 접근에서 실패가 많은가. 어느 물체에서 약한가. 어느 조작자 데이터로 학습했을 때 더 흔들리는가. 어느 조명에서 급격히 나빠지는가. 장기 과제라면 초반과 후반 중 어디서 주로 무너지는가.
실전에서는 다음과 같은 질문이 특히 유용하다.
성공률이 낮은 상황이 전체 데이터에서 얼마나 희귀한가
실패가 특정 카메라 가림, 특정 접근 각도, 특정 물체 재질에 묶여 있는가
훈련 데이터와 평가 데이터의 시작 상태 범위가 정말 같은가
한 명의 숙련 조작자 스타일이 데이터셋을 지나치게 지배하고 있지 않은가
이 질문에 답하고 나면, 해결책은 의외로 단순해진다. 데이터 전체를 두 배로 늘이는 대신, 빈 구간만 채우면 된다. 오른쪽에서 접근하는 장면이 부족하면 그 장면만 모은다. 반짝이는 금속 물체에서만 약하면 그 재질을 집중적으로 보강한다. 조작자마다 시작 자세 습관이 다르면 리셋 규칙을 더 엄격히 맞춘다. 로봇 성능을 올리는 가장 싼 방법은 종종 "더 많이"가 아니라 "빠진 곳을 메우기"다.
원격조작자의 피로는 데이터셋에 조용히 새겨진다
원격조작 데이터의 품질은 하드웨어와 인터페이스만이 아니라 사람의 몸 상태에도 크게 좌우된다. 이 사실은 너무 인간적이어서 오히려 자주 잊힌다. 하지만 ALOHA 계열 시스템을 오래 운용해 본 팀일수록 안다. 같은 조작자도 오전과 저녁이 다르고, 첫 20개 시연과 마지막 20개 시연이 다르다. 피로는 크게 소리치지 않는다. 대신 미세한 흔들림, 불필요한 망설임, 조금 늦은 그리퍼 타이밍, 복구 동작의 증가로 나타난다.
문제는 이런 흔적이 데이터셋에 아주 자연스럽게 섞인다는 점이다. 사람은 피곤하면 아직 성공은 한다. 다만 동작이 덜 깔끔해진다. 그래서 데이터 정리 단계에서 그냥 성공으로 분류되기 쉽다. 그런데 정책은 그 피곤한 습관까지 함께 배운다. 결과적으로 로봇은 필요 없는 멈춤을 넣고, 접촉 직전 손을 한 번 더 흔들고, 파지 전에 망설이는 버릇을 갖게 된다.
숙련도 차이도 비슷하다. 숙련 조작자는 같은 과제를 거의 같은 리듬으로 수행하지만, 초보 조작자는 성공하더라도 경로와 타이밍 편차가 크다. 이는 다양성이라는 장점도 있지만, 기준이 없으면 데이터셋을 흐리게 만들 수 있다. 특히 양손 작업에서는 두 손의 협응 타이밍이 중요하기 때문에, 숙련도 차이는 단순한 속도 차이가 아니라 행동 구조 자체의 차이로 나타난다.
그래서 원격조작 운영에서는 사람을 센서처럼 다뤄야 한다. 센서 캘리브레이션을 하듯, 조작자 데이터도 상태를 관리해야 한다. 예를 들어 한 세션 길이를 너무 길게 잡지 않고, 일정 개수마다 짧게 쉬게 하고, 과도하게 망설인 시연은 표시를 남기고, 새로운 조작자가 들어오면 기준 시연 몇 개로 먼저 스타일을 맞추는 식이다. 화려한 기계적 해결책은 아니지만, 이런 운영 습관이 실제 성능을 크게 바꾼다.
피로를 의심해야 하는 징후도 있다. 세션 후반으로 갈수록 동작 시간이 늘어난다. 파지 직전 작은 떨림이 많아진다. 성공은 하지만 경로가 불필요하게 길어진다. 같은 과제인데 조작자마다 그리퍼 닫는 타이밍이 들쭉날쭉하다. 이런 변화는 모델 탓으로 돌리기 쉽지만, 사실은 데이터 수집 순간의 인간 상태가 남긴 흔적일 수 있다.
결국 좋은 데이터 공장은 좋은 원격조작자를 무한히 갈아 넣는 곳이 아니다. 피로가 품질로 번지지 않게 만드는 곳이다. 조작자의 편안함은 복지가 아니라 성능 변수다. ALOHA 2에서 인체공학과 저마찰 설계가 중요했던 이유도 바로 여기에 있다. 조작이 편해야 데이터가 덜 흔들리고, 데이터가 덜 흔들려야 정책도 덜 흔들린다.
환경 변화에 약한 정책은 대개 너무 좁은 세상에서 자랐다
실험실에서는 잘 되는데 조금만 환경이 바뀌면 갑자기 무너지는 정책도 흔하다. 배경 천 색이 바뀌고, 조명이 조금 달라지고, 물체 위치가 몇 센티미터만 벗어나도 성능이 떨어진다. 이런 정책을 보면 모델이 예민하다고 말하고 싶어지지만, 더 정확히 말하면 훈련 중 본 세계가 너무 좁았다고 보는 편이 맞다.
로봇 정책은 생각보다 정직하다. 보여 준 만큼만 안다. 늘 같은 테이블, 같은 조명, 같은 물체 간격, 같은 리셋 방식, 같은 카메라 미세 오프셋 속에서 자랐다면, 그 정책은 그 세계의 모범생이 된다. 문제는 현실이 늘 그 교실처럼 정돈되어 있지 않다는 것이다. Mobile ALOHA로 갈수록 이 문제는 더 커진다. 이동이 섞이면 시점 변화, 접근 각도 변화, 배경 변화, 위치 오차가 함께 커지기 때문이다.
이때 필요한 것은 막연한 "더 다양한 데이터"가 아니다. 다양화에도 설계가 필요하다. 너무 빨리 모든 변형을 한꺼번에 넣으면 과제가 흐려지고, 너무 늦게 넣으면 정책이 좁은 습관에 굳어진다. 좋은 방식은 기본 성공 패턴을 먼저 만들고, 이후 변화 축을 하나씩 늘리는 것이다. 예를 들어 초기 위치 범위를 넓히고, 다음에는 물체 인스턴스를 바꾸고, 다음에는 조명과 배경을 흔드는 식이다. 그러면 어떤 변화에 약한지 더 선명하게 읽을 수 있다.
평가 방식도 바꿔야 한다. 늘 같은 조건에서만 성공률을 재면, 정책은 안정적으로 보이기 쉽다. 하지만 실제 일반화를 알고 싶다면 의도적으로 불편한 시험을 만들어야 한다. 약간 틀어진 시작 자세, 낯선 물체 배치, 다른 조작자 리셋, 미세한 카메라 오프셋 같은 조건을 따로 평가 세트로 두는 것이다. 그래야 "잘 외운 정책"과 "조금은 적응하는 정책"을 구별할 수 있다.
여기서 중요한 것은 연구자의 자존심보다 실험의 정직함이다. 쉬운 평가만 반복하면 수치는 예뻐진다. 하지만 현장에서는 금방 들통난다. 반대로 조금 더 거친 평가를 통과한 정책은 숫자가 다소 낮아 보여도 실제로는 훨씬 쓸 만하다. 로봇에게 필요한 것은 완벽한 시험 점수가 아니라, 삐끗한 현실에서 버티는 힘이다.
문제 해결은 한 번의 영감이 아니라 루틴이다
실전 문제 해결을 잘하는 팀은 특별한 비법이 있어서가 아니라, 디버깅 루틴이 단단하다. 실패가 생기면 바로 모델을 갈아엎지 않는다. 먼저 영상을 보고, 실패 위치를 나누고, 하드웨어를 확인하고, 시야를 점검하고, 데이터 분포를 잘라 본다. 그리고 가장 싼 가설부터 하나씩 지운다.
현장에서 유용한 기본 루틴은 대체로 이렇다.
같은 실패를 짧은 영상으로 여러 개 모은다.
실패가 어느 단계에서 반복되는지 먼저 분류한다.
하드웨어 이상 여부를 가장 먼저 확인한다.
입력 영상 기준으로 실제 필요한 정보가 보이는지 확인한다.
훈련 데이터에 그 상황이 충분히 있었는지 분포를 본다.
필요한 경우 전체 재수집 대신 특정 빈 구간만 보강한다.
다시 평가할 때는 원래 조건뿐 아니라 약간 흔든 조건도 함께 본다.
이 루틴의 핵심은 단순하다. 로봇 문제를 하나의 거대한 실패로 보지 말고, 작은 가설들의 묶음으로 바꾸는 것이다. 그러면 해결도 훨씬 빨라진다. 그리퍼 테이프를 교체했더니 바로 나아지는 문제를 며칠 동안 재학습으로 붙잡고 있을 필요가 없다. 반대로 하드웨어가 멀쩡한데도 특정 조건에서만 계속 실패한다면, 그때는 데이터 분포와 평가 설계를 더 깊게 볼 차례다.
결국 ALOHA 계열 시스템을 잘 다루는 사람은 로봇을 완벽하게 조종하는 사람이 아니라, 실패를 빠르게 읽는 사람이다. 좋은 정책은 좋은 데이터에서 나오고, 좋은 데이터는 좋은 조작에서 나오며, 그 모든 흐름은 좋은 디버깅에서 지켜진다. 로봇 연구에서 성능 향상은 종종 거대한 돌파라기보다, 이런 작은 원인들을 제때 찾아내는 생활 기술의 합에 가깝다.
그래서 실전의 결론은 의외로 소박하다. 로봇이 자꾸 틀리면, 먼저 실패를 더 자세히 보라. 로봇은 대개 이유 없이 망가지지 않는다. 이유를 읽지 못하는 쪽이 더 자주 문제다. 그리고 그 이유를 빨리 읽는 팀이 결국 더 좋은 행동 데이터를 더 빨리 모으고, 더 강한 정책을 더 자주 만들어 낸다. 로봇 연구의 생산성은 모델 이름보다, 실패를 다루는 습관에서 먼저 갈린다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.