좋은 데이터가 있다고 해서 좋은 로봇이 자동으로 나오지는 않는다. 여기서 많은 팀이 한 번 더 넘어진다. 18장에서 우리는 어떻게 시연을 모을 것인가를 다뤘다. 이제 질문은 바뀐다. 모은 시연으로 무엇을 어떻게 학습해야 하는가다.
같은 ALOHA 데이터셋을 가지고도 어떤 팀은 금방 안정적인 정책을 만들고, 어떤 팀은 로봇이 중간에 멈추거나 덜컥거리거나 마지막 한 끗에서 늘 실패한다. 이 차이는 모델 이름보다 실험 설계에서 더 자주 갈린다. 관측 공간을 어떻게 정의했는지, 행동을 무엇으로 예측하게 했는지, 훈련·검증·테스트를 어디서 나눴는지, 성공률 외에 무엇을 봤는지가 결국 성능을 가른다.
모방학습은 겉으로 보면 단순하다. 사람이 한 행동을 보여 주고, 로봇이 따라 하게 하면 된다. 하지만 실제 실험실에서는 그 사이에 수십 개의 결정이 숨어 있다. 그 결정을 잘못하면 모델은 배울 수 없는 것을 배우려 하고, 평가는 너무 쉽거나 너무 속기 쉬워지고, 연구자는 엉뚱한 곳에 시간을 쓴다. 이 장에서는 바로 그 함정을 피하는 방법을 살펴본다.
행동 복제의 기본 구조를 먼저 단순하게 보자
모방학습의 가장 기본형은 행동 복제, 즉 behavior cloning이다. 말 그대로 현재 관측을 보고 전문가가 했을 법한 행동을 바로 예측하도록 학습하는 방식이다. ALOHA 계열에서는 보통 여러 대의 카메라 영상과 로봇 관절 상태를 입력으로 넣고, 양팔과 그리퍼의 목표 행동을 출력하게 만든다.1
핵심은 단순하다. 데이터셋의 각 시점에는 두 가지가 있다. 로봇이 본 것과, 인간 시연자가 그 순간 로봇에게 하게 한 행동이다. 학습은 이 둘 사이의 대응 관계를 익히는 과정이다. 문제는 현실의 작업이 한 프레임짜리 반사 신경으로 끝나지 않는다는 데 있다. 특히 양손 조작은 손을 어디로 뻗을지뿐 아니라, 두 손의 타이밍을 어떻게 맞출지도 중요하다. 그래서 한 스텝씩만 예측하는 정책은 작은 오차가 쌓이며 점점 학습 분포 바깥으로 밀려나기 쉽다.2
이 지점에서 ACT가 등장한다. ACT는 다음 행동 하나가 아니라 짧은 미래 행동 묶음, 즉 action chunk를 한 번에 예측한다. 이렇게 하면 정책이 몇 프레임 뒤까지 내다본 상태에서 움직일 수 있고, 결과적으로 누적 오차를 줄이는 데 도움이 된다. 원 논문에서는 이 방식을 Transformer 기반의 조건부 변분 오토인코더, 즉 CVAE 형태로 구현했다. 학습할 때는 인간 시연의 다양성을 잠재 변수로 함께 모델링하고, 실행할 때는 그 잠재 변수를 평균적인 값으로 두고 행동 청크를 생성한다.2
실험자의 관점에서 중요한 것은 수식이 아니라 흐름이다. 현재 관측을 넣고, 미래의 짧은 행동 시퀀스를 예측하게 하며, 그 예측이 실제 시연의 행동 시퀀스와 얼마나 가까운지로 학습한다. 그리고 평가할 때는 검증 성능이 가장 좋았던 체크포인트를 불러 실제 롤아웃을 돌린다. 공개 구현에서도 ACT 학습과 평가의 기본 진입점은 imitate_episodes.py로 정리되어 있고, 검증 기준의 최적 체크포인트를 사용하도록 설계되어 있다.3
여기서 첫 번째 실전 교훈이 나온다. 손실 곡선만 보고 끝내지 말라는 것이다. ALOHA 계열의 실제 데이터에서는 손실이 어느 정도 평평해진 뒤에도 정책의 부드러움과 성공률이 더 좋아질 수 있다. 공개 구현 문서 역시 현실 데이터에서는 더 오래 학습하고, 정책이 중간에 멈추거나 덜컥거리면 추가 학습을 먼저 시도하라고 권한다.3 로봇 정책은 시험지 점수처럼 한 줄의 숫자로만 상태를 드러내지 않는다.
관측 공간은 "많이 넣기"보다 "제대로 맞추기"가 중요하다
초보자는 입력을 많이 넣을수록 성능이 좋아질 것이라고 생각하기 쉽다. 카메라를 더 달고, 센서를 더 붙이고, 가능한 모든 값을 모델에 밀어 넣고 싶어진다. 하지만 관측 공간은 정보량 경쟁이 아니라 일관성 설계다.
ALOHA 계열에서 자주 쓰이는 기본 관측은 멀티뷰 RGB와 관절 상태다. 원래 ALOHA 프로젝트는 네 대의 RGB 카메라와 로봇 관절 상태를 입력으로 사용해 정밀 양손 작업을 학습했다.1 이 구성은 강력하지만, 그렇다고 네 대가 언제나 정답이라는 뜻은 아니다. 중요한 것은 그 과제에 필요한 정보가 실제로 보이느냐, 그리고 학습 때 본 정보가 실행 때도 같은 방식으로 들어오느냐다.
관측 공간을 정할 때는 적어도 네 가지를 확인해야 한다.
과제의 핵심 접촉 순간이 카메라에 실제로 보이는가
실행 시점에도 똑같은 센서와 똑같은 동기화 품질을 보장할 수 있는가
정보가 늘어난 만큼 가림, 지연, 정렬 불일치가 함께 늘어나지 않는가
그 입력을 빼면 정말 성능이 떨어지는지 소규모 제거 실험으로 확인했는가
예를 들어 삽입 작업이나 컵 뚜껑 열기처럼 손끝 정렬이 중요한 과제라면 손목 카메라가 특히 중요할 수 있다. 반대로 큰 물체를 옮기는 작업이라면 상단 시점이 더 큰 역할을 할 수 있다. 이 차이를 무시하고 늘 같은 카메라 구성을 정답처럼 쓰면, 어떤 과제에서는 불필요한 입력 때문에 학습이 오히려 흐려진다.
또 하나 중요한 기준은 배포 시점 가용성이다. 학습 때만 존재하는 정보를 넣어 놓고, 실제 실행에서는 그 값을 못 받는다면 정책은 처음부터 불공정한 시험을 본 셈이다. 예를 들어 실험 편의를 위해 수동 라벨이나 미래 정보에 가까운 신호를 넣어 학습했다면, 그 정책은 실제 로봇에서 재현되지 않는다. 관측 공간은 "지금 편한 입력"이 아니라 "나중에도 쓸 입력"이어야 한다.
마지막으로 카메라 배치가 조금이라도 바뀌면, 그것은 생각보다 큰 변화다. 연구자는 흔히 카메라를 몇 센티미터 옮겨 놓고도 같은 데이터셋 연장선으로 취급한다. 하지만 모델 입장에서는 세계가 바뀐 것이다. 따라서 카메라 위치, 렌즈 왜곡, 해상도, 자르기 방식이 달라졌다면 데이터셋 버전을 새로 관리하는 편이 안전하다. 작은 실험에서는 이 엄격함이 과해 보일 수 있지만, 나중에 왜 성능이 무너졌는지 추적할 때 이 차이가 생명줄이 된다.
행동 공간은 로봇이 실제로 말해 듣는 언어여야 한다
관측 공간이 로봇의 눈이라면, 행동 공간은 로봇의 언어다. 문제는 이 언어를 너무 사람 중심으로 고르면 정책이 배우기 어려워진다는 점이다.
ALOHA와 ACT 계열에서는 실제 로봇 제어와 잘 맞는 형태로 관절 목표를 예측하는 구성이 널리 쓰인다. 프로젝트 설명에서도 ACT 정책은 50Hz로 관절 위치를 직접 예측하는 방식으로 소개된다.1 이것이 실전에서 자주 통하는 이유는 명확하다. 저수준 제어기가 이미 관절 목표를 받아 움직이도록 설계되어 있기 때문이다. 다시 말해 정책은 "손을 저쪽으로 보내라"는 추상 명령 대신, 하드웨어가 바로 실행할 수 있는 형태의 지시를 내린다.
실험 설계에서 행동 공간을 정할 때는 세 가지 질문을 던져야 한다. 첫째, 이 출력이 로봇의 저수준 제어기와 자연스럽게 연결되는가. 둘째, 이 출력이 과제의 핵심 자유도를 충분히 표현하는가. 셋째, 사람이 시연한 데이터와 같은 의미 단위를 가지는가.
이 기준을 놓치면 이상한 일이 벌어진다. 예를 들어 엔드이펙터 위치만 예측하도록 만들었는데 실제 로봇은 그 값을 매 순간 불안정한 역기구학으로 풀어야 한다면, 학습 오차에 제어 오차가 덧씌워진다. 반대로 너무 하드웨어 세부값에 묶인 출력을 쓰면 다른 환경으로 확장하기 어려워진다. 따라서 어느 수준에서 정책이 결정을 하고, 어느 수준부터는 제어기가 책임질지 경계를 분명히 해야 한다.
ACT를 쓸 때는 청크 길이도 행동 공간 설계의 일부다. 청크가 너무 짧으면 한 스텝 정책과 다를 바가 줄어들고, 너무 길면 예측한 미래가 현실 변화에 둔감해질 수 있다. 공개 예제에서는 청크 크기 100 같은 설정이 자주 등장하고, 실제 ALOHA 프로젝트 설명에서는 길이 90의 청크가 사용되기도 한다.13 중요한 것은 특정 숫자를 외우는 것이 아니라, 과제 길이 대비 청크가 어느 정도 미래를 묶어 주는가를 보는 일이다. 짧은 정렬 작업과 긴 주방 작업은 같은 청크 길이가 같은 의미를 가지지 않는다.
그리퍼 명령도 대충 다루면 안 된다. 열기와 닫기를 단순한 부호처럼 다루더라도, 실제 데이터에서는 물체를 살짝 잡는 구간과 꽉 쥐는 구간이 다르다. 만약 이 연속적인 차이를 모두 버리고 거친 이진 신호로 축약하면, 얇은 봉지나 미끄러운 플라스틱 같은 물체에서 성능이 갑자기 떨어질 수 있다. 행동 공간은 모델이 잘 배우는 형식이어야 하지만, 동시에 과제의 섬세함을 너무 많이 잃지 않아야 한다.
훈련·검증·테스트 분리는 파일 기준이 아니라 상황 기준으로 하자
실험 설계에서 가장 흔하면서도 치명적인 실수는 데이터 누수다. 겉으로는 train, val, test를 나눴는데 실제로는 같은 상황이 거의 그대로 섞여 들어가는 경우가 많다. 그러면 결과는 좋아 보이지만, 로봇을 실제 테이블 앞에 세우는 순간 마법이 사라진다.
로봇 시연 데이터에서는 특히 에피소드 단위 분리가 중요하다. 하나의 긴 시연을 잘라 만든 여러 윈도우가 서로 다른 분할에 들어가면, 모델은 사실상 시험 문제를 미리 본 셈이 된다. 따라서 시간 창을 만들기 전에 먼저 에피소드를 train, val, test로 나누고, 그다음 각 분할 안에서만 샘플을 생성해야 한다.
하지만 이것만으로 충분하지 않을 때가 많다. 로봇은 같은 에피소드가 아니어도 너무 비슷한 상황을 쉽게 암기한다. 같은 날, 같은 조명, 같은 물체, 같은 시연자, 같은 초기 배치 범위에서 수집한 데이터는 생각보다 강하게 닮아 있다. 그래서 진지한 실험이라면 최소한 다음 차원 중 몇 가지를 홀드아웃하는 것이 좋다.
수집 세션 또는 날짜
조작자
물체 인스턴스 또는 마모 상태
초기 배치 영역의 일부 구간
배경, 조명, 카메라 미세 오프셋
예를 들어 오른쪽 구역에서 시작한 컵 잡기 장면을 훈련에서만 보여 주고, 테스트에서는 왼쪽 구역만 쓰는 식의 공간 홀드아웃은 정책이 정말 일반화했는지 보기 좋다. 같은 이유로 특정 시연자만 테스트에 남기는 방식도 유용하다. 한 사람의 손맛에 과적합된 정책은 다른 스타일의 시연에서 성능이 흔들릴 수 있기 때문이다.
검증 세트와 테스트 세트의 역할도 섞지 말아야 한다. 검증 세트는 하이퍼파라미터를 고르고, 학습을 언제 멈출지 정하고, 어떤 체크포인트를 저장할지 결정하는 데 쓰는 데이터다. 테스트 세트는 그 모든 결정이 끝난 뒤 마지막에 한 번 냉정하게 보는 데이터다. 테스트 결과를 본 뒤 다시 설정을 바꾸기 시작하면, 그 순간 테스트는 사실상 또 하나의 검증 세트가 된다.
현실적인 운영에서는 세 개의 층을 추천할 수 있다. 첫째, 자주 보는 검증 세트. 둘째, 거의 건드리지 않는 공식 테스트 세트. 셋째, 정말 마지막 데모용으로만 남겨 두는 숨겨진 챌린지 세트다. 작은 연구실이라도 이 구조를 갖추면 자기 자신을 속일 가능성이 크게 줄어든다.
ACT 실험은 손실 하나가 아니라 프로토콜 전체로 설계해야 한다
이제 학습 절차를 하나의 실험 프로토콜로 정리해 보자. 좋은 실험은 거창한 모델보다 먼저, 반복 가능한 순서를 가진다.
첫 번째 단계는 과제 정의를 동결하는 것이다. 성공 조건, 에피소드 길이, 초기 상태 범위, 관측 공간, 행동 공간을 정한 뒤 당분간 바꾸지 않는다. 실험 중간에 이것들을 자꾸 바꾸면 성능 차이가 모델 때문인지 과제 버전 때문인지 알 수 없어진다.
두 번째 단계는 베이스라인을 세우는 것이다. 처음부터 다섯 가지 모델을 한꺼번에 돌리는 것보다, 가장 단순한 행동 복제 베이스라인과 ACT 하나를 제대로 비교하는 편이 낫다. 그래야 개선이 어디서 오는지 보인다. ACT는 행동 청킹으로 누적 오차를 줄이는 데 강점이 있지만, 데이터 정렬과 분할이 엉망이면 그 장점도 희미해진다.2
세 번째 단계는 학습 조건을 고정하는 것이다. 배치 크기, 학습률, 에폭 수, 시드 수, 체크포인트 저장 규칙을 미리 정한다. 공개 구현 예시에서도 배치 크기, 은닉 차원, 피드포워드 차원, KL 가중치, 청크 길이 같은 값들이 명시적으로 설정된다.3 중요한 것은 그 숫자 자체보다, 나중에 같은 실험을 다시 돌릴 수 있을 정도로 조건을 남기는 습관이다.
네 번째 단계는 검증 기준을 분리하는 것이다. 손실이 가장 낮은 체크포인트가 실제 성공률도 가장 높으리라는 보장은 없다. 그래서 검증은 최소 두 층으로 보는 편이 좋다. 하나는 오프라인 지표, 즉 손실과 재구성 오차다. 다른 하나는 온라인 지표, 즉 실제 롤아웃 성공률과 동작 품질이다. 공개 ACT 구현이 검증 기준의 최적 체크포인트를 불러 평가하도록 하는 이유도 여기에 있다.3
다섯 번째 단계는 반복 시드를 두는 것이다. 로봇 학습은 작은 데이터셋에서 특히 시드 민감성이 크다. 한 번 잘 된 결과만 보고 결론을 내리면 운 좋은 실험을 논문처럼 해석하게 된다. 최소한 여러 시드에서 평균과 분산을 함께 보는 습관이 필요하다. 성공률 80% 하나보다, 세 시드 평균 72%에 표준편차가 작은 모델이 실전에서는 더 믿을 만할 수 있다.
여섯 번째 단계는 실제 롤아웃 영상을 반드시 남기는 것이다. 숫자는 결과를 요약해 주지만, 원인을 말해 주지는 않는다. 로봇이 왜 멈췄는지, 왜 잡고도 놓쳤는지, 왜 마지막 5초에서만 무너지는지는 영상 없이는 제대로 알기 어렵다. ALOHA 계열 공개 코드가 에피소드 시각화와 평가 영상 저장을 기본 도구로 제공하는 것도 이 때문이다.3
성공률 외에도 꼭 봐야 할 세 가지
성공률은 중요하다. 하지만 성공률만 보면 정책의 실제 품질을 자주 오해한다. 로봇 실험에서는 특히 회복력, 안정성, 재현성을 따로 봐야 한다.
회복력은 작은 어긋남이 생겼을 때 다시 돌아오는 능력이다. 컵을 집으려다 살짝 비켜 갔을 때 다시 정렬하는가, 문 손잡이를 놓쳤을 때 한 번 더 접근하는가, 접촉 후 물체가 조금 밀렸을 때 멈추지 않고 수정하는가가 여기에 들어간다. 원래 ALOHA 프로젝트는 ACT 정책이 단순 암기가 아니라 일부 새로운 교란에 반응하는 모습을 보여 주었다.1 실험자라면 이 능력을 따로 측정해야 한다. 일부러 물체를 몇 센티미터 흔들거나, 시작 자세를 조금 다르게 두고, 정책이 회복하는지 보는 식이다.
안정성은 동작이 얼마나 부드럽고 예측 가능하냐는 문제다. 성공은 했지만 중간에 덜컥거리거나, 같은 위치에서 팔이 떨리거나, 그리퍼가 열렸다 닫혔다를 반복한다면 그 정책은 아직 위험하다. ACT 공개 구현 문서가 정책이 jerkiness나 pause를 보일 때 더 오래 학습하거나 temporal aggregation을 고려하라고 안내하는 이유도 바로 이 안정성 문제 때문이다.3 안정성은 평균 성공률 표 뒤에 숨기기 쉬운 지표지만, 실제 로봇 제품에서는 가장 먼저 문제가 된다.
재현성은 같은 실험을 다시 했을 때 비슷한 결과가 나오는가를 뜻한다. 같은 체크포인트를 하루 뒤 다시 돌렸을 때 성능이 유지되는가, 시드가 달라져도 경향이 같은가, 다른 작업자가 리셋해도 결과가 비슷한가를 봐야 한다. 재현성이 낮은 정책은 데모 때는 화려하지만 운영 단계에서 믿기 어렵다.
여기에 덧붙여 완료 시간, 불필요한 재시도 횟수, 안전 중단 횟수 같은 운영 지표도 함께 기록하면 좋다. 같은 성공률 80%라도 20초 만에 끝내는 정책과 90초 동안 망설이다 끝내는 정책은 현장 가치가 다르다.
실패를 분류하지 않으면 다음 데이터 수집이 막막해진다
실험이 끝난 뒤 가장 아쉬운 장면은 "잘 안 됐다"라는 한 줄 결론이다. 이 문장으로는 다음 행동을 정할 수 없다. 실패는 반드시 유형으로 나눠야 한다. 그래야 데이터를 더 모을지, 카메라를 옮길지, 행동 공간을 바꿀지 판단할 수 있다.
양손 조작 실험에서는 실패를 보통 작업 단계 기준으로 나누는 편이 유용하다.
접근 실패: 목표 물체 근처까지 가지 못함
정렬 실패: 근처까지 갔지만 각도나 위치가 어긋남
파지 실패: 닿았지만 제대로 잡지 못함
이동 실패: 잡은 뒤 흔들리거나 도중에 놓침
삽입·배치 실패: 마지막 정밀 구간에서 어긋남
종료 실패: 사실상 끝났는데 놓지 못하거나 잘못된 위치에 둠
시스템 실패: 센서, 통신, 리셋 문제로 실험 자체가 깨짐
이 분류는 단순한 보고서 장식이 아니다. 예를 들어 접근 실패가 많다면 상단 시점이나 전역 배치 다양성이 부족할 가능성이 크다. 정렬 실패가 많다면 손목 카메라 시야, 청크 길이, 마지막 접촉 구간 데이터의 밀도가 문제일 수 있다. 파지 실패가 많다면 데이터보다 그리퍼 마찰이나 물체 표면 상태가 먼저 의심될 수 있다. 시스템 실패가 많다면 모델 비교를 잠시 멈추고 실험 인프라부터 손봐야 한다.
실패 분석의 목적은 모델을 비난하는 것이 아니라 다음 수집 계획을 뽑아내는 것이다. 오른쪽에서 접근할 때만 자주 실패한다면, 전체 데모를 무작정 두 배로 늘릴 필요가 없다. 그 구간을 집중적으로 보강하면 된다. 얇은 비닐이나 반짝이는 금속 물체에서만 흔들린다면, 과제별 데이터셋을 따로 버전업하는 편이 더 빠를 수 있다.
데이터 수집과 학습은 한 바퀴로 끝나지 않는다
좋은 실험 설계는 선형 파이프라인이 아니라 루프를 만든다. 데이터를 모으고, 학습하고, 평가하고, 실패를 분류한 뒤, 그 결과를 다음 데이터 수집에 되돌린다. 이 순환이 빨라질수록 팀의 성능도 빨라진다.
실전에서는 보통 이런 식의 루프가 효율적이다. 먼저 소규모 데이터로 빠른 파일럿을 돌린다. 그다음 실패 위치를 본다. 이후 빈 구간만 골라 추가 수집한다. 다시 학습하고, 이번에는 회복력과 안정성을 포함해 평가한다. 이 과정을 반복하면 "무작정 많이 모으기"보다 훨씬 적은 비용으로 성능을 끌어올릴 수 있다.
Mobile ALOHA 연구에서 기존 정적 ALOHA 데이터와의 공동학습이 모바일 조작 과제 성능을 크게 높인 것도 같은 맥락으로 볼 수 있다. 핵심은 단순히 데이터를 합치는 것이 아니라, 관련 있는 데이터를 전략적으로 재사용하는 것이다.4 목표 과제 데이터가 적더라도, 그 과제의 일부 기술을 공유하는 데이터가 있다면 학습 초기 안정성과 일반화에 큰 도움이 될 수 있다. 다만 이때도 아무 데이터나 섞는 것은 금물이다. 몸이 다르고, 센서 구성이 다르고, 행동 의미가 다르면 오히려 정책이 혼란스러워질 수 있다.
작게 시작하되, 기록은 크게 남겨라
처음부터 완벽한 실험은 없다. 하지만 엉성한 실험을 반복할 필요도 없다. 좋은 출발점은 의외로 소박하다. 과제를 좁게 정의하고, 관측과 행동 공간을 단순하게 정하고, 에피소드 단위로 엄격히 분할하고, ACT 베이스라인을 학습한 뒤, 검증 손실과 실제 롤아웃 영상을 함께 본다. 그리고 실패를 몇 가지 유형으로 나눠 다음 수집 계획을 세운다.
이 흐름을 지키면 적은 데이터로도 꽤 많은 것을 배울 수 있다. 원래 ALOHA 연구가 저비용 하드웨어로도 까다로운 양손 작업을 배울 수 있음을 보여 준 것은, 단지 좋은 모델을 썼기 때문만이 아니다. 과제 정의, 멀티뷰 관측, 인간 시연, 행동 청킹, 실제 롤아웃 평가가 하나의 실험 체계로 맞물렸기 때문이다.12
결국 로봇 실험 설계는 요리법과 비슷하다. 재료가 좋아도 불 조절을 못하면 맛이 안 난다. 반대로 재료가 아주 많지 않아도, 무엇을 언제 넣고 어떻게 간을 볼지 알면 결과가 살아난다. ALOHA 데이터도 마찬가지다. 중요한 것은 데이터를 가졌느냐가 아니라, 그 데이터를 어떤 질문으로 학습시키고 어떤 기준으로 검증하느냐다.
다음 장에서는 이렇게 설계한 실험이 현실과 부딪힐 때 생기는 전형적인 문제들을 다룬다. 로봇이 물체를 자주 놓치거나, 카메라 위치가 나쁘거나, 데이터는 많은데 성능이 오르지 않을 때 무엇부터 의심해야 하는지 하나씩 풀어 보자.
참고
1Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
2Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
3act-plus-plus: Imitation learning algorithms with Co-training for Mobile ALOHA
4Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.