로봇 모방학습의 어려움은 좋은 시연을 많이 모으는 데서 끝나지 않는다. 실제 배포에서는 작은 오차가 반복되고, 로봇은 곧 학습 데이터에서 보지 못한 상태로 밀려난다. 일반적인 행동 복제(Behavior Cloning)는 이 순간부터 급격히 불안정해질 수 있다.
DARP(Difference-Aware Retrieval Policies)는 이 문제를 다른 방식으로 다룬다. 현재 상태만 보고 바로 행동을 예측하는 대신, 전문가 시연 데이터에서 현재 상태와 가까운 k개 이웃을 검색한다. 그리고 그 이웃 상태와 현재 질의 상태의 상대적 차이 벡터를 조건으로 행동을 예측한다.1
핵심은 단순하다. 로봇이 낯선 상태에 들어갔을 때도 “완전히 새로운 문제”로 처리하지 않고, 가장 가까운 과거의 성공 사례들과 얼마나 다른지를 기준으로 행동을 보정한다.
DARP는 정책 학습을 검색 문제로 재구성한다
전통적인 행동 복제는 상태를 입력하면 행동을 출력하는 하나의 전역 함수를 학습한다. 이 방식은 깔끔하지만, 배포 중 상태가 시연 분포에서 조금만 벗어나도 잘못된 행동을 반복하며 오차를 키울 수 있다.
DARP는 이 지점을 검색 기반으로 재매개변수화한다. 질의 상태가 들어오면 먼저 전문가 데이터셋에서 가까운 상태들을 찾고, 각 이웃의 상태·행동·질의 상태와의 차이를 함께 사용한다.1 즉 정책은 “이 상태에서는 무엇을 해야 하는가”만 배우는 것이 아니라, “가까운 전문가 사례와 비교했을 때 어떻게 조정해야 하는가”를 함께 배운다.
이 차이는 작아 보이지만 실제 의미는 크다. 모방학습에서 중요한 것은 모든 가능한 상태를 외우는 것이 아니라, 이미 관찰한 성공적인 행동을 현재 상황에 맞게 재사용하는 능력이다. DARP는 이 재사용 과정을 정책 구조 안에 직접 넣는다.
왜 ‘더 큰 모델’보다 ‘검색’이 중요할 수 있는가
최근 로봇 정책은 확산 정책처럼 표현력이 높은 모델로 빠르게 이동하고 있다. 이런 모델은 복잡한 행동 분포를 다룰 수 있지만, 긴 오프라인 학습 시간이 데이터 수집과 정책 배포의 반복 속도를 늦출 수 있다.4
DARP의 실용성은 여기서 나온다. DARP는 시뮬레이터, 상호작용형 전문가, 온라인 학습을 요구하지 않고 표준 행동 복제 설정 안에서 작동한다.2 새로운 학습 루프를 크게 추가하기보다, 이미 확보한 전문가 시연 데이터를 추론 시점에 다시 활용하는 방식이다.
이 관점은 Closed-Form Diffusion Policies(CFDP)와도 맞닿아 있다. CFDP는 시연 데이터셋에서 유도한 폐형식 점수를 사용해 학습 없이 모방학습을 수행하는 확산 기반 정책이며, 하드웨어 실험에서 모바일 CPU로 밀리초 단위의 실시간 추론을 수행했다.4 또한 수 시간의 학습이 필요한 신경망 기반 기준선과 경쟁 가능한 성능을 보였고, 사전학습된 확산 정책의 추론 시점 편집을 위한 조합 가능한 프리미티브로도 사용될 수 있다.4
공통된 메시지는 분명하다. 모방학습의 개선 방향은 항상 더 오래 학습하는 모델만은 아니다. 때로는 데이터를 어떻게 검색하고, 비교하고, 추론 시점에 재활용하느냐가 더 중요한 병목이 된다.
확산 정책과 시각 입력에도 붙일 수 있는 구조
DARP는 특정한 단순 정책에만 묶인 방법이 아니다. 프로젝트 페이지는 DARP가 확산 정책과 결합될 수 있으며, Diffusion+DARP가 Stack, Threading, Peg Insertion 과제에서 확산 정책 단독보다 높은 성공률을 보였다고 제시한다.3
이는 DARP를 “행동 복제를 대체하는 완전히 별개의 알고리즘”이라기보다, 기존 정책 위에 검색 기반 정보를 더하는 방법으로 이해하는 편이 정확하다. 강한 생성형 정책이 있더라도, 가까운 전문가 사례와의 차이를 명시적으로 제공하면 더 나은 행동 선택에 도움이 될 수 있다는 뜻이다.
고차원 시각 특징에서도 개선이 보고됐다는 점도 중요하다.2 실제 로봇 환경에서는 상태가 저차원 좌표로만 주어지지 않는다. 카메라 입력, 물체 배치, 로봇 자세처럼 복잡한 표현을 다뤄야 한다. DARP의 핵심 질문은 결국 “무엇을 기준으로 가까움을 정의할 것인가”로 이어진다.
적용 전에 확인해야 할 세 가지
DARP를 실제 시스템에 적용할 때는 다음 세 가지를 먼저 봐야 한다.
가까운 전문가 이웃을 빠르게 찾을 수 있는가
DARP는 검색이 정책의 일부다. 데이터셋이 커질수록 검색 비용과 지연 시간이 중요해진다.상태 간 차이 벡터가 의미 있는가
단순한 거리 계산이 항상 좋은 이웃을 보장하지는 않는다. 로봇 자세, 물체 위치, 시각 특징 등에서 “가까움”이 실제 행동 유사성과 연결돼야 한다.여러 이웃의 행동 정보를 어떻게 통합할 것인가
k개 이웃은 서로 다른 행동 후보를 제공할 수 있다. DARP의 가치는 이 후보들을 현재 상태와의 차이를 기준으로 조정하는 데 있다.
이 기준은 특히 실제 로봇 데이터 파이프라인에서 중요하다. Isaac Lab의 GR-1 휴머노이드 픽앤플레이스 예제만 보더라도 인간 시연 수집, 시연 주석, 데이터셋 생성, 정책 학습, 결과 시각화 단계를 거친다.5 또한 해당 환경의 데이터 수집에는 Apple Vision Pro 헤드셋이 필요하며, GR-1 장면은 Apple Vision Pro의 손목 포즈를 Pink-IK 미분 역기구학 제어기의 목표값으로 사용한다.5
이처럼 데이터 수집과 정제가 무거운 환경에서는, 이미 모은 시연을 학습 때 한 번 쓰고 버리는 것은 비효율적이다. DARP는 그 데이터를 추론 시점에 다시 불러와 현재 상태를 해석하는 기준으로 사용한다.
결론: 모방학습의 답은 ‘기억을 잘 검색하는 정책’일 수 있다
DARP의 핵심 메시지는 명확하다. 로봇이 배워야 할 것은 모든 상황에 대한 거대한 하나의 전역 답이 아니라, 지금 상황과 가장 가까운 경험을 찾고 그 차이를 반영해 행동을 조정하는 방법일 수 있다.
표준 행동 복제 안에서 작동하고, 추가 시뮬레이터나 온라인 전문가를 요구하지 않으며, 확산 정책과 시각 입력에도 연결될 수 있다는 점에서 DARP는 실용적인 확장 방향을 제시한다.23 모방학습 시스템을 설계할 때 이제 중요한 질문은 “어떤 모델을 더 크게 만들 것인가”만이 아니다.
“이미 가진 시연 데이터를 배포 시점에 얼마나 잘 검색하고 활용할 것인가”가 그만큼 중요한 판단 기준이 된다.
1Difference-Aware Retrieval Policies for Imitation Learning | OpenReview
2Difference-Aware Retrieval Policies for Imitation Learning | ICLR 2026
3DARP: Difference-Aware Retrieval Policies for Imitation Learning
4Training-Free Imitation Learning with Closed-Form Diffusion Policies
5Isaac Lab Documentation: Data Generation and Imitation Learning for Humanoids
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.