휴머노이드 로봇에서 어려운 지점은 “무엇을 할지”를 정하는 것만이 아닙니다. 더 큰 병목은 그 지시를 균형, 보행, 팔 동작, 몸통 자세가 함께 맞물린 전신 움직임으로 바꾸는 일입니다.
HANDOFF는 이 간극을 줄이기 위한 오픈소스 프로젝트입니다. 핵심 아이디어는 작업 계획과 전신 제어 사이에 간결하고 명시적인 명령 공간 인터페이스를 두는 것입니다.1 즉, 상위 플래너가 모든 관절과 자세를 세세하게 지정하지 않아도, 하위 제어기가 실행 가능한 전신 동작으로 이어받을 수 있게 만드는 접근입니다.
프로젝트 페이지는 https://lzyang2000.github.io/HANDOFF/에서 공개되어 있습니다.
HANDOFF가 겨냥하는 문제
기존 휴머노이드 전신 제어는 종종 조밀한 운동학적 참조나 공간 참조를 요구합니다. 쉽게 말해 “컵을 집어”라는 수준의 지시가 아니라, 몸과 팔이 어떤 좌표와 자세를 따라가야 하는지 계속 지정해야 하는 방식에 가깝습니다.
이 방식은 정밀할 수 있지만, 상위 작업 계획기와 연결하기에는 부담이 큽니다. VLM이나 에이전트 플래너가 장면을 이해하고 작업 순서를 만들더라도, 그 출력을 곧바로 전신 제어 입력으로 바꾸기는 어렵기 때문입니다.
HANDOFF는 이 중간층을 단순화합니다. 조밀한 참조 대신 짧고 명시적인 명령 인터페이스를 사용해, 플래너는 작업 의미에 집중하고 제어기는 균형·이동·조작을 담당하도록 역할을 나눕니다.1
하나의 전신 제어기로 여러 기술을 다루기
HANDOFF는 하나의 휴머노이드 전신 제어기로 구성됩니다.1 목표는 특정 동작 하나에 최적화된 제어기를 만드는 것이 아니라, 다양한 조작 기술에 적용할 수 있는 공통 제어 인터페이스를 만드는 데 있습니다.
이를 위해 HANDOFF는 직관성, 범용성, 모듈성, 표현력을 설계 목표로 둡니다.1 이 네 가지는 실제 로봇 개발에서 중요합니다.
직관성: 상위 플래너가 다루기 쉬운 명령이어야 합니다.
범용성: 한두 가지 데모 동작에만 맞춰져서는 안 됩니다.
모듈성: 계획기와 제어기를 분리해 개선할 수 있어야 합니다.
표현력: 단순하지만 실제 조작에 필요한 행동을 충분히 담아야 합니다.
이 관점에서 HANDOFF의 가치는 “새로운 로봇 동작 하나”보다 “플래너와 제어기를 어떻게 연결할 것인가”에 있습니다.
다중 교사의 지식을 하나의 학생 모델로 증류
HANDOFF의 학습 방식도 핵심입니다. 논문은 여러 교사의 지식을 다중 교사 KL 증류 방식으로 학생 모델에 합친다고 설명합니다.1
증류는 전문가 모델이나 교사 정책의 행동을 학생 모델이 따라 배우게 하는 방법입니다. HANDOFF에서는 서로 보완적인 교사들의 지식을 하나의 전신 제어기로 모으는 데 이 방식을 사용합니다.
학생 모델은 context-conditioned gating을 사용하는 mixture-of-experts 구조로 증류됩니다.1 이는 상황에 따라 어떤 전문가 경로를 더 활용할지 선택하는 구조입니다. 한 정책이 모든 상황을 억지로 처리하는 대신, 맥락에 맞게 내부 전문가를 조합할 수 있게 하는 셈입니다.
Unitree G1에서 보는 의미
HANDOFF는 Unitree G1 휴머노이드 제어와 관련된 프로젝트입니다. 이 점은 실험의 의미를 더 분명하게 만듭니다. G1 같은 실제 휴머노이드 플랫폼에서 작업 계획과 전신 제어 사이의 인터페이스를 검증하려는 시도이기 때문입니다.
중요한 질문은 “로봇이 특정 동작을 한 번 잘했는가”가 아니라, 다음에 가깝습니다.
상위 플래너가 이해하기 쉬운 명령으로 충분한 조작 행동을 표현할 수 있는가?
하나의 전신 제어기가 다양한 상황을 안정적으로 처리할 수 있는가?
작업 계획과 몸의 움직임 사이를 재사용 가능한 방식으로 연결할 수 있는가?
HANDOFF는 이 질문에 대해 명령 공간 인터페이스와 증류 기반 전신 제어기라는 답을 제안합니다.
개발자가 얻을 수 있는 시사점
HANDOFF의 실용적 메시지는 명확합니다. 휴머노이드 로봇에서 지능형 계획과 전신 제어를 붙일 때, 둘을 직접 연결하려 하기보다 인계 지점을 설계해야 한다는 것입니다.
VLM이나 에이전트 플래너가 발전할수록 “무엇을 할지”를 정하는 능력은 좋아질 수 있습니다. 하지만 로봇이 실제로 움직이려면 그 계획이 제어 가능한 명령으로 번역되어야 합니다. HANDOFF는 이 번역 계층을 명시적인 연구 대상으로 다룹니다.
앞으로 살펴볼 기준도 여기에 있습니다. 명령 인터페이스가 얼마나 다양한 작업을 감당하는지, 실패 상황에서 회복이 얼마나 안정적인지, 그리고 상위 계획기의 오류를 하위 제어기가 어디까지 흡수할 수 있는지가 중요합니다.
결국 HANDOFF의 의미는 화려한 단일 데모보다 일반성에 있습니다. 매번 새 작업마다 전용 제어기를 만드는 대신, 공통 명령 인터페이스를 통해 여러 행동을 실행할 수 있다면 휴머노이드 로봇의 개발과 배포 비용을 낮출 수 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.