최근 LATENT는 "완벽하지 않은 인간 동작 데이터"만으로도 휴머노이드가 테니스처럼 빠르고 복잡한 운동 기술을 배울 수 있음을 보여줬습니다1. 이게 중요한 이유는 현장 데이터는 늘 흔들리고(가림, 노이즈, 누락), 로봇은 늘 "그런 데이터로는 못 배운다"에 발목이 잡혀왔기 때문입니다.
불완전한 인간 모션데이터가 왜 문제(이자 기회)일까
테니스 동작은 팔·몸통·하체가 동시에 돌아가고, 라켓-공 접촉 순간이 승패를 가릅니다. 그런데 우리가 얻는 인간 모션 데이터는 생각보다 자주 망가집니다. 카메라 기반이면 가려짐이 생기고, 웨어러블(IMU) 기반이면 드리프트나 관절 각 추정 오차가 쌓이기 쉽죠. 실제 바이오메카닉스 연구에서도 "신뢰할 수 있는 3D 움직임"을 만들기 위해 캡처→모델 변환→분석의 반복 가능한 파이프라인이 중요하다고 강조합니다2.
하지만 관점을 바꾸면, 이 불완전함은 오히려 "현실의 기본값"입니다. LATENT가 노리는 지점도 여기에 있습니다. 데이터가 조금 부족해도 기술의 뼈대(스텝, 회전, 타이밍)를 학습하고, 부족한 부분은 물리/제어 학습으로 메우는 방식이 가능하다는 거죠.
LATENT가 던진 힌트: '정답 동작'보다 '성공하는 원리'를 배우기
스포츠형 휴머노이드 학습에서 흔한 함정은 "인간 자세를 똑같이 따라 하기"에 집착하는 겁니다. 그런데 로봇의 관절 범위, 무게중심, 구동기가 인간과 다르면 같은 자세가 오히려 실패의 지름길이 됩니다. 그래서 최근 흐름은 인간 데이터를 그대로 복사하기보다, 로봇이 실행 가능한 형태로 '물리적으로 납득되는 시연'으로 바꾸는 쪽으로 이동합니다.
예를 들어 ULTRA는 대규모 모션캡처를 휴머노이드에 옮길 때, 단순한 키네마틱 리타게팅 대신 접촉과 동역학까지 고려한 "물리 기반 리타게팅"으로 실행 가능한 궤적을 만든 뒤, 이를 하나의 통합 컨트롤러로 증류하고 RL로 튼튼하게 만듭니다3. 테니스도 마찬가지로, 스윙 폼 자체보다 "공을 맞히기 위한 발-골반-어깨-팔의 협응"이 핵심이라면, 그 원리를 로봇 몸에 맞게 재구성하는 편이 유리합니다.
테니스는 '접촉의 예술': 시뮬레이션/현실 간 틈을 줄이는 법
라켓과 공의 접촉은 짧고 예민해서 시뮬레이션이 현실을 100% 따라가기 어렵습니다. 이때 도움이 되는 전략이 "불완전한 환경에서 먼저 스킬을 만들고, 현실 신호로 보정하는" 단계형 접근입니다. 손 조작 분야에서는 단순화된 시뮬레이션에서 RL로 기본 손가락 사용 패턴을 만든 뒤, 텔레오퍼레이션으로 현실 시연(촉각·고유감각 포함)을 모으고, 마지막에 행동복제로 일반화를 얻는 프레임워크가 제안됐습니다4. 테니스도 유사하게, 시뮬레이션에서 풋워크·스윙 타이밍 같은 골격을 만들고, 현실 데이터(혹은 더 현실적인 센서 피드백)를 얹어 "맞는 감각"을 교정하는 그림이 자연스럽습니다.
결국 관건은 "완벽한 모션 데이터 한 방"이 아니라, 거친 데이터로도 무너지지 않는 스킬 프라이어(prior)와 보정 루프입니다.
시사점: LATENT를 내 프로젝트에 적용한다면
휴머노이드 테니스(혹은 유사한 스포츠 스킬)를 노린다면, 처음부터 고품질 모캡을 모으는 데 올인하기보다 데이터가 깨질 것을 전제로 설계를 바꾸는 게 효율적입니다. 먼저 센서 노이즈·누락이 있어도 유지되는 핵심 상태(무게중심, 발 접지, 몸통 회전 속도, 라켓 헤드 상대 위치)를 정하고, 그 신호를 중심으로 학습 목표를 단순화하세요.
그리고 "따라 하기" 단계와 "이기기(성공하기)" 단계를 분리하는 게 좋습니다. 전자는 동작의 문법을 만들고, 후자는 접촉·지각·상황변화를 견디는 체력(강건성)을 키웁니다. LATENT가 보여준 메시지는 명확합니다. 현실처럼 지저분한 인간 모션데이터에서도, 올바른 학습 구조를 짜면 휴머노이드는 충분히 '운동을 배울 수' 있습니다1.
참고
1Learning athletic humanoid tennis skills from imperfect human motion data
2Precise biomechanical analysis and research with motion capture
3ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation
4Learning Dexterous Manipulation Skills from Imperfect Simulations
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.