OM-1이 제시한 로봇 학습의 새로운 데이터 전략
로봇 학습의 비용은 실제 장비를 움직이는 순간 크게 늘어난다. 데이터 수집에 로봇과 작업 환경이 필요하고, 시행착오에는 시간과 안전 비용이 따른다. Reward AI가 공개한 OM-1은 이 병목을 인간 시연 데이터로 우회하려는 범용 로봇 조작 정책이다.
OM-1(Omnibody Model 1)은 7자유도 웨어러블 장갑으로 수집한 인간 시연만으로 훈련됐다. 원격조작 데이터와 실제 로봇 구동 데이터는 사용하지 않았다.1 따라서 OM-1의 핵심은 특정 성능 수치보다 로봇을 직접 움직이지 않고도 초기 조작 정책을 학습할 수 있는가라는 질문에 있다.
데이터 수집 방식이 중요한 이유
원격조작은 사람이 로봇을 직접 제어해 시연을 수집하므로, 로봇과 수집 환경을 마련해야 한다. 반면 웨어러블 장갑을 이용하면 사람의 손동작을 먼저 기록하고 이를 로봇 행동으로 전이하는 접근이 가능하다.
이 방식이 효과적이라면 실제 로봇 사용 시간을 줄이면서 조작 시연을 확보할 수 있다. 그러나 사람의 손과 로봇 그리퍼는 구조, 자유도, 움직임 범위가 다르다. 인간의 동작을 기록하는 것과 로봇이 같은 작업을 안정적으로 수행하는 것은 별개의 문제다.
따라서 OM-1의 실질적 가치는 새로운 로봇과 환경에서도 인간 시연이 얼마나 정확하게 전이되는지에 따라 판단해야 한다.
시연 정책을 현장에서 개선하려면
인간 시연은 기본 행동을 학습하는 출발점이 될 수 있지만, 현장에서 발생하는 오류를 수정하고 성능을 높이려면 추가 피드백이 필요하다. 로봇 강화학습에서는 성공 여부만 알려주는 희소한 보상 신호가 실제 환경의 표본 효율을 낮추는 병목으로 지적된다.2
이를 보완하는 방법이 과정 보상 모델이다. 과정 보상은 작업이 끝난 뒤 성공과 실패만 판정하는 대신, 수행 중인 각 상태에 더 세밀하고 밀도 높은 피드백을 제공한다. 예를 들어 진행도 추정은 작업 완료에 가까워질수록 값이 증가하는 시간적 가치 함수로 활용될 수 있다.2
Robometer는 이러한 접근을 확장한 비디오-언어 보상 모델이다. 프레임별 진행도와 성공 여부를 예측하는 동시에, 같은 작업을 수행한 궤적 쌍의 선호도를 학습한다. 전문가 궤적을 준최적 궤적보다 높게 평가하도록 훈련하기 때문에, 전문가 시연뿐 아니라 별도의 보상 라벨이 없는 준최적 궤적도 활용할 수 있다.3
이런 보상 모델은 OM-1과 같은 시연 기반 정책을 실제 환경에서 조정하고 개선하는 후속 단계로 이해할 수 있다. 다만 해당 기술이 OM-1에 실제로 적용됐다는 의미는 아니다.
OM-1을 평가할 세 가지 기준
OM-1의 가능성을 판단할 때는 다음 세 가지를 확인해야 한다.
전이 성능
학습에 사용한 조건과 다른 로봇, 물체, 환경에서도 조작 성능이 유지되는가?실패 대응 능력
학습에서 보지 못한 상황이나 작업 중 오류를 감지하고 회복할 수 있는가?재현 가능성
외부 연구자와 개발자가 결과를 독립적으로 검증할 수 있는가?
현재 OM-1의 가중치, 코드, API는 공개되지 않았다.1 따라서 현시점에서 “로봇 데이터가 더 이상 필요 없다”고 결론 내리기는 어렵다. OM-1의 의미는 인간 시연만으로 초기 로봇 조작 정책을 어디까지 구축할 수 있는지 탐색하는 새로운 출발점을 제시했다는 데 있다.
한줄 요약: OM-1은 실제 로봇 데이터 수집 비용을 줄일 가능성을 제시하지만, 최종 가치는 전이 성능과 실패 대응 능력, 외부 재현 가능성으로 판단해야 한다.
2TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics
3Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.