로봇을 실제 환경에서 학습시키는 일은 모델 성능만으로 해결되지 않습니다. 로봇이 한 번 실패하면 물체를 다시 배치하고, 결과를 판정하고, 로그를 확인하고, 제어 코드를 수정한 뒤 다시 실행해야 합니다. 이 과정에 사람이 계속 개입하면 실험 속도와 규모가 곧 한계가 됩니다.
Nvidia, 카네기멜런대, UC 버클리 연구진의 ENPIRE는 이 병목을 겨냥한 프레임워크입니다. 핵심은 실로봇 실험을 사람이 수동으로 반복하는 작업이 아니라, AI 코딩 에이전트가 다룰 수 있는 반복 가능한 최적화 절차로 바꾸는 데 있습니다.1
즉 ENPIRE의 초점은 “로봇이 스스로 똑똑해졌다”가 아니라 “로봇 실험의 피드백 루프를 자동화했다”에 가깝습니다.
ENPIRE는 무엇을 자동화하나
ENPIRE는 실세계 로봇 실험을 네 가지 모듈로 나눠 다룹니다.2
Environment: 리셋, 안전성, 검증, 로그 기록 인터페이스를 제공합니다.
Policy Improvement: 보상, 영상, 실행 트레이스, 실패 사례를 바탕으로 제어 코드를 생성하거나 수정합니다.
Rollout: 정해진 예산 안에서 실제 로봇 시도를 실행하고 상태, 행동, 영상, 결과를 저장합니다.
Evolution: 여러 실험 분기를 비교해 성공한 방법은 재사용하고, 실기에서 실패한 가설은 가지치기합니다.
이 구조에서 중요한 전제는 두 가지입니다. 첫째, 각 실험 뒤 환경을 초기 상태로 되돌리는 자동 리셋이 가능해야 합니다. 둘째, 사람이 매번 판단하지 않아도 결과를 점수화하는 자동 평가가 있어야 합니다.2
예를 들어 지퍼타이 작업에서는 검출기와 세그멘테이션 모델로 헤드와 스트랩을 인식하고, 여러 카메라의 판정을 통합해 성공 여부를 이진 보상으로 산출하는 방식이 제시됐습니다.2 이런 평가 장치가 있어야 에이전트가 실패를 해석하고 다음 코드를 수정할 수 있습니다.
왜 중요한가: 학습의 단위가 ‘모델’에서 ‘실험 루프’로 바뀐다
ENPIRE의 의미는 단순히 로봇을 많이 돌렸다는 데 있지 않습니다. 코딩 에이전트가 실제 로봇에서 나온 결과를 바탕으로 제어 코드를 고치고, 다시 실행하고, 성공한 분기를 재사용하는 폐루프를 만든 점이 핵심입니다.
연구진은 8개의 듀얼암 YAM 로봇 스테이션으로 구성된 로봇 플릿에서 ENPIRE를 실행했습니다.1 또한 Codex with GPT-5.5, Claude Code with Opus 4.7, Kimi Code with Kimi K2.6 등 세 가지 코딩 에이전트를 테스트했습니다.1
보고된 결과도 주목할 만합니다. ENPIRE 에이전트들은 Push-T 테스트, 핀 분류, 케이블 타이 절단 작업에서 최대 99% 성공률을 기록했습니다.1 에이전트들은 Git을 통해 실험 결과를 공유하며, 여러 시도와 분기를 비교할 수 있는 형태로 실험을 축적했습니다.1
여기서 독자가 봐야 할 지점은 “어떤 에이전트가 가장 강한가”보다 “실험이 코드처럼 관리되고 개선될 수 있는가”입니다. ENPIRE는 로봇 학습을 한 번의 훈련 작업이 아니라, 실행 가능한 실험 루프의 누적으로 다룹니다.
적용 관점: 먼저 자동 리셋과 자동 평가를 점검해야 한다
ENPIRE가 주는 실무적 교훈은 명확합니다. 로봇 자동화를 고도화하려면 더 큰 모델을 붙이기 전에, 에이전트가 반복할 수 있는 실험 환경을 먼저 설계해야 합니다.
특히 다음 질문이 중요합니다.
이 작업은 실패 후 자동으로 초기 상태로 돌아갈 수 있는가?
성공과 실패를 사람이 보지 않고 판정할 수 있는가?
실행 중 상태, 행동, 영상, 결과가 충분히 기록되는가?
실패 사례가 다음 제어 코드 수정에 활용될 수 있는 형태로 남는가?
여러 실험 분기를 비교하고, 성공한 방법을 재사용할 수 있는가?
이 조건이 갖춰지지 않으면 AI 에이전트가 있어도 실험은 여전히 사람 손에 묶입니다. 반대로 리셋, 평가, 로그, 분기 관리가 자동화되면 로봇은 훨씬 빠르게 시행착오를 반복할 수 있습니다.
결론: 사람의 역할은 실험 실행에서 루프 설계로 이동한다
ENPIRE는 로봇 연구와 개발에서 병목이 어디에 있는지 잘 보여줍니다. 실제 환경의 로봇은 실패를 피할 수 없습니다. 중요한 것은 실패를 얼마나 안전하게 만들고, 얼마나 정확히 측정하며, 얼마나 빠르게 다음 시도로 연결하느냐입니다.
따라서 ENPIRE의 결론은 “로봇이 사람 없이 모든 것을 배운다”가 아닙니다. 사람은 매번 실험을 돌리는 역할에서 벗어나, 에이전트가 반복할 수 있는 환경과 평가 기준을 설계하는 역할로 이동합니다.
물리 AI에서 경쟁력은 모델 크기만이 아니라 피드백 루프의 품질에서 나올 가능성이 큽니다. ENPIRE는 그 방향을 보여주는 사례입니다.
참고
1ENPIRE: Agentic Robot Policy Self-Improvement in the Real World
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.