World Labs robot simulation training system: 실제 작업을 가상 경험으로 확장하는 방법
로봇 정책을 개선하려면 다양한 조건에서 성공과 실패를 반복해서 경험해야 한다. 그러나 실제 장비로 데이터를 수집하면 매번 환경을 복구해야 하며, 장비 고장과 안전 문제도 감수해야 한다.
World Labs robot simulation training system은 이 병목을 시뮬레이션으로 줄이는 접근이다. 하나의 실제 로봇 작업을 디지털 환경으로 옮긴 뒤 조명, 물체의 위치와 수량, 마찰, 카메라 시점 등을 바꿔 수천 개의 변형을 생성한다. 제어 모델은 이 환경에서 훈련된 후 실제 로봇으로 전이된다.1
핵심은 Real-to-Sim과 Sim-to-Real의 연결
시스템의 중심에는 R2S2R이 있다. 실제 로봇·환경·상호작용을 시뮬레이션으로 변환하는 Real-to-Sim과, 그 안에서 학습한 정책을 실제 로봇에 적용하는 Sim-to-Real을 연결한 학습·평가 엔진이다.1
여기서 중요한 것은 현실과 비슷한 영상을 만드는 데 그치지 않는다는 점이다. 로봇이 물체를 잡거나 밀었을 때 나타나는 움직임과 결과를 작업에 맞게 재현해야 한다. 그래야 시뮬레이션에서 측정한 성공과 실패가 실제 성능을 가늠하는 근거가 될 수 있다.
이 기반 기술을 개발해 온 SceniX는 2026년 7월 21일 World Labs에 합류했다. SceniX는 실제 로봇과 환경, 상호작용을 정책 학습과 평가에 활용할 수 있는 시뮬레이션으로 변환하는 기술을 구축해 왔다.1
달라지는 것은 데이터의 양보다 경험 생성 방식이다
기존 방식에서는 새로운 조건을 시험할 때마다 실제 환경을 다시 구성하고 데이터를 수집해야 한다. 반면 시뮬레이션에서는 하나의 작업을 바탕으로 실패 가능성이 높은 조건을 체계적으로 만들고, 개선된 정책을 같은 조건에서 반복 평가할 수 있다.
이 접근의 장점은 단순히 데이터가 많아지는 데 있지 않다. 어떤 변화가 정책의 실패를 유발하는지 분리해 확인하고, 필요한 경험을 선택적으로 생성할 수 있다는 점이 더 중요하다.
World Labs는 초기 결과에서 실제 학습 데이터 없이 시뮬레이션으로만 훈련한 정책이 여러 실제 로봇 작업으로 전이됐다고 밝혔다. 일부 작업은 사람의 개입 없이 한 시간 동안 실행됐다.1 다만 회사가 공개한 결과인 만큼, 다양한 환경에서의 재현성과 외부 검증은 추가로 확인해야 한다.
실험 결과는 어떻게 읽어야 하나
ALOHA의 양팔 큐브 전달 실험에서는 각 체크포인트를 시뮬레이션 2,000회와 실제 환경 100회로 평가했다. 평가에는 GR00T N1.6과 π₀.₅를 포함한 여러 모델 유형과 훈련 단계가 사용됐다.
이 실험에서 주목할 부분은 단순 성공률보다 시뮬레이션 평가와 실제 평가의 관계다. 가상 환경에서 성능이 향상된 정책이 현실에서도 일관되게 나아진다면, 시뮬레이션을 정책 선택과 개선에 활용할 근거가 강해진다. 반대로 두 결과가 자주 어긋난다면 변형의 수가 많더라도 실제 적용 가치는 제한적이다.
실용성을 판단하는 세 가지 기준
World Labs robot simulation training system의 가치는 화면의 사실감보다 다음 질문으로 판단해야 한다.
예측력: 시뮬레이션 성능이 실제 로봇의 성능과 실패를 얼마나 정확히 예측하는가?
일반화: 학습하지 않은 물체 배치, 조명, 마찰, 카메라 시점에서도 정책이 견디는가?
재사용성: 재구성한 작업과 평가 체계를 다른 정책이나 로봇에도 효율적으로 활용할 수 있는가?
결국 성공의 기준은 생성한 변형의 개수가 아니다. 가상 환경에서 학습하고 평가한 결과가 현실의 시행착오와 실패를 얼마나 줄이는지가 핵심이다.
요약: World Labs robot simulation training system은 하나의 실제 로봇 작업을 반복 가능한 가상 경험으로 확장하고, 그 안에서 훈련한 정책을 현실로 전이한다. 실질적인 가치는 시뮬레이션의 사실감이 아니라 실제 성능에 대한 예측력, 새로운 조건에서의 일반화, 그리고 학습·평가 환경의 재사용성으로 판단해야 한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.