최근 Ai2(Allen Institute for AI)가 "시뮬레이션만으로 학습한 로봇 모델"을 공개하며, 그동안 로보틱스의 숙제였던 실물 데이터 수집 부담을 크게 줄일 수 있다고 밝혔습니다.1 핵심은 로봇이 가상세계에서 충분히 다양한 경험을 쌓으면, 현실에서 별도 재학습 없이도(제로샷) 일을 해낼 수 있느냐인데요. 이번 글에서는 이 접근이 왜 의미 있는지, 어떤 도구가 나왔는지, 그리고 현업 관점에서 무엇을 준비하면 좋은지까지 한 번에 정리해볼게요.
제로샷 심투리얼(Zero-shot sim-to-real)이 왜 큰일인가
로봇 학습은 "현실에서 부딪히며 배우는 비용"이 너무 비쌌습니다. 사람이 텔레오퍼레이션으로 조종해 데이터(궤적)를 모으거나, 같은 동작을 끝없이 반복 실험해야 했죠. 반면 시뮬레이션은 병렬로 수천 번 돌릴 수 있어 속도에서 게임이 안 됩니다.
Ai2가 던진 메시지는 간단합니다. 실물을 조금 섞어 도메인 갭을 메우는 대신, 가상 환경의 다양성을 폭발적으로 늘려 갭을 얇게 만들자는 것. 즉 "데이터 수집"이 아니라 "가상세계 설계"가 병목이 되는 구조로 바꾸겠다는 선언에 가깝습니다.2
MolmoSpaces: 로봇이 훈련할 '가상 지구본'이 생겼다
이번 공개의 바닥재는 MolmoSpaces입니다. 23만 개가 넘는 실내 장면, 13만 개 이상의 오브젝트 자산, 그리고 4,200만 개 수준의 로봇 그립(파지) 주석을 갖춘 오픈 생태계로 소개됐어요.2 중요한 포인트는 "특정 시뮬레이터 종속"이 아니라는 점입니다. MuJoCo, ManiSkill, Nvidia Isaac 계열 등으로 옮겨 쓸 수 있게 도구를 제공합니다.2
연구나 제품 개발에서 이건 꽤 현실적인 이점이 됩니다. 팀마다 시뮬레이터 스택이 다른데, 데이터와 자산이 묶여버리면 협업도 비교도 어렵거든요. MolmoSpaces는 "가상 환경 자체를 공용 인프라로 깔자"는 쪽에 가깝습니다.
MolmoBot: 합성 데이터만 먹고도 현실 로봇을 움직였다
MolmoBot은 MolmoSpaces에서 생성한 합성 데이터만으로 학습한 로봇 조작 모델 스위트입니다. Ai2는 10만+ 환경과 3만+ 오브젝트를 바탕으로 180만 개의 시뮬레이션 궤적을 만들었다고 밝히며,3 이 정책이 Franka FR3, Rainbow Robotics RB-Y1 같은 실제 로봇에서 추가 파인튜닝 없이 물건 집기, 서랍/문 열기 같은 작업을 수행했다고 보고했습니다.3
흥미로운 건 "포토리얼"에 목숨 걸기보다, 물체·조명·카메라·동역학을 마구 흔드는 방식(도메인 랜덤화)으로 일반화를 끌어올렸다는 대목입니다. 현실은 언제나 변덕스럽고, 로봇이 망가지는 이유도 대개 '사소한 차이'니까요. 이 방식이 통한다면, 앞으로 로봇 팀의 실력은 현장 데이터 수집 인력보다 "가상세계 QA와 다양성 설계"에서 갈릴 가능성이 큽니다.
시사점: 로봇 개발자의 체크리스트가 바뀐다
첫째, 로봇 AI에서 "데이터를 얼마나 모았나"의 경쟁이 "얼마나 다양한 상황을 설계했나"로 이동할 수 있습니다. 시뮬레이션 퍼즐을 잘 만드는 팀이 빠르게 학습-검증 루프를 돌릴 테니까요.
둘째, 오픈소스의 파급이 큽니다. 대규모 실물 데이터는 돈과 장비가 있는 곳만 만들지만, 잘 만든 시뮬레이션 자산과 생성 파이프라인은 커뮤니티가 함께 키울 수 있습니다.2
셋째, 실무자는 당장 이렇게 접근하는 게 좋습니다. 새 로봇 작업을 시작할 때 "데이터 수집 계획"만 짜지 말고, 실패 케이스를 먼저 목록화한 뒤 그 실패를 재현하는 시뮬레이션 변형(카메라 가림, 초기 관절 오차, 프롬프트 표현 차이 등)을 얼마나 촘촘히 넣을지 설계하세요.4 현실 테스트는 '학습'보다 '검증'에 더 집중하게 될 가능성이 큽니다.
참고
1Ai2 releases new robotics models trained entirely in simulation to skip real-world data collection
2Ai2 Rethinks Robotics Training With a Simulation-First Approach to Physical AI
3Ai2 claims breakthrough in training robots entirely in simulation
4MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.