로봇 학습에서 어려운 점은 단순히 모델 크기가 아니다. 새 로봇, 새 환경, 새 작업이 등장할 때마다 충분한 데이터를 모으기 어렵고, 영상에서 그럴듯해 보이는 행동이 실제 물리 환경에서는 실패하기 쉽다.
TraceGen과 SIMPACT가 흥미로운 이유는 이 병목을 서로 다른 층위에서 다루기 때문이다. TraceGen은 로봇이 배워야 할 움직임을 더 좋은 표현으로 바꾸려 하고, SIMPACT는 실행 전 시뮬레이션을 통해 행동이 물리적으로 가능한지 검증하려 한다.
TraceGen: 픽셀이 아니라 3D 움직임의 구조를 배운다
TraceGen은 영상을 픽셀 단위로 예측하는 방식에서 벗어나, 장면 속 움직임을 compact한 3D trace-space로 표현하는 motion world model이다.1 핵심은 “영상처럼 보이는 결과”를 만드는 것이 아니라, 작업 수행에 필요한 움직임의 구조를 학습하는 데 있다.
이 접근은 특히 cross-embodiment 학습에서 의미가 있다. 사람의 시연 영상과 서로 다른 로봇의 영상을 그대로 비교하면 형태와 시점, 관절 구조가 달라 학습이 어렵다. TraceGen은 이를 3D trace라는 공통 표현으로 바꿔, 다양한 영상 데이터를 더 일관되게 활용하려 한다.
이를 위해 TraceForge는 인간·로봇 영상을 3D trace로 변환하는 파이프라인을 제공하며, 12.3만 개 영상과 180만 개 observation-trace-language triplet을 구성했다.1
보고된 결과도 이 방향성을 뒷받침한다. TraceGen은 5개의 타깃 로봇 영상만으로 4개 작업에서 80% 성공률을 보였고, 비디오 기반 월드 모델보다 추론 속도가 50~600배 빠르다고 제시됐다.1 또한 보정되지 않은 휴대폰 인간 시연 5개만으로도 실제 로봇에서 67.5% 성공률을 기록했다.1
즉 TraceGen의 메시지는 분명하다. 로봇 학습에서 중요한 것은 더 많은 픽셀을 예측하는 것이 아니라, 로봇이 실행할 수 있는 움직임의 본질을 얼마나 잘 압축해 표현하느냐이다.
SIMPACT: VLM이 행동을 제안하고, 시뮬레이션이 검증한다
SIMPACT는 다른 문제를 겨냥한다. Vision-Language Model(VLM)은 장면의 의미와 언어 지시를 이해하는 데 강하지만, 어떤 행동이 실제 물리 세계에서 성공할지 판단하는 데는 한계가 있다.
SIMPACT는 이 약점을 simulation-in-the-loop 방식으로 보완한다. 추가 학습 없이 단일 RGB-D 관찰에서 물리 시뮬레이션을 만들고, VLM이 행동을 제안한 뒤, simulated rollout 결과를 바탕으로 행동을 반복적으로 개선한다.2
중요한 점은 VLM을 단순한 언어·시각 추론기로 두지 않는다는 것이다. SIMPACT는 VLM이 “생각한 행동”을 곧바로 실행하지 않고, 먼저 가상 환경에서 시험해 본 뒤 수정하도록 만든다. 이 과정에서 강체뿐 아니라 변형 가능한 물체를 다루기 위해 mesh 기반 또는 particle 기반 시뮬레이션도 구성한다.2
따라서 SIMPACT의 가치는 “무엇을 해야 하는가”와 “그 행동이 물리적으로 가능한가”를 연결하는 데 있다. 로봇 계획에서 언어적 판단과 물리적 검증을 분리하지 않고, 실행 전 루프 안에 함께 넣는 방식이다.
왜 지금 ‘표현’과 ‘시뮬레이션’이 중요한가
TraceGen과 SIMPACT는 서로 다른 연구처럼 보이지만, 같은 방향을 가리킨다. 로봇 AI의 성능은 더 큰 모델만으로 결정되지 않는다. 어떤 중간 표현을 쓰는지, 그리고 실행 전에 물리적으로 검증할 수 있는지가 점점 더 중요해지고 있다.
이 흐름은 Isaac Lab 같은 로봇 학습 프레임워크와도 맞닿아 있다. Isaac Lab은 로봇 학습 워크플로를 단순화하기 위한 통합·모듈형 프레임워크로, 강화학습, 시연 학습, 모션 플래닝을 지원한다.3 또한 NVIDIA Isaac Sim 위에 구축되어 사실적인 장면과 빠른 시뮬레이션 기능을 활용한다.3
Isaac Lab은 PhysX 기반의 빠르고 정확한 물리 시뮬레이션, tiled rendering API, 도메인 랜덤화, 클라우드 실행을 지원하며, 고전 제어, 로봇팔 조작, 덱스터러스 조작, 다족 보행, 내비게이션 태스크 등 다양한 환경을 제공한다.3 이런 인프라는 TraceGen이나 SIMPACT처럼 데이터 효율성, 물리 검증, 실제 로봇 전이를 중시하는 연구 흐름과 잘 맞는다.
독자가 봐야 할 판단 기준
TraceGen과 SIMPACT를 볼 때 핵심 질문은 단순한 성공률이 아니다. 다음 기준이 더 중요하다.
적은 데이터로 새 로봇과 새 작업에 적응할 수 있는가
사람 영상과 로봇 영상을 공통 표현으로 연결할 수 있는가
VLM의 계획이 실제 물리 조건에서 검증되는가
시뮬레이션 결과가 실제 로봇 실행으로 이어지는가
빠른 추론과 현실적인 물리 모델링을 함께 달성하는가
TraceGen은 “로봇이 무엇을 배워야 하는가”에 대한 답에 가깝다. 픽셀보다 움직임의 구조를 중심에 둔다. SIMPACT는 “행동을 실행하기 전에 어떻게 검증할 것인가”에 대한 답에 가깝다. VLM의 추론을 시뮬레이션 루프 안으로 끌어들인다.
결국 두 연구가 보여주는 결론은 같다. 로봇 학습의 다음 경쟁력은 더 큰 모델 자체보다, 움직임과 물리를 다루는 더 좋은 표현과 검증 루프에서 나올 가능성이 크다.
1TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
2SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.