로봇 VLA(Vision-Language-Action) 모델은 지금까지 “무엇을 보고, 어떤 지시를 받았을 때, 다음 행동은 무엇인가”를 잘 학습해 왔습니다. 하지만 한계도 분명합니다. 행동을 선택할 수는 있어도, 그 행동이 물리 세계를 어떻게 바꿀지 명시적으로 모델링하지 않는 경우가 많기 때문입니다.1
VLA-JEPA가 주목받는 이유는 여기에 있습니다. 핵심은 더 큰 모델을 만드는 것이 아니라, 로봇이 행동 이후의 상태 변화를 예측하도록 학습 목표를 바꾸는 데 있습니다.
VLA-JEPA는 무엇을 바꾸는가
월드 모델은 환경의 동역학, 즉 현재 상태가 앞으로 어떻게 변할지를 예측하는 모델입니다.1 VLA-JEPA는 이 아이디어를 VLA 학습에 결합합니다. 픽셀을 그대로 맞히는 대신 잠재 공간에서 미래 상태를 예측하도록 하며, 로봇 행동과 관련된 변화에 더 집중하도록 설계됩니다.2
이 차이는 중요합니다. 로봇에게 필요한 것은 화면 전체의 변화가 아닙니다. 조명, 배경, 카메라 흔들림보다 중요한 것은 “내가 이 행동을 하면 물체와 장면이 어떻게 달라지는가”입니다. VLA-JEPA는 바로 이 행동 관련 동역학을 학습 대상으로 삼습니다.
훈련 과정에서는 VLA가 V-JEPA2를 사용해 predictor를 조건화합니다. 이후 추론 단계에서는 월드 모델을 제거하고, Qwen 백본과 액션 헤드로 구성된 표준 VLA 아키텍처만 사용합니다. 즉, 월드 모델은 실행 시 부담을 늘리기 위한 장치라기보다, 학습 중 더 나은 행동 표현을 만들기 위한 장치에 가깝습니다.
LeRobot 공개가 의미하는 것
VLA-JEPA는 Hugging Face의 lerobot 컬렉션에 공개됐습니다. 해당 컬렉션에는 LIBERO, Pretrain, SimplerEnv용 체크포인트가 올라와 있으며, 각 항목은 3B 규모 모델로 표시됩니다.3 컬렉션은 문서 기준 9일 전, 개별 모델 항목은 8일 전 업데이트된 것으로 표시됩니다.3
이 공개의 가치는 “바로 쓸 수 있는 연구 자산”이라는 데 있습니다. 연구자는 LIBERO 같은 벤치마크에서 출발해 VLA-JEPA의 학습 방식과 성능을 확인할 수 있고, 이후 자신의 로봇 데이터셋에 맞춘 파인튜닝 가능성을 검토할 수 있습니다.
또한 공개된 데모는 13개 예제로 파인튜닝됐고, NVIDIA Robotics DGX Spark에서 실시간으로 실행된 것으로 소개됐습니다. 이는 대규모 데이터만이 아니라, 학습 목표와 구조가 실제 로봇 실행에서 어떤 차이를 만들 수 있는지 살펴볼 수 있는 사례입니다.
판단 기준은 파라미터 수가 아니라 학습 목표다
VLA-JEPA를 볼 때 핵심 질문은 “얼마나 큰 모델인가”가 아닙니다. 더 중요한 질문은 다음입니다.
모델이 단순히 다음 행동을 맞히는가?
행동이 만든 상태 변화를 예측하도록 학습되는가?
월드 모델이 추론 비용을 늘리는 방식인가, 아니면 학습 표현을 개선하는 방식인가?
공개 체크포인트와 벤치마크를 통해 재현 가능한 실험이 가능한가?
최근 World Action Models(WAMs) 논의도 같은 방향을 가리킵니다. WAM은 예측적 상태 모델링과 행동 생성을 통합하는 체화 기반 모델로 정의됩니다.1 VLA-JEPA는 이 흐름을 LeRobot 생태계 안에서 실험해볼 수 있는 구체적인 사례로 볼 수 있습니다.
실무적으로 얻을 수 있는 교훈
로봇 학습을 개선하려면 단순히 더 많은 데모를 모으는 것만으로는 부족합니다. 모델이 무엇을 예측하도록 훈련되는지를 봐야 합니다.
VLA-JEPA의 메시지는 명확합니다. 좋은 로봇 정책은 지시와 이미지를 행동으로 매핑하는 데서 끝나지 않습니다. 행동이 세계를 어떻게 바꾸는지 이해하도록 학습될 때, 더 나은 일반화와 더 안정적인 실행을 기대할 수 있습니다.
따라서 VLA-JEPA의 가장 큰 의미는 새로운 체크포인트 공개 자체보다, 로봇 VLA 학습의 초점을 “다음 행동”에서 “행동 후 세계의 변화”로 옮겼다는 점에 있습니다.
1World Action Models: The Next Frontier in Embodied AI
2VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.