로봇 조작에서 어려운 점은 단순히 팔을 움직이는 것이 아닙니다. 핵심은 그 움직임이 물체와 환경을 어떻게 바꿀지 미리 예측하고, 실행 전에 더 나은 선택지를 고르는 데 있습니다.
τ0-WM은 이 문제를 겨냥한 오픈소스 통합 비디오-행동 월드 모델입니다. 2026년 5월 31일 arXiv에 공개됐으며, 50억 개 파라미터 규모 모델로 소개됐습니다.12 관찰, 언어, 로봇 상태를 바탕으로 행동을 생성하고, 미래 장면을 예측하며, 작업 진행 정도까지 평가하는 것이 핵심입니다.
τ0-WM은 무엇을 하나로 묶었나
τ0-WM의 중요한 특징은 정책 학습, 비디오 예측, 행동 평가를 하나의 미래 예측 프레임워크 안에 통합했다는 점입니다.1 여기서 월드 모델은 “이 행동을 하면 다음 장면이 어떻게 바뀔까?”를 학습하는 모델로 이해할 수 있습니다.
이 구조는 공유 비디오 확산 백본을 기반으로 하며, 크게 두 가지 인터페이스를 제공합니다.1
첫째, 비디오 행동 모델은 다중 시점 관찰, 언어 지시, 로봇 상태를 입력으로 받아 미래 시각 잠재표현과 연속 행동 청크를 함께 예측합니다.1 즉, 무엇을 해야 하는지만 내놓는 것이 아니라 그 행동이 향하는 시각적 미래도 함께 다룹니다.
둘째, 행동 조건부 비디오 시뮬레이터는 후보 행동 청크를 입력받아 다중 시점 미래 영상으로 롤아웃하고, 밀집형 작업 진행 점수를 예측합니다.1 이는 여러 행동 후보를 실행 전에 비교할 수 있는 기반이 됩니다.
초점은 ‘즉시 행동’에서 ‘행동 전 검토’로 이동한다
τ0-WM을 이해할 때 중요한 변화는 더 큰 모델이라는 점보다, 행동을 실행하기 전에 그 결과를 예측하고 평가하는 흐름을 모델 안에 넣었다는 점입니다.
로봇 조작에서는 작은 오차가 뒤 단계 전체를 망칠 수 있습니다. 컵을 어긋나게 잡거나, 물체를 가리거나, 순서를 잘못 선택하면 이후 행동이 연쇄적으로 실패할 수 있습니다. 따라서 긴 조작 작업에서는 “현재 관찰에서 어떤 행동을 낼 것인가”만큼이나 “그 행동이 다음 상태를 얼마나 잘 만들 것인가”가 중요합니다.
τ0-WM은 후보 행동을 미래 장면으로 펼쳐 보고, 작업 진행 점수까지 함께 예측하도록 설계됐습니다.1 이 점에서 τ0-WM은 로봇 정책을 단순 반응형 시스템이 아니라 예측과 평가를 포함한 시스템으로 바라보게 만듭니다.
이질적 데이터를 함께 학습하는 방식
τ0-WM은 약 2만7300시간의 이질적 데이터로 학습됐습니다. 데이터에는 실제 로봇 원격조작 데이터, UMI 방식 상호작용 데이터, 1인칭 인간 영상, 롤아웃 또는 실패 궤적이 포함됩니다.1
이런 데이터는 형식이 서로 다릅니다. 예를 들어 인간 영상에는 로봇의 관절 상태나 행동 라벨이 없을 수 있고, 실패 궤적은 성공 사례와 다른 학습 신호를 제공합니다. τ0-WM은 모달리티별 감독 마스크를 사용해 각 데이터가 제공할 수 있는 정보만 학습에 반영하도록 설계했습니다.1
이 접근은 로봇 학습에서 중요한 실용적 의미를 갖습니다. 모든 데이터를 완벽하게 같은 형식으로 맞추기보다, 각 데이터가 가진 신호를 선택적으로 활용해 더 넓은 경험을 모델에 반영하려는 방향이기 때문입니다.
τ0-WM을 볼 때의 판단 기준
τ0-WM은 로봇 AI의 평가 기준이 바뀌고 있음을 보여줍니다. 앞으로는 “정확한 행동을 생성하는가”뿐 아니라 다음 질문이 함께 중요해집니다.
행동의 결과를 시각적으로 예측할 수 있는가
여러 후보 행동을 비교할 수 있는가
작업이 얼마나 진행됐는지 평가할 수 있는가
서로 다른 형태의 데이터를 효과적으로 학습할 수 있는가
이 관점에서 τ0-WM의 의미는 하나의 모델이 행동 생성, 미래 예측, 작업 평가를 연결했다는 데 있습니다. 로봇 조작 모델을 볼 때도 단일 성공률만이 아니라, 실행 전 검토와 실패 가능성 판단 능력을 함께 봐야 합니다.
코드는 GitHub에 공개됐고, 사전학습 가중치는 Hugging Face에서 제공됩니다. 다만 저장소 기준으로 시뮬레이터 가중치와 테스트 시 계산 관련 코드는 순차 공개 대상입니다.3
1τ0-WM: A Unified Video-Action World Model for Robotic Manipulation
2Open-source tau0-WM launches as a 5-billion-parameter video-action world model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.