Embodied AI의 핵심 질문은 더 이상 “무엇을 해야 하는가”에만 머물지 않는다. 중요한 것은 그 행동 이후 세상이 어떻게 바뀔지 모델이 예측할 수 있느냐다.
WALL-WM은 이 문제의식 위에 등장한 embodied AI용 오픈소스 월드 모델이다. 고정 길이 액션 청크 대신 reaching, contact, grasping, lifting, moving, placing 같은 사건 단위로 비디오와 행동을 함께 사전학습한다. 공개된 코드 저장소는 https://github.com/X-Square-Robot/wall-x다.
왜 월드 모델인가
기존 VLA 모델은 대체로 관측을 입력받아 행동을 출력하는 반응형 관측-행동 매핑을 학습한다. 이 방식은 특정 상황에서 유효할 수 있지만, 물리 세계가 행동 개입에 따라 어떻게 변하는지를 명시적으로 모델링하지 않는다는 한계가 있다.1
World Action Model, 즉 WAM은 이 한계를 보완하려는 embodied AI 모델 패러다임이다. WAM은 예측적 상태 모델링과 행동 생성을 결합하며, 단순히 다음 행동만 맞히는 것이 아니라 미래 상태와 행동의 결합 분포를 목표로 한다.1
예를 들어 “컵을 집어라”라는 명령은 하나의 행동 출력으로 끝나지 않는다. 손이 컵에 접근하고, 접촉이 발생하고, 파지가 형성되고, 컵이 들리고, 위치가 바뀌는 연속적인 변화가 뒤따른다. WAM의 관점에서는 이 변화 과정 자체가 학습해야 할 대상이다.
WALL-WM을 볼 때 중요한 지점
WALL-WM의 가장 눈에 띄는 특징은 액션을 일정한 시간 길이로 자르는 대신 사건 중심으로 다룬다는 점이다. 로봇 조작에서는 시간이 얼마나 흘렀는지보다 상태가 어떻게 바뀌었는지가 더 중요할 때가 많다. 접촉 전후의 차이, 파지 성공 여부, 들어 올림의 안정성 같은 요소가 실제 행동 가능성을 좌우한다.
구조적으로 WALL-WM에는 Wan 기반 비디오 타워와 무작위 초기화된 action DiT가 포함된 것으로 소개됐다. 이는 비디오 기반 예측 능력과 행동 표현 학습을 함께 다루려는 WAM 계열 접근으로 이해할 수 있다.
따라서 WALL-WM을 평가할 때는 “영상을 얼마나 그럴듯하게 생성하는가”만 보면 부족하다. 더 중요한 질문은 “예측된 미래가 실제 행동으로 이어질 만큼 물리적으로 타당한가”다.
WAM 관점에서의 판단 기준
WAM 연구는 크게 Cascaded WAM과 Joint WAM으로 분류되며, 생성 모달리티, 조건화 메커니즘, 행동 디코딩 전략 등이 주요 분류 기준으로 사용된다.1 이 기준은 WALL-WM 같은 모델을 해석할 때도 유용하다. 모델이 무엇을 생성하는지, 어떤 정보에 조건화되는지, 예측된 표현이 어떻게 행동으로 변환되는지를 살펴봐야 하기 때문이다.
평가 기준 역시 명확하다. WAM 평가는 보통 시각적 충실도, 물리 상식, 행동 타당성을 중심으로 정리된다.1 로봇용 모델에서 시각적으로 자연스러운 영상은 필요조건일 수 있지만 충분조건은 아니다. 물체가 물리적으로 말이 되는 방식으로 움직이고, 그 결과가 실행 가능한 행동으로 연결되어야 한다.
데이터 관점도 중요하다. WAM 학습 데이터 생태계에는 로봇 원격조작 데이터, 휴대형 인간 시연, 시뮬레이션, 인터넷 규모 1인칭 비디오가 포함된다.1 WALL-WM 같은 공개 모델은 이러한 데이터와 평가 방식을 직접 실험해볼 수 있는 출발점이 될 수 있다.
WALL-WM에서 배울 점
WALL-WM의 의미는 단순히 새로운 모델이 하나 더 공개됐다는 데 있지 않다. 더 큰 흐름은 embodied AI가 반응형 정책에서 예측형 행동 모델로 이동하고 있다는 점이다.
실제로 WALL-WM을 살펴볼 때는 코드 실행 자체보다 다음 질문을 함께 가져가는 편이 실용적이다.
고정 길이 액션 청크보다 사건 단위 학습이 어떤 조작 과제에서 유리한가?
reaching, contact, grasping, lifting, moving, placing 같은 이벤트가 실제 성능 차이를 설명하는가?
생성된 미래 장면은 시각적으로 자연스러울 뿐 아니라 물리적으로 타당한가?
예측 결과가 로봇의 다음 행동 결정에 사용할 수 있을 만큼 안정적인가?
이 질문들에 답하는 과정에서 WALL-WM은 하나의 모델을 넘어 WAM을 이해하고 검증하는 실험대가 된다. 핵심은 “다음 행동”만 맞히는 것이 아니라, 그 행동이 만들어낼 “다음 세계”까지 학습할 수 있는지를 확인하는 것이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.