비디오 AI의 중요한 과제는 이제 “무엇이 보이는가”를 맞히는 데서 끝나지 않습니다. 로봇이나 물리적 상호작용을 다루는 시스템이라면 “어느 물체의 어느 지점이 앞으로 어디로 움직일 것인가”까지 예측해야 합니다. RGB 영상만으로는 실제 거리, 접촉 위치, 세밀한 공간 제약을 충분히 지정하기 어렵기 때문입니다.1
MolmoMotion은 무엇을 예측하나
MolmoMotion은 RGB 관찰, 객체의 쿼리 포인트, 행동 설명을 입력으로 받아 미래의 3D 포인트 궤적을 예측하는 모델입니다.2 백본으로는 Molmo 2를 사용합니다.2
여기서 쿼리 포인트는 객체 위에 지정한 기준점입니다. 모델의 출력은 설명 문장이나 생성된 프레임이 아니라, 시간에 따라 변하는 3D 좌표입니다. 예를 들어 “물을 붓는다”라는 행동 설명이 주어지면, 관련 객체의 특정 점들이 앞으로 어떤 3D 경로를 따를지 예측하는 식입니다.
이 점이 MolmoMotion의 핵심입니다. 언어는 의도를 지정하고, 쿼리 포인트는 추적할 대상을 고정하며, 3D 궤적은 그 의도가 물리 공간에서 어떻게 전개될지를 표현합니다.
왜 3D 포인트 궤적인가
비디오 생성이나 장면 인식은 사람이 보기에는 그럴듯할 수 있습니다. 그러나 로봇 제어와 물체 조작에서는 “그럴듯함”보다 “행동 가능한 좌표”가 중요합니다. 손잡이의 어느 지점이 어느 방향으로 움직이는지, 물체가 접촉하는 지점이 어디인지, 움직임이 실제 3D 공간에서 일관적인지가 필요합니다.
MolmoMotion이 주목하는 3D 포인트 궤적은 이런 요구에 더 직접적으로 대응합니다. 프레임 전체를 다시 그리는 대신, 행동과 관련된 객체의 기준점들이 앞으로 이동할 경로를 예측하기 때문입니다. 따라서 비디오 이해와 로봇 행동 사이를 잇는 중간 표현으로 볼 수 있습니다.
왜 지금 가능한가
MolmoMotion-1M은 116만 개 비디오에서 추출한 3D 포인트 궤적과 행동 설명을 포함한 데이터셋입니다.3 데이터 생성 파이프라인은 행동 설명을 바탕으로 움직이는 객체를 찾고, 2D 포인트를 추적한 뒤, 깊이와 카메라 자세를 이용해 3D 세계 좌표로 변환합니다.3
이 방향은 최근 VLM 연구 흐름과도 맞닿아 있습니다. VLM3는 표준 비전-언어 모델이 별도 3D 전용 구조 없이도 3D 작업을 학습할 수 있다고 제시합니다.4 이를 위해 초점거리 통일, 텍스트 기반 픽셀 참조, 데이터 혼합과 스케일링을 핵심 요소로 사용합니다.4
중요한 시사점은 분명합니다. 3D 이해가 반드시 복잡한 전용 구조에서만 나오는 것은 아니라는 점입니다. 잘 정규화된 시각 입력, 텍스트로 표현 가능한 위치 참조, 충분한 규모의 데이터가 결합되면 기존 VLM 계열 모델도 3D 작업을 더 폭넓게 다룰 수 있습니다.
무엇을 기준으로 평가해야 하나
MolmoMotion을 볼 때는 단순히 예측 결과가 자연스러워 보이는지만 확인해서는 부족합니다. 실용성을 판단하려면 다음 세 가지를 봐야 합니다.
언어가 움직일 대상을 제대로 고르는가
행동 설명이 주어졌을 때 실제로 관련 있는 객체와 포인트를 잡아야 합니다.예측 궤적이 3D 공간에서 안정적인가
화면상 이동이 그럴듯해도 깊이 방향이나 카메라 변화에 취약하면 로봇 행동에는 쓰기 어렵습니다.다양한 객체와 동작으로 일반화되는가
특정 물체나 장면에만 맞는 예측이 아니라, 여러 범주와 움직임 유형에 걸쳐 일관성이 필요합니다.
이를 평가하기 위해 PointMotionBench는 2,700개 비디오 클립을 포함한 인간 검증 3D 모션 예측 벤치마크로 구성되어 있습니다.2 이 벤치마크는 111개 객체 범주와 61개 모션 유형을 포함합니다.2
MolmoMotion이 주는 실용적 의미
MolmoMotion의 가치는 “비디오를 이해한다”는 말을 더 행동 중심으로 바꾼 데 있습니다. 장면 속 객체를 인식하는 것을 넘어, 언어로 지정된 행동이 물리 공간에서 어떤 3D 움직임으로 이어질지 예측합니다.
앞으로 멀티모달 모델의 차이는 단순한 시각 인식 능력보다, 시각 정보를 행동 가능한 공간 정보로 바꾸는 능력에서 더 크게 드러날 가능성이 큽니다. MolmoMotion은 그 전환을 보여주는 사례입니다. 의도는 언어로 주고, 대상은 점으로 고정하며, 결과는 3D 궤적으로 표현하는 방식이 비디오 AI와 로봇 행동을 연결하는 실용적인 인터페이스가 될 수 있습니다.
1PointAction: 3D Points as Universal Action Representations for Robot Control
2MolmoMotion: Language-guided 3D motion forecasting
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.