로봇 학습에서 영상 생성 모델의 가치는 단순히 “그럴듯한 장면”을 만드는 데 있지 않습니다. 중요한 것은 주어진 상황에서 다음에 어떤 상태가 펼쳐질지 예측하고, 그 예측을 학습과 평가에 활용할 수 있느냐입니다.
NVIDIA Cosmos Predict 2.5는 이 목적에 맞춰 설계된 월드 모델입니다. 세계의 미래 상태를 비디오 형태로 시뮬레이션하고 예측하는 데 특화되어 있으며,1 로봇·자율 시스템처럼 물리적 변화가 중요한 영역에서 의미가 큽니다.
Cosmos Predict 2.5는 무엇을 통합했나
Cosmos Predict 2.5의 핵심은 Text2World, Image2World, Video2World를 하나의 모델로 통합했다는 점입니다.1 즉 텍스트 프롬프트, 이미지, 짧은 비디오 클립을 조건으로 받아 이후 장면을 생성할 수 있습니다.
이 통합은 실용적으로 중요합니다. 로봇 데이터는 항상 같은 형태로 주어지지 않기 때문입니다. 어떤 경우에는 작업 설명만 있고, 어떤 경우에는 시작 이미지가 있으며, 또 다른 경우에는 짧은 관찰 영상이 있습니다. Cosmos Predict 2.5는 이런 입력 조건을 하나의 월드 모델 안에서 다룰 수 있도록 설계되어 있습니다.
모델 구조는 플로우 기반입니다.1 생성 과정은 노이즈를 점진적으로 정리해 목표 비디오 분포로 이동시키는 방식에 가깝습니다. 또한 Physical AI 추론용 비전-언어 모델인 Cosmos-Reason1을 텍스트 인코더로 사용해 프롬프트 이해와 정렬을 강화합니다.1 문서상으로도 Cosmos Predict 1보다 생성 품질과 프롬프트 정렬 성능이 개선된 것으로 설명됩니다.1
왜 파인튜닝이 중요한가
월드 모델이 강력하더라도, 로봇 환경은 도메인 차이가 큽니다. 같은 “물체를 집는다”는 동작도 카메라 위치, 조명, 그리퍼 형태, 물체 재질, 배경에 따라 영상 패턴이 크게 달라집니다. 따라서 범용 모델을 그대로 쓰기보다 특정 로봇 작업과 환경에 맞게 조정하는 과정이 필요합니다.
여기서 LoRA/DoRA 같은 경량 파인튜닝이 유용합니다. 전체 모델을 모두 다시 학습하지 않고 일부 저랭크 파라미터를 조정해 비용을 낮추는 방식입니다. NVIDIA 저장소도 Video2World와 Text2World용 LoRA post-training을 제공한다고 설명합니다.2
예시 레시피는 로봇 조작 비디오 92개와 테스트용 프롬프트-이미지 쌍 50개를 기준으로 합니다. 단일 GPU 학습에는 최소 80GB GPU 1장이 필요하며, 제공된 학습 명령은 LoRA rank 32와 500 epoch 설정을 사용합니다. 이 예시가 보여주는 핵심은 대규모 재학습이 아니라, 작은 도메인 데이터로 월드 모델의 생성 행동을 특정 작업에 맞게 조정하는 접근입니다.
적용 전에 확인할 기준
Cosmos Predict 2.5를 로봇 워크플로에 적용할 때는 생성 영상의 시각적 품질만 보면 부족합니다. 다음 기준을 함께 봐야 합니다.
첫째, 프롬프트 정렬입니다. 모델이 문장을 얼마나 자연스럽게 이해하는지보다, 주어진 작업 조건을 영상 변화에 얼마나 정확히 반영하는지가 중요합니다. Cosmos Predict 2.5는 이전 세대보다 품질과 프롬프트 정렬이 개선됐다고 문서화되어 있습니다.1
둘째, 로봇 제어와의 연결 가능성입니다. 생성된 영상이 실제 정책 학습, 시뮬레이션, 평가 데이터 구성에 활용될 수 있어야 합니다. Cosmos 2.5 계열에는 로봇 멀티뷰, 액션 조건, 정책 모델 같은 특화 버전도 포함됩니다.3
셋째, 데이터 파이프라인입니다. 월드 모델은 모델 하나만으로 완성되지 않습니다. 데이터 수집, 토크나이징, 전처리, 학습, 평가가 함께 돌아가야 합니다. Cosmos 플랫폼은 월드 파운데이션 모델, 비디오 토크나이저, AI 가속 데이터 처리 파이프라인을 결합한 물리 AI 개발 플랫폼으로 설명됩니다.4 또한 CUDA 기반으로 구축됐으며, 월드 파운데이션 모델을 파인튜닝하거나 처음부터 새로 구축할 수 있는 플랫폼으로 제시됩니다.4
핵심은 “다음 상태”를 학습 가능하게 만드는 것
Cosmos Predict 2.5를 단순한 비디오 생성 모델로 보면 가치가 좁아집니다. 더 중요한 관점은 로봇이 마주할 수 있는 다음 상태를 비디오 형태로 예측하고, 이를 학습 가능한 데이터와 평가 기준으로 바꾸는 기반 모델이라는 점입니다.
LoRA/DoRA 파인튜닝은 이 기반 모델을 특정 로봇 환경에 맞게 현실적으로 조정하는 방법입니다. 결국 Cosmos Predict 2.5의 실용적 가치는 “멋진 영상을 만드는 능력”보다, 물리적 세계의 변화를 조건에 맞게 예측하고 로봇 학습에 연결할 수 있는지에 달려 있습니다.
2GitHub - nvidia-cosmos/cosmos-predict2.5
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.