Nvidia Cosmos 3: 물리 세계를 이해하는 AI의 새로운 기준
AI가 글을 쓰고 이미지를 생성하는 시대를 지나, 이제 핵심 과제는 물리 세계를 이해하고 예측하는 AI로 이동하고 있다. 로봇이 물건을 집거나 자율주행차가 돌발 상황에 대처하려면, 단순히 이미지를 인식하는 수준을 넘어 ‘다음에 무슨 일이 일어날지’를 알아야 하기 때문이다. Nvidia Cosmos 3는 바로 이 지점을 겨냥한 개방형 물리 AI 기초 모델이다.
하나의 모델이 ‘이해’와 ‘생성’을 동시에 처리한다
Nvidia Cosmos 3는 텍스트, 이미지, 비디오, 오디오, 액션(행동)을 단일 모델 안에서 유연하게 연결하는 옴니모달 세계 모델이다.1 기존에는 여러 전문 모델을 파이프라인으로 연결해야 했던 작업을 하나로 통합한 것이 가장 큰 차별점이다.
이러한 통합을 가능하게 하는 핵심은 Mixture-of-Transformers(MoT) 아키텍처다. Cosmos 3는 두 개의 전문 타워로 구성된다.2
Reasoner 타워: 오토리그레시브(autoregressive) 방식의 비전-언어 모델(VLM)로, 입력된 이미지나 영상에서 물리적 맥락을 추론한다. 물체가 어디로 움직이는지, 공간 관계는 어떻게 구성되는지 파악하는 역할이다.
Generator 타워: Reasoner가 추출한 맥락을 바탕으로 미래 장면을 비디오로 생성하거나 로봇이 취할 동작 시퀀스를 출력한다. 디퓨전(diffusion) 기반 프로세스로 물리 법칙에 부합하는 결과를 만들어낸다.
추론과 생성을 한 몸에 통합하면 개발 과정이 단순해지고, 여러 모델을 연결할 때 발생하는 지연이나 오류도 줄어든다.
크기별로 선택하고, 다양한 현장에 바로 적용한다
Nvidia Cosmos 3는 배포 환경에 따라 선택할 수 있도록 세 가지 규모로 제공된다.
Cosmos 3 Super(640억 파라미터): NVIDIA Hopper 및 Blackwell GPU 기반의 데이터센터에서 대규모 시뮬레이션 데이터를 생성하거나 최고 품질이 요구되는 작업에 적합하다.2
Cosmos 3 Nano(160억 파라미터): NVIDIA RTX PRO 6000 GPU 등 고성능 워크스테이션에서 실시간 추론이 가능하도록 설계되었다.2
Cosmos 3 Edge(40억 파라미터): 경량 모델로, NVIDIA Jetson(Thor 플랫폼 포함)에 배포할 수 있어 실제 로봇에 탑재하는 시나리오까지 지원한다.
응용 범위도 넓다. Nvidia는 로보틱스, 공간 추론, 자율주행, 물류 창고 등 6가지 영역을 아우르는 합성 데이터 생성(SDG) 데이터셋을 함께 공개했다.2 연구자나 개발자는 각자 도메인에 맞춰 파인튜닝을 바로 시작할 수 있다. 모델은 Linux Foundation의 OpenMDW 1.1 라이선스로 제공되므로, 오픈소스 생태계 안에서 자유롭게 활용·확장할 수 있다.
물리적 정합성이 새로운 평가 기준이 된다
Nvidia Cosmos 3가 제시하는 방향은 분명하다. 피지컬 AI의 평가 기준이 ‘얼마나 자연스러운 그림을 그리느냐’에서 ‘물리 법칙을 실제로 이해했느냐’로 옮겨간다는 점이다. 이러한 변화를 반영하는 것이 Nvidia가 새롭게 도입한 HUE(Human Evaluation) 벤치마크다. HUE는 생성된 비디오의 물리적 정합성을 원자 단위 이진 검증 방식으로 평가하여, 기존의 주관적 품질 평가를 넘어선 객관적 지표를 제공한다.2
실제 성능도 이를 뒷받침한다. Cosmos 3는 VANTAGE-Bench, TAR 같은 추론 벤치마크와 PAI-Bench, R-Bench, Physics-IQ 등 생성 벤치마크에서 선두를 기록했다.2
현장에서 바로 활용할 수 있는 길이 열렸다
Nvidia Cosmos 3가 주목받는 실질적 이유는 개발 문턱을 낮추는 설계다.
단일 모델로 영상 이해, 미래 예측, 로봇 행동 생성을 한 번에 처리하므로, 더는 추론-생성 파이프라인을 쪼개 관리할 필요가 없다.
공개된 SFT 사후 학습 레시피는 비전 생성뿐 아니라 로보틱스와 자율주행을 위한 액션 중심 조정을 지원한다.2 보유한 로봇 데이터나 주행 데이터에 맞춰 직접 커스터마이즈할 수 있다.
Cosmos 3 Edge를 활용하면 NVIDIA Jetson 기반의 실제 하드웨어에 배포하는 단계까지 실험 가능하다.
물리 세계와 상호작용하는 AI를 구축하는 진입 장벽이 한 단계 낮아지고 있다. 이것이 이번 Nvidia Cosmos 3 릴리스의 가장 실질적인 메시지다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.