로봇과 자율주행 시스템의 다음 경쟁력은 더 많은 카메라, 더 큰 언어모델, 더 정교한 시뮬레이터 중 하나만으로 결정되지 않을 가능성이 큽니다. 핵심은 현실 세계에서 벌어지는 변화를 모델이 얼마나 잘 예측하고, 그 예측을 실제 행동으로 연결할 수 있느냐입니다.
이 관점에서 NVIDIA Cosmos 3는 단순한 신제품 발표라기보다 피지컬 AI 개발 방식의 방향을 보여주는 신호에 가깝습니다. 지금까지 많은 AI 시스템이 텍스트, 이미지, 영상, 로봇 제어 데이터를 별도 영역으로 다뤘다면, Cosmos 3는 이 경계를 줄이려는 시도입니다.
피지컬 AI의 병목은 데이터보다 ‘연결’에 있다
현실에서 움직이는 AI는 디지털 서비스용 AI와 다른 제약을 갖습니다. 챗봇은 틀린 답을 수정하면 되지만, 로봇이나 자율주행 시스템은 잘못된 판단이 물리적 결과로 이어질 수 있습니다. 그래서 학습과 검증에는 다양한 상황, 예외적 장면, 행동 결과에 대한 데이터가 필요합니다.
문제는 이런 데이터를 현실에서 충분히 모으기 어렵다는 점입니다. 위험한 장면을 일부러 만들 수 없고, 드문 상황은 자연적으로 충분히 발생하지 않습니다. 시뮬레이션은 이 문제를 완화하지만, 학습 데이터가 제한되거나 시뮬레이션 도구가 분절되어 있으면 실제 환경으로 일반화하기 어렵습니다.
Cosmos 3가 겨냥하는 지점은 바로 이 간극입니다. 비전 추론, 월드 생성, 행동 예측을 하나의 시스템에 결합해 피지컬 AI의 학습·평가 주기를 수개월에서 수일로 줄이는 것을 목표로 합니다.3 여기서 중요한 표현은 ‘생성’ 자체가 아니라, 생성된 세계와 행동 예측이 학습 루프 안에서 쓸모 있게 이어지는가입니다.
Cosmos 3의 위치: 영상 생성 모델이 아니라 월드-액션 기반 모델
NVIDIA Cosmos 3는 2026년 5월 31일 NVIDIA GTC Taipei at COMPUTEX에서 발표된 월드 파운데이션 모델입니다. 텍스트, 비디오, 이미지, 주변 소리, 동작을 단일 모델에서 다루며, 피지컬 AI를 위한 파운데이션 모델로 제시됐습니다.13
기술적으로는 혼합 트랜스포머 구조를 사용합니다. 추론 트랜스포머와 전문가 생성 트랜스포머를 함께 활용해 객체 상호작용, 움직임, 시공간 관계를 이해한 뒤 영상과 행동 궤적을 생성하는 방식입니다.3 이는 모델의 역할을 ‘그럴듯한 장면을 만드는 도구’에서 ‘다음 상태와 행동 가능성을 예측하는 백본’으로 확장하려는 접근입니다.
학습 데이터 측면에서도 Cosmos 3는 텍스트, 이미지, 영상, 소리, 행동 궤적을 포함한 대규모 멀티모달 피지컬 AI 데이터셋으로 학습됐습니다.3 이 구성은 피지컬 AI에서 중요한 의미를 갖습니다. 현실의 장면은 시각 정보만으로 구성되지 않고, 시간에 따른 변화와 물체 간 관계, 행동의 결과까지 함께 포함하기 때문입니다.
개발자에게 중요한 차이는 ‘숫자형 행동 데이터’다
Cosmos 3에서 특히 주목할 부분은 로봇 동작 데이터를 직접 다룰 수 있다는 점입니다. 모델은 관절 각도, 그리퍼 위치, 궤적 점과 같은 수치형 로봇 동작 데이터를 생성할 수 있습니다.4
이는 피지컬 AI 개발에서 꽤 큰 차이를 만듭니다. 영상 생성 모델이 아무리 현실적인 장면을 만들더라도, 로봇 입장에서는 그 결과가 곧바로 실행 가능한 제어 신호가 아닐 수 있습니다. 반면 행동 궤적이나 관절 단위 데이터는 로봇 정책 학습, 평가, 시뮬레이션 보강에 더 직접적으로 연결될 수 있습니다.
따라서 Cosmos 3의 가치는 ‘얼마나 사실적인 영상을 만드는가’만으로 판단하기 어렵습니다. 더 중요한 질문은 다음과 같습니다.
생성된 장면이 물리적 상호작용을 일관되게 반영하는가
행동 궤적이 실제 로봇 학습에 사용할 만큼 구조화되어 있는가
드문 상황이나 실패 가능성을 평가 데이터로 확장할 수 있는가
기존 로봇 개발 파이프라인과 얼마나 자연스럽게 결합되는가
벤치마크 1위보다 중요한 것은 현장 검증이다
NVIDIA는 Cosmos 3가 Artificial Analysis, Physics-IQ, PAI-Bench, R-Bench에서 개방형 모델 중 월드 생성 정확도 1위를 기록했다고 밝혔습니다.3 벤치마크 성과는 기술적 진전을 확인하는 데 유용합니다. 특히 월드 생성 정확도처럼 피지컬 AI의 예측 능력을 겨냥한 지표에서 강점을 보였다는 점은 주목할 만합니다.
다만 로봇과 자율주행 분야에서 벤치마크는 출발점이지 결론이 아닙니다. 실제 도입 여부는 특정 작업 환경, 센서 구성, 안전 기준, 실패 허용 범위, 데이터 파이프라인에 따라 달라집니다. 창고 로봇, 제조 로봇, 배송 로봇, 자율주행 시스템은 모두 ‘현실 세계’라는 공통점을 갖지만, 필요한 예측과 행동의 종류는 다릅니다.
따라서 Cosmos 3를 평가할 때는 공개 벤치마크 순위와 함께 조직 내부의 실제 태스크에서 어떤 데이터를 줄이고, 어떤 평가를 자동화하며, 어떤 실패 사례를 더 잘 찾아내는지를 봐야 합니다.
공개 접근성과 라이선스가 만드는 변수
Cosmos 3는 개발자가 build.nvidia.com에서 사용해볼 수 있고, Hugging Face에서 공개 모델을 다운로드할 수 있습니다.24 모델 자료는 Linux Foundation의 OpenMDW 1.1 라이선스에 따라 제공됩니다.4
이 접근성은 생태계 확산 측면에서 중요합니다. 피지컬 AI는 특정 기업이 모든 하드웨어와 환경을 독점적으로 통제하기 어렵습니다. 다양한 로봇 플랫폼, 센서 조합, 시뮬레이션 환경에서 모델이 검증되어야 합니다. 공개 모델과 접근 가능한 실험 환경은 연구자와 개발자가 Cosmos 3를 각자의 문제에 맞게 시험할 수 있는 기반이 됩니다.
동시에 라이선스와 배포 방식은 기업 도입에서 반드시 확인해야 할 요소입니다. 모델을 어떤 용도로 사용할 수 있는지, 파생 모델이나 생성 데이터의 활용 범위가 어떻게 정의되는지, 내부 데이터와 결합할 때 법적·운영적 제약이 없는지 검토해야 합니다.
앞으로 봐야 할 것
Cosmos 3의 의미는 NVIDIA가 또 하나의 대형 모델을 내놨다는 데 있지 않습니다. 피지컬 AI에서 인식, 세계 예측, 행동 생성을 분리된 단계가 아니라 하나의 학습·평가 루프로 묶으려 한다는 점이 핵심입니다.
앞으로 확인해야 할 관전 포인트는 세 가지입니다.
첫째, Cosmos 3가 실제 로봇 개발 현장에서 학습·평가 시간을 얼마나 줄일 수 있는지입니다. 목표는 수개월 단위 주기를 수일 단위로 낮추는 것이지만, 이는 사용 환경과 파이프라인 통합 수준에 따라 달라질 수 있습니다.3
둘째, 생성된 행동 데이터가 실제 정책 성능 개선으로 이어지는지입니다. 그럴듯한 궤적과 유용한 궤적은 다릅니다. 피지컬 AI에서는 결과의 시각적 품질보다 실행 가능성과 안전성이 더 중요합니다.
셋째, Cosmos 3가 비전 언어 모델, 월드 모델, 비디오 파운데이션 모델, 월드 액션 모델의 백본으로 얼마나 폭넓게 활용될 수 있는지입니다.3 이 확장성이 입증된다면 Cosmos 3는 특정 애플리케이션용 모델을 넘어 피지컬 AI 개발 스택의 공통 기반으로 자리 잡을 가능성이 있습니다.
결국 Cosmos 3를 볼 때의 질문은 하나입니다. 이 모델이 현실을 더 잘 ‘묘사’하는 데 그치는가, 아니면 현실에서 더 안전하고 유용하게 ‘행동’하도록 만드는가. 피지컬 AI 경쟁은 이제 그 차이를 검증하는 단계로 들어가고 있습니다.
1How Cosmos 3 Helps Physical AI Think Before It Acts
2Welcome NVIDIA Cosmos 3: The First Open Omni-model for Physical AI Reasoning and Action
3NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.