NVIDIA Cosmos 3: 피지컬 AI의 핵심은 '한 모델 안의 이해와 행동'이다

로봇, 자율주행, 스마트 공간을 위한 AI는 화면 속 질문에 답하는 것만으로는 충분하지 않습니다. 주변을 보고, 물체와 움직임의 관계를 이해하고, 다음 상황을 예측한 뒤, 실제 행동으로 이어지는 출력을 만들어야 합니다.

NVIDIA Cosmos 3가 주목받는 이유는 이 과정을 여러 모델의 조합이 아니라 하나의 개방형 파운데이션 모델 안에서 다루려 하기 때문입니다. 핵심은 더 큰 비디오 생성 모델이 아니라, 피지컬 AI에 필요한 이해·세계 생성·행동 생성의 통합입니다.

Cosmos 3는 무엇인가

Cosmos 3는 피지컬 AI용 파운데이션 모델입니다. 물리 추론, 월드 생성, 액션 생성을 하나의 모델 안에 결합했습니다.¹ 여기서 월드 생성은 현실과 유사한 장면이나 미래 상황을 영상 형태로 만들어내는 능력에 가깝습니다.

지원하는 입력과 출력 범위도 넓습니다. Cosmos 3는 텍스트, 이미지, 비디오, 주변음, 액션을 네이티브로 이해하고 생성할 수 있습니다.² 따라서 단순히 영상을 만드는 모델이라기보다, 로봇과 자율 시스템이 주변 세계를 해석하고 다음 행동을 준비하는 데 쓰일 수 있는 모델로 보는 편이 적절합니다.

달라진 점: 기능을 나누지 않고 묶는다

기존 Cosmos는 Predict, Transfer, Reason, Policy처럼 기능이 나뉘어 있었습니다. Cosmos 3는 이 기능들을 단일 모델로 통합합니다.³ 개발 관점에서 중요한 변화는 여러 모델과 추론 파이프라인을 따로 오케스트레이션해야 하는 부담을 줄이도록 설계됐다는 점입니다.¹

피지컬 AI 시스템에서는 보통 다음과 같은 단계가 필요합니다.

• 현재 장면을 이해한다

• 물체와 사람, 환경의 움직임을 해석한다

• 다음에 벌어질 상황을 예측한다

• 가능한 행동이나 액션 시퀀스를 만든다

Cosmos 3의 방향은 이 단계들을 각각 별도 모델로 처리하는 대신, 하나의 모델 구조 안에서 연결하는 것입니다. 그래서 성능 수치만큼이나 중요한 평가 기준은 “내 시스템에서 이해, 예측, 행동 생성을 얼마나 단순하게 연결할 수 있는가”입니다.

핵심 구조: Reasoner와 Generator

Cosmos 3는 Mixture-of-Transformers 구조를 사용합니다. 추론을 담당하는 트랜스포머와 생성을 담당하는 트랜스포머를 결합한 방식입니다.²

이 구조는 크게 두 부분으로 이해할 수 있습니다.

Reasoner tower는 이미지, 비디오, 텍스트 같은 멀티모달 관측을 해석하는 VLM 역할을 합니다.¹ 자기회귀 구조로 움직임, 객체 상호작용, 물리적 맥락을 이해합니다.¹ 즉, “지금 무슨 일이 벌어지고 있는가”를 파악하는 부분입니다.

Generator tower는 Reasoner tower의 이해를 조건으로 물리 인식 비디오와 액션 출력을 생성합니다.¹ 이때 확산 기반 프로세스를 통해 미래 관측과 액션 시퀀스를 만듭니다.¹ 중요한 점은 Reasoner는 독립적으로 호출할 수 있지만, Generator는 두 tower를 모두 활성화한다는 것입니다.¹ 생성은 추론과 분리된 기능이 아니라, 추론 결과 위에서 작동하도록 설계된 셈입니다.

모델 선택에서 봐야 할 것

Cosmos 3는 Nano와 Super로 구분됩니다. Cosmos 3 Nano는 8B 모델이고, Cosmos 3 Super는 32B 모델입니다. 선택의 기준은 단순히 “큰 모델이 더 좋다”가 아니라, 사용하려는 시스템의 제약과 목적입니다.

빠른 실험, 제한된 자원, 지연시간이 중요한 환경에서는 작은 모델이 유리할 수 있습니다. 반대로 더 높은 품질의 생성이나 복잡한 후학습을 고려한다면 더 큰 모델이 적합할 수 있습니다. 결국 중요한 것은 모델 크기 자체보다, 피지컬 AI 워크플로에서 이해와 생성이 얼마나 안정적으로 이어지는지입니다.

실무적으로 얻을 수 있는 판단 기준

Cosmos 3를 볼 때 핵심 질문은 세 가지입니다.

1. 내 문제는 단순 인식이 아니라 물리적 맥락 이해가 필요한가?

2. 미래 장면이나 가능한 행동을 생성해야 하는가?

3. 여러 모델을 연결하는 파이프라인 복잡도를 줄이는 것이 중요한가?

이 질문에 “그렇다”가 많을수록 Cosmos 3의 통합 구조가 주는 가치가 커집니다. 로봇, 자율주행, 시뮬레이션, 스마트 공간처럼 관찰과 행동이 연결되는 영역에서는 특히 그렇습니다.

NVIDIA가 공개한 Cosmos 3 기술 보고서는 arXiv PDF로 제공됩니다. 세부 구조와 학습 방식, 벤치마크를 확인하려면 기술 보고서까지 함께 보는 것이 좋습니다.

결론

Cosmos 3의 의미는 피지컬 AI를 위한 기능을 하나 더 추가했다는 데 있지 않습니다. 물리 추론, 월드 생성, 액션 생성을 하나의 개방형 모델 안에서 결합하려는 시도라는 점이 핵심입니다.

따라서 Cosmos 3를 평가할 때는 “얼마나 잘 생성하는가”만 볼 것이 아니라, “이해와 행동을 얼마나 자연스럽게 연결하는가”를 봐야 합니다. 피지컬 AI 개발의 기준이 개별 모델 성능에서 시스템 단순성과 통합성으로 이동하고 있다는 점이 Cosmos 3가 주는 가장 실용적인 메시지입니다.

참고

¹Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3

²NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI

³Welcome NVIDIA Cosmos 3: The First Open Omni-model for Physical AI Reasoning and Action