엔비디아 코스모스 (NVIDIA Cosmos)

소개

엔비디아 코스모스(NVIDIA Cosmos™)는 자율주행 차량(AV)과 로봇과 같은 물리적 AI 시스템 개발을 가속화하기 위한 최첨단 생성형 세계 기초 모델(World Foundation Models, WFMs) 플랫폼입니다. 이 플랫폼은 고급 토크나이저, 가드레일, 그리고 가속화된 데이터 처리 파이프라인을 포함하고 있어 다양한 물리적 AI 애플리케이션에 유용합니다. 엔비디아는 코스모스를 통해 개발비와 실제 데이터 및 테스트 요구 사항을 최소화하면서 물리적 AI 모델을 더 빠르게 구축, 평가, 배포, 및 시뮬레이션할 수 있는 방법을 제공합니다.

한 마디로 말해서 프롬프트로 월드 모델을 영상과 같이 생성할 수 있다. 옴니버스가 3D라면 코스모스는 실제와 같은 영상 또는 환경을 만든다.

주요 기능

비디오 검색 및 이해

비디오 데이터에서 특정 훈련 시나리오를 쉽게 찾을 수 있도록 도와줍니다. 예를 들어 눈이 내리는 도로 상황이나 창고의 혼잡 같은 특수 상황을 빠르고 정확하게 검색할 수 있습니다.

통제 가능한 3D-실제 합성 데이터 생성

개발자는 NVIDIA Omniverse™ 플랫폼을 사용해 제어된 3D 시나리오에 따라 실제같은 비디오를 생성할 수 있습니다. 이를 통해 훈련 데이터의 신뢰성을 높이고, 합성 데이터를 효율적으로 활용할 수 있습니다.

정책 모델 훈련 및 평가

기초 모델을 기반으로 맞춤형 모델을 구축하거나, 강화 학습을 통해 모델을 개선하거나, 특정 시뮬레이션 시나리오에서 모델이 어떻게 작동하는지 테스트할 수 있습니다. 이로써 실제 환경에서의 위험한 테스트를 최소화할 수 있습니다.

예측 및 다중우주 시뮬레이션

코스모스와 Omniverse를 사용하여 물리적 AI 모델이 가능한 모든 미래 결과를 시뮬레이션하고, 가장 정확하고 최적의 경로를 선택할 수 있도록 지원합니다. 이를 통해 효율성과 안전성이 크게 향상됩니다.

기술 구성 요소

오토리그레시브 모델

엔비디아 코스모스 오토리그레시브 모델은 비디오 또는 이미지 입력에서 고품질의 물리적 비디오를 예측하고 신속하게 생성하는 사전 훈련된 모델 모음입니다. 이 모델들은 상업적 사용이 가능하며, 다양한 연구 및 애플리케이션의 기반이 됩니다.

디퓨전 모델

코스모스 디퓨전 모델은 텍스트, 이미지 또는 비디오 입력에서 고품질의 동적 비디오를 생성할 수 있는 모델 모음입니다. 이 모델들 역시 상업적 사용이 가능하며, 물리적 AI 시스템 훈련을 위한 비디오 데이터를 생성하는 데 활용됩니다.

데이터 처리 파이프라인

NVIDIA NeMo Curator를 기반으로 하는 가속화된 데이터 처리 파이프라인은 2천만 시간의 비디오 데이터를 14일 만에 처리할 수 있습니다. 이는 CPU만 사용했을 때의 3년 이상 걸리는 작업량을 대폭 단축시킵니다.

비주얼 토크나이저

코스모스 토크나이저는 이미지와 비디오를 효율적으로 토큰화하여 비디오 압축율을 높이고, 처리 속도를 크게 향상시킵니다. 이는 훈련 및 추론 과정에서 뛰어난 품질과 비용 절감을 제공합니다.

주요 사용 사례

자율주행 차량

코스모스는 자율주행차의 훈련 데이터를 생성하고, 안전성을 검증하는 시나리오를 테스트하는 데 활용됩니다. 우버, 와비, 웨이브와 같은 자율주행 기술 선도 기업들이 코스모스를 채택하고 있습니다.

로봇 공학

로봇 공학에서는 다양한 물리적 환경에서 로봇이 학습할 수 있도록 시나리오를 생성합니다. 기업들은 코스모스를 사용하여 로봇의 훈련 데이터를 증강하고, 실제 데이터 수집 없이도 모델을 효과적이고 경제적으로 훈련시키고 있습니다.

윤리적 고려 사항

엔비디아는 개인정보 보호, 안전, 보안, 투명성 및 불필요한 편향을 줄이기 위한 가드레일 모델을 통합하여 신뢰할 수 있는 AI 개발에 중점을 두고 있습니다. 모든 모델은 NVIDIA 오픈 모델 라이선스에 따라 사용 가능하며, 사용자는 AI 생성 콘텐츠를 식별할 수 있는 보이지 않는 워터마크를 포함한 비디오를 생성할 수 있습니다.

결론

엔비디아 코스모스는 물리적 AI 개발의 혁신적인 변화를 가져올 플랫폼으로, 다양한 산업에서 안전하고 효율적인 AI 솔루션을 구현하는 데 중요한 역할을 하고 있습니다. 개발자는 코스모스를 통해 물리적 AI 모델의 개발, 평가, 배포 및 시뮬레이션을 가속화하고, 다양한 물리적 AI 애플리케이션의 발전을 도모할 수 있습니다.