Google Genie 2 - 플레이가 가능한 3D 월드를 생성하는 AI 모델

한 장의 이미지로부터 플레이가 가능한 3D 월드를 생성하는 AI 모델입니다.

플레이어는 WASD 로 움직일 수 있고 점프, 수영 등의 다양한 액션을 할 수 있습니다.

Genie 2는 디퓨전 월드 모델입니다. 좀 더 자세히 말하면 많은 비디오 데이터를 바탕으로 학습된 autoregressive latent diffusion model 입니다.

1. Google Genie 2 특징

   • Google DeepMind가 개발한 AI 모델로, 단일 이미지 프롬프트에서 동적인 3D 세계 생성 가능.

   • 현실적인 물리 법칙, 객체 상호작용, 다양한 관점을 포함한 몰입형 환경 제공.

   • 게임 개발, 가상현실, AI 연구 등에서 프로토타이핑 및 AI 에이전트 훈련 지원.

2. 인터랙티브 3D 세계 생성

   • 텍스트나 이미지 입력만으로 실시간 렌더링 및 키보드/마우스 상호작용 가능.

   • 물리 시뮬레이션, 캐릭터 애니메이션, 다양한 시점(1인칭, 등각 투영, 3인칭) 생성 지원.

   • 일관된 세계 상태 유지 가능(최대 약 1분).

   • 게임 개발, 가상 훈련 시뮬레이션, AI 연구에서 신속한 프로토타이핑 가능.

3. 물리 시뮬레이션 및 애니메이션

   • 현실적인 물리 법칙과 객체 상호작용을 통해 3D 세계 몰입감 증대.

   • ThreeDWorld(TDW) 같은 플랫폼은 고품질 오디오-비주얼 환경과 실제 물리 기반 상호작용 제공.

   • PhysDreamer와 같은 AI 모델은 비디오 생성 모델에서 학습한 동적 물리 데이터를 활용하여 보다 자연스러운 물체 반응 생성.

4. 단일 이미지 프롬프트 기능

   • Google Genie 2는 단일 이미지 프롬프트에서 다양한 3D 환경 생성 가능.

   • 중력, 물체 충돌, 물 상호작용 같은 동적 물리 시뮬레이션 포함.

   • 캐릭터와 비플레이어 캐릭터(NPC), 문, 폭발성 오브젝트 같은 상호작용 요소 생성 가능.

   • 단일 GPU로 10초 이내 환경 생성 가능, 실시간 사용자 상호작용 지원.

   • 게임 디자인, 가상 세계 개발에서 시간과 자원을 크게 절감.

현재 공개된 상태는 아니며 딥마인드에서 에이전트를 학습하는데 연구 및 활용하고 있다고 합니다.