Deepmind의 "force prompting"은 AI가 물리 엔진 없이 현실적인 비디오 모션을 생성할 수 있게 합니다.
- Brown University와 Deepmind의 팀이 3D 모델이나 물리 엔진 없이 인공적인 힘을 통해 생성적 비디오 모델이 현실적인 움직임을 만들어낼 수 있음을 발견했습니다.
- "Force prompting"은 힘의 방향과 강도를 지정하여 AI로 생성된 움직임을 조절할 수 있으며, 글로벌 힘(바람 등)과 로컬 힘(특정 위치에 대한 충격 등)을 구현합니다.
- 이 힘들은 벡터 필드로 표현되어 시스템에 입력되고, 자연스러운 움직임으로 변환됩니다.
- 연구진은 CogVideoX-5B-I2V 영상 모델에 ControlNet 모듈을 추가하여 물리적 제어 데이터를 처리하도록 했습니다.
- 시스템은 4개의 Nvidia A100 GPU에서 하루 만에 훈련되었으며, 49 프레임의 비디오를 생성합니다.
- 훈련 데이터는 모두 합성 데이터로, 다양한 바람 조건에서의 깃발, 구르며 움직이는 공, 충격에 반응하는 꽃 등의 영상이 포함되었습니다.
- 상대적으로 적은 데이터로 훈련되었음에도 불구하고, 모델은 새로운 객체, 재질 및 시나리오에 잘 일반화됩니다.
- 텍스트 전용 또는 모션 경로 제어를 사용하는 기존 모델과의 비교에서 "force prompting"이 더욱 현실적인 움직임과 입력 힘과의 일치를 보여주었습니다.
- 이러한 기법은 AI가 생성한 비디오에 물리적으로 실현 가능한 상호 작용을 추가하는 효율적인 방법을 제공합니다.
- 실제 물리 시뮬레이션을 완전히 대체할 수는 없지만, 물리적 구조를 이해하는 데 도움을 줄 수 있는 중요한 단계로 보입니다.
4the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.