Genmo Mochi 1 - 오픈 소스 영상 생성 모델
Genmo Mochi 1
Genmo Mochi 1은 텍스트 기반의 비디오 생성 모델로, 뛰어난 동작 품질과 강력한 프롬프트 준수 기능으로 주목받고 있습니다. 이 모델은 최신 비디오 생성 모델의 표준을 재정의하며, 개방형 및 제한형 시스템 간의 격차를 크게 줄입니다. 다수의 폐쇄형 모델과 경쟁할 수 있을 만큼 뛰어난 성능을 자랑하며, 개방형 Apache 2.0 라이선스를 통해 제공됩니다.
소개
Genmo Mochi 1은 최신 개방형 비디오 생성 모델로, 고품질의 모션과 강력한 프롬프트 준수 기능을 제공합니다. 이 모델은 텍스트 기반의 프롬프트를 바탕으로 매우 사실적이고 매끄러운 비디오를 생성할 수 있습니다. Genmo 팀은 Mochi 1이 폐쇄형 비디오 생성 시스템과의 격차를 크게 줄이고 있음을 자랑하며, 개방형 Apache 2.0 라이선스를 통해 모든 사람들이 이용할 수 있도록 하고 있습니다.
주요 기능
고품질 동작
Mochi 1은 고해상도의 매끄러운 동작을 제공하며, 물리 법칙을 준수하는 사실적인 움직임을 생성할 수 있습니다. 30프레임 per 초(frames per second)로 동작을 생성하며, 최대 5.4초의 비디오를 생성할 수 있습니다. 이 모델은 유체 역학, 털과 머리카락의 시뮬레이션, 일관되고 유연한 인간의 동작을 표현하는 것이 가능합니다.
프롬프트 준수
Mochi 1은 텍스트 프롬프트를 정확하게 따르는 기능을 가지고 있어, 사용자가 원하는 비디오를 세부적으로 제어할 수 있습니다. 섬세한 프롬프트 준수 덕분에 사용자 지시사항을 정확히 반영하는 비디오를 생성하는 데 매우 적합합니다.
모델 아키텍처
Mochi 1은 비대칭 확산 트랜스포머(AsymmDiT) 아키텍처에 기반한 100억 매개변수의 확산 모델입니다. 이 모델은 영상 생성에서 가장 큰 개방형 모델 중 하나로, 효율적으로 텍스트와 비주얼 토큰을 처리하여 비디오를 생성합니다. 또한, Mochi 1은 비디오 VAE(Video Variational Autoencoder)를 사용하여 비디오 데이터를 효율적으로 압축합니다.
VAE 압축
Mochi 1의 VAE는 비디오를 128배 더 작은 크기로, 공간적으로는 8x8, 시간적으로는 6배 압축하여 12채널 잠재 공간으로 압축합니다. 이로 인해 모델의 메모리 요구 사항을 줄여, 사용자 장치에서 효율적으로 동작할 수 있습니다.
하드웨어 요구 사항
Mochi 1은 최소 4대의 Nvidia H100 GPU를 필요로 하며, 이는 커뮤니티의 기여를 통해 요구 사항이 줄어들 수 있습니다.
제한 사항 및 앞으로의 계획
현재 Mochi 1은 연구 프리뷰 상태로, 480p 해상도의 비디오를 생성할 수 있습니다. 극단적인 동작의 경우, 경미한 왜곡이 발생할 수 있습니다. 또한, 이 모델은 포토리얼리스틱 스타일에 최적화되어 있어 애니메이션 콘텐츠와는 잘 맞지 않습니다. Genmo는 해당 모델을 계속해서 발전시켜 향후 720p 해상도의 Mochi 1 HD를 출시할 계획입니다.
향후 비전
Genmo는 페이즈 A 펀딩을 통해 추가 연구 개발을 지원할 계획입니다. Genmo의 최종 목표는 인공지능의 우뇌를 여는 것이며, 이는 창의적인 콘텐츠 생성에 중요한 역할을 할 것입니다.
결론
Mochi 1은 개방형 비디오 생성 모델의 새로운 표준을 세우며, 다양한 영역에서 혁신을 이끌 수 있는 가능성을 가지고 있습니다. 연구자, 개발자, 예술가들이 AI를 통해 새로운 비디오 콘텐츠를 창작할 수 있도록 지원하는 Mochi 1을 통해 AI 비디오 생성의 미래를 열어가고자 합니다. Genmo는 Mochi 1을 통해 비디오 생성의 새로운 지평을 넓히는 데 기여하고자 합니다.
홈페이지에서 사용해 볼 수 있습니다.
Genmo. The best open video generation models.
모찌로 만든 영상
A close-up shot of a campfire... | Video by u37ca8c
a astronaut dancing on the moon in light blue suit
a astronaut dancing on the moon... | Video by u37ca8c
일 2개까지 생성 가능. 생성 속도는 빠른 편!


