드리믹스 (dreamix) - 이미지와 텍스트로 동영상을 생성할 수 있는 비디오 에디터

이미지와 텍스트를 넣으면 동영상을 만들어주는 인공지능

드리믹스는 구글 리서치 팀과 히브리 대학에서 페이퍼로 공개한 비디오 디퓨전 모델 (Video Diffusion Model) 이다. 디퓨전 기술은 데이터에 랜덤 노이즈를 준 후 새로운 샘플을 만드는 방법을 학습하는 기술이다. 보통 text to image 에서 활용됐는데 드리믹스에서는 이미지 + 텍스트를 넣으면 동영상을 생성해 주거나 동영상 + 텍스트를 넣으면 동영상을 생성해 준다.

Dreamix: Video Diffusion Models are General Video Editors

비디오 인풋을 넣고 "신나는 음악에 춤추고 점프하면서 몸을 움직이는 곰"이라는 텍스트를 넣었더니 곰이 춤을 추는 동영상을 만들어 냈다.

비디오 에디터이기 때문에 동영상 편집이 가능하다고 한다.

글씨를 쓰는 동영상을 원을 그리는 동영상으로 편집을 한 샘플이다.

이미지 한 장을 넣고 텍스트를 주면 동영상으로 만들 수 도 있다.

사진 한 장을 주고 "황제 펭귄이 집으로 돌아오는 동영상" 이라는 텍스트를 주면 동영상을 만들어 준다.

참 신기하다...

동영상 편집 기술들도 인공지능으로 인해 많은 변화가 있을것 같다. 페이크 영상도 만들 수 있기 때문에 이를 어떻게 방지할지도 상용화에 영향을 많이 끼칠 것 같다.