ToonCrafter - 이미지 2장을 바탕으로 애니메이션을 생성해주는 AI

ToonCrafter는 생성형 카툰 인터폴레이션이다.

인터폴레이션이란? 인터폴레이션(interpolation)은 주어진 데이터 포인트들 사이의 값을 추정하는 수학적 기법입니다. 예를 들어, 두 개 이상의 알려진 데이터 포인트 사이에 위치한 값을 계산하고자 할 때 사용됩니다.

2장의 이미지를 입력하면 중간 애니메이션을 인터폴레이션으로 생성해 준다.

사용은 허깅페이스에서 할 수 있다.

ToonCrafter - a Hugging Face Space by Doubiiu

이런 식으로 움직임을 가정한 2장의 이미지를 생성하면 걷는 남자의 모습을 애니메이션 동영상으로 생성한다. 테스트했을 때는 60초 정도가 소요되었다.

예를 들어서 미드저니에서 캐릭터를 생성한 뒤 --cref를 활용해서 비슷하지만 움직임이 있는 이미지를 만들고 애니메이션을 생성할 수 있을 것 같다.

예전에는 애니메이션을 만들려면 모두 한 장 한 장 수작업으로 그려야 했다. 그런 인간의 노력을 줄여줄 수 있는 기법이라고 생각한다.

참고 : GitHub - ToonCrafter/ToonCrafter: a research paper for generative cartoon interpolation