Live Portrait으로 모든 초상화를 애니메이션으로 만들기 (이제 Hugging Face에서 사용 가능)

제목: Live Portrait(현재 Hugging Face에서 이용 가능): 모든 초상을 애니메이션으로

연구팀: Jianzhu Guo, Dingyun Zhang, Xiaoqiang Liu, Zhizhou Zhong, Yuan Zhang, Pengfei Wan, Di Zhang (Kuaishou Technology, University of Science and Technology of China, Fudan University)

주요 개념:

• LivePortrait는 단일 이미지로부터 생동감 있는 비디오를 생성하는 프레임워크.
• 주류 확산 기반 방법을 따르지 않고, 암묵적 키포인트 기반 프레임워크를 탐구하고 확장.
• 훈련 데이터 약 6900만 프레임으로 확장, 혼합 이미지-비디오 훈련 전략 채택, 네트워크 아키텍처 업그레이드.

결과 소개:

• 자기 재연(Self-reenactment): 기본 모델 결과.
• 교차 재연(Cross-reenactment): 스티칭 모듈 적용 전후 비교.
• 레이더 비교(Radar Comparisons): 기존 방법과의 정량적 비교.

특징:

• 스티칭을 통해 다양한 스타일(사실적인, 유화, 조각, 3D 렌더링)과 크기의 초상화 애니메이션 가능.
• 단일 이미지로 소스 비디오 생성.
• 눈 및 입 리타겟팅 조절 가능.
• 동물 데이터에 맞춘 미세 조정 가능 (고양이, 강아지, 판다 등).

기술적 세부사항:

• 암묵적 키포인트는 블렌드쉐입을 효과적으로 표현.
• 소형 MLP를 활용한 스티칭 및 두 개의 리타겟팅 모듈로 제어 향상.
• RTC 4090 GPU에서 PyTorch 이용하여 12.8ms의 생성 속도 달성.
• 추론 코드 및 모델: https://github.com/KwaiVGI/LivePortrait

훈련 단계:

• 1단계: 기본 모델 훈련 - 외관 및 모션 추출기, 워핑 모듈, 디코더 최적화.
• 2단계: 스티칭 및 리타겟팅 모듈 훈련 - 1단계 모델 동결 후 모듈 최적화.

참고 문헌: arXiv preprint:2407.03168, 2024년 저널.