Stable Zero123 - 이미지에서 3D 오브젝트 만들기

Stability AI에서 공개한 인공지능 3D 모델로 이미지를 입력하면 3D 오브젝트를 만들 수 있다.

원래 있던 Zero123-XL보다 좋은 결과를 낸다고 한다. Objaverse 라는 3D Object 데이터베이스가 있는데 여기에서 높은 품질의 3D를 선별해서 훈련시켰다고 한다.

하나의 뷰를 생성하는데는 Stable Diffusion 1.5 기반으로 SD1.5와 동일한 VRAM 소비가 필요하다고 한다. 반면에 3D 객체를 생성하는데는 더 많은 시간과 메모리가 필요하다. (24GB VRAM 권장)

모델은 허깅 페이스(stabilityai/stable-zero123 · Hugging Face)에 공개되었는데 비상업적 연구용 목적으로 사용이 가능하다.

3D 모델 생성을 쉽게하기 위해 기존 오픈소스인 threestudio를 개선해서 새로운 프로그램을 만든 것 같다. Stable 3D 라고 하는데 private preview에서 확인가능하다고 한다. 성공적이면 나중에 API나 웹으로 공개할 가능성도 있을 것 같다. 기술적으로는 Nerf를 최적화하기 위해 Score Distillation Sampling (SDS)을 사용한다고 한다.

요즘 StabilityAI의 모델은 비상업, 연구용으로 나오는 추세인 것 같다. 연구개발 단계를 거쳐 비즈니스적으로 나중에 API 등을 통해 수익화를 할 것으로 보인다.