플로피 디스크에 들어가는 nvidia의 ai 이미지 개인화 모델 perfusion

Perfusion

Nvidia에서 발표한 이미지 개인화 방법으로 100KB의 공간을 차지하고 특정 컨셉으로 생산하기 위해 훈련하는데 걸리는 시간은 4분정도이다.

사용하는 방법은 "Key-Locking" 으로 사용자가 원하는 개념을 좀 더 일반적인 범주와 연관해서 이미지를 생성하는 것이다. 예를 들어 고양이는 좀 더 넓은 아이디어인 고양이과와 연결지어 생각할 수 있다.

이 방법은 너무 적은 샘플을 가지고 훈련했을 때 발생할 수 있는 오버피팅을 막아준다.

기가바이트 (GB) 수준의 다른 파인튜닝 기법과 비교했을 때 더 가벼운 크기와 정확도를 보여준다고 한다.

현재는 연구 논문만 발표되었으며 코드는 곧 공개될 예정이다.

출처 : Nvidia AI Image Personalization Method Fits on a Floppy Disk and Takes 4 Minutes to Train - Decrypt

발표 논문 : Key-Locked Rank One Editing for Text-to-Image Personalization

생각

100kb 이미지 모델이라니 진짜 대단하네요. 만약 이런 기법이 LLM에 적용될 수 있다면 어떨까요? 파인튜닝으로 지식을 더하는게 엄청 쉬워진다면? 그런 일이 가능하다면 엄청난 대격변이 일어나겠죠.