stable diffusion에서의 vae 란?

VAE (variational autoencoder)

이미지를 latent space로 encode 및 decode를 할 수 있는 인공신경망이다.

이미지를 보정해 줄 수 있는 모델의 일부분이라고 보면 된다.

예를 들어 이미지에서 눈이 잘 표현되지 않으면 눈을 표현하는 부분을 개선한 vae가 있으면 적용할 수 있다.

전체 모델을 다시 내놓는 대신 개선 사항을 vae를 통해 반영할 수 있는 방법이라고 보면 된다.

대부분의 경우 모델에 vae가 포함되어 있다. 결과에 만족한다면 굳이 vae를 바꿀 필요는 없지만 개선 사항을 반영하기 위해서 vae를 적용할 수 있다.