이번에는 스테이블 디퓨전의 기본 모델을 바꿔보기로 했다.

먼저 허깅페이스에서 모델을 다운 받는다.

Models - Hugging Face

위의 링크는 다운로드 순으로 정렬된 허깅페이스의 stable diffusion 모델들이다.

여기서 나는 다운로드 수가 4번째로 많은 openjourney 모델을 다운로드 받았다. 오픈저니는 6만개 이상의 미드저니 이미지를 바탕으로 학습한 버전이라고 한다.

safetensors 파일로 다운을 받는게 좋다. ckpt에는 다른 악성 코드가 포함될 수 있어서 이를 예방한 것이 sate tensors 파일이다.

다운로드 받은 파일을 구글 드라이브의 /content/gdrive/MyDrive/sd/stable-diffusion-webui/models/Stable-diffusion 로 옮겨줬다. 기본설정에서 딱히 변경한 것은 없다.

/content/gdrive/MyDrive/sd/stable-diffusion-webui/models/Stable-diffusion/mdjrny-v4.safetensors

경로 복사를 눌러 해당 경로를 복사해 두자.

해당 경로를 colab의 Model Download/Load의 Path_to_MODEL에 붙여주면 된다.

이후 colab을 실행시키면 좌측 최상단의 Stable Diffusion checkpoint에서 모델을 변경할 수 있다.

해당 모델을 선택하면 로딩 시간이 좀 걸리고 새로운 모델이 로드된다.

그 다음 다음 프롬프트를 이용해서 그림을 생성해 봤다.

floating island in the clouds, intricate, elegant, highly detailed, digital painting, concept art, smooth, sharp focus, illustration, alphonse mucha, 8k

구름 위에 떠있는 섬을 키워드로 체코의 장식 화가 였던 알폰소 무하의 스타일을 적용해 봤다.

이런 식으로 새로운 스타일의 그림이 생성 되었다.

현재 사용자들이 생성한 다양한 모델이나 파인튜닝 모델들이 쏟아져 나오고 있다.