이미지를 바탕으로 새로운 이미지를 생성해 내는 기능이다.

인풋 이미지나 가이드 라인 이미지를 입력하고 프롬프트를 입력하면 이를 바탕으로 새로운 이미지를 생성한다.

다음은 슈렉 사진을 넣고 cat을 입력한 화면이다. 해당 이미지의 스타일을 참고해서 초록색 배경과 초록색 눈의 고양이를 생성해줬다.

일단 한 번 시도해 보자!

나머지 추가적인 기능을 알아보자.

• interrogate clip : 프롬프트 엔지니어링 툴로 주어진 이미지에서 텍스트 프롬프트를 추출해준다. OpenAI의 CLIP와 세일즈포스의 BLIP을 결합해서 만들었다고 한다. 처음 누르면 해당 패키지를 설치한다. (890메가)

예를 들어서 아이언맨 사진을 입력하고 interrogate clip을 누르면 이렇게 prompt를 추출 또는 추천해 준다.

a man in a suit with a glowing hand in front of him, in a futuristic space setting with neon lights, Altichiero, imax 70 mm footage, a poster, panfuturism

• Resize mode : input 이미지를 어떻게 처리하는가에 대한 옵션. 예를 들어 input 이미지가 512x500 이고 output 이미지가 1024x1024일 때 인풋 이미지에 대한 처리를 진행한다.

  • Just resize : 인풋 이미지를 비율에 상관없이 리사이즈한다.

  • Crop and resize : 이미지를 500x500으로 자르고 1024x1024로 스케일업을 한다. 비율은 지켜지지만 오른쪽이나 왼쪽의 여백이 잘릴 수 있다.

  • Resize and fill : 이미지에 512x512에 맞게 노이즈 패딩을 더한다. 그리고 1024x1024로 스케일 업을 한다. 해당 패딩은 img2img가 알맞게 채운다.

  • Just resize (latent upscale) : 첫번째 것과 같지만 letent upscaling 을 사용한다.

출처 : Automatic1111 : Resize modes in img2img / Inpaint : StableDiffusion (reddit.com)

예를 들어 원본 이미지의 왜곡이나 퀄리티 손실이 상관없으면 just resize를 하면 되고 원본이 조금 잘려도 되지만 비율을 유지하고 싶으면 crop and resize를 하면 된다. 또 비율은 살리되 여백은 AI가 채워도 되면 Resize and fill을 선택한다.

• Denoising strength : 인풋 이미지에서 얼마나 노이즈를 없애는가에 대한 옵션. 낮은 값은 단순한 이미지에 좋고 (0.3~0.5) 높은 값은 복잡한 이미지에 좋다. (0.6~0.8) 이 값이 0이 되면 원본 이미지와 똑같은 이미지가 나온다.