stable diffusion web ui에서 img2img2 에 inpaint 라는 탭이 있다.

이 inpainting 기능은 마스크를 활용해서 이미지의 특정 부분을 텍스트 프롬프트로 바꾸는 기술이다.

소파를 검은 색으로 칠한 후 tv를 입력했더니 해당 마스킹 된 부분은 TV로 바꾸어 주었다.

한 번 실험해 보자.

해당 이미지의 소파 부분을 마스킹 한 후 tv로 바꾸어 보자. mask mode는 inpaint masked로 한다. (마스킹 된 영역만 바꾸기)

다음은 디테일한 설정에 대해 알아 보겠습니다.

mask blur

마스크 영역을 부드럽게 변화시킬것인가에 대한 옵션이다. mask blur가 낮으면 주변과의 대조가 뚜렷하게 나타나고 높으면 주변과의 조화가 잘 어울리게 나타난다.

mask mode

• inpaint masked : 마스크 된 영역을 바꾸고 나머지 영역은 바꾸지 않는다.

• inpaint not masked : 마스크된 영역을 제외한 나머지 영역을 바꾼다.

inpaint masked 는 이미지의 일부분을 제거하거나 바꿀 때 사용하고 inpaint not masked는 배경 등을 바꿀 때 사용한다.

masked content

• fill : 주변 픽셀과 맞는 색상으로 채워진다.

• original : 마스킹된 영역이 원본과 유사하게 채워진다.

• latent noise : 마스킹된 영역이 랜덤 노이즈로 채워진다.

• latent nothing : 마스킹된 영역이 0으로 채워진다.

예를 들어 심플한 배경이 있어서 맞춰서 작업하고 싶을 때는 fill을 사용하면 좋고 original은 마스킹된 영역의 원본을 보존할 때 좋다. latent noise는 해당 영역을 ai가 창의적으로 채워야 할 때 좋고, latent nothing은 원하지 않는 요소를 제거할 때 좋다.

이와 같이 인페인트 모드를 활용해서 원하는 부분을 바꾸거나 제거할 수 있다.