pix2pix-zero - 기존의 이미지를 구도를 유지하면서 다른 이미지로 변환하는 기술

카네기 멜론 대학과 어도비 리서치의 연구자들이 선보인 이미지 변환 기술입니다. pix2pix는 이미지 대 이미지 변환을 말합니다.

기존 이미지에서 구조를 유지하면서 새로운 이미지를 만드는 기술입니다.

개를 고양이로 바꾸거나 말을 얼룩말로 바꾸는 예시를 볼 수 있습니다.

스테이블 디퓨전과 같은 디퓨전 모델을 활용했다고 합니다. 추가적인 파인 튜닝이나 텍스트 입력이 없이 기존의 구조가 그대로 유지됩니다. 그래서 zero라는 단어를 붙였나 봅니다.

스케치를 유화로 스타일을 바꾸거나, 개 그림에 선글라스를 씌우는 편집도 가능합니다.

이미지 편집 기술에도 많은 발전이 있을 것으로 보입니다.

pix2pix 는 image to image 의 의미로 이미지 변환을 이야기 합니다. 개념을 알아두시면 인공지능을 이해하는데 도움이 되실 것 같습니다.

페이퍼 : Zero-shot Image-to-Image Translation

코드 : GitHub - pix2pixzero/pix2pix-zero: Zero-shot Image-to-Image Translation