ControlNet은 이미지의 구조를 활용해서 그 구조에 맞는 이미지를 생성해낼 수 있는 파인튜닝 기술이다.

Stable Diffusion과 같은 디퓨전 모델에서 사용할 수 있으며 스탠포드 대학의 연구자들이 ControlNet을 만들었다.

"neural network structure for controlling diffusion models by adding additional constraints" 을 의미하며 "디퓨전 모델을 콘트롤 할 수 있게 새로운 추가적인 제약을 더한 신경망 구조" 이다. 추가적인 학습이 필요하지 않기 때문에 8G의 GPU에서도 동작할 수 있다고 한다.

저런 사진을 입력하고 Chef in the kitchen이라고 입력한 모습이다. 해당 이미지가 어떤 포즈로 변환되고 이것을 바탕으로 다양한 요리사의 사진이 생성된다.

이렇게 이미지의 구조를 활용해서 콘트롤 할 수 있기 때문에 ControlNet 이라고 부르는 것 같다. 생성 AI 는 결과물을 통제할 수 없는 것이 문제였는데 이 모델을 활용해서 이미지 간 변환이 좀 더 수월해질 수 있을 것 같다.

자세한 것은 ControlNet github에서 볼 수 있다.

콘트롤넷은 해외에서는 엄청 인기입니다. 직접 설치해서 사용할 수 있어 사람들이 다양하게 활용하고 있습니다.