1. 소개

IC-Light는 "Imposing Consistent Light"의 약자로, 이미지의 조명을 조작하는 혁신적인 프로젝트입니다. 이 기술은 인공지능을 활용하여 기존 이미지의 조명을 자연스럽게 변경할 수 있게 해줍니다.

스테이블 디퓨전에 사용하는 것으로 webUI 혹은 ComfyUI에서 사용할 수 있으며 SD1.5 모델을 사용해야 합니다.

2. IC-Light의 주요 특징

• 텍스트 기반 재조명 모델: 사용자가 입력한 텍스트 프롬프트에 따라 이미지의 조명을 변경합니다.

• 배경 기반 재조명 모델: 주어진 배경 이미지에 맞춰 전경 이미지의 조명을 조정합니다.

• 일관된 조명 적용: HDR 공간에서의 조명 독립성 원리를 활용하여 매우 일관된 재조명 결과를 제공합니다.

3. 모델 종류 및 특징

1. iclight_sd15_fc.safetensors:

   • 기본 재조명 모델

   • 텍스트와 전경에 조건화됨

   • 초기 잠재 공간을 통해 재조명 영향 조절 가능

2. iclight_sd15_fcon.safetensors:

   • fc 모델과 유사하나 오프셋 노이즈로 훈련됨

   • 사용자 연구에서 fc 모델보다 약간 낮은 성능 보임

3. iclight_sd15_fbc.safetensors:

   • 텍스트, 전경, 배경에 조건화된 재조명 모델

4. 활용 방법

설치 과정

ComfyUI 이용하는 방법 간소화

1번에 들어가 확장프로그램 검색

이 부분의 확장 프로그램을 깔고 재실행 (kijai 제작자분 꺼)

그리고 확장 프로그램을 구동하기 위한 모델을 받아줘야 하는데 2번을 통해 모델 검색으로 받아주시면 됩니다.

자세한 과정은 아래 영상 참조해주세요 :)

IC light 모델 제작자

GitHub - lllyasviel/IC-Light: More relighting!

6. 주의사항

• BRIA RMBG 1.4는 비상업적 용도로만 사용 가능합니다.

• 상업적 프로젝트에서는 BiRefNet 등의 대체 배경 제거 도구를 사용해야 합니다.

7. 기술적 원리

IC-Light의 핵심 원리는 HDR 공간에서의 조명 독립성입니다. 이 원리에 따르면, 서로 다른 광원의 외관을 블렌딩하는 것은 혼합된 광원의 외관과 동일합니다. 이 일관성을 잠재 공간의 MLP를 사용하여 모델 훈련 시 적용함으로써, 매우 일관된 재조명 결과를 얻을 수 있습니다.

8. 다른 기술과의 비교

IC-Light는 Geowizard나 Switchlight와 같은 다른 재조명 기술들과 비교했을 때, 더 일관되고 자연스러운 결과를 제공합니다. 특히, 노멀 맵 생성 능력은 IC-Light의 독보적인 특징입니다.

9. 결론 및 전망

IC-Light는 이미지 조명 조작 분야에 혁신을 가져온 기술입니다. 향후 영화 제작, 광고, 디지털 아트 등 다양한 분야에서 활용될 것으로 기대됩니다. 지속적인 연구와 개발을 통해 더욱 발전된 기능을 제공할 수 있을 것입니다.