KOLORS 특징 평가 그리고 설치 방법

KOLORS 특징

(Kuaishou) 회사의 Kolors 팀이 만듦

1. 고품질 이미지: Kolars는 아주 멋지고 퀄리티 높은 이미지를 만들 수 있어요.

2. 복잡한 내용 이해: 여러분이 입력한 복잡한 내용도 잘 이해하고 그에 맞는 이미지를 만들어줘요.

3. 텍스트 표현: 이미지 안에 글자를 넣을 때도 아주 잘 표현해요. (하지만 실제는 안그럼)

4. 중국어와 영어 지원: 중국어나 영어로 입력해도 둘 다 잘 이해하고 이미지를 만들어줘요.

5. 대규모 학습: 수십억 개의 텍스트와 이미지 쌍을 학습했어요. 그래서 다양한 주제의 이미지를 만들 수 있어요.

6. 오픈소스: 연구 목적으로는 누구나 무료로 사용할 수 있어요.

Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis (arXiv-2024)

KOLORS 평가 (기존 AI 그림 생성기와 비교하여)

전문가 평가 결과

전문가 50명이 각 프로그램을 평가했어요. 세 가지 기준으로 평가했는데, 점수가 높을수록 좋은 거예요.

1. 전체 만족도: Kolors가 3.59점으로 1등이에요! 사람들이 전반적으로 Kolors의 이미지를 가장 좋아했다는 뜻이에요.

2. 시각적 매력: 여기서도 Kolors가 3.99점으로 1등이에요. Kolors가 가장 예쁘고 멋진 이미지를 만든다고 볼 수 있어요.

3. 텍스트 충실도: DALL-E 3가 4.22점으로 살짝 앞섰지만, Kolors도 4.17점으로 아주 근소한 차이로 2등이에요. 둘 다 입력한 설명을 아주 잘 반영한다고 볼 수 있어요.

컴퓨터 평가 결과 (MPS 점수)

사람뿐만 아니라 컴퓨터로도 평가를 했어요. MPS(Multi-dimensional Human Preference Score)라는 점수를 사용했는데, 이 점수도 높을수록 좋은 거예요.

• Kolors가 10.3점으로 가장 높은 점수를 받았어요!

• 이는 컴퓨터가 계산해도 Kolors의 이미지가 가장 좋다는 뜻이에요.

• 사람들의 평가와 컴퓨터의 평가가 일치한다는 점이 정말 중요해요.

정리

1. Kolors는 전문가들이 평가한 전체 만족도와 시각적 매력에서 1등을 차지했어요.

2. 텍스트 충실도에서는 DALL-E 3에 아주 근소한 차이로 2등이지만, 거의 비슷한 수준의 뛰어난 성능을 보여줬어요.

3. 컴퓨터가 계산한 MPS 점수에서도 Kolors가 1등을 차지했어요.

KOLORS 설치 방법 (ComfyUI 활용)

참고 사항

1. 파이썬 3.8 이상

2. PyTorch 1.13.1 이상

3. Transformers 4.26.1 이상

4. CUDA 11.7 이상 (추천)

1. 파일 다운로드

• ComfyUI가 설치된 폴더에 들어가세요.

• custom_nodes 폴더를 찾아 그 안에 Kolars 파일들을 다운로드 받으세요.

2. 필요한 프로그램 설치하기

• requirements.txt라는 파일에 Kolars에 필요한 프로그램들이 적혀있어요.

• 이 프로그램들을 설치하려면 두 가지 방법이 있어요:

  1. 일반적인 방법: 컴퓨터의 명령창(cmd)을 열고 이렇게 입력하세요:

     Copy

     pip install -r requirements.txt

  2. 포터블 버전을 사용한다면: ComfyUI_windows_portable 폴더에서 이렇게 입력하세요:

     Copy

     python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt

3. 모델 파일 다운로드

• 걱정 마세요! 모델 파일은 자동으로 다운로드돼요.

• 이 파일들은 ComfyUI/models/diffusers/Kolors 폴더에 저장될 거예요.

• 파일 크기가 꽤 커서 (약 16.5GB) 다운로드에 시간이 좀 걸릴 수 있어요.

4. 컴퓨터 사양 확인하기

• Kolars를 사용하려면 컴퓨터에 좋은 그래픽 카드(GPU)가 필요해요.

• 그래픽 카드의 메모리(VRAM)에 따라 사용할 수 있는 설정이 달라져요:

  • 13GB 이상: 기본 설정으로 사용 가능

  • 8GB 정도: 약간의 조정 필요

  • 4GB 정도: 더 많은 조정 필요

kijai님 확장 프로그램 페이지

여기 들어가시면 ComfyUI 워크플로우를 받을 수 있기 때문에

확장 프로그램을 설치후 json 파일을 올려주시면 바로 사용가능합니다.

그림생성에 사용될 KOLORS 모델은 확장프로그램을 받고 워크플로우를 올려주고 생성버튼을 눌러주면 자동으로 다운로드 되나 파일 용량이 크기 때문에 시간이 오래 걸린다는 단점은 있습니다.

주의사항 (라이센스 관련)

• Kolars는 학술 연구 목적으로는 무료로 사용할 수 있어요.

• 상업적으로 사용하고 싶다면, 특별한 절차가 필요해요.설문지를 작성해서 kwai-kolors@kuaishou.com으로 보내야 해요.

• 항상 좋은 목적으로만 사용해야 해요. 나쁜 목적으로 사용하면 안 돼요!

설치후 뽑은 이미지 예시

10분 찍먹이라 이미지를 깊게 찍어내지 못했습니다. 주관적인 판단과 프롬프트로 생성한 것이기 때문에 객관적인 내용이 아님을 먼저 말씀을 드려봅니다.

RTX 3080 vRAM 12GB 기준으로 뽑아 봤을 때 20여분 정도 걸렸습니다.

NSFW 이미지는 나오긴 하나 생각만큼 잘 나오진 않습니다 :)

SD3 에서 이슈가 되었던 풀밭 위의 여성은 아주 이상하게는 안뽑히고 괜찮은 거 같습니다 :)

어려운 요가 자세...이는 미드저니도 좀 어려워 합니다.

Ai OPENER라고 적으라고 했는데 실제로 글자는 잘 표현 못하는 것 같다. 이디어 그램이 훨씬 좋다.