확산 모델 샘플링은 무작위 잡음에서 시작해 이미지를 단계적으로 복원한다. 이때 많은 SDE 샘플러는 전 과정에서 백색 잡음을 주입한다. 백색 잡음은 모든 주파수 대역에 비슷한 에너지를 주는 잡음이다.
Colored Noise Sampling(CNS)은 이 기본 가정을 바꾼다. 모든 주파수에 같은 방식으로 잡음을 넣는 대신, 아직 충분히 해결되지 않은 주파수 대역에 잡음 에너지를 더 효율적으로 배분한다. 여기서 “colored”는 RGB 색상이 아니라, 주파수 성분별 세기가 조정된 잡음을 뜻한다.
핵심은 확산 모델의 스펙트럼 편향이다
CNS를 이해하려면 먼저 확산 모델의 생성 궤적을 봐야 한다. 확산 모델은 보통 낮은 주파수의 전역 구조를 먼저 잡고, 높은 주파수의 미세 디테일을 나중에 해결하는 스펙트럼 편향을 보인다.1
예를 들어 이미지의 큰 형태나 배치는 비교적 이른 단계에서 정리되고, 질감이나 경계 같은 세부 정보는 뒤쪽 단계에서 채워진다. 그런데 기존 SDE 솔버는 이런 주파수별 진행 차이를 크게 반영하지 않고, 전체 샘플링 과정에서 균일한 백색 잡음을 주입한다고 설명된다.1
CNS의 문제의식은 여기에 있다. 모든 주파수에 같은 방식으로 에너지를 넣으면, 이미 어느 정도 해결된 대역에도 불필요하게 잡음이 들어갈 수 있다. 반대로 아직 구조적으로 부족한 대역에는 더 정교한 에너지 배분이 필요할 수 있다.
CNS는 샘플링을 주파수별 에너지 전달로 본다
CNS는 SDE 추론을 주파수별로 분리된 에너지 전달 문제로 재해석하는 수학적 프레임워크에 기반한다.1 단순히 “잡음을 조금 다르게 넣는다”는 수준이 아니라, 확산 모델이 시간에 따라 어떤 주파수 정보를 해결하는지에 맞춰 잡음 주입 방식을 조정하는 접근이다.
구체적으로 CNS의 잡음 스케줄은 시간 단계와 주파수에 따라 달라진다.1 즉 샘플링 초반과 후반, 낮은 주파수와 높은 주파수에 같은 잡음을 넣지 않는다. 대신 구조적으로 아직 해결되지 않은 주파수 대역에 주입 에너지를 더 효율적으로 배분하도록 설계됐다.1
이 관점에서 CNS의 실용적 의미는 분명하다. 확산 모델의 품질 개선을 꼭 모델 학습이나 아키텍처 변경에서만 찾지 않고, 추론 중 잡음의 형태를 조절하는 방식에서도 찾을 수 있다는 것이다.
새로 학습하지 않고 샘플러만 교체한다
CNS의 장점 중 하나는 학습 없이 추론 시점에만 교체해 쓰는 확률적 솔버로 제안됐다는 점이다.1 모델 가중치를 다시 학습하는 방식이 아니라, 샘플링 중 잡음을 주입하는 방식을 바꾸는 플러그앤플레이 접근에 가깝다.
이는 실험과 적용 측면에서 중요한 차이를 만든다. 새 모델을 훈련하려면 데이터, 연산량, 튜닝 비용이 필요하지만, CNS는 기존 모델을 유지한 채 샘플러 대체 방식으로 시험할 수 있다. 실제로 CNS는 SiT, JiT, FLUX 등 서로 다른 아키텍처에서 플러그앤플레이 샘플러 대체 방식으로 실험됐다.1
공개 구현도 이 방향을 따른다. CNS는 SDE 모드에서 동작하며, 주파수별 진행 정도를 담은 감마 행렬을 사용해 색상화된 잡음 주입을 켠다.2
성능 개선은 어디서 확인됐나
보고된 결과를 보면 CNS의 효과는 FID 개선으로 나타난다. ImageNet-256 비가이드 설정에서 SiT-XL/2의 FID는 표준 SDE 샘플링 8.26에서 CNS 6.27로 낮아졌다.1 JiT-B/16에서도 FID가 32.39에서 26.69로 개선됐다.1
이 숫자가 보여주는 핵심은 “잡음은 단순한 랜덤성이 아니다”라는 점이다. 확산 모델이 어떤 주파수를 언제 해결하는지 알고 있다면, 같은 모델을 두고도 샘플링 전략을 바꿔 품질을 개선할 여지가 있다.
다만 CNS가 모든 환경에서 자동으로 최선이라는 뜻은 아니다. 아키텍처, 샘플링 스텝 수, 가이던스 설정, 주파수 스케줄에 따라 효과는 확인해야 한다. 그럼에도 방향은 분명하다. 확산 모델 최적화는 이제 네트워크 구조와 학습 데이터뿐 아니라, 추론 중 어떤 잡음을 어떻게 주입할 것인가까지 포함하는 문제로 확장되고 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.