이미지·비디오 생성 모델을 빠르게 만드는 대표적인 방법은 샘플링 스텝을 줄이거나 모델 자체를 작게 만드는 것입니다. Spectral Progressive Diffusion, 줄여서 SPEED는 조금 다른 지점에서 출발합니다.
디노이징 초반부터 모든 픽셀을 고해상도로 계산해야 할까?
SPEED의 답은 “항상 그럴 필요는 없다”입니다. 확산 모델이 이미지를 만들어가는 과정에서 필요한 해상도는 단계마다 다르기 때문입니다. 최근 SPEED를 Ideogram AI 오픈소스 모델에 통합했을 때 추론 속도가 최대 1.6배 빨라졌다는 보고도 나왔습니다.1 다만 이 접근의 핵심은 특정 숫자보다, 계산량을 줄이는 기준을 주파수 정보에서 찾는다는 데 있습니다.
SPEED의 핵심: 디테일은 나중에 생긴다
SPEED는 확산 모델의 디노이징 과정이 주파수 관점에서 순차적으로 진행된다는 관찰에 기반합니다. 초반에는 이미지의 큰 형태, 구도, 색의 덩어리 같은 저주파 성분이 먼저 형성되고, 질감·경계·세부 패턴 같은 고주파 디테일은 후반에 나타납니다.2
이 관찰이 중요합니다. 디노이징 초반의 고주파 대역은 아직 대부분 노이즈에 가깝습니다. 그런데도 처음부터 전체 해상도로 연산하면, 의미 있는 정보가 거의 없는 영역까지 비싼 계산을 반복하게 됩니다.2
SPEED는 이 중복을 줄이기 위해 해상도를 점진적으로 키웁니다. 초반에는 낮은 해상도에서 큰 구조를 만들고, 고주파 디테일이 실제로 필요해지는 시점에 더 높은 해상도로 전환합니다.2 즉, 결과물은 고해상도일 수 있지만 생성 과정의 모든 단계가 고해상도일 필요는 없다는 발상입니다.
단순히 이미지를 키우는 방식과는 다르다
중간에 해상도를 높이는 일은 생각보다 까다롭습니다. 낮은 해상도에서 만든 중간 결과를 단순 업스케일링하면, 확산 모델이 기대하는 노이즈 구조가 깨질 수 있습니다. 그러면 이후 디노이징 품질이 흔들릴 수 있습니다.
SPEED는 이 문제를 해결하기 위해 스펙트럴 노이즈 확장 메커니즘을 사용합니다.2 이미 형성된 저주파 정보는 유지하고, 새로 추가되는 고주파 영역에는 그 단계에 맞는 노이즈를 채워 넣습니다. 덕분에 기존 구조를 보존하면서도 더 높은 해상도 단계로 자연스럽게 넘어갈 수 있습니다.
해상도를 언제 바꿀지도 임의로 정하지 않습니다. SPEED는 모델의 파워 스펙트럼을 분석해 어떤 시점에 어떤 주파수 대역이 의미를 갖는지 파악하고, 그에 따라 최적의 해상도 스케줄을 도출합니다.2 이 점이 SPEED를 단순한 멀티해상도 트릭이 아니라, 확산 과정의 정보 흐름에 맞춘 추론 가속 프레임워크로 만드는 부분입니다.
실전에서 중요한 점: 재학습 없이 적용 가능하다
SPEED의 실용적인 장점은 사전학습된 확산 모델에 학습 없이 적용할 수 있다는 점입니다.2 모델을 처음부터 다시 훈련하거나 구조를 크게 바꾸지 않고도 추론 가속을 시도할 수 있습니다.
논문은 SPEED가 이미지 생성과 비디오 생성 모델 모두에서 속도 향상을 보였다고 설명합니다.2 또한 선택적 파인튜닝 레시피를 통해 효율과 품질을 추가로 개선할 수 있다고 제안합니다.2 다시 말해 SPEED는 “무조건 재학습이 필요한 방법”이라기보다, 기본적으로는 기존 모델 위에 붙일 수 있고 필요하면 파인튜닝으로 더 다듬을 수 있는 접근에 가깝습니다.
Ideogram AI 오픈소스 모델에 SPEED를 통합해 최대 1.6배 추론 가속을 달성했다는 사례도 이 맥락에서 볼 수 있습니다.1 단순히 계산을 덜 하는 것이 아니라, 아직 정보가 없는 고주파 영역에는 고해상도 연산을 미루는 방식으로 비용을 줄인다는 점이 핵심입니다.
SPEED가 보여주는 방향
SPEED가 주는 교훈은 명확합니다. 고해상도 이미지를 만들기 위해 생성 과정 전체를 고해상도로 유지할 필요는 없습니다. 확산 모델이 먼저 만드는 정보와 나중에 만드는 정보를 구분하면, 계산을 더 적절한 시점에 배분할 수 있습니다.
이 접근은 생성 AI 최적화의 관점을 넓힙니다. 속도를 높이는 방법은 스텝 수를 줄이거나 모델을 압축하는 것만이 아닙니다. 모델이 실제로 정보를 만들어가는 순서를 이해하고, 그 흐름에 맞춰 해상도와 계산량을 조절하는 것도 중요한 전략이 될 수 있습니다.
SPEED는 바로 그 지점을 보여줍니다. 품질과 속도 사이의 타협을 무작정 감수하는 대신, 어느 단계에서 어떤 해상도가 필요한지 따져 더 효율적인 생성 경로를 찾는 방법입니다.
1Spectral Progressive Diffusion Speeds Up Ideogram AI Inference By 1.6×
2[2605.18736] Spectral Progressive Diffusion for Efficient Image and Video Generation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.