이미지 생성의 오래된 병목은 “여러 번 조금씩 고치는” 과정이다. 확산 모델은 노이즈를 단계적으로 제거하며 품질을 높이지만, 그만큼 반복 디노이징 비용을 치른다.
Teacher-forced spectral autoregression은 이 병목을 다른 각도에서 본다. 이미지를 픽셀 순서대로 만들기보다, 주파수 성분의 순서로 생성하자는 접근이다. 학습할 때는 모델이 이전에 예측한 성분이 아니라 정답 성분을 조건으로 넣어 다음 성분을 배우게 한다. 즉, “무엇을 먼저 확정하고, 무엇을 나중에 조건부로 만들 것인가”를 이미지 생성의 핵심 문제로 다룬다.
왜 주파수 순서인가
이미지는 저주파와 고주파 성분으로 나눠 볼 수 있다. 저주파는 큰 형태, 배치, 의미적 구조를 담고, 고주파는 질감과 세부 묘사를 주로 담당한다.
확산 모델도 종종 이와 비슷한 방식으로 이해된다. 먼저 거친 구조가 잡히고, 이후 세부가 채워지는 경향이 있다는 것이다. Sander Dieleman은 이를 “확산이 주파수 영역에서 근사적인 오토리그레션처럼 작동한다”는 관점으로 설명했다.1
최근 스펙트럴 스케줄 논의의 핵심도 여기에 있다. 이미지 특징별로 서로 다른 생성 스케줄을 적용할 수 있고, 주파수 기반 분해는 그 특징을 나누는 한 방법이다. 특히 저주파 성분은 디노이징 과정에서 의미적 골격 역할을 할 수 있으며, 저주파가 더 빠르게 정해지면 느리게 진행되는 고주파 성분을 안내할 수 있다는 관찰이 주파수 의존 스케줄의 동기가 된다.2
Teacher forcing이 더하는 것
오토리그레션은 앞에서 만든 결과를 바탕으로 다음 결과를 만든다. 문제는 학습과 추론의 조건이 달라진다는 점이다. 학습 때는 정답에 가까운 입력을 보지만, 추론 때는 모델 자신의 이전 예측을 보게 된다. 이 차이가 누적되면 뒤 단계의 품질이 흔들릴 수 있다.
Teacher forcing은 학습 중 이전 예측값 대신 정답을 조건으로 넣어 다음 단계를 배우게 하는 방식이다. 비디오 생성 분야의 MAGI 연구는 완전히 관측된 프레임을 조건으로 쓰는 Complete Teacher Forcing이 마스크된 관측보다 낫고, FVD 기준 23% 개선을 보였다고 보고했다.3
이를 주파수 기반 이미지 생성에 적용하면 목적이 분명해진다. 모델은 “잘못된 저주파 위에서 고주파를 복구하는 법”보다 “정확한 구조 위에 디테일을 쌓는 법”을 먼저 배운다. 기대하는 효과는 반복 디노이징을 줄이면서도, 큰 구조와 세부 묘사의 연결을 더 직접적으로 학습하는 것이다.
속도만 보면 놓치는 것
Teacher-forced spectral autoregression을 단순히 “확산보다 빠른 대안”으로만 보면 핵심을 놓치기 쉽다. 중요한 질문은 샘플링 단계 수만이 아니다. 저주파 구조와 고주파 디테일이 서로 잘 맞는지, 학습 때의 정답 조건과 추론 때의 자기 예측 조건 사이의 차이를 어떻게 관리하는지도 함께 봐야 한다.
또한 확산 모델이 항상 주파수 계층을 반드시 필요로 하는 것은 아니라는 반론도 있다. DDPM 계열 모델이 저주파에서 고주파로 진행하는 성향을 보일 수는 있지만, 주파수 계층이 약한 설정에서도 성능이 나오거나 고주파 품질이 좋아질 수 있다는 논의가 있다.4
따라서 판단 기준은 세 가지로 정리할 수 있다.
샘플링 단계가 실제로 줄어드는가
저주파 구조와 고주파 디테일의 불일치가 줄어드는가
teacher forcing으로 생기는 학습-추론 차이를 안정적으로 제어하는가
적용 관점: 생성 순서를 설계하라
이 흐름은 관련 연구들과도 연결된다. Patch Forcing에서는 쉬운 패치가 더 빠르게 디노이즈된다는 관찰이 언급되고, Spectrally-Guided Diffusion Noise Schedules는 주파수 기반 확산 스케줄의 참고 사례로 제시된다. FREPix는 픽셀 공간 이미지 생성을 위한 주파수 이질적 플로 매칭 연구로, DeCo는 엔드투엔드 이미지 생성을 위한 주파수 분리 픽셀 확산 연구로 다뤄진다.2
이 사례들이 가리키는 방향은 같다. 이미지 생성의 성능은 모델 크기나 스텝 수만이 아니라, 어떤 특징을 먼저 만들고 어떤 특징을 나중에 조건부로 만들지에 크게 좌우될 수 있다.
결국 teacher-forced spectral autoregression의 의미는 “확산 모델을 버리자”가 아니다. 이미지 생성을 픽셀, 패치, 토큰의 나열이 아니라 특징별 생성 스케줄을 설계하는 문제로 다시 보자는 제안에 가깝다. 앞으로 중요한 경쟁력은 더 많은 반복이 아니라, 더 적절한 생성 순서를 찾는 데 있을 것이다.
1Diffusion is spectral autoregression - Sander Dieleman
2Where is Spectral Autoregression Going
3Taming Teacher Forcing for Masked Autoregressive Video Generation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.