확산 모델은 생성 모델링에서 지배적인 프레임워크로 자리 잡았습니다.3 이미지 생성에서 출발해 비디오, 언어, 멀티모달 생성으로 논의가 넓어지면서 관련 용어도 빠르게 늘었습니다. DDPM, DDIM, Score SDE, Flow Matching처럼 이름은 다르지만, 많은 방법은 같은 문제를 서로 다른 수학적 언어로 설명합니다.
CVPR 2026 튜토리얼 “The Principles of Diffusion Models: Real-Time Continuous & Discrete Diffusion”가 의미 있는 이유도 여기에 있습니다.1 핵심은 최신 기법을 나열하는 것이 아니라, 확산 모델을 관통하는 공통 원리를 이해하는 데 있습니다. 특히 연속 확산과 이산 확산을 함께 다루기 때문에, “확산 모델이 무엇을 학습하고 어떻게 생성하는가”를 더 넓은 관점에서 정리할 기회가 됩니다.4
확산 모델의 기본 질문: 노이즈를 어떻게 데이터로 되돌릴 것인가
확산 모델은 보통 두 방향으로 이해할 수 있습니다. 먼저 데이터에 점진적으로 노이즈를 더해 단순한 분포로 보내는 정방향 과정을 정의합니다. 그런 다음 그 과정을 거꾸로 따라가며 노이즈에서 데이터를 생성하는 역방향 과정을 학습합니다.3
이때 중요한 것은 단순히 “노이즈를 제거한다”는 설명에 머무르지 않는 것입니다. 확산 모델의 수학적 기초는 확산 확률 모델, 스코어 기반 모델링, 확률미분방정식(SDE), 수치 샘플링 방법으로 나누어 설명되는 경우가 많습니다.3 서로 다른 접근처럼 보이지만, 모두 생성 과정을 시간에 따라 변화하는 분포와 그 분포를 따라 이동하는 경로로 바라봅니다.
따라서 확산 모델을 배울 때 가장 먼저 잡아야 할 관점은 이것입니다. 모델은 무작위 노이즈에서 시작해 데이터 분포에 가까워지는 경로를 학습한다.
생성의 핵심은 reverse-time SDE와 probability-flow ODE다
확산 모델에서 실제 생성을 가능하게 하는 역방향 과정은 주로 두 가지 방식으로 설명됩니다. 하나는 reverse-time SDE, 다른 하나는 probability-flow ODE입니다.3
SDE 관점은 생성 과정에 확률적 움직임이 포함된다고 봅니다. 반면 ODE 관점은 같은 분포 변화를 결정론적 흐름으로 설명합니다. 조건부 가우시안 노이징 과정에서 ODE와 SDE 표현을 유도할 수 있다는 점은, 이 둘이 완전히 별개의 세계가 아니라 공통된 확산 이론 안에서 연결된다는 것을 보여줍니다.3
실무적으로도 이 구분은 중요합니다. 어떤 샘플러를 쓰는지, 몇 단계로 생성할 수 있는지, 품질과 속도 사이에서 어떤 균형을 잡을지 판단하려면 역방향 과정을 어떤 수학적 형태로 보는지가 달라지기 때문입니다.
스코어는 “어느 방향으로 가야 하는가”를 알려준다
역방향 샘플링에서 중심이 되는 미지의 양은 marginal score입니다.3 직관적으로 말하면, 스코어는 현재 샘플이 더 그럴듯한 데이터 쪽으로 이동하려면 어느 방향으로 움직여야 하는지를 알려주는 신호입니다.
많은 확산 모델이 노이즈 예측 형태로 학습되는 이유도 여기에 있습니다. 노이즈 예측 파라미터화에서는 score matching이 표준적인 denoising objective로 연결됩니다.3 즉, 모델은 단순히 깨끗한 이미지를 맞히는 것이 아니라, 각 시간 단계에서 “현재의 noisy sample을 어떻게 되돌려야 하는가”를 배우는 셈입니다.
이 관점을 잡으면 확산 모델의 여러 변형을 훨씬 쉽게 읽을 수 있습니다. 알고리즘 이름보다 중요한 질문은 다음과 같습니다.
어떤 노이징 과정을 정의하는가?
역방향 과정을 SDE로 보는가, ODE로 보는가?
모델이 예측하는 것은 노이즈인가, 스코어인가, 속도장인가?
샘플링 단계 수와 품질 사이의 균형을 어떻게 잡는가?
DDPM, DDIM, Flow Matching은 경쟁 개념이 아니라 공통 틀의 변형이다
DDPM은 점진적으로 노이즈를 제거하는 확률적 생성 과정으로 이해할 수 있습니다. DDIM은 더 결정론적인 샘플링 경로를 통해 같은 문제를 다룹니다. Score-based SDE는 확률미분방정식으로 분포의 변화를 설명하고, Flow Matching은 노이즈에서 데이터로 이어지는 흐름을 학습하는 관점에 가깝습니다.
겉으로는 다른 방법처럼 보이지만, DDPM, DDIM, Flow Matching, score-based SDE는 공통 프레임워크 안에서 설명될 수 있습니다.3 이 점이 확산 모델을 공부할 때 가장 큰 절약을 만들어냅니다. 각각을 별개의 기법으로 외우기보다, “분포를 어떻게 이동시키는가”라는 공통 질문으로 묶어 보면 새 논문을 읽는 부담이 줄어듭니다.
연속 확산과 이산 확산을 함께 봐야 하는 이유
확산 모델은 전통적으로 이미지처럼 연속값을 다루는 생성 문제에서 강하게 발전했습니다. 하지만 언어와 토큰 기반 데이터에서는 상황이 다릅니다. 확산 언어 모델은 연속 임베딩 공간에서 다룰 수 있지만, 이산 masked-token diffusion은 이와 별도로 논의되는 접근입니다.3
이 차이는 중요합니다. 연속 확산에서는 노이즈를 더하고 빼는 과정을 자연스럽게 정의할 수 있지만, 토큰처럼 이산적인 대상에서는 같은 방식이 곧바로 적용되지 않습니다. 그래서 이산 확산에서는 마스킹, 토큰 전이, 구조적 예측 같은 별도 설계가 필요합니다.
CVPR 튜토리얼이 실시간 연속 및 이산 확산 모델을 함께 다루는 것도 이 맥락에서 볼 수 있습니다.1 확산 모델의 다음 단계는 더 빠른 샘플링만이 아니라, 서로 다른 데이터 형태에 맞게 확산 원리를 어떻게 바꿔 적용할 것인가에 달려 있습니다.
확산 모델을 배울 때의 실용적 기준
확산 모델을 이해하는 가장 좋은 출발점은 모델 이름을 외우는 것이 아닙니다. 다음 세 가지를 먼저 잡는 것이 더 실용적입니다.
경로: 데이터가 노이즈로 가고, 노이즈가 다시 데이터로 돌아오는 과정을 어떻게 정의하는가
스코어: 각 시점에서 더 그럴듯한 데이터 방향을 어떻게 추정하는가
역방향 과정: 생성을 SDE, ODE, 또는 흐름의 관점에서 어떻게 구현하는가
이 세 가지를 이해하면 DDPM, DDIM, Score SDE, Flow Matching을 별개의 유행어가 아니라 하나의 계열로 볼 수 있습니다. 또한 연속 확산과 이산 확산의 차이도 더 명확해집니다.
결국 확산 모델의 원리는 “노이즈에서 데이터로 가는 법”을 배우는 데 있습니다. 그 경로를 어떤 수학적 언어로 쓰고, 어떤 샘플러로 빠르게 따라가며, 어떤 데이터 형태에 맞게 바꾸는지가 오늘날 확산 모델 연구의 핵심입니다.
1The Principles of Diffusion Models: Real-Time Continuous & Discrete Diffusion
2The Principles of Diffusion Models
3A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.