최근 Lighthouse Software에서 "From Noise to Image - interactive guide to diffusion"라는 인터랙티브 가이드를 공개했습니다1. 텍스트 한 줄로 그림이 '뚝' 나오는 시대지만, 실제로는 노이즈(무작위)에서 출발해 이미지를 조금씩 복원하는 확산 모델이 그 뒤에서 묵묵히 일하고 있죠.
이 글에서는 확산 모델의 핵심 아이디어(순방향/역방향), Stable Diffusion이 빠른 이유(잠재공간), 그리고 "왜 느린가/어떻게 빨라지나"까지 한 번에 연결해 설명합니다.
확산 모델이란? "망가뜨리는 법"을 배워 "복원"하기
확산 모델(Diffusion model)은 생성 모델의 한 종류로, 크게 두 단계로 이해하면 편합니다. 먼저 학습 데이터의 이미지를 조금씩 망가뜨리는 과정(순방향 확산)이 있고, 그걸 거꾸로 되돌리는 복원 과정(역방향 샘플링)이 있습니다2.
핵심은 "이미지를 한 번에 그리기"가 아니라 "매 순간, 지금 보이는 것에서 노이즈가 얼마나 섞였는지 맞히기"입니다. 모델은 각 단계에서 노이즈를 예측해 빼고, 또 빼고, 또 빼면서 형태를 드러냅니다. 그래서 처음엔 TV 지지직 같은 화면에서 시작해, 윤곽이 생기고, 디테일이 올라오며, 마지막에 이미지가 완성됩니다.
이 방식이 매력적인 이유는 안정감입니다. GAN처럼 한 방에 승부를 걸기보다, 작은 수정의 누적로 품질을 끌어올릴 수 있거든요.
Stable Diffusion이 가벼운 비밀: 픽셀이 아니라 '잠재공간'에서 작업
그런데 확산 모델은 원래 계산량이 많습니다. 매번 큰 이미지를 들고 "노이즈 빼기"를 수십~수백 번 반복해야 하니까요. 여기서 Stable Diffusion의 아이디어가 등장합니다. 픽셀(512×512)을 그대로 만지지 않고, VAE로 압축한 잠재공간(latent space)에서 확산을 돌립니다3.
AWS 설명에 따르면 512×512 컬러 이미지는 값의 규모가 매우 크지만, Stable Diffusion은 더 작은 표현으로 압축해 처리 부담을 크게 줄입니다3. 쉽게 말해, "초고해상도 원본을 매번 수정"하는 대신 "잘 압축된 스케치를 계속 다듬고, 마지막에 원본 크기로 복원"하는 느낌입니다.
그리고 노이즈를 빼는 주역은 보통 U-Net(또는 최신 모델에선 트랜스포머 계열)입니다. 텍스트 프롬프트는 별도 인코더를 거쳐, 이미지 복원 과정에 힌트를 주는 방식으로 결합됩니다34. 그래서 같은 노이즈에서 시작해도 프롬프트에 따라 전혀 다른 그림으로 "복원 방향"이 달라집니다.
왜 확산 모델은 느릴까? 그리고 "한두 번에 그리기"는 어디까지 왔나
확산 모델의 고질병은 "반복"입니다. 기본 방식은 여러 단계의 디노이징을 거치니, 인터랙티브 서비스나 실시간 편집에서는 지연이 체감될 수밖에 없습니다. 특히 비디오 확산은 시간 축까지 더해져 비용이 폭증하죠5.
그래서 요즘 뜨는 키워드가 가속(Acceleration)이고, 그중 대표가 디퓨전 증류(distillation)입니다. 길게 달리는 선생(다단계 모델)의 궤적이나 분포를 따라가도록 학생(소수 단계 모델)을 만들어, 수십~수백 단계를 1~몇 단계로 줄이려는 시도입니다5. NVIDIA는 이런 흐름을 묶어 "FastGen" 같은 프레임워크로 정리하며, 품질을 유지한 채 샘플링 속도를 크게 높이는 방향을 소개합니다5.
다만 현실적인 결론도 있습니다. "무조건 1스텝이 정답"은 아닙니다. 단계 수를 줄이면 속도는 얻지만, 복잡한 장면(특히 비디오)에서 품질/다양성/안정성의 균형이 흔들릴 수 있어, 지금도 가장 실용적인 지점은 사용 목적에 따라 달라집니다5.
시사점
확산 모델을 이해하는 가장 좋은 비유는 "조각"입니다. 랜덤 노이즈 덩어리에서 시작해, 매 단계마다 "불필요한 노이즈를 조금씩 깎아내며" 의미 있는 형태를 드러냅니다. Stable Diffusion은 이 조각을 픽셀이 아니라 잠재공간에서 해내서 빨라졌고3, 업계는 이제 조각칼질 횟수 자체를 줄이려(증류/가속) 달리고 있습니다5.
실전에서 도움이 되는 판단 기준은 간단합니다. 빠른 프로토타이핑·인터랙션이 목표면 "스텝 수를 줄이는 세팅/가속 모델"을, 디테일과 실패율이 더 중요하면 "스텝 수를 늘리는 세팅"을 우선으로 보세요. 그리고 무엇보다, 이 모든 과정을 한 번에 감 잡게 해주는 인터랙티브 자료가 등장했다는 점이 반갑습니다1. 이해가 되면 프롬프트도, 파라미터도, 결과물도 훨씬 원하는 방향으로 움직이기 시작하니까요.
참고
1From Noise to Image - interactive guide to diffusion
3Stable Diffusion이란?- Stable Diffusion AI 설명 - AWS
5Accelerating Diffusion Models with an Open, Plug-and-Play Offering
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.