확산 모델 (Diffusion Model)

1. 정방향 과정 — 데이터를 노이즈로 무너뜨리기

원본 데이터 x₀에 아주 작은 노이즈를 T번(보통 수백~수천 번) 반복해서 더하면 결국 원래 모양을 전혀 알아볼 수 없는 순수 가우시안 노이즈 x_T가 됩니다. 놀랍게도 이 과정은 재매개변수화(reparameterization) 덕분에 한 단계씩 반복할 필요 없이, 임의의 스텝 t의 노이즈 낀 데이터를 단 한 번의 계산으로 바로 구할 수 있습니다.

# ᾱ_t = 누적 α (스케줄에서 미리 계산해 둠), ε ~ N(0, I)
x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε

ᾱ_t가 1에 가까우면(t가 작으면) x_t는 원본과 거의 같고, ᾱ_t가 0에 가까우면(t가 크면) 원본 정보는 사라지고 순수 노이즈만 남습니다.

슬라이더로 직접 확인하기

아래 청록색 점은 하트 모양 원본 데이터입니다. t 슬라이더를 오른쪽으로 옮기면 같은 점들에 정방향 공식으로 노이즈를 점점 더 섞은 모습을, 보라색으로 보여줍니다. 끝까지 옮기면 하트 모양이 완전히 사라지고 랜덤한 점 구름만 남는 것을 확인해 보세요.

2. 노이즈 스케줄 — 얼마씩 섞을지 미리 정해두기

매 스텝 얼마나 노이즈를 더할지는 β_t(베타 스케줄)로 정해집니다. 이 데모는 초반·후반에는 완만하고 중반에 가장 급격하게 무너지는 코사인 스케줄(Nichol & Dhariwal, 2021)을 사용합니다 — 선형 스케줄보다 정보가 너무 빨리 사라지지 않아 더 안정적으로 학습됩니다.

청록 선 = 남아있는 원본 신호 비율 √ᾱ_t, 보라 선 = 섞여 들어간 노이즈 비율 √(1−ᾱ_t). 두 선이 교차하는 지점부터는 원본보다 노이즈가 더 많아집니다.

3. 역방향 과정 — 노이즈 예측기로 한 스텝씩 되돌리기

신경망은 "정답 노이즈"가 있는 지도학습 문제로 학습됩니다: 정방향 공식으로 x_t와 그때 실제로 섞은 ε를 만들어두고, 신경망이 x_t와 t를 보고 ε를 맞히도록 평균제곱오차로 학습시킵니다. 예측이 정확해지면, 아래 공식으로 한 스텝 되돌릴 수 있습니다.

# DDPM 역방향 샘플링 (t = T ... 1)
ε̂ = 노이즈예측망(x_t, t)
평균 = (1/√α_t) · ( x_t − (β_t / √(1−ᾱ_t)) · ε̂ )
x_{t-1} = 평균 + √β_t · z          # t > 1 이면 z ~ N(0,I), t = 1 이면 z = 0

4. 직접 학습시켜 보기 — 노이즈에서 하트 모양 되살리기

작은 신경망 하나가 "x_t와 t를 보고 그 안에 섞인 노이즈 ε를 맞히는" 문제를 학습합니다. 학습 시작으로 노이즈 예측망을 훈련시킨 뒤, 샘플 생성을 눌러 순수 노이즈 점들이 T스텝을 거치며 하트 모양으로 서서히 모여드는지 확인해 보세요. 학습이 부족하면 뭉개진 구름 모양에 그칩니다.

5. 왜 확산 모델이 널리 쓰이게 됐나

Stable Diffusion이 빨라진 이유 — 잠재 확산(Latent Diffusion)

위 데모처럼 픽셀 공간에서 그대로 확산을 수행하면 고해상도 이미지는 스텝마다 계산량이 막대합니다. Stable Diffusion은 먼저 VAE 인코더로 이미지를 훨씬 작은 잠재 공간(latent space)으로 압축한 뒤, 그 잠재 벡터 위에서만 확산 과정을 수행하고, 마지막에 VAE 디코더로 다시 이미지로 복원합니다. 또한 CLIP 텍스트 인코더로 프롬프트를 벡터화해 매 역방향 스텝마다 노이즈 예측망(U-Net)에 조건으로 넣어주기 때문에 "고양이가 그려진 우주비행사" 같은 텍스트 조건부 생성이 가능해집니다.

6. 파이썬 의사코드

# ── 학습: 노이즈 예측망이 ε를 맞히도록 ──
for step in range(num_steps):
    x0   = sample_real_data()
    t    = random_int(1, T)
    eps  = sample_gaussian()
    xt   = sqrt(alpha_bar[t]) * x0 + sqrt(1 - alpha_bar[t]) * eps

    eps_hat = noise_predictor(xt, t)
    loss    = mse(eps_hat, eps)
    update(noise_predictor, grad(loss))

# ── 생성: 순수 노이즈에서 T번 역방향으로 되돌리기 ──
x = sample_gaussian()                    # x_T
for t in range(T, 0, -1):
    eps_hat = noise_predictor(x, t)
    mean = (x - beta[t] / sqrt(1 - alpha_bar[t]) * eps_hat) / sqrt(alpha[t])
    z = sample_gaussian() if t > 1 else 0
    x = mean + sqrt(beta[t]) * z
# x 는 이제 x_0, 즉 새로 생성된 샘플