역전파 (Backpropagation)

1. 한 번의 학습 = 순전파 → 손실 → 역전파 → 갱신

순전파(forward)는 입력을 층층이 통과시켜 예측 ŷ 를 만들고, 역전파(backward)는 그 반대 방향으로 오차의 책임을 나눠 각 가중치의 ∂L/∂w 를 구합니다. 마지막으로 경사 하강으로 w ← w − η·∂L/∂w 만큼 이동하면 손실이 조금 줄어듭니다. 이걸 수천 번 반복합니다.

2. 연쇄 법칙 — 오차의 책임을 거꾸로 나눈다

가중치 w 하나가 손실 L 에 주는 영향은, 그 사이에 낀 함수들의 국소 미분을 곱해서 구합니다. 예를 들어 출력층 가중치 w₂ 는:

# 연쇄 법칙: 각 단계의 기울기를 곱한다
∂L/∂w₂ = (∂L/∂ŷ) · (∂ŷ/∂zₒ) · (∂zₒ/∂w₂)
       = (ŷ − y)   ·  ŷ(1 − ŷ)  ·   h        # σ′(z) = σ(z)(1−σ(z))

# 은닉층 가중치 w₁ 은 한 단계 더 거슬러 올라간다
∂L/∂w₁ = δₒ · w₂ · h(1 − h) · x

3. 직접 학습시켜 보기 — 2-2-1 신경망으로 XOR 풀기

입력 2개 → 은닉 뉴런 2개 → 출력 1개짜리 작은 신경망입니다. 선은 가중치로, 파랑은 양수·빨강은 음수, 굵을수록 절댓값이 큽니다. 학습 시작을 누르면 손실 곡선이 내려가며 아래 XOR 예측표의 값이 정답(0/1)에 가까워집니다.

4. 왜 은닉층이 있어야 XOR이 풀릴까

은닉 뉴런들이 중간 특징(여기서는 OR과 NAND)을 만들어내고, 출력 뉴런은 그 특징들을 다시 직선으로 결합합니다. 사람이 "OR을 계산해라, NAND를 계산해라" 라고 알려주지 않아도, 역전파가 손실을 줄이는 방향으로 가중치를 밀다 보면 이런 역할 분담이 저절로 생깁니다. 학습이 끝난 뒤 위 데모의 은닉 뉴런 활성값을 4가지 입력마다 확인해 보세요.

5. 파이썬 의사코드 (전체 루프)

for epoch in range(5000):
    gW1, gb1, gW2, gb2 = zeros_like(...)          # 기울기 누적기
    for (x, y) in dataset:
        # ── 순전파 ──
        z1 = W1 @ x + b1;   h = sigmoid(z1)
        z2 = W2 @ h + b2;   yhat = sigmoid(z2)

        # ── 역전파 (연쇄 법칙) ──
        d2 = (yhat - y) * yhat * (1 - yhat)   # 출력층 델타
        d1 = (W2.T @ d2) * h * (1 - h)         # 은닉층으로 전파된 델타

        gW2 += outer(d2, h);  gb2 += d2
        gW1 += outer(d1, x);  gb1 += d1

    # ── 경사 하강 갱신 ──
    W1 -= η * gW1 / N;   b1 -= η * gb1 / N
    W2 -= η * gW2 / N;   b2 -= η * gb2 / N