정규화 (L1/L2, Ridge·Lasso)

1. 아이디어 — 손실에 페널티를 더한다

보통의 학습은 Loss = MSE(예측, 정답) 만 최소화한다. 정규화는 여기에 가중치 w의 크기를 재는 항을 더한다.

λ(람다)는 "얼마나 단순함을 강요할지" 정하는 손잡이다. λ = 0이면 원래 학습과 같고, λ가 커질수록 가중치를 작게 만드는 쪽으로 더 세게 당긴다. 편향(bias) 항은 보통 페널티에서 제외한다 — 편향까지 줄이면 예측이 이유 없이 0쪽으로 쏠리기 때문이다.

2. Ridge(L2) vs Lasso(L1) — 왜 결과가 다른가

직관적으로: w²는 w가 이미 작을 때 기울기(2w)도 작아져서 "0 근처에서는 살살 민다" — 그래서 완전히 0이 되기보다 다들 조금씩만 작아진다. 반면 |w|의 기울기는 w가 0이 아닌 한 항상 ±1로 일정해서 끝까지 세게 밀어붙이고, 그 결과 덜 중요한 가중치는 정확히 0에서 멈춰 버린다(변수가 사라지는 효과).

3. 데모 — λ를 올리면 곡선이 얌전해진다

노이즈 낀 데이터에 8개 계수(0~7차 다항식)를 가진 곡선을 피팅한다. λ를 올리며 Ridge/Lasso를 바꿔 보라 — 구불구불하던 곡선이 점점 단순해지고, Lasso에서는 계수 막대가 하나씩 0으로 꺼진다.

4. 언제 무엇을 쓸까

• Ridge (L2) — 특징들이 대체로 다 조금씩 쓸모 있을 것 같을 때. 계수를 0으로 만들지 않고 고르게 줄여 안정적이다.
• Lasso (L1) — 특징이 아주 많고 그중 일부만 진짜 중요할 것 같을 때. 자동으로 불필요한 계수를 0으로 없애 "변수 선택"을 겸한다.
• Elastic Net — 두 페널티를 αΣ|wⱼ| + (1-α)Σwⱼ² 처럼 섞어서 절충하는 방법도 실무에서 널리 쓰인다.
• λ 고르기 — 보통 교차검증으로 여러 λ 후보 중 검증 오차가 가장 낮은 값을 고른다.