손실 함수 (Loss Function)

"얼마나 틀렸는가"를 숫자 하나로 | 모든 학습 알고리즘이 최소화하려는 단 하나의 목표

모델을 학습시킨다는 것은 결국 파라미터를 조금씩 바꿔가며 무언가를 줄이는 과정입니다. 그 "무언가"가 바로 손실 함수(loss function)입니다. 손실 함수는 모델의 예측 ŷ 과 실제 정답 y 를 입력받아, 틀린 정도를 하나의 숫자로 돌려줍니다. 이 숫자가 작을수록 좋은 모델이며, 경사 하강법 같은 최적화 알고리즘은 오직 이 숫자를 줄이는 방향으로만 파라미터를 움직입니다.

1. 왜 정확도(accuracy)를 직접 최적화하지 않는가

분류 문제라면 최종 목표는 결국 정확도입니다. 그런데 정확도는 "맞았다/틀렸다"만 셀 뿐, 얼마나 아슬아슬하게 맞았는지 틀렸는지는 알려주지 않는 계단 모양의 함수입니다. 계단 함수는 대부분의 지점에서 기울기가 0이라 경사 하강법이 어느 방향으로 움직여야 할지 전혀 알 수 없습니다. 그래서 정확도 대신, 정확도와 방향은 같지만 매끄럽고 미분 가능한 "대리 손실(surrogate loss)"을 최적화 대상으로 삼습니다. 이것이 손실 함수가 필요한 근본 이유입니다.

2. 회귀용 손실 — MSE vs MAE

MSE = (1/n)Σ(y−ŷ)² MAE = (1/n)Σ|y−ŷ|

	평균제곱오차 (MSE)	평균절대오차 (MAE)
이상치에 대한 민감도	매우 민감 (오차를 제곱)	상대적으로 강건
미분 가능성	어디서나 매끄러움	오차 0 지점에서 꺾임(미분 불연속)
주로 쓰는 상황	이상치가 적고 큰 오차를 강하게 억제하고 싶을 때	이상치가 많아 영향력을 줄이고 싶을 때

3. 분류용 손실 — 교차 엔트로피 (Cross-Entropy)

L = −[ y·log(ŷ) + (1−y)·log(1−ŷ) ]

분류에서는 모델이 확률 ŷ 을 출력합니다(자세한 유도는 로지스틱 회귀 페이지 참고). 교차 엔트로피는 정답 클래스에 부여한 확률의 로그에 음수를 취한 값으로, 정보 이론 관점에서는 "예상 밖의 정도(놀람도)"를 의미합니다. 정답에 낮은 확률을 준 만큼 로그가 급격히 음의 무한대로 발산해 확신에 찬 오답을 강하게 처벌합니다.

4. 직접 비교해 보기

모드를 선택하고 슬라이더로 예측값을 움직여 보세요. 곡선 위의 점이 실시간으로 이동하며, 현재 손실 값이 아래에 표시됩니다.

예측 ŷ 1.20

정답 y = 0 으로 고정, 가로축은 오차 e = ŷ − y

관찰 포인트: 회귀 모드에서 예측이 정답에서 멀어질수록 MSE는 MAE보다 훨씬 빠르게(제곱으로) 커집니다. 분류 모드에서는 정답을 향한 확률을 0에 가깝게 줄 때(자신 있는 오답) 손실이 급격히 치솟는 것을 확인할 수 있습니다.

핵심 정리

손실 함수 = 예측과 정답의 차이를 미분 가능한 숫자 하나로 요약한 것
정확도처럼 계단 모양인 지표는 기울기가 없어 직접 최적화할 수 없음 → 매끄러운 대리 손실을 사용
회귀는 MSE(이상치 민감) 또는 MAE(이상치에 강건) 중 상황에 맞게 선택
분류는 교차 엔트로피가 사실상 표준 — 확신에 찬 오답을 강하게 벌점