로지스틱 회귀 (Logistic Regression)

숫자를 확률로 바꾸는 S자 곡선 | 이름은 회귀지만 실제로는 분류 모델

"이 이메일은 스팸일까?", "이 종양은 악성일까?" 같은 질문은 답이 두 가지(예/아니오)뿐인 이진 분류 문제입니다. 선형 회귀처럼 z = wx + b 를 그대로 출력하면 값이 −∞부터 +∞까지 나와서 확률로 해석할 수 없습니다. 로지스틱 회귀는 이 z 를 시그모이드 함수에 통과시켜 0~1 사이의 확률로 눌러 담습니다.

1. 시그모이드 함수 — 무한대를 확률로

σ(z) = 1 / (1 + e^−z)

시그모이드는 z 가 아주 크면 1에, 아주 작으면(음수로 크면) 0에 가까워지고, z = 0 일 때 정확히 0.5 를 지나는 매끄러운 S자 곡선입니다. 아래 그래프에서 w, b 슬라이더를 움직이며 곡선이 어떻게 변하는지 확인해 보세요.

w (기울기) 1.00

b (이동) 0.0

|w| 가 커질수록 곡선이 더 가파르게(확신에 차게) 변하고, b 는 곡선을 좌우로 이동시켜 결정 경계(σ(z)=0.5 가 되는 지점, x = −b/w)를 옮깁니다.

2. 모델 구조와 결정 경계

z = w·x + b ŷ = P(y=1 | x) = σ(z)

예측 확률이 0.5보다 크면 클래스 1, 작으면 클래스 0 으로 분류합니다. σ(z) = 0.5 가 되는 지점은 정확히 z = 0, 즉 w·x + b = 0 인 지점입니다. 입력이 2차원이면 이 경계는 직선이 되고, 선형 회귀처럼 여전히 선형 경계를 사용하지만 그 경계 주변의 확신도(확률)까지 함께 알려준다는 점이 다릅니다.

3. 손실 함수 — 왜 MSE 대신 교차 엔트로피인가

L = −[ y·log(ŷ) + (1−y)·log(1−ŷ) ]

정답이 y=1 인데 모델이 ŷ≈0 으로 확신했다면 −log(ŷ) 항이 무한대로 커져 강하게 벌점을 줍니다. 반대로 맞게 확신했다면 손실이 0에 가깝습니다. 이 손실을 이진 교차 엔트로피(Binary Cross-Entropy)라 부르며, 시그모이드와 짝을 이뤄 손실 곡면이 매끄러운 볼록 함수가 되어 경사 하강법으로 안정적으로 최적화할 수 있습니다. (MSE를 그대로 쓰면 시그모이드와 결합했을 때 손실 곡면에 울퉁불퉁한 구간이 생겨 학습이 불안정해집니다.) 손실 함수 자체를 더 깊이 비교하고 싶다면 손실 함수 페이지를 참고하세요.

4. 직접 학습시켜 보기 — 확률 등고선과 결정 경계

캔버스를 클릭하면 클래스 1, Shift+클릭(또는 오른쪽 클릭)하면 클래스 0 점을 추가합니다. 학습 시작을 누르면 경사 하강법으로 교차 엔트로피를 최소화하며 배경색(확률)과 경계선이 움직입니다.

클래스 1 클래스 0 결정 경계 (σ=0.5)

η (학습률) 0.30

w₁ = 0.00 w₂ = 0.00 b = 0.00
epoch 0
교차 엔트로피 손실 –
정확도 0%

5. 선형 회귀와 무엇이 다른가

	선형 회귀	로지스틱 회귀
출력	임의의 실수값	0~1 사이 확률
용도	회귀 (연속값 예측)	분류 (범주 예측)
손실 함수	MSE	교차 엔트로피
공통점	둘 다 `z = w·x + b` 형태의 선형 결합을 기반으로 함

한계: 로지스틱 회귀는 여전히 선형 경계만 그릴 수 있어, 퍼셉트론과 마찬가지로 XOR처럼 휘어진 경계가 필요한 문제는 풀지 못합니다. 이를 해결하려면 여러 개의 로지스틱 유닛을 층층이 쌓은 다층 신경망이 필요합니다.

핵심 정리

로지스틱 회귀 = z = w·x + b 를 시그모이드로 눌러 확률을 출력하는 분류 모델
결정 경계는 σ(z)=0.5, 즉 z=0 인 지점 — 여전히 선형 경계
손실은 교차 엔트로피: 확신에 찬 오답일수록 벌점이 급격히 커짐
퍼셉트론·MLP·딥러닝 분류기의 마지막 층(출력층)에서 지금도 널리 쓰이는 기본 구성 요소