Logistic Regression

Sun, 22 Sep 2024 00:00:00 +0000

Logistic Regression vs Linear Regression

좋은 logistic regression 모델은 정답 클래스에는 높은 확률을, 오답 클래스에는 낮은 확률을 부여한다.

모델 성능을 likelihood — “각 데이터 포인트가 정답 클래스로 분류될 확률을 모두 곱한 것” — 로 측정한다.

문제: 확률값을 계속 곱하면 값이 0에 가까워져 수치적으로 불안정. → 로그를 취해 log-likelihood 사용.

$$\arg\max_\theta \mathcal{L}(\theta) \;=\; \arg\max_\theta \log \mathcal{L}(\theta) \;=\; \arg\min_\theta \big(-\log \mathcal{L}(\theta)\big)$$

데이터셋 likelihood를 최대화하는 계수 $\theta$ 를 찾는 것이 MLE. 실전에서는 보통 negative log-likelihood (NLL) 최소화 형태로 푼다.

Logistic regression에는 닫힌 해가 없으므로 gradient descent 로 반복 개선:

$$\theta^{(t+1)} = \theta^{(t)} - \alpha \cdot \nabla_\theta \big(-\log \mathcal{L}(\theta^{(t)})\big)$$

학습된 계수로 새 데이터의 확률을 계산할 때 sigmoid 함수 사용 — S자 곡선:

$$\sigma(z) = \frac{1}{1 + e^{-z}}, \qquad z = \theta^\top x$$

기본 cutoff threshold (보통 0.5) 를 적용해 확률을 이진 분류로 변환:

$$\hat{y} = \begin{cases} 1 & \text{if } \sigma(\theta^\top x) \ge 0.5 \\ 0 & \text{otherwise} \end{cases}$$

threshold는 도메인에 따라 (예: 의료에서 false negative 비용이 클 때) 0.3, 0.7 등으로 조절 가능.

원문: