Classification |

머신러닝 분류 과제 수행 단계

Thu, 24 Oct 2024 00:00:00 +0000

분류(classification) 머신러닝 프로젝트를 처음부터 끝까지 끌고 가본 경험을 정리한 워크플로 가이드. 전처리 → 변수 선택 → 모델링 → 평가 순서.

전처리 단계

1차 변수 탐색

범주형: 2x2 table과 odds ratio로 변수 영향력 점검. odds ratio가 10 이상이거나 지나치게 낮으면 sensitivity/specificity 분포가 극단적으로 왜곡되므로 별도 검토.
연속형: 기초 통계량 (mean, sd 등) 과 histogram으로 영향력 확인.

2차 변수 탐색 (결측 + 다중공선성)

결측치 처리

결측률 40% 이상 이면 변수의 설명력 부족으로 판단해 제거.
나머지는 imputation:
- 연속형 → median (mean보다 극단값 영향 덜 받음)
- 범주형 → mode
Train set 통계량을 test set에도 동일 적용 (leakage 방지).

다중공선성 (VIF)

Imputation 후 연속형 변수 간 VIF 산출.
VIF $\ge 10$ 인 변수는 한 번에 한 개씩 제거하며 추이 관찰. cutoff는 주관적이지만 10 초과면 제거 권장.

범주형 변수 변환

One-hot encoding은 다중공선성 우려가 있으므로, 한 카테고리를 reference로 두는 dummy encoding 사용.
Reference 카테고리는 모든 컬럼에서 0인 행 → 최종 컬럼 수 = 카테고리 수 - 1.

정규화 / 표준화

연속형 변수 scale 차이가 크면 모델 설명력에 영향 → MinMaxScaler 또는 Standardization 적용.
표준화 통계량 (mean, sd) 역시 train 기준으로 test에 동일 적용.

변수 선택

Feature가 많을수록 설명력은 ↑ but overfitting 위험 ↑.
Hyperparameter 최적화 전에 변수 선택을 거친다.
방법: RFE (Recursive Feature Elimination) with 5-fold stratified CV.
평가 기준: AUROC.
RFE-CV 결과 그래프로 최적 feature 수 (예: 5개) 결정.

모델링 단계

데이터 분할

전체 데이터를 3:1 stratified split (train/test).

하이퍼파라미터 탐색

Train 안에서 10-fold stratified CV:

10-fold CV로 train/val 분할
Train set 표준화 → 그 통계량으로 val set 표준화
각 fold에서 성능 metric 계산 → 평균
평균이 가장 높은 hyperparameter 조합 저장

탐색 알고리즘: Bayesian optimization (grid / random search보다 효율적).

최종 학습 + 평가

전체 train data 표준화
위에서 찾은 best hyperparameter로 모델 fitting → 모델 $a$
Train 통계량으로 test data 표준화 → 모델 $a$ 에 넣고 성능 metric 출력

Robustness — 50회 반복

위 과정 (split → tuning → fit → test) 을 50번 반복하고 metric의 평균을 최종 성능으로 보고. → subject selection bias를 줄이고 robustness 확보.

모델 후보

XGBoost
Random Forest
Support Vector Machine (SVM)
Logistic Regression
Multi-Layer Perceptron (MLP)

평가 지표

Accuracy
Precision
Recall (Sensitivity)
F1-score
AUC-ROC

원문:

이 워크플로를 적용한 실제 프로젝트는 참고.

Logistic Regression

Sun, 22 Sep 2024 00:00:00 +0000

Logistic Regression vs Linear Regression

Linear regression — 닫힌 해 (closed-form solution) 가 존재 (정규방정식)
Logistic regression — 닫힌 해 없음. 최적화 기법 필요

좋은 logistic regression 모델은 정답 클래스에는 높은 확률을, 오답 클래스에는 낮은 확률을 부여한다.

Likelihood Function

모델 성능을 likelihood — “각 데이터 포인트가 정답 클래스로 분류될 확률을 모두 곱한 것” — 로 측정한다.

문제: 확률값을 계속 곱하면 값이 0에 가까워져 수치적으로 불안정. → 로그를 취해 log-likelihood 사용.

Maximum Likelihood Estimation (MLE)

$$\arg\max_\theta \mathcal{L}(\theta) \;=\; \arg\max_\theta \log \mathcal{L}(\theta) \;=\; \arg\min_\theta \big(-\log \mathcal{L}(\theta)\big)$$

데이터셋 likelihood를 최대화하는 계수 $\theta$ 를 찾는 것이 MLE. 실전에서는 보통 negative log-likelihood (NLL) 최소화 형태로 푼다.

Gradient Descent

Logistic regression에는 닫힌 해가 없으므로 gradient descent 로 반복 개선:

가중치 $\theta$ 를 무작위로 초기화
NLL의 gradient (1차 도함수) 계산
Gradient의 반대 방향으로 step size $\alpha$ (learning rate) 만큼 이동
수렴할 때까지 반복

$$\theta^{(t+1)} = \theta^{(t)} - \alpha \cdot \nabla_\theta \big(-\log \mathcal{L}(\theta^{(t)})\big)$$

예측 및 분류

학습된 계수로 새 데이터의 확률을 계산할 때 sigmoid 함수 사용 — S자 곡선:

$$\sigma(z) = \frac{1}{1 + e^{-z}}, \qquad z = \theta^\top x$$

기본 cutoff threshold (보통 0.5) 를 적용해 확률을 이진 분류로 변환:

$$\hat{y} = \begin{cases} 1 & \text{if } \sigma(\theta^\top x) \ge 0.5 \\ 0 & \text{otherwise} \end{cases}$$

threshold는 도메인에 따라 (예: 의료에서 false negative 비용이 클 때) 0.3, 0.7 등으로 조절 가능.

원문:

SVM (Support Vector Machine)

Fri, 20 Sep 2024 00:00:00 +0000

SVM 개요

SVM (Support Vector Machine) 은 이진 분류 알고리즘이다. 본 글에서 다루는 original SVM은 본질적으로 선형 모델이다 (이후 kernel trick으로 비선형 확장 가능).

Linear Classifier의 목적

SVM은 이진 분류에서 라벨을 $\{-1, +1\}$ 로 표기한다. 목표는 분류기 집합 $H$ 안에서 일반화 오차 $R_D(h)$ 가 작은 가설 $h: X \to \{-1, +1\}$ 을 찾는 것.

입력 공간 $X$ 에서 각 학습 데이터의 실제 라벨 ($+1$, $-1$) 을 정확히 분류하는 최적 분류기를 찾는다 — 결국 일반화 오차 $R_D(h)$ 를 최소화하는 문제.

SVM은 고차원 공간에서도 선형 분류를 수행한다.

2D → 선(line) 으로 분리
3D → 평면(plane) 으로 분리
일반 $d$ 차원 → $(d-1)$ 차원의 초평면(hyperplane) 으로 두 클래스 분리

선형 분류기는 다음 형태:

$$H = \{\, x \mapsto \mathrm{sign}(w \cdot x + b) \;:\; w \in \mathbb{R}^d,\; b \in \mathbb{R} \,\}$$

$w \cdot x + b$ 의 부호로 라벨을 결정 (음수 → $-1$, 양수 → $+1$). 여기서 $w, b$ 가 학습 대상.

Local Optimum? Global Optimum!

학습 데이터를 정확히 분류하는 hyperplane은 무수히 많다. SVM은 그 중 두 클래스 사이의 마진(margin)이 가장 넓은 hyperplane을 고른다.

마진 너비 도출

분류 경계 위의 점 $x_0$ 에서 $w^\top x_0 + b = 0$. 여기서 $w$ 는 hyperplane의 법선 벡터.

“+1 plane” 위의 점 $x_1$ 은 법선 방향으로 거리만큼 이동한 점이므로

$$x_1 = x_0 + p\, w$$

$x_1$ 이 plus plane 위에 있다는 조건 $w^\top x + b = 1$ 에 대입:

$$w^\top x_0 + p\, w^\top w + b = 1$$

$w^\top x_0 + b = 0$ 이므로

$$p\, w^\top w = 1 \quad\Longrightarrow\quad |p| = \frac{1}{\|w\|^2}$$

→ 한쪽 마진은 $\dfrac{1}{\|w\|^2}$, 양쪽 합 마진은 $\dfrac{2}{\|w\|^2}$.

(보다 일반적으로 plus와 minus plane 거리를 $\|w\|$ 로 정규화하면 마진은 $\dfrac{2}{\|w\|}$. 위 도출은 $w^\top x + b = \pm 1$ 형태로 정규화한 경우의 결과)

마진과 VC 차원의 관계

마진 $\Delta$ 를 가지는 분리 초평면의 VC 차원은 다음 상한을 가진다.

$$h \;\le\; \min\!\left(\left\lceil \frac{R^2}{\Delta^2}\right\rceil,\; D\right) + 1$$

$D$ : 입력 공간의 차원
$R$ : 모든 입력 벡터를 포함하는 가장 작은 구의 반지름
$\Delta$ : 마진

여기서 변하는 건 $\Delta$ 뿐. 마진이 클수록 $R^2/\Delta^2$ 가 작아져 VC 차원이 $D$ 보다 더 낮아질 수 있다.

VC 차원이 작아지면 일반화 위험 상한 (capacity term) 도 작아진다:

$$R[f] \;\le\; R_{\text{emp}}[f] + \sqrt{\frac{h(\ln(2n/h)+1) + \ln(\delta/4)}{n}}$$

→ 마진을 최대화 = VC 차원 ↓ = capacity ↓ = 기대 위험 ↓. SVM이 마진을 최대화하는 이론적 근거.

SVM Case I: Linear & Hard Margin

데이터가 선형 분리 가능하고 예외(오분류)를 허용하지 않는 경우 (hard margin).

Primal Problem

$$\min_{w, b} \;\frac{1}{2}\|w\|^2$$$$\text{s.t.} \quad y_i(w^\top x_i + b) \;\ge\; 1 \quad \forall i$$

마진 $\dfrac{2}{\|w\|^2}$ 을 최대화 ↔ $\dfrac{1}{2}\|w\|^2$ 을 최소화. 제약은

클래스 $+1$: $w^\top x_i + b \ge 1$
클래스 $-1$: $w^\top x_i + b \le -1$
둘을 합쳐서 $y_i(w^\top x_i + b) \ge 1$

Lagrangian → Dual

라그랑주 승수 $\alpha_i \ge 0$ 을 도입:

$$L_P = \frac{1}{2}\|w\|^2 - \sum_{i} \alpha_i \big( y_i(w^\top x_i + b) - 1 \big)$$

KKT 조건:

$$\frac{\partial L_P}{\partial w} = 0 \quad\Longrightarrow\quad w = \sum_i \alpha_i y_i x_i$$$$\frac{\partial L_P}{\partial b} = 0 \quad\Longrightarrow\quad \sum_i \alpha_i y_i = 0$$

이를 $L_P$ 에 다시 대입하면 $\alpha$ 만의 함수인 dual 문제가 나온다 (convex). 해를 $\alpha^\star$ 라 하자.

새 입력 분류

$$f(x_{\text{new}}) = \mathrm{sign}\!\left(\sum_i \alpha_i^\star y_i \, x_i^\top x_{\text{new}} + b\right)$$

Support Vectors

KKT의 complementary slackness에 의해 대부분의 데이터에서 $\alpha_i = 0$ 이 되고, 마진 경계 위에 정확히 놓인 데이터들에 대해서만 $\alpha_i > 0$. 이들이 support vector — 모델 $w$ 를 결정짓는 핵심 데이터들.

데이터셋 안쪽 깊은 점들은 분류기 결정에 영향을 주지 않고, 마진 위 소수 점만이 모델을 정의한다는 게 SVM의 본질.

원문: