Machine Learning |

OvaRisk-ML: Ovarian Cancer Risk Classification with Machine Learning

Wed, 01 Apr 2026 00:00:00 +0000

개요

머신러닝을 활용하여 난소암 위험군을 분류하는 예측 시스템 개발 프로젝트입니다. EDA부터 데이터 전처리, 변수 선택, 모델링, 웹 앱 배포까지 전 과정을 수행했고, 논문은 현재 review 중입니다.

데이터 전처리

변수 탐색. 범주형 변수는 2x2 table과 odds ratio로, 연속형 변수는 기초 통계량과 히스토그램으로 영향력을 점검했습니다. Odds ratio가 극단적인 변수는 sensitivity/specificity 분포를 왜곡할 수 있어 별도 검토했습니다.

결측치 처리. 결측률 40% 이상 변수는 설명력이 부족하다고 판단해 제거하고, 나머지는 연속형은 median, 범주형은 mode로 imputation 했습니다. Train set 통계량을 test set에도 동일 적용해 leakage를 방지했습니다.

다중공선성 점검. Imputation 후 VIF(variance inflation factor)를 산출해 cutoff 10 기준으로 변수를 한 번에 하나씩 제거하며 추이를 관찰했습니다.

인코딩 및 스케일링. 범주형 변수는 dummy encoding (reference 카테고리 제외)으로 변환했고, 연속형 변수는 Standardization 또는 MinMaxScaler를 적용했습니다. 표준화 통계량 역시 train 기준으로 test에 동일 적용했습니다.

변수 선택

5-fold stratified cross-validation을 결합한 Recursive Feature Elimination (RFE-CV)로 변수를 선택했습니다. 평가 기준은 AUROC를 사용했고, RFE-CV 결과 그래프를 토대로 최종 5개 변수를 선정했습니다.

모델링

모델 비교. Random Forest, Logistic Regression, XGBoost, CatBoost, MLP 5개 모델을 비교했습니다.

평가 파이프라인. 전체 데이터를 3:1 stratified split (train/test)으로 나누고, train 안에서 10-fold stratified cross-validation으로 하이퍼파라미터를 탐색했습니다. 효율을 위해 grid/random search 대신 Bayesian optimization을 사용했습니다. 각 fold의 train→val 전환 시 표준화 통계량은 train 기준으로 일관되게 적용했습니다.

Robustness 확보. 전체 split→tuning→fit→test 과정을 50회 반복하고 성능 metric의 평균을 최종 성능으로 보고했습니다. 이를 통해 subject selection bias를 줄이고 모델의 robustness를 높였습니다.

클래스 불균형 처리. 난소암 사례의 희소성을 고려해 undersampling을 적용하고, 그로 인해 편향된 예측 확률을 Bayes rule 기반 수식으로 보정했습니다.

평가 지표. Accuracy, Precision, Recall (Sensitivity), F1-score, AUC-ROC를 보고했습니다.

배포

선정된 최종 모델을 Python Shiny 기반 웹 앱으로 배포해, 사용자 입력값에 대한 위험군 분류 결과와 lifetime risk cumulative incidence plot을 제공합니다.

Live App:

성과

논문 작성 완료, 현재 저널 review 중.

머신러닝 분류 과제 수행 단계

Thu, 24 Oct 2024 00:00:00 +0000

분류(classification) 머신러닝 프로젝트를 처음부터 끝까지 끌고 가본 경험을 정리한 워크플로 가이드. 전처리 → 변수 선택 → 모델링 → 평가 순서.

전처리 단계

1차 변수 탐색

범주형: 2x2 table과 odds ratio로 변수 영향력 점검. odds ratio가 10 이상이거나 지나치게 낮으면 sensitivity/specificity 분포가 극단적으로 왜곡되므로 별도 검토.
연속형: 기초 통계량 (mean, sd 등) 과 histogram으로 영향력 확인.

2차 변수 탐색 (결측 + 다중공선성)

결측치 처리

결측률 40% 이상 이면 변수의 설명력 부족으로 판단해 제거.
나머지는 imputation:
- 연속형 → median (mean보다 극단값 영향 덜 받음)
- 범주형 → mode
Train set 통계량을 test set에도 동일 적용 (leakage 방지).

다중공선성 (VIF)

Imputation 후 연속형 변수 간 VIF 산출.
VIF $\ge 10$ 인 변수는 한 번에 한 개씩 제거하며 추이 관찰. cutoff는 주관적이지만 10 초과면 제거 권장.

범주형 변수 변환

One-hot encoding은 다중공선성 우려가 있으므로, 한 카테고리를 reference로 두는 dummy encoding 사용.
Reference 카테고리는 모든 컬럼에서 0인 행 → 최종 컬럼 수 = 카테고리 수 - 1.

정규화 / 표준화

연속형 변수 scale 차이가 크면 모델 설명력에 영향 → MinMaxScaler 또는 Standardization 적용.
표준화 통계량 (mean, sd) 역시 train 기준으로 test에 동일 적용.

변수 선택

Feature가 많을수록 설명력은 ↑ but overfitting 위험 ↑.
Hyperparameter 최적화 전에 변수 선택을 거친다.
방법: RFE (Recursive Feature Elimination) with 5-fold stratified CV.
평가 기준: AUROC.
RFE-CV 결과 그래프로 최적 feature 수 (예: 5개) 결정.

모델링 단계

데이터 분할

전체 데이터를 3:1 stratified split (train/test).

하이퍼파라미터 탐색

Train 안에서 10-fold stratified CV:

10-fold CV로 train/val 분할
Train set 표준화 → 그 통계량으로 val set 표준화
각 fold에서 성능 metric 계산 → 평균
평균이 가장 높은 hyperparameter 조합 저장

탐색 알고리즘: Bayesian optimization (grid / random search보다 효율적).

최종 학습 + 평가

전체 train data 표준화
위에서 찾은 best hyperparameter로 모델 fitting → 모델 $a$
Train 통계량으로 test data 표준화 → 모델 $a$ 에 넣고 성능 metric 출력

Robustness — 50회 반복

위 과정 (split → tuning → fit → test) 을 50번 반복하고 metric의 평균을 최종 성능으로 보고. → subject selection bias를 줄이고 robustness 확보.

모델 후보

XGBoost
Random Forest
Support Vector Machine (SVM)
Logistic Regression
Multi-Layer Perceptron (MLP)

평가 지표

Accuracy
Precision
Recall (Sensitivity)
F1-score
AUC-ROC

원문:

이 워크플로를 적용한 실제 프로젝트는 참고.

Logistic Regression

Sun, 22 Sep 2024 00:00:00 +0000

Logistic Regression vs Linear Regression

Linear regression — 닫힌 해 (closed-form solution) 가 존재 (정규방정식)
Logistic regression — 닫힌 해 없음. 최적화 기법 필요

좋은 logistic regression 모델은 정답 클래스에는 높은 확률을, 오답 클래스에는 낮은 확률을 부여한다.

Likelihood Function

모델 성능을 likelihood — “각 데이터 포인트가 정답 클래스로 분류될 확률을 모두 곱한 것” — 로 측정한다.

문제: 확률값을 계속 곱하면 값이 0에 가까워져 수치적으로 불안정. → 로그를 취해 log-likelihood 사용.

Maximum Likelihood Estimation (MLE)

$$\arg\max_\theta \mathcal{L}(\theta) \;=\; \arg\max_\theta \log \mathcal{L}(\theta) \;=\; \arg\min_\theta \big(-\log \mathcal{L}(\theta)\big)$$

데이터셋 likelihood를 최대화하는 계수 $\theta$ 를 찾는 것이 MLE. 실전에서는 보통 negative log-likelihood (NLL) 최소화 형태로 푼다.

Gradient Descent

Logistic regression에는 닫힌 해가 없으므로 gradient descent 로 반복 개선:

가중치 $\theta$ 를 무작위로 초기화
NLL의 gradient (1차 도함수) 계산
Gradient의 반대 방향으로 step size $\alpha$ (learning rate) 만큼 이동
수렴할 때까지 반복

$$\theta^{(t+1)} = \theta^{(t)} - \alpha \cdot \nabla_\theta \big(-\log \mathcal{L}(\theta^{(t)})\big)$$

예측 및 분류

학습된 계수로 새 데이터의 확률을 계산할 때 sigmoid 함수 사용 — S자 곡선:

$$\sigma(z) = \frac{1}{1 + e^{-z}}, \qquad z = \theta^\top x$$

기본 cutoff threshold (보통 0.5) 를 적용해 확률을 이진 분류로 변환:

$$\hat{y} = \begin{cases} 1 & \text{if } \sigma(\theta^\top x) \ge 0.5 \\ 0 & \text{otherwise} \end{cases}$$

threshold는 도메인에 따라 (예: 의료에서 false negative 비용이 클 때) 0.3, 0.7 등으로 조절 가능.

원문:

MLP (Multi-Layer Perceptron)

Sat, 21 Sep 2024 00:00:00 +0000

Perceptron의 한계

단일 perceptron은 두 클래스를 분리하는 hyperplane을 만드는 선형 모델. 변수 관계가 비선형이면 잡아내지 못한다 — 곡선 패턴이 더 적합한 복잡한 관계를 선형 회귀가 잡을 수 없는 것과 같은 한계.

MLP 도입

핵심 원리: 여러 선을 결합해 복잡한 문제를 작은 부분 문제들로 분해한다. 서로 다른 영역을 식별하는 여러 perceptron을 만들고 그 출력을 조합 → 비선형 결정 경계 형성.

여러 hidden layer를 쌓으면 모델 복잡도가 증가하고 — 이게 바로 딥러닝 아키텍처의 시작.

Decision Boundary 비교

모델	결정 경계
Logistic regression	선 1개, 임의 방향
Decision tree	축에 수직인 여러 선
MLP	선 개수와 방향 모두 자유롭게 조정 가능 (hidden layer / node 수로 복잡도 제어)

기본 구조

각 input은 모든 hidden node에 서로 다른 가중치로 연결됨. Hidden node가 정보를 처리해 output node에서 집계.

분류의 경우 output node 수 = 클래스 수. One-hot encoding + softmax 로 확률 분포 출력:

$$y_j = \frac{e^{z_j}}{\sum_{k=1}^{c} e^{z_k}}$$

Hidden Node의 역할

Hidden node 수 = 네트워크의 복잡도. 노드가 많을수록 더 정교한 결정 경계가 가능.

XOR 문제 다시 보기

선형 분리가 불가능한 데이터를 hidden node를 통해 분리 가능한 공간으로 변환한다. 중간 단계에서 선형 분리들을 만들고 결합하면, 원래는 분리 불가능했던 데이터셋도 분류 가능해진다.

Error Back-Propagation

Gradient descent + backpropagation으로 가중치 업데이트.

Output → Hidden 가중치: 실제값과 예측값의 차이 × hidden node 값에 비례해 조정
Input → Hidden 가중치: 오차 크기와 input 값에 의존

학습 종료 / 기타

학습은 다음 조건에서 종료:

가중치 변화가 미미함
Validation 오차가 임계값 아래로 떨어짐
미리 정한 epoch 수 도달

Overfitting 방지를 위한 메커니즘들이 존재 (dropout, regularization, early stopping 등).

원문:

XGBoost

Sat, 21 Sep 2024 00:00:00 +0000

발전 흐름

단일 decision tree → bagging / Random Forest → Gradient Boosting → XGBoost

XGBoost는 gradient boosting machine의 성능, 확장성, 속도 를 최적화한 구현. 핵심은 정확한 계산 대신 빠른 근사 해를 도입했다는 점.

Split Finding Algorithm

Decision tree가 분기점을 찾을 때 가장 큰 비용은 “어느 변수의 어느 값에서 split할지” 결정하는 것.

Exact Greedy

모든 가능한 split 후보를 다 시험. 정렬을 포함해 $O(n \log n)$ 의 복잡도. 데이터가 크면 매우 느리다.

Approximation 방식

XGBoost는 변수 값들을 percentile 기반 bucket 으로 나눈 뒤, 각 bucket 안에서만 후보 split을 탐색한다. 예시에서 39개 후보를 30개로 줄이면서 동시에 bucket 단위로 멀티스레드 병렬화 가능.

두 가지 변종:

Global variant — tree depth 전반에 걸쳐 동일한 bucket 구조를 유지
Local variant — 노드마다 일정한 bucket 개수를 유지 (depth가 깊어질수록 더 세밀)

성능 비교: 근사 알고리즘은 exact 방식과 거의 동등한 정확도를 훨씬 짧은 계산 시간으로 달성.

Sparsity-Aware Split Finding

결측값 처리에 특화. 학습 시 결측값을 split의 왼쪽 / 오른쪽으로 보내는 두 옵션을 모두 시험해보고, split 성능이 더 좋은 방향을 그 노드의 default direction으로 학습한다.

→ 결측 패턴이 있는 데이터에서 별도의 imputation 없이도 우수한 성능.

System Design

데이터를 column-wise 포맷으로 저장하고 사전에 정렬해 둔다. tree 학습 중 같은 정렬을 반복할 필요 없음 → 메모리 오버헤드 감소, 속도 향상.

또한 cache-aware access, out-of-core computation, sparse-aware computation 등 시스템 레벨 최적화가 결합되어, 대규모 데이터에서도 실용적인 학습 시간을 보장한다.

원문:

SVM (Support Vector Machine)

Fri, 20 Sep 2024 00:00:00 +0000

SVM 개요

SVM (Support Vector Machine) 은 이진 분류 알고리즘이다. 본 글에서 다루는 original SVM은 본질적으로 선형 모델이다 (이후 kernel trick으로 비선형 확장 가능).

Linear Classifier의 목적

SVM은 이진 분류에서 라벨을 $\{-1, +1\}$ 로 표기한다. 목표는 분류기 집합 $H$ 안에서 일반화 오차 $R_D(h)$ 가 작은 가설 $h: X \to \{-1, +1\}$ 을 찾는 것.

입력 공간 $X$ 에서 각 학습 데이터의 실제 라벨 ($+1$, $-1$) 을 정확히 분류하는 최적 분류기를 찾는다 — 결국 일반화 오차 $R_D(h)$ 를 최소화하는 문제.

SVM은 고차원 공간에서도 선형 분류를 수행한다.

2D → 선(line) 으로 분리
3D → 평면(plane) 으로 분리
일반 $d$ 차원 → $(d-1)$ 차원의 초평면(hyperplane) 으로 두 클래스 분리

선형 분류기는 다음 형태:

$$H = \{\, x \mapsto \mathrm{sign}(w \cdot x + b) \;:\; w \in \mathbb{R}^d,\; b \in \mathbb{R} \,\}$$

$w \cdot x + b$ 의 부호로 라벨을 결정 (음수 → $-1$, 양수 → $+1$). 여기서 $w, b$ 가 학습 대상.

Local Optimum? Global Optimum!

학습 데이터를 정확히 분류하는 hyperplane은 무수히 많다. SVM은 그 중 두 클래스 사이의 마진(margin)이 가장 넓은 hyperplane을 고른다.

마진 너비 도출

분류 경계 위의 점 $x_0$ 에서 $w^\top x_0 + b = 0$. 여기서 $w$ 는 hyperplane의 법선 벡터.

“+1 plane” 위의 점 $x_1$ 은 법선 방향으로 거리만큼 이동한 점이므로

$$x_1 = x_0 + p\, w$$

$x_1$ 이 plus plane 위에 있다는 조건 $w^\top x + b = 1$ 에 대입:

$$w^\top x_0 + p\, w^\top w + b = 1$$

$w^\top x_0 + b = 0$ 이므로

$$p\, w^\top w = 1 \quad\Longrightarrow\quad |p| = \frac{1}{\|w\|^2}$$

→ 한쪽 마진은 $\dfrac{1}{\|w\|^2}$, 양쪽 합 마진은 $\dfrac{2}{\|w\|^2}$.

(보다 일반적으로 plus와 minus plane 거리를 $\|w\|$ 로 정규화하면 마진은 $\dfrac{2}{\|w\|}$. 위 도출은 $w^\top x + b = \pm 1$ 형태로 정규화한 경우의 결과)

마진과 VC 차원의 관계

마진 $\Delta$ 를 가지는 분리 초평면의 VC 차원은 다음 상한을 가진다.

$$h \;\le\; \min\!\left(\left\lceil \frac{R^2}{\Delta^2}\right\rceil,\; D\right) + 1$$

$D$ : 입력 공간의 차원
$R$ : 모든 입력 벡터를 포함하는 가장 작은 구의 반지름
$\Delta$ : 마진

여기서 변하는 건 $\Delta$ 뿐. 마진이 클수록 $R^2/\Delta^2$ 가 작아져 VC 차원이 $D$ 보다 더 낮아질 수 있다.

VC 차원이 작아지면 일반화 위험 상한 (capacity term) 도 작아진다:

$$R[f] \;\le\; R_{\text{emp}}[f] + \sqrt{\frac{h(\ln(2n/h)+1) + \ln(\delta/4)}{n}}$$

→ 마진을 최대화 = VC 차원 ↓ = capacity ↓ = 기대 위험 ↓. SVM이 마진을 최대화하는 이론적 근거.

SVM Case I: Linear & Hard Margin

데이터가 선형 분리 가능하고 예외(오분류)를 허용하지 않는 경우 (hard margin).

Primal Problem

$$\min_{w, b} \;\frac{1}{2}\|w\|^2$$$$\text{s.t.} \quad y_i(w^\top x_i + b) \;\ge\; 1 \quad \forall i$$

마진 $\dfrac{2}{\|w\|^2}$ 을 최대화 ↔ $\dfrac{1}{2}\|w\|^2$ 을 최소화. 제약은

클래스 $+1$: $w^\top x_i + b \ge 1$
클래스 $-1$: $w^\top x_i + b \le -1$
둘을 합쳐서 $y_i(w^\top x_i + b) \ge 1$

Lagrangian → Dual

라그랑주 승수 $\alpha_i \ge 0$ 을 도입:

$$L_P = \frac{1}{2}\|w\|^2 - \sum_{i} \alpha_i \big( y_i(w^\top x_i + b) - 1 \big)$$

KKT 조건:

$$\frac{\partial L_P}{\partial w} = 0 \quad\Longrightarrow\quad w = \sum_i \alpha_i y_i x_i$$$$\frac{\partial L_P}{\partial b} = 0 \quad\Longrightarrow\quad \sum_i \alpha_i y_i = 0$$

이를 $L_P$ 에 다시 대입하면 $\alpha$ 만의 함수인 dual 문제가 나온다 (convex). 해를 $\alpha^\star$ 라 하자.

새 입력 분류

$$f(x_{\text{new}}) = \mathrm{sign}\!\left(\sum_i \alpha_i^\star y_i \, x_i^\top x_{\text{new}} + b\right)$$

Support Vectors

KKT의 complementary slackness에 의해 대부분의 데이터에서 $\alpha_i = 0$ 이 되고, 마진 경계 위에 정확히 놓인 데이터들에 대해서만 $\alpha_i > 0$. 이들이 support vector — 모델 $w$ 를 결정짓는 핵심 데이터들.

데이터셋 안쪽 깊은 점들은 분류기 결정에 영향을 주지 않고, 마진 위 소수 점만이 모델을 정의한다는 게 SVM의 본질.

원문:

Random Forest

Thu, 19 Sep 2024 00:00:00 +0000

Random Forest

Random Forest 는 bagging의 특수한 형태로, base learner로 decision tree 를 쓴다. 두 가지 메커니즘으로 앙상블의 다양성을 확보한다.

Bagging (bootstrap sampling) — 각 tree는 원본 데이터에서 복원 추출한 bootstrap 샘플로 학습
Random variable selection — tree의 각 분기점에서, 전체 $p$ 개 변수 중 무작위로 $m$ 개만 후보로 두고 그 중 최선의 변수로 분기

알고리즘

Bootstrap size $t$ 의 무작위 샘플 생성
분기 시 원본 $p$ 개 변수에서 $m$ 개의 변수만 무작위로 선택해 후보로 두고 분기
다수의 decision tree를 학습한 뒤 결과를 결합 (분류는 majority vote, 회귀는 평균)

핵심 통찰

변수 제약 때문에 개별 tree의 성능은 떨어진다. 하지만 tree들 간 상관(correlation)이 줄어들어 평균/투표로 결합하면 전체 앙상블의 성능은 더 좋아진다. “약한 학습기들을 다양하게 조합해 강한 학습기를 만든다"의 정수.

일반화 오차 (Generalization Error)

Random Forest의 일반화 오차에는 다음과 같은 상한이 알려져 있다.

$$\text{Generalization Error} \;\le\; \frac{\bar{\rho}\,(1 - s^2)}{s^2}$$

여기서

$\bar{\rho}$ : tree들 간 결과의 평균 상관(correlation)
$s^2$ : 개별 tree의 정확도 (strength)

→ 좋은 일반화는 개별 모델 성능($s$)이 높으면서 모델 간 상관($\bar{\rho}$)이 낮을 때 얻어진다. 이게 RF가 변수 무작위 선택을 추가하는 이유 — 약간의 개별 정확도 손해를 보더라도 상관을 크게 떨어뜨려서 전체 bound를 줄이는 거래.

변수 중요도 (Variable Importance)

Random Forest는 Out-of-Bag (OOB) 데이터를 활용해 변수 중요도를 계산할 수 있다 (별도의 validation set 없이도 가능).

절차

각 tree에 대해, 그 tree 학습에 쓰이지 않은 OOB 샘플로 예측 오차를 측정.
변수 $x_i$ 의 값을 무작위로 permute 한 OOB 샘플로 다시 예측 오차 측정.
두 오차의 차이를 모아 평균과 분산을 구한다.

중요도 지표

$$v_i \;=\; \frac{\bar{d}_i}{s_i}$$

여기서

$\bar{d}_i$ : OOB 오차 차이의 평균 (permute 후 - permute 전)
$s_i^2$ : 그 차이의 분산

직관적으로, 분기 시 자주 쓰이는 중요한 변수일수록 permute하면 모델이 크게 망가져 오차 차이가 커진다 → $\bar{d}_i$ 가 크다 → $v_i$ 가 크다.

원문:

Whole-Brain Functional Gradients in Migraine

Sat, 01 Apr 2023 00:00:00 +0000

개요

R과 Python을 활용해 편두통 환자군 데이터 분석을 수행하였습니다. 편두통 환자의 뇌 기능 저하를 정량적으로 평가하기 위한 모델을 구축하고 Human Brain Mapping에 1저자로 출판했습니다.

방법론

차원 축소. 고차원의 뇌 영상 데이터를 비선형 매니폴드 러닝 기법으로 저차원으로 축소시켜 저차원 고유벡터를 생성했습니다. 결과에 영향을 미칠 수 있는 성별, 나이 등의 요소를 보정하여 다변량 분석을 수행했습니다.

집단 간 비교. 올바른 통계적 유의성 검정을 위해 false discovery rate (FDR) 보정을 거쳐 환자군과 정상군 사이에 영상 특징 데이터가 유의한 차이를 보이는 뇌 영역을 검출했습니다.

피질뿐만 아니라 피질-피질하 (subcortico-cortical) 연결성으로 가중된 매니폴드까지 확장해 피질하 영역에서도 환자군 특이적 차이를 검출했습니다.

예측 모델링. 편두통의 발병 횟수라는 임상학적 지표를 예측하기 위해 머신러닝 기법을 도입했습니다. 구체적으로, least absolute shrinkage and selection operator (LASSO)를 적용해 영상 피처들을 추출하고, 5-겹 중첩 교차 검증을 갖는 선형 회귀식으로 예측 모형을 구축했습니다. 내부 훈련 데이터 세트에서 성별과 나이를 보정한 후, intra class correlation (ICC)와 mean absolute error (MAE)를 기준으로 모델을 선출하고, 최종적으로 외부 검정 데이터 세트의 임상적 변수들을 예측했습니다. 피실험자들을 뽑는 과정에서 편향이 생기지 않도록 이 과정을 100회 반복했습니다. 예측 정확도는 실제 값과 예측 값 사이의 스피어만 상관 계수, ICC, MAE를 계산해 평가했고, 상관계수의 유의성은 비모수 순열 검정을 기반으로 결정했습니다.

성과

본 연구를 통해 주어진 데이터를 명확하게 이해하고, 해당 데이터를 분석하기 위해 올바르고 견고한 통계 분석 기법을 적용하는 방법을 익혔습니다. 결과는 다음과 같이 출판되었습니다.

C.H. Lee, H. Park, M.J. Lee, B. Park, “Whole-Brain Functional Gradients Reveal Cortical and Subcortical Alterations in Patients with Episodic Migraine,” Human Brain Mapping, Apr. 2023.