https://chaeniverse.github.io/tags/workflow/WorkflowHugoBlox Kit (https://hugoblox.com)en-usThu, 24 Oct 2024 00:00:00 +0000https://chaeniverse.github.io/media/icon_hu_da05098ef60dc2e7.pnghttps://chaeniverse.github.io/tags/workflow/https://chaeniverse.github.io/blog/ml-classification-workflow/Thu, 24 Oct 2024 00:00:00 +0000https://chaeniverse.github.io/blog/ml-classification-workflow/<p>분류(classification) 머신러닝 프로젝트를 처음부터 끝까지 끌고 가본 경험을 정리한 워크플로 가이드. <strong>전처리 → 변수 선택 → 모델링 → 평가</strong> 순서.</p> <h2 id="전처리-단계">전처리 단계</h2> <h3 id="1차-변수-탐색">1차 변수 탐색</h3> <ul> <li><strong>범주형</strong>: 2x2 table과 odds ratio로 변수 영향력 점검. odds ratio가 10 이상이거나 지나치게 낮으면 sensitivity/specificity 분포가 극단적으로 왜곡되므로 별도 검토.</li> <li><strong>연속형</strong>: 기초 통계량 (mean, sd 등) 과 histogram으로 영향력 확인.</li> </ul> <h3 id="2차-변수-탐색-결측--다중공선성">2차 변수 탐색 (결측 + 다중공선성)</h3> <p><strong>결측치 처리</strong></p> <ul> <li>결측률 <strong>40% 이상</strong> 이면 변수의 설명력 부족으로 판단해 제거.</li> <li>나머지는 imputation: <ul> <li>연속형 → <strong>median</strong> (mean보다 극단값 영향 덜 받음)</li> <li>범주형 → <strong>mode</strong></li> </ul> </li> <li>Train set 통계량을 test set에도 동일 적용 (leakage 방지).</li> </ul> <p><strong>다중공선성 (VIF)</strong></p> <ul> <li>Imputation 후 연속형 변수 간 VIF 산출.</li> <li>VIF $\ge 10$ 인 변수는 한 번에 한 개씩 제거하며 추이 관찰. cutoff는 주관적이지만 10 초과면 제거 권장.</li> </ul> <h3 id="범주형-변수-변환">범주형 변수 변환</h3> <ul> <li>One-hot encoding은 다중공선성 우려가 있으므로, 한 카테고리를 reference로 두는 <strong>dummy encoding</strong> 사용.</li> <li>Reference 카테고리는 모든 컬럼에서 0인 행 → 최종 컬럼 수 = 카테고리 수 - 1.</li> </ul> <h3 id="정규화--표준화">정규화 / 표준화</h3> <ul> <li>연속형 변수 scale 차이가 크면 모델 설명력에 영향 → MinMaxScaler 또는 Standardization 적용.</li> <li>표준화 통계량 (mean, sd) 역시 <strong>train 기준으로 test에 동일 적용</strong>.</li> </ul> <h3 id="변수-선택">변수 선택</h3> <ul> <li>Feature가 많을수록 설명력은 ↑ but overfitting 위험 ↑.</li> <li>Hyperparameter 최적화 전에 변수 선택을 거친다.</li> <li>방법: <strong>RFE (Recursive Feature Elimination)</strong> with <strong>5-fold stratified CV</strong>.</li> <li>평가 기준: <strong>AUROC</strong>.</li> <li>RFE-CV 결과 그래프로 최적 feature 수 (예: 5개) 결정.</li> </ul> <h2 id="모델링-단계">모델링 단계</h2> <h3 id="데이터-분할">데이터 분할</h3> <p>전체 데이터를 <strong>3:1 stratified split</strong> (train/test).</p> <h3 id="하이퍼파라미터-탐색">하이퍼파라미터 탐색</h3> <p>Train 안에서 <strong>10-fold stratified CV</strong>:</p> <ol> <li>10-fold CV로 train/val 분할</li> <li>Train set 표준화 → 그 통계량으로 val set 표준화</li> <li>각 fold에서 성능 metric 계산 → 평균</li> <li>평균이 가장 높은 hyperparameter 조합 저장</li> </ol> <p>탐색 알고리즘: <strong>Bayesian optimization</strong> (grid / random search보다 효율적).</p> <h3 id="최종-학습--평가">최종 학습 + 평가</h3> <ol> <li>전체 train data 표준화</li> <li>위에서 찾은 best hyperparameter로 모델 fitting → 모델 $a$</li> <li>Train 통계량으로 test data 표준화 → 모델 $a$ 에 넣고 성능 metric 출력</li> </ol> <h3 id="robustness--50회-반복">Robustness — 50회 반복</h3> <p>위 과정 (split → tuning → fit → test) 을 <strong>50번 반복</strong>하고 metric의 평균을 최종 성능으로 보고. → subject selection bias를 줄이고 robustness 확보.</p> <h2 id="모델-후보">모델 후보</h2> <ul> <li>XGBoost</li> <li>Random Forest</li> <li>Support Vector Machine (SVM)</li> <li>Logistic Regression</li> <li>Multi-Layer Perceptron (MLP)</li> </ul> <h2 id="평가-지표">평가 지표</h2> <ul> <li>Accuracy</li> <li>Precision</li> <li>Recall (Sensitivity)</li> <li>F1-score</li> <li>AUC-ROC</li> </ul> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> <p>이 워크플로를 적용한 실제 프로젝트는 참고.</p> </blockquote>