XGBoost

Sat, 21 Sep 2024 00:00:00 +0000

발전 흐름

단일 decision tree → bagging / Random Forest → Gradient Boosting → XGBoost

XGBoost는 gradient boosting machine의 성능, 확장성, 속도 를 최적화한 구현. 핵심은 정확한 계산 대신 빠른 근사 해를 도입했다는 점.

Split Finding Algorithm

Decision tree가 분기점을 찾을 때 가장 큰 비용은 “어느 변수의 어느 값에서 split할지” 결정하는 것.

Exact Greedy

모든 가능한 split 후보를 다 시험. 정렬을 포함해 $O(n \log n)$ 의 복잡도. 데이터가 크면 매우 느리다.

Approximation 방식

XGBoost는 변수 값들을 percentile 기반 bucket 으로 나눈 뒤, 각 bucket 안에서만 후보 split을 탐색한다. 예시에서 39개 후보를 30개로 줄이면서 동시에 bucket 단위로 멀티스레드 병렬화 가능.

두 가지 변종:

Global variant — tree depth 전반에 걸쳐 동일한 bucket 구조를 유지
Local variant — 노드마다 일정한 bucket 개수를 유지 (depth가 깊어질수록 더 세밀)

성능 비교: 근사 알고리즘은 exact 방식과 거의 동등한 정확도를 훨씬 짧은 계산 시간으로 달성.

Sparsity-Aware Split Finding

결측값 처리에 특화. 학습 시 결측값을 split의 왼쪽 / 오른쪽으로 보내는 두 옵션을 모두 시험해보고, split 성능이 더 좋은 방향을 그 노드의 default direction으로 학습한다.

→ 결측 패턴이 있는 데이터에서 별도의 imputation 없이도 우수한 성능.

System Design

데이터를 column-wise 포맷으로 저장하고 사전에 정렬해 둔다. tree 학습 중 같은 정렬을 반복할 필요 없음 → 메모리 오버헤드 감소, 속도 향상.

또한 cache-aware access, out-of-core computation, sparse-aware computation 등 시스템 레벨 최적화가 결합되어, 대규모 데이터에서도 실용적인 학습 시간을 보장한다.

원문:

Random Forest

Thu, 19 Sep 2024 00:00:00 +0000

Random Forest

Random Forest 는 bagging의 특수한 형태로, base learner로 decision tree 를 쓴다. 두 가지 메커니즘으로 앙상블의 다양성을 확보한다.

Bagging (bootstrap sampling) — 각 tree는 원본 데이터에서 복원 추출한 bootstrap 샘플로 학습
Random variable selection — tree의 각 분기점에서, 전체 $p$ 개 변수 중 무작위로 $m$ 개만 후보로 두고 그 중 최선의 변수로 분기

알고리즘

Bootstrap size $t$ 의 무작위 샘플 생성
분기 시 원본 $p$ 개 변수에서 $m$ 개의 변수만 무작위로 선택해 후보로 두고 분기
다수의 decision tree를 학습한 뒤 결과를 결합 (분류는 majority vote, 회귀는 평균)

핵심 통찰

변수 제약 때문에 개별 tree의 성능은 떨어진다. 하지만 tree들 간 상관(correlation)이 줄어들어 평균/투표로 결합하면 전체 앙상블의 성능은 더 좋아진다. “약한 학습기들을 다양하게 조합해 강한 학습기를 만든다"의 정수.

일반화 오차 (Generalization Error)

Random Forest의 일반화 오차에는 다음과 같은 상한이 알려져 있다.

$$\text{Generalization Error} \;\le\; \frac{\bar{\rho}\,(1 - s^2)}{s^2}$$

여기서

$\bar{\rho}$ : tree들 간 결과의 평균 상관(correlation)
$s^2$ : 개별 tree의 정확도 (strength)

→ 좋은 일반화는 개별 모델 성능($s$)이 높으면서 모델 간 상관($\bar{\rho}$)이 낮을 때 얻어진다. 이게 RF가 변수 무작위 선택을 추가하는 이유 — 약간의 개별 정확도 손해를 보더라도 상관을 크게 떨어뜨려서 전체 bound를 줄이는 거래.

변수 중요도 (Variable Importance)

Random Forest는 Out-of-Bag (OOB) 데이터를 활용해 변수 중요도를 계산할 수 있다 (별도의 validation set 없이도 가능).

절차

각 tree에 대해, 그 tree 학습에 쓰이지 않은 OOB 샘플로 예측 오차를 측정.
변수 $x_i$ 의 값을 무작위로 permute 한 OOB 샘플로 다시 예측 오차 측정.
두 오차의 차이를 모아 평균과 분산을 구한다.

중요도 지표

$$v_i \;=\; \frac{\bar{d}_i}{s_i}$$

여기서

$\bar{d}_i$ : OOB 오차 차이의 평균 (permute 후 - permute 전)
$s_i^2$ : 그 차이의 분산

직관적으로, 분기 시 자주 쓰이는 중요한 변수일수록 permute하면 모델이 크게 망가져 오차 차이가 커진다 → $\bar{d}_i$ 가 크다 → $v_i$ 가 크다.

원문:

Ensemble |

XGBoost

발전 흐름

Split Finding Algorithm

Exact Greedy

Approximation 방식

Sparsity-Aware Split Finding

System Design

Random Forest

Random Forest

알고리즘

핵심 통찰

일반화 오차 (Generalization Error)

변수 중요도 (Variable Importance)

절차

중요도 지표