https://chaeniverse.github.io/tags/random-forest/Random ForestHugoBlox Kit (https://hugoblox.com)en-usThu, 19 Sep 2024 00:00:00 +0000https://chaeniverse.github.io/media/icon_hu_da05098ef60dc2e7.pnghttps://chaeniverse.github.io/tags/random-forest/https://chaeniverse.github.io/blog/random-forest/Thu, 19 Sep 2024 00:00:00 +0000https://chaeniverse.github.io/blog/random-forest/<h2 id="random-forest">Random Forest</h2> <p><strong>Random Forest</strong> 는 bagging의 특수한 형태로, base learner로 <strong>decision tree</strong> 를 쓴다. 두 가지 메커니즘으로 앙상블의 다양성을 확보한다.</p> <ol> <li><strong>Bagging (bootstrap sampling)</strong> — 각 tree는 원본 데이터에서 복원 추출한 bootstrap 샘플로 학습</li> <li><strong>Random variable selection</strong> — tree의 각 분기점에서, 전체 $p$ 개 변수 중 무작위로 $m$ 개만 후보로 두고 그 중 최선의 변수로 분기</li> </ol> <h2 id="알고리즘">알고리즘</h2> <ol> <li>Bootstrap size $t$ 의 무작위 샘플 생성</li> <li>분기 시 원본 $p$ 개 변수에서 $m$ 개의 변수만 무작위로 선택해 후보로 두고 분기</li> <li>다수의 decision tree를 학습한 뒤 결과를 결합 (분류는 majority vote, 회귀는 평균)</li> </ol> <h2 id="핵심-통찰">핵심 통찰</h2> <p>변수 제약 때문에 <strong>개별 tree의 성능은 떨어진다.</strong> 하지만 tree들 간 <strong>상관(correlation)이 줄어들어</strong> 평균/투표로 결합하면 전체 앙상블의 성능은 더 좋아진다. &ldquo;약한 학습기들을 다양하게 조합해 강한 학습기를 만든다&quot;의 정수.</p> <h2 id="일반화-오차-generalization-error">일반화 오차 (Generalization Error)</h2> <p>Random Forest의 일반화 오차에는 다음과 같은 상한이 알려져 있다.</p> $$\text{Generalization Error} \;\le\; \frac{\bar{\rho}\,(1 - s^2)}{s^2}$$<p>여기서</p> <ul> <li>$\bar{\rho}$ : tree들 간 결과의 평균 <strong>상관(correlation)</strong></li> <li>$s^2$ : 개별 tree의 <strong>정확도</strong> (strength)</li> </ul> <p>→ 좋은 일반화는 <strong>개별 모델 성능($s$)이 높으면서 모델 간 상관($\bar{\rho}$)이 낮을 때</strong> 얻어진다. 이게 RF가 변수 무작위 선택을 추가하는 이유 — 약간의 개별 정확도 손해를 보더라도 상관을 크게 떨어뜨려서 전체 bound를 줄이는 거래.</p> <h2 id="변수-중요도-variable-importance">변수 중요도 (Variable Importance)</h2> <p>Random Forest는 <strong>Out-of-Bag (OOB)</strong> 데이터를 활용해 변수 중요도를 계산할 수 있다 (별도의 validation set 없이도 가능).</p> <h3 id="절차">절차</h3> <ol> <li>각 tree에 대해, 그 tree 학습에 쓰이지 않은 OOB 샘플로 예측 오차를 측정.</li> <li>변수 $x_i$ 의 값을 <strong>무작위로 permute</strong> 한 OOB 샘플로 다시 예측 오차 측정.</li> <li>두 오차의 차이를 모아 평균과 분산을 구한다.</li> </ol> <h3 id="중요도-지표">중요도 지표</h3> $$v_i \;=\; \frac{\bar{d}_i}{s_i}$$<p>여기서</p> <ul> <li>$\bar{d}_i$ : OOB 오차 차이의 평균 (permute 후 - permute 전)</li> <li>$s_i^2$ : 그 차이의 분산</li> </ul> <p>직관적으로, <strong>분기 시 자주 쓰이는 중요한 변수</strong>일수록 permute하면 모델이 크게 망가져 오차 차이가 커진다 → $\bar{d}_i$ 가 크다 → $v_i$ 가 크다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote>