https://chaeniverse.github.io/tags/mlp/MLPHugoBlox Kit (https://hugoblox.com)en-usSat, 21 Sep 2024 00:00:00 +0000https://chaeniverse.github.io/media/icon_hu_da05098ef60dc2e7.pnghttps://chaeniverse.github.io/tags/mlp/https://chaeniverse.github.io/blog/mlp-multi-layer-perceptron/Sat, 21 Sep 2024 00:00:00 +0000https://chaeniverse.github.io/blog/mlp-multi-layer-perceptron/<h2 id="perceptron의-한계">Perceptron의 한계</h2> <p>단일 perceptron은 두 클래스를 분리하는 hyperplane을 만드는 <strong>선형 모델</strong>. 변수 관계가 비선형이면 잡아내지 못한다 — 곡선 패턴이 더 적합한 복잡한 관계를 선형 회귀가 잡을 수 없는 것과 같은 한계.</p> <h2 id="mlp-도입">MLP 도입</h2> <p>핵심 원리: <strong>여러 선을 결합해 복잡한 문제를 작은 부분 문제들로 분해</strong>한다. 서로 다른 영역을 식별하는 여러 perceptron을 만들고 그 출력을 조합 → 비선형 결정 경계 형성.</p> <p>여러 hidden layer를 쌓으면 모델 복잡도가 증가하고 — 이게 바로 <strong>딥러닝 아키텍처의 시작</strong>.</p> <h2 id="decision-boundary-비교">Decision Boundary 비교</h2> <table> <thead> <tr> <th>모델</th> <th>결정 경계</th> </tr> </thead> <tbody> <tr> <td>Logistic regression</td> <td>선 1개, 임의 방향</td> </tr> <tr> <td>Decision tree</td> <td>축에 수직인 여러 선</td> </tr> <tr> <td><strong>MLP</strong></td> <td><strong>선 개수와 방향 모두 자유롭게 조정 가능</strong> (hidden layer / node 수로 복잡도 제어)</td> </tr> </tbody> </table> <h2 id="기본-구조">기본 구조</h2> <p>각 input은 모든 hidden node에 서로 다른 가중치로 연결됨. Hidden node가 정보를 처리해 output node에서 집계.</p> <p>분류의 경우 output node 수 = 클래스 수. <strong>One-hot encoding</strong> + <strong>softmax</strong> 로 확률 분포 출력:</p> $$y_j = \frac{e^{z_j}}{\sum_{k=1}^{c} e^{z_k}}$$<h2 id="hidden-node의-역할">Hidden Node의 역할</h2> <p>Hidden node 수 = <strong>네트워크의 복잡도</strong>. 노드가 많을수록 더 정교한 결정 경계가 가능.</p> <h2 id="xor-문제-다시-보기">XOR 문제 다시 보기</h2> <p>선형 분리가 불가능한 데이터를 hidden node를 통해 <strong>분리 가능한 공간으로 변환</strong>한다. 중간 단계에서 선형 분리들을 만들고 결합하면, 원래는 분리 불가능했던 데이터셋도 분류 가능해진다.</p> <h2 id="error-back-propagation">Error Back-Propagation</h2> <p>Gradient descent + backpropagation으로 가중치 업데이트.</p> <ul> <li><strong>Output → Hidden 가중치</strong>: 실제값과 예측값의 차이 × hidden node 값에 비례해 조정</li> <li><strong>Input → Hidden 가중치</strong>: 오차 크기와 input 값에 의존</li> </ul> <h2 id="학습-종료--기타">학습 종료 / 기타</h2> <p>학습은 다음 조건에서 종료:</p> <ul> <li>가중치 변화가 미미함</li> <li>Validation 오차가 임계값 아래로 떨어짐</li> <li>미리 정한 epoch 수 도달</li> </ul> <p>Overfitting 방지를 위한 메커니즘들이 존재 (dropout, regularization, early stopping 등).</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote>