<link>https://chaeniverse.github.io/</link></image><item><title>MBTI Persona Priming prompt research</h1> <article> <h1>MBTI Persona Priming prompt research</h1> <p>Sat, 09 May 2026 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p>K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 <strong>챗봇 persona 사전조사</strong> 입니다. LLM에 일관된 성격을 부여하기 위한 출발점으로, 심리 프로필 priming 방식의 framework — <strong>arXiv 논문 <em>Psychologically Enhanced AI Agents</em></strong> ( ) 와 그 official 구현 를 검토하고, 검증 흐름·prompt 변종 비교를 정리했습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 가상 아이돌에 사용될 priming 전문·생성 결과·내부 도식은 공개하지 않습니다. 본 페이지는 적용한 <strong>공개 framework와 실험 설계</strong>를 중심으로 기술합니다.</p> </blockquote> <h2 id="1-framework">1. Framework</h2> <h3 id="11-검증-방법--사용-모델">1.1 검증 방법 — 사용 모델</h3> <p>검증 단계 LLM: <strong>GPT-4o-mini</strong></p> <h3 id="12-flow-예-enfj">1.2 Flow (예: ENFJ)</h3> <ol> <li><code>priming.json</code> — 16개 MBTI 유형 각각에 대한 priming prompt가 정의돼 있다. 챗봇에 system prompt로 주입한다.</li> <li>한 유형(예: ENFJ)에 대해 <strong>16Personalities 공식 설문 기반 60문항</strong>을 던진다. 60문항은 E/I, S/N, F/T, J/P 네 축을 결정짓는 항목들로 구성.</li> <li>각 문항에 대해 동일한 priming + 동일한 질문을 <strong>15회 반복</strong> 한다 (응답 일관성 검증). <ul> <li>Temperature = 1.0이라 매번 약간씩 다른 응답이 나올 수 있음.</li> <li>일관성이 높으면 priming 성공, 낮으면 실패.</li> </ul> </li> </ol> <h3 id="13-likert-환산">1.3 Likert 환산</h3> <p>15번 응답을 7점 척도(score)로 환산한다 — 16Personalities 공식 테스트가 7점 척도를 사용하기 때문.</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">score_dict</span> <span class="o">=</span> <span class="p">{</span> </span></span><span class="line"><span class="cl"> <span class="s2">"agree"</span><span class="p">:</span> <span class="o">-</span><span class="mi">3</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"generally agree"</span><span class="p">:</span> <span class="o">-</span><span class="mi">2</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"partially agree"</span><span class="p">:</span> <span class="o">-</span><span class="mi">1</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"neither agree nor disagree"</span><span class="p">:</span> <span class="mi">0</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"partially disagree"</span><span class="p">:</span> <span class="mi">1</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"generally disagree"</span><span class="p">:</span> <span class="mi">2</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="s2">"disagree"</span><span class="p">:</span> <span class="mi">3</span><span class="p">,</span> </span></span><span class="line"><span class="cl"><span class="p">}</span> </span></span></code></pre></div><p>15회의 score를 평균해 한 문항의 응답값으로 삼고, 60문항에 대해 같은 절차를 수행.</p> <h3 id="14-결과-시각화">1.4 결과 시각화</h3> <ul> <li>60문항 중 E/I 축을 결정하는 약 10개 문항을 모아 그 sample 평균을 좌표에 찍고 BoxPlot으로 분포를 본다.</li> <li>ENFJ로 priming한 LLM이 E축 문항에서 외향적인 응답(예: 평균 −3 근처)을 일관되게 보이는지 검증.</li> </ul> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>결론: <strong>이 priming을 prompt로 썼을 때 LLM이 MBTI 특성을 분명히 구분해 응답한다</strong> 는 가설을 BoxPlot으로 시각적으로 검증.</p> </blockquote> <h2 id="2-prompt-변종--3종-비교">2. Prompt 변종 — 3종 비교</h2> <p>priming 구조의 어느 부분이 효과를 내는지 확인하기 위해 3종의 변종을 비교했다.</p> <h3 id="a-only-mbti">A. Only MBTI</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">You are an {MBTI_TYPE}. </span></span></code></pre></div><p>→ MBTI 유형 라벨만 주는 가장 짧은 형태.</p> <h3 id="b-mbti--description-structured-priming">B. MBTI + Description (Structured Priming)</h3> <p><code>MBTI 라벨</code> + 다음 6개 카테고리로 구조화된 description 을 함께 부여한다.</p> <ul> <li><strong>Communication Style</strong> (소통 방식)</li> <li><strong>Leadership and Management Style</strong> (리더십)</li> <li><strong>Problem-Solving Approach</strong> (문제 해결)</li> <li><strong>Interpersonal Relationships</strong> (대인 관계)</li> <li><strong>Handling Change and Stress</strong> (스트레스 대처)</li> <li><strong>Application in Various Contexts</strong></li> </ul> <p>description 은 MBTI 공식 문헌 (<em>Myers and Myers, 1980, “Gifts Differing”</em>) 기반으로 LLM 요약을 거쳐 작성.</p> <h3 id="c-only-description">C. Only Description</h3> <p>위 6개 카테고리만 두고 <strong>MBTI 라벨은 제거</strong>. 라벨이 priming 효과를 내는지, 설명이 효과를 내는지 분리해 보기 위함.</p> <h2 id="3-추가-검증--writingprompt-태스크">3. 추가 검증 — WritingPrompt 태스크</h2> <p>성격 priming이 <strong>창작 응답</strong>에서도 일관되게 나타나는지 확인하기 위한 별도 검증.</p> <h3 id="flow">Flow</h3> <ol> <li>priming(예: INFJ prompt)을 LLM에 주입.</li> <li><strong>Reddit r/WritingPrompts</strong> 에서 100개 글쓰기 프롬프트를 LLM에게 제공 → 각 prompt에 대해 짧은 스토리 생성. <ul> <li>Story generator: <strong>Qwen3-235B-A22B</strong></li> </ul> </li> <li>생성된 스토리를 <strong>LLM-as-judge</strong> 가 1–5점으로 평가. <ul> <li>Judge: <strong>Qwen2.5-14B-Instruct</strong></li> <li>평가 기준: PersonaLLM 등 선행 연구의 persona consistency 지표.</li> </ul> </li> </ol> <p>→ 동일한 LLM이 다른 MBTI priming 하에서 글쓰기 스타일이 일관되게 달라지는지를 정량 평가.</p> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong> — 실험 파이프라인</li> <li><strong>LLMs</strong> — GPT-4o-mini (검증), Qwen3-235B-A22B (story generation), Qwen2.5-14B-Instruct (judge)</li> <li><strong>Prompt Engineering</strong> — system prompt 설계, priming 구조화, score 환산</li> </ul> <h2 id="참고">참고</h2> <ul> <li><em>Psychologically Enhanced AI Agents</em> — </li> <li>Reference code — </li> <li>Myers, I. B., & Myers, P. B. (1980). <em>Gifts Differing: Understanding Personality Type</em>.</li> <li>16Personalities 공식 설문 (60문항, 7점 Likert)</li> </ul> </article> <article> <h1>Long-term Opioid Use in Newly Diagnosed Multiple Myeloma</h1> <p>Mon, 04 May 2026 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>신규 진단(newly diagnosed) 다발골수종(multiple myeloma, MM) 환자가 오피오이드 진통제를 시작했을 때, 얼마나 자주 장기 사용으로 이어지는지, 어떤 베이스라인 인자가 이를 예측하는지를 규명하는 전국 단위 후향적 코호트 연구입니다.</p> <h4 id="배경">배경</h4> <p>다발골수종은 진단 시점에 70–80% 환자가 골 통증을 호소할 정도로 통증 부담이 큰 질환입니다. 오피오이드는 중등도 이상 통증의 표준 치료지만, 약 6개월 이상 사용하면 내성·의존·부작용 등으로 중단이 어려워집니다. 기존 연구는 주로 단일 기관 또는 서구 코호트 기반이며, 한국과 같이 엄격한 처방 환경에서의 인구 단위 근거는 제한적인 편입니다.</p> <h4 id="데이터">데이터</h4> <ul> <li><strong>출처</strong>: 건강보험심사평가원(HIRA) 데이터베이스 — 한국 인구의 97% 이상 커버</li> <li><strong>포함 기준</strong>: 2009.01.01 – 2023.08.31에 신규 MM으로 진단되고, 진단 후 3개월 이내 ≥ 14일 누적 오피오이드 처방을 받은 성인</li> <li><strong>추적</strong>: 2024.08.31까지</li> <li><strong>분석 코호트</strong>: <strong>3,621명</strong> (중위 연령 66.0세 [IQR 59.0–73.0], 여성 47.1%)</li> </ul> <h4 id="노출-exposures">노출 (Exposures)</h4> <p>진단 후 3개월 이내 오피오이드 강도를 다음 3군으로 분류 — equianalgesic dose ratio와 WHO analgesic ladder에 따라:</p> <ul> <li>Weak only</li> <li>Strong only</li> <li>Weak and strong</li> </ul> <h4 id="결과-변수-outcome">결과 변수 (Outcome)</h4> <p><strong>장기 오피오이드 사용</strong> — MM 진단 후 6개월을 초과해 처방이 지속된 경우.</p> <h4 id="결과">결과</h4> <p>전체 3,621명 중 **2,377명(65.6%)**이 장기 오피오이드 사용으로 진행했습니다. 강도가 높을수록 장기 사용 비율이 증가했습니다:</p> <table> <thead> <tr> <th>초기 강도</th> <th>n</th> <th>장기 사용률</th> </tr> </thead> <tbody> <tr> <td>Weak only</td> <td>1,535</td> <td>52.4% (804)</td> </tr> <tr> <td>Strong only</td> <td>1,049</td> <td>70.7% (742)</td> </tr> <tr> <td>Weak and strong</td> <td>1,037</td> <td>80.1% (831)</td> </tr> </tbody> </table> <p>(P < 0.001)</p> <p>다변량 로지스틱 회귀에서 <strong>오피오이드 강도가 가장 강한 예측 인자</strong>였습니다:</p> <ul> <li>Strong only vs weak only: aOR <strong>2.25</strong> (95% CI, 1.90–2.66)</li> <li>Weak and strong vs weak only: aOR <strong>3.64</strong> (95% CI, 3.02–4.38)</li> </ul> <p>이 외에도 고연령, 기분/수면 장애 동반, bortezomib 기반 치료, 사전 오피오이드 사용 등이 독립적 예측 인자였습니다.</p> <h4 id="위험-점수-모형">위험 점수 모형</h4> <p>베이스라인 인자들로 위험 점수 모형을 개발해 환자를 저/중/고위험군으로 분류했습니다. 군별 장기 사용률은 다음과 같습니다:</p> <ul> <li>저위험: <strong>55.1%</strong></li> <li>중위험: <strong>65.0%</strong></li> <li>고위험: <strong>74.3%</strong></li> </ul> <h4 id="결론">결론</h4> <p>전국 인구 단위 데이터로 본 결과, 신규 진단 MM 환자가 오피오이드를 시작하면 <strong>약 2/3가 6개월 이상 장기 사용</strong>으로 이어졌습니다. 보수적 처방 환경에서도 이 양상이 지속된다는 점은 <strong>오피오이드 시작 시점에서의 위험 기반 통증 관리 계획</strong>의 임상적 필요성을 보여줍니다.</p> <h4 id="진행-상황">진행 상황</h4> <p>논문 작성 중 (Manuscript in Preparation, 1저자).</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>Chaehyeon Lee, Suein Choi, Sung-Soo Park, “Patterns and Predictors of Long-term Opioid Use in Patients with Newly Diagnosed Multiple Myeloma: A Nationwide Real-world Study” (제출 준비 중).</p> </blockquote> </article> <article> <h1>Casting Image Generation</h1> <p>Sat, 02 May 2026 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p>K-Pop 가상 아이돌 앱의 캐릭터를 캐스팅하기 위한 이미지 생성 프로젝트. <strong>얼굴·스타일·분위기 일관성</strong> 을 만족하는 트레이니 후보군을 prompt 설계 + 반복 생성 + 정성 평가로 좁혀나갔습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 <strong>실험 단계와 방법론</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="단계별-진화">단계별 진화</h2> <h3 id="step-1--초기-캐스팅-prompt-설계">Step 1 — 초기 캐스팅 prompt 설계</h3> <p>목표: 가상 아이돌 트레이니의 변수 축을 prompt 변수로 정의하고, 그 격자로 후보 군을 만드는 것.</p> <p>변수 축 (공개 가능 범위):</p> <ul> <li>인종 (Race)</li> <li>성별 (Gender)</li> <li>분위기 (Mood)</li> <li>(그 외 축은 비공개)</li> </ul> <p>각 조합을 prompt template에 끼워 여러 조합을 만들고, trial 2회씩 반복해 안정성을 봤습니다.</p> <p>Prompt 구조 (요약):</p> <ul> <li>핵심 묘사: 변수 축 조합</li> <li>스타일 지침: photorealistic K-pop trainee profile photo</li> <li>구도: chest-up, front-facing</li> </ul> <h3 id="step-2--id-사진-정제">Step 2 — ID 사진 정제</h3> <p>Step 1 결과에서 발견된 문제 (배경 색감이 인물 식별을 방해, 메이크업 표현 일관성 부족) 를 해결하기 위해 prompt 변종을 비교하고, 정체성을 깨는 요소를 막기 위한 <strong>negative constraints</strong> 를 추가했습니다.</p> <p>→ 흰 배경 + 메이크업 무관 + 부정 제약으로 <strong>ID 사진의 정체성 일관성</strong> 확보.</p> <h3 id="step-3--visual-upgrade">Step 3 — Visual Upgrade</h3> <p>Step 2의 ID 사진을 reference로 두고, 같은 인물성을 유지하면서 <strong>사진 품질을 끌어올리는</strong> prompt 변종을 비교. 채택된 best 버전이 후속 단계의 기본 reference로 사용됨.</p> <h2 id="대규모-캐스팅-런-casting-runs">대규모 캐스팅 런 (Casting Runs)</h2> <p>Prompt 설계가 어느 정도 안정화된 후, 후보 다양성 확보를 위한 <strong>대규모 반복 생성</strong> — 총 12회 캐스팅 런으로 <strong>약 800장</strong> 생성. 각 런마다 약간씩 다른 prompt seed / 변수 조합 / 모델 파라미터로 결과 분포를 확장하고, 결과를 정성 검수해 <strong>최종 prompt</strong> 를 확정.</p> <h2 id="결과-분석-관점-정성-요약">결과 분석 관점 (정성 요약)</h2> <ul> <li><strong>prompt 변수 축의 분리도</strong> — 인상·분위기는 잘 구분되지만, <strong>헤어 (특히 색상) 와 메이크업이 서로 영향을 주고받는 경향</strong> 이 있었음 (예: 헤어 색만 바꿨는데 메이크업 톤도 같이 변함). 두 축을 독립적으로 제어하려면 명시적 negative constraint 가 필요.</li> <li><strong>스케일 효과</strong> — 여러 번의 반복 실험을 거쳐 안정적인 후보를 확보. <strong>prompt 설계만으로는 한계가 있고, 양적 탐색이 동반돼야 함.</strong></li> </ul> <h2 id="자동화-파이프라인">자동화 파이프라인</h2> <p>각 런은 다음 자동화 위에서 실행:</p> <ol> <li><strong>Prompt template + 변수 격자</strong> — Python으로 모든 조합을 펼침</li> <li><strong>API 호출</strong></li> <li><strong>HTML report 자동 생성</strong> — combo·trial 단위로 시각적으로 비교 가능한 리포트 자동 출력 (정성 검수용)</li> </ol> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong></li> <li><strong>Gemini Flash Image Preview</strong></li> <li><strong>Prompt Engineering</strong> — 5축 변수 정의, system prompt, negative constraints</li> </ul> <h2 id="다음-단계--관련">다음 단계 / 관련</h2> <ul> <li>확정된 companion profile 을 reference로 → (다양한 scene 의 콘텐츠 컷)</li> <li>특정 포즈 정제 → </li> <li>챗봇 persona 결합 → </li> </ul> </article> <article> <h1>Future DaTScan Synthesis for Parkinson's Progression with Conditional Wavelet Diffusion</h1> <p>Fri, 01 May 2026 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>파킨슨병(Parkinson’s disease, PD) 환자의 도파민 신경 퇴행 진행을 예측하기 위한 딥러닝 프레임워크입니다. 초기(screening) DaTScan SPECT 영상 한 장을 조건으로 2년 후(V04) 시점의 DaTScan 영상을 합성해, 반복 촬영 없이 개인 수준의 진행 양상을 시각적으로 예측합니다.</p> <p>기존 연구는 미래 UPDRS 점수 등 <strong>수치 예측</strong>에 그쳤지만, 본 연구는 <strong>영상 자체를 생성</strong>해 도파민 손실의 공간적 분포를 정성적으로도 보여줍니다. 임상에서 의사가 영상을 직접 판독해 진단하는 현실을 고려하면 정량 + 정성 모두 의미가 있습니다.</p> <h4 id="배경">배경</h4> <p>DaTScan은 파킨슨병 진단의 핵심 영상 바이오마커지만, 방사선 피폭, 추적자 주입 후 3–6시간 대기, 핵의학 장비 접근성, 운동 증상이 진행된 환자의 SPECT 자세 유지 어려움 등으로 종단적(longitudinal) 추적 촬영에 실질적 제약이 따릅니다. 초기 영상만으로 미래 시점의 도파민 분포 패턴을 예측할 수 있다면, 불필요한 반복 촬영 없이 개인화된 예후 예측과 조기 예방적 권고가 가능해집니다.</p> <h4 id="데이터">데이터</h4> <ul> <li><strong>출처</strong>: Parkinson’s Progression Markers Initiative (PPMI)</li> <li><strong>구성</strong>: 스크리닝(SC) 시점과 2년 후(V04) 시점의 DaTScan SPECT 영상 쌍, 품질 관리 후 <strong>746쌍</strong></li> <li><strong>전처리</strong>: 공간 정규화 + 강도 정규화</li> <li><strong>분할</strong>: train / validation / test = 7 : 1.5 : 1.5</li> </ul> <h4 id="방법론">방법론</h4> <p><strong>조건부 웨이블릿 확산 모델 (cWDM).</strong> Friedrich et al. (2024)의 cWDM 프레임워크를 적용했습니다. 학습 기반 오토인코더와 달리 웨이블릿 변환은 <strong>정보 손실 없이</strong> 영상을 저주파(전체 구조)와 고주파(세밀한 디테일) 성분으로 분해하고, 역변환으로 완벽 복원합니다.</p> <p><strong>3D Haar Wavelet.</strong> 128³ 복셀 영상을 64³ × 8채널의 웨이블릿 계수로 분해해 모든 정보를 보존하면서 연산량을 크게 줄였습니다.</p> <p><strong>손실 함수.</strong> 표준 DDPM noise prediction loss:</p> $$\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \big[\, \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})\|^2 \,\big]$$<p>조건 변수 <strong>c</strong> 는 baseline (SC 시점) DaTScan 영상입니다.</p> <h4 id="평가-지표">평가 지표</h4> <ul> <li><strong>영상 품질</strong>: PSNR, SSIM, RMSE</li> <li><strong>임상적 유효성</strong>: Striatal Binding Ratio (SBR) — 미상핵(caudate), 피각(putamen), 피각/미상핵 비율(P/C ratio)</li> <li><strong>정성 평가</strong>: 임상용 color lookup table을 적용해 baseline · 실제 V04 · 합성 V04 비교</li> </ul> <h4 id="결과">결과</h4> <p>테스트 세트(n = 112)에서 합성된 V04 영상의 정량 성능:</p> <ul> <li><strong>PSNR</strong>: 21.99 ± 2.40 dB</li> <li><strong>SSIM</strong>: 0.6452 ± 0.065</li> </ul> <p>부위별 SBR은 실제 추적 영상과 강한 상관을 보였습니다:</p> <ul> <li><strong>전체 선조체(striatum)</strong>: r = 0.676, p < 0.001</li> <li><strong>미상핵(caudate)</strong>: r = 0.699, p < 0.001</li> <li><strong>피각(putamen)</strong>: r = 0.660, p < 0.001</li> <li><strong>피각/미상핵 비율 (P/C ratio)</strong>: r = 0.670, p < 0.001</li> </ul> <p>임상용 color scale을 적용한 정성적 비교에서, 합성 영상은 선조체 영역의 전반적 섭취 위치를 반영하였으나 세부 구조의 선명도에는 한계가 있었습니다.</p> <h4 id="결론">결론</h4> <p>단일 초기 DaTScan 영상으로부터 2년 후 영상을 합성하는 딥러닝 프레임워크를 제시했고, 피각/미상핵 비율을 포함한 부위별 진행 지표에서 실제 추적 영상과 유의한 상관관계를 확인했습니다. 향후 임상 변수와의 결합을 통해 개인화된 파킨슨병 진행 예측 모델로 확장될 수 있습니다.</p> <h4 id="성과">성과</h4> <p>이채현, 이기림, 정봉기, 최수인, 박보용, “딥러닝 기반 파킨슨병 도파민 수송체 영상의 종단적 진행 예측: 조건부 웨이블릿 확산 모델을 활용한 미래 DaTScan 영상 합성”, <em>한국통계학회</em>, 2026 (포스터, 1저자).</p> </article> <article> <h1>OPT2I — Iterative Prompt Refinement</h1> <p>Fri, 10 Apr 2026 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p>가상 아이돌 캐릭터의 <strong>특정 자세</strong> 컷을 prompt 만으로 안정적으로 생성하기 어려워, <strong>iterative prompt refinement</strong> 알고리즘을 적용한 실험. 베이스 알고리즘은 Mañas et al. (2024) 의 <strong>OPT2I</strong> — LLM을 prompt optimizer로 두고 반복적으로 prompt를 다듬어 vision-language metric을 끌어올리는 방법.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 <strong>알고리즘 구조와 실험 설계</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="1-opt2i-알고리즘-요약">1. OPT2I 알고리즘 (요약)</h2> <p>OPT2I는 text-to-image 생성에서 prompt-image alignment 를 끌어올리기 위한 <strong>LLM-as-optimizer 루프</strong>.</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-gdscript3" data-lang="gdscript3"><span class="line"><span class="cl"><span class="ne">Input</span><span class="p">:</span> <span class="n">user_prompt</span> <span class="p">(</span><span class="err">초기</span> <span class="n">prompt</span><span class="p">)</span> </span></span><span class="line"><span class="cl"><span class="n">Output</span><span class="p">:</span> <span class="n">best_prompt</span> <span class="p">(</span><span class="err">최적화된</span> <span class="n">prompt</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="k">for</span> <span class="nb">round</span> <span class="n">r</span> <span class="o">=</span> <span class="mf">1.</span><span class="o">.</span><span class="n">R</span><span class="p">:</span> </span></span><span class="line"><span class="cl"> <span class="mf">1.</span> <span class="n">LLM이</span> <span class="err">현재</span> <span class="n">best</span> <span class="n">prompt를</span> <span class="err">변주해</span> <span class="n">K개의</span> <span class="n">variant</span> <span class="err">생성</span> </span></span><span class="line"><span class="cl"> <span class="mf">2.</span> <span class="err">각</span> <span class="n">variant로</span> <span class="err">이미지</span> <span class="err">생성</span> <span class="p">(</span><span class="n">T2I</span> <span class="n">model</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> <span class="mf">3.</span> <span class="err">각</span> <span class="err">이미지의</span> <span class="n">alignment</span> <span class="n">score</span> <span class="err">측정</span> <span class="p">(</span><span class="n">e</span><span class="o">.</span><span class="n">g</span><span class="o">.</span><span class="p">,</span> <span class="n">CLIPScore</span><span class="p">,</span> <span class="n">ImageReward</span><span class="p">,</span> <span class="n">DSG</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> <span class="mf">4.</span> <span class="err">가장</span> <span class="err">높은</span> <span class="err">점수의</span> <span class="n">prompt를</span> <span class="err">다음</span> <span class="n">round의</span> <span class="n">seed로</span> <span class="err">채택</span> </span></span><span class="line"><span class="cl"> <span class="mf">5.</span> <span class="err">점수가</span> <span class="err">더</span> <span class="err">이상</span> <span class="err">개선되지</span> <span class="err">않으면</span> <span class="err">조기</span> <span class="err">종료</span> </span></span></code></pre></div><p>핵심 가정: <strong>LLM이 좋은 prompt 생성기일 뿐 아니라 좋은 prompt 비평가</strong> 도 될 수 있다 → 이전 round의 점수와 prompt 변종 패턴을 LLM context에 넣어 더 나은 변주를 유도.</p> <p>→ 논문: </p> <h2 id="2-구현--round--variant-격자">2. 구현 — Round × Variant 격자</h2> <p>본 실험에서 사용한 OPT2I 변형 파이프라인:</p> <table> <thead> <tr> <th>차원</th> <th>표기</th> <th>값</th> </tr> </thead> <tbody> <tr> <td>Round</td> <td><code>R2 – R5</code></td> <td>최대 5 라운드</td> </tr> <tr> <td>Variant</td> <td><code>V1 – V5</code></td> <td>라운드 당 후보 변종 수</td> </tr> </tbody> </table> <p>각 round마다 <strong>variant 별 이미지</strong> 를 모두 저장해 사후 정성 검수 + 정량 비교 가능하도록 했습니다.</p> <h2 id="3-평가-metric--dsg-davidsonian-scene-graph">3. 평가 Metric — DSG (Davidsonian Scene Graph)</h2> <p>평가 metric으로 <strong>DSG (Davidsonian Scene Graph)</strong> 를 결합.</p> <ul> <li>DSG는 prompt를 <strong>scene graph atomic question</strong> 들로 분해하고, VQA 모델로 각 question에 대한 응답 정확도를 평가.</li> <li>단일 score보다 <strong>prompt의 어떤 측면이 충족/실패</strong> 했는지 지시적 (interpretable).</li> </ul> <p>→ <code>R-V</code> 격자 결과를 DSG 점수로 비교해, “이 prompt 변주가 얼굴 형태는 잘 맞췄지만 헤어 길이 묘사가 약하다” 같은 진단을 자동화.</p> <h2 id="4-결과-분석-관점-정성-요약">4. 결과 분석 관점 (정성 요약)</h2> <ul> <li><strong>DSG 도입 효과</strong> — DSG atomic 평가는 prompt의 어떤 부분이 부족한지 가리켜주어 <strong>다음 round prompt 변주의 방향성</strong> 이 명확해짐.</li> <li><strong>Round 수 trade-off</strong> — round R≥4부터는 점수 상승이 둔화되는 경향. <strong>R=5 cap</strong> 으로도 충분.</li> <li><strong>비용</strong> — round 수 × variant 수 × character 수 만큼 image API 호출이 늘어 비용이 빠르게 증가. 변종 1회당 약 $25–30 수준 (대략 추정).</li> </ul> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong> — OPT2I 루프 구현, round/variant 격자 관리, 결과 집계</li> <li><strong>Gemini Flash Image Preview</strong></li> <li><strong>LLM-as-optimizer</strong> — prompt 변주 생성용 LLM (variant 후보 생성)</li> <li><strong>DSG (Davidsonian Scene Graph)</strong> — alignment evaluation metric</li> </ul> <h2 id="참고">참고</h2> <ul> <li>Mañas et al., <em>Improving Text-to-Image Consistency via Automatic Prompt Optimization</em>, 2024 — </li> <li>Cho et al., <em>Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation</em>, ICLR 2024</li> <li>Implementation — (OPT2I + DSG core + side/fullbody runners)</li> </ul> <h2 id="관련">관련</h2> <ul> <li>트레이니 캐스팅 단계 → </li> <li>콘텐츠 컷 단계 → </li> <li>챗봇 persona 단계 → </li> </ul> </article> <article> <h1>Content Image Generation</h1> <p>Mon, 06 Apr 2026 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p>K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 <strong>콘텐츠 이미지 생성</strong> 실험입니다. 가상 아이돌에게 다양한 scene을 입히면서도 캐릭터(얼굴) 정체성은 변하지 않도록, prompt 설계·reference conditioning·격자 탐색을 결합해 검증했습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 <strong>실험 설계와 방법론</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="실험-목적">실험 목적</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><em>“같은 캐릭터(얼굴)를 유지하면서, 다양한 scene의 콘텐츠 컷을 일관되게 생성할 수 있는가?”</em></p> </blockquote> <ul> <li><strong>일관성 (consistency)</strong> — 캐릭터의 얼굴이 scene이 바뀌어도 같은 사람으로 인식되어야 함</li> <li><strong>다양성 (variety)</strong> — 같은 캐릭터라도 scene·구도·의상이 자연스럽게 변주되어야 함</li> <li><strong>콘셉트 표현</strong> — 각 scene의 분위기 (일상의 자연스러움, 상황감, 아이돌 포즈) 가 prompt만으로 전달되어야 함</li> </ul> <h2 id="실험-설계">실험 설계</h2> <h3 id="신scene-3종">신(Scene) 3종</h3> <table> <thead> <tr> <th>신 ID</th> <th>콘셉트</th> <th>목적</th> </tr> </thead> <tbody> <tr> <td><strong>Scene #1</strong></td> <td>일상, 자연스러움</td> <td>자연스러운 표정 자세로 친근감 형성</td> </tr> <tr> <td><strong>Scene #2</strong></td> <td>시그니처 포즈</td> <td>팬 인터랙션용 정형 포즈 일관성 검증</td> </tr> <tr> <td><strong>Scene #3</strong></td> <td>특정 장소 배경</td> <td>콘셉트가 강한 narrative 컷의 prompt 표현력 검증</td> </tr> </tbody> </table> <h3 id="reference-image-conditioning">Reference-Image Conditioning</h3> <p>각 콘텐츠 컷 생성 시 유저가 생성한 캐릭터 ID 사진을 reference로 함께 입력해, <strong>얼굴 정체성 유지</strong> 를 강제합니다. Prompt 앞단에 다음과 같은 지침을 둡니다 (요약):</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><em>Keep the person’s facial features exactly the same as the reference image. This is the same person, not a look-alike or approximation.</em></p> </blockquote> <p>이를 통해 gemini의 image-to-image 모드에서 동일 인물성을 안정적으로 보장.</p> <h3 id="combo-변주">Combo 변주</h3> <p>각 신 안에서 <strong>combo (조합)</strong> 단위로 prompt 변종을 둡니다 — 의상 / 헤어 등 hyperparameter를 격자 탐색 형태로 변형. 동일 character × 동일 combo에서 <strong>trial 반복</strong> 으로 생성 안정성도 같이 본다.</p> <h3 id="생성-규모">생성 규모</h3> <table> <thead> <tr> <th>실험</th> <th>생성 이미지 수</th> </tr> </thead> <tbody> <tr> <td>Scene #1</td> <td>≈ 1,249 장</td> </tr> <tr> <td>Scene #2</td> <td>≈ 937 장</td> </tr> <tr> <td>Scene #3</td> <td>≈ 1,041 장</td> </tr> <tr> <td><strong>총합</strong></td> <td><strong>≈ 3,200 장</strong></td> </tr> </tbody> </table> <p>각 이미지는 384×688 해상도, 평균 약 9–11초 / 장 소요, 장당 비용 약 $0.045 수준.</p> <h2 id="결과-분석-관점">결과 분석 관점</h2> <ul> <li><strong>얼굴 일관성</strong> — 헤어 색·길이는 prompt에 명시적 제약 (<code>Do NOT alter the hairstyle color or length</code>) 을 둬야 안정적이었다.</li> <li><strong>포즈 정확성</strong> — 손가락 위치·구도가 변동성이 큼. 별도 negative prompt (e.g., <code>no extra fingers</code>) 로 보완.</li> <li><strong>콘셉트 강도</strong> — 장소 디테일은 prompt에 명시적으로 포함시킬수록 narrative가 살아나지만, 그만큼 얼굴 영역의 픽셀 비율이 줄어 정체성 손실 위험 증가 → reference 가중치 / 카메라 거리 prompt를 같이 조정.</li> </ul> <h2 id="실험-흐름-자동화">실험 흐름 (자동화)</h2> <p>각 sprint는 다음 자동화 파이프라인 위에서 돌렸습니다.</p> <ol> <li><strong>Prompt template 정의</strong> — scene별 system prompt + character 변수 슬롯</li> <li><strong>Combo grid expansion</strong> — Python으로 character × combo × trial 격자 생성</li> <li><strong>API 호출</strong> — image+text → image</li> <li><strong>HTML report 자동 생성</strong> — combo 단위로 시각적으로 묶어 검수 가능한 리포트</li> </ol> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong> — 실험 파이프라인 (combo grid, API 호출, HTML report 생성)</li> <li><strong>Gemini Flash Image Preview</strong> — 이미지 생성 모델</li> <li><strong>Prompt Engineering</strong> — system prompt + reference conditioning + negative constraints</li> </ul> </article> <article> <h1>OvaRisk-ML: Ovarian Cancer Risk Classification with Machine Learning</h1> <p>Wed, 01 Apr 2026 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>머신러닝을 활용하여 난소암 위험군을 분류하는 예측 시스템 개발 프로젝트입니다. EDA부터 데이터 전처리, 변수 선택, 모델링, 웹 앱 배포까지 전 과정을 수행했고, 논문은 현재 review 중입니다.</p> <h4 id="데이터-전처리">데이터 전처리</h4> <p><strong>변수 탐색.</strong> 범주형 변수는 2x2 table과 odds ratio로, 연속형 변수는 기초 통계량과 히스토그램으로 영향력을 점검했습니다. Odds ratio가 극단적인 변수는 sensitivity/specificity 분포를 왜곡할 수 있어 별도 검토했습니다.</p> <p><strong>결측치 처리.</strong> 결측률 40% 이상 변수는 설명력이 부족하다고 판단해 제거하고, 나머지는 연속형은 median, 범주형은 mode로 imputation 했습니다. Train set 통계량을 test set에도 동일 적용해 leakage를 방지했습니다.</p> <p><strong>다중공선성 점검.</strong> Imputation 후 VIF(variance inflation factor)를 산출해 cutoff 10 기준으로 변수를 한 번에 하나씩 제거하며 추이를 관찰했습니다.</p> <p><strong>인코딩 및 스케일링.</strong> 범주형 변수는 dummy encoding (reference 카테고리 제외)으로 변환했고, 연속형 변수는 Standardization 또는 MinMaxScaler를 적용했습니다. 표준화 통계량 역시 train 기준으로 test에 동일 적용했습니다.</p> <h4 id="변수-선택">변수 선택</h4> <p>5-fold stratified cross-validation을 결합한 Recursive Feature Elimination (RFE-CV)로 변수를 선택했습니다. 평가 기준은 AUROC를 사용했고, RFE-CV 결과 그래프를 토대로 최종 5개 변수를 선정했습니다.</p> <h4 id="모델링">모델링</h4> <p><strong>모델 비교.</strong> Random Forest, Logistic Regression, XGBoost, CatBoost, MLP 5개 모델을 비교했습니다.</p> <p><strong>평가 파이프라인.</strong> 전체 데이터를 3:1 stratified split (train/test)으로 나누고, train 안에서 10-fold stratified cross-validation으로 하이퍼파라미터를 탐색했습니다. 효율을 위해 grid/random search 대신 <strong>Bayesian optimization</strong>을 사용했습니다. 각 fold의 train→val 전환 시 표준화 통계량은 train 기준으로 일관되게 적용했습니다.</p> <p><strong>Robustness 확보.</strong> 전체 split→tuning→fit→test 과정을 <strong>50회 반복</strong>하고 성능 metric의 평균을 최종 성능으로 보고했습니다. 이를 통해 subject selection bias를 줄이고 모델의 robustness를 높였습니다.</p> <p><strong>클래스 불균형 처리.</strong> 난소암 사례의 희소성을 고려해 undersampling을 적용하고, 그로 인해 편향된 예측 확률을 Bayes rule 기반 수식으로 보정했습니다.</p> <p><strong>평가 지표.</strong> Accuracy, Precision, Recall (Sensitivity), F1-score, AUC-ROC를 보고했습니다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h4 id="배포">배포</h4> <p>선정된 최종 모델을 <strong>Python Shiny</strong> 기반 웹 앱으로 배포해, 사용자 입력값에 대한 위험군 분류 결과와 lifetime risk cumulative incidence plot을 제공합니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>Live App: </p> </blockquote> <h4 id="성과">성과</h4> <p>논문 작성 완료, 현재 저널 review 중.</p> </article> <article> <h1>LLM Model Benchmark</h1> <p>Fri, 30 Jan 2026 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p>K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 <strong>LLM 모델 비교 / 선정</strong> 단계. 챗봇 응답 품질·비용·지연시간을 동시에 만족하는 모델을 찾기 위해 다수의 후보 (GPT, Claude, Gemini, Kimi, Qwen 계열) 를 동일한 조건으로 벤치마크했습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 벤치마크 질문 전문·모델 응답·내부 시스템 prompt는 공개하지 않습니다. 본 페이지는 <strong>평가 기준 전환과 모델 선정 프레임워크</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="1-평가-방법--eq-bench">1. 평가 방법 — EQ-Bench</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p> </p> </blockquote> <p>LLM의 <strong>감정 이해 능력</strong> 을 측정하는 벤치마크. 우리 task에 직접 부합.</p> <h4 id="방법론-요약">방법론 (요약)</h4> <ol> <li>감정적으로 복잡한 대화 한 토막을 LLM에게 보여준다.</li> <li>그 대화 속 한 캐릭터의 감정 강도를 4가지 감정으로 LLM이 예측 (각 0–10).</li> <li>4 점수의 합이 10이 되도록 normalize.</li> <li><strong>Reference (저자 주석값)</strong> 와의 차이를 계산 — 차이가 작을수록 잘 맞춘 것.</li> <li>한 문제 점수 = <code>10 - 차이의 절댓값 합</code>.</li> <li>60개 문제의 평균 × 10 → <strong>EQ-Bench 점수 (0–100 스케일)</strong>.</li> </ol> <p>감정 4개는 <strong>명백히 틀린 것 + 명백히 맞는 것 + 미묘한 것</strong> 을 섞도록 큐레이션.</p> <p>→ Public leaderboard: </p> <h2 id="2-모델-풀--경량-모델-체크리스트">2. 모델 풀 + 경량 모델 체크리스트</h2> <p>EQ-Bench 리더보드 상위권 50+ 모델을 일단 풀로 두고, 그 중 <strong>서비스 비용으로 운영 가능한 경량 모델</strong> 을 체크리스트로 골라냈습니다.</p> <h3 id="풀-예시">풀 (예시)</h3> <ul> <li><strong>프리미엄 / 대형</strong>: Kimi-K2-Instruct, GPT-5.2, o3, Gemini-3-pro-preview, GPT-5.1, Claude-Opus-4.5, Hermes-4-405B, Llama-3.1-405B-Instruct, …</li> <li><strong>중형</strong>: Claude-Sonnet-4.5, GLM-4.7, GPT-4.1, Mistral-Large, …</li> <li><strong>경량 (서비스용 후보)</strong>: GPT-4.1-mini, Gemini-2.5-flash-preview, o4-mini, GPT-4.1-nano, Qwen3-8B, Mistral-Small-3.x, Llama-4-Scout/Maverick, Gemma-3-4b/27b, GPT-OSS-20b, …</li> </ul> <p>→ 총 약 <strong>24개의 경량 모델</strong> 을 후보로 추렸음.</p> <h2 id="3-서비스용-추천-top-5--2-카테고리">3. 서비스용 추천 Top 5 (× 2 카테고리)</h2> <h3 id="프리미엄-top-5">프리미엄 Top 5</h3> <table> <thead> <tr> <th>순위</th> <th>모델</th> <th>추천 이유</th> </tr> </thead> <tbody> <tr> <td>1</td> <td>Kimi-K2-Instruct</td> <td>1T 파라미터 (32B 활성 MoE), 가성비 매우 좋음</td> </tr> <tr> <td>2</td> <td>GPT-5.2</td> <td>프리미엄 안정성</td> </tr> <tr> <td>3</td> <td>o3</td> <td>프리미엄 reasoning</td> </tr> <tr> <td>4</td> <td>Gemini-3-pro-preview</td> <td>프리미엄</td> </tr> <tr> <td>5</td> <td>Claude-Opus-4.5</td> <td>프리미엄</td> </tr> </tbody> </table> <h3 id="경량-top-5">경량 Top 5</h3> <table> <thead> <tr> <th>순위</th> <th>모델</th> <th>추천 이유</th> </tr> </thead> <tbody> <tr> <td>1</td> <td>GPT-4.1-mini</td> <td>가성비 최고, 안정적</td> </tr> <tr> <td>2</td> <td>Gemini-2.5-flash-preview</td> <td>빠름, 무료 티어</td> </tr> <tr> <td>3</td> <td>o4-mini</td> <td>경량 reasoning</td> </tr> <tr> <td>4</td> <td>GPT-4.1-nano</td> <td>초저가</td> </tr> <tr> <td>5</td> <td>Qwen3-8B</td> <td>오픈소스, 로컬 가능</td> </tr> </tbody> </table> <h2 id="4-비용-비교-프레임워크">4. 비용 비교 프레임워크</h2> <p>벤치마크 한 건당 토큰 사용량을 기준으로 <strong>모델별 단가</strong> 를 계산:</p> <ul> <li><strong>Input</strong>: ~900 tokens (system prompt + user message)</li> <li><strong>Output</strong>: ~100 tokens (1–2문장 응답)</li> </ul> <h3 id="프리미엄-1건당-비용--10건-기준">프리미엄 (1건당 비용 / 10건 기준)</h3> <table> <thead> <tr> <th>모델</th> <th>1건</th> <th>10건</th> <th>대비</th> </tr> </thead> <tbody> <tr> <td>Kimi-K2-Instruct</td> <td>$0.00079</td> <td>$0.0079</td> <td><strong>1×</strong></td> </tr> <tr> <td>GPT-5.2</td> <td>$0.00298</td> <td>$0.0298</td> <td>3.8×</td> </tr> <tr> <td>o3</td> <td>$0.00260</td> <td>$0.0260</td> <td>3.3×</td> </tr> <tr> <td>Gemini-3-pro-preview</td> <td>$0.00300</td> <td>$0.0300</td> <td>3.8×</td> </tr> <tr> <td>Claude-Opus-4.5</td> <td>$0.00700</td> <td>$0.0700</td> <td>8.9×</td> </tr> </tbody> </table> <h3 id="경량-1건당-비용--10건-기준">경량 (1건당 비용 / 10건 기준)</h3> <table> <thead> <tr> <th>모델</th> <th>1건</th> <th>10건</th> <th>대비</th> </tr> </thead> <tbody> <tr> <td>Qwen3-8B</td> <td>$0.000070</td> <td>$0.0007</td> <td><strong>1×</strong></td> </tr> <tr> <td>GPT-4.1-nano</td> <td>$0.000130</td> <td>$0.0013</td> <td>1.9×</td> </tr> <tr> <td>Gemini-2.5-flash-preview</td> <td>$0.000520</td> <td>$0.0052</td> <td>7.4×</td> </tr> <tr> <td>GPT-4.1-mini</td> <td>$0.000520</td> <td>$0.0052</td> <td>7.4×</td> </tr> <tr> <td>o4-mini</td> <td>$0.001430</td> <td>$0.0143</td> <td>20.4×</td> </tr> </tbody> </table> <h3 id="가격-형성-배경-예시">가격 형성 배경 (예시)</h3> <p><strong>Kimi-K2 가 저렴한 이유</strong>:</p> <ul> <li>중국 기업 (Moonshot AI) 의 시장 점유 전략 — 공격적 가격</li> <li>MoE 아키텍처 (1T 파라미터 중 32B 활성) → 추론 비용 절감</li> <li>DeepSeek 등 중국 모델들과의 가격 경쟁</li> <li>중국 내 GPU/서버 비용이 상대적으로 저렴</li> </ul> <p>→ DeepSeek R1, Kimi 등이 <strong>경쟁사 대비 약 90% 저렴한 가격</strong> 으로 시장 진입.</p> <h2 id="5-벤치마크-실험--통제-조건">5. 벤치마크 실험 — 통제 조건</h2> <table> <thead> <tr> <th>조건</th> <th>값</th> </tr> </thead> <tbody> <tr> <td>Temperature</td> <td>0.7 (다양성 ↔ 안정성 절충)</td> </tr> <tr> <td>System prompt</td> <td>MBTI description + “[중요] 1–2문장으로 간결하게 답변하세요.”</td> </tr> <tr> <td>벤치마크 질문</td> <td>우리 도메인에 맞춰 큐레이션한 3개</td> </tr> </tbody> </table> <p>각 모델 × MBTI × question 조합으로 응답을 수집하고, 응답 길이·지연시간·비용·정성 품질을 같이 적재.</p> <p>실서비스 도입 전 <strong>정성 검수 + 비용 시뮬레이션</strong> 을 진행했습니다.</p> <h2 id="6-의사결정-영향">6. 의사결정 영향</h2> <p>본 벤치마크 결과는 후속 단계 모델 선택의 <strong>베이스라인</strong> 으로 활용됩니다.</p> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong> — 벤치마크 파이프라인 (모델 호출)</li> <li><strong>LLMs</strong></li> <li><strong>EQ-Bench</strong> — 감정 이해 평가 framework</li> </ul> <h2 id="참고">참고</h2> <ul> <li>Paech, <em>EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models</em>, 2024 — </li> <li>Reference code — </li> <li>Implementation — (벤치마크 노트북)</li> <li>Public leaderboard — </li> </ul> </article> <article> <h1>Improved Survival in Multiple Myeloma with Early Precursor Detection</h1> <p>Wed, 01 Oct 2025 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>다발골수종(Multiple Myeloma, MM) 환자에서 전구 질환(MGUS, smoldering MM)의 사전 진단 여부에 따라 생존 확률이 어떻게 달라지는지 비교 분석한 전국 규모 후향적 코호트 연구입니다. 조기 검진(early detection)이 생존률을 높임을 입증해, MM 환자에 대한 초기 단계 screening의 임상적 가치를 제안했습니다.</p> <h4 id="데이터">데이터</h4> <p>건강보험심사평가원(Health Insurance Review and Assessment Service, HIRA) 빅데이터 약 5천만 명 코호트에서 SQL을 활용해 MGUS, smoldering MM, <em>de novo</em> MM 환자군을 정의하고 추출했습니다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h4 id="분석-방법">분석 방법</h4> <p>선택 편향을 보정하기 위해 inverse probability of treatment weighting (IPTW) 매칭을 적용하고, weighted survival curve와 marginal Cox proportional hazards 분석으로 그룹 간 생존 확률을 비교했습니다. 분석은 R과 SAS로 구현했습니다.</p> <h4 id="성과">성과</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>S. Choi, S.S. Park, C.H. Lee, et al., “Improved Survival in Multiple Myeloma Following Prior Detection of Precursor Conditions: A Nationwide Real-world Study,” <em>Blood Cancer Journal</em>, Oct. 2025.</p> </blockquote> </article> <article> <h1>Cross-Modality Neonatal Brain Image Conversion with Latent Diffusion</h1> <p>Mon, 01 Sep 2025 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>신생아 뇌 MRI에서 routinely 수집되는 T2-weighted (T2w) 영상으로부터 T1-weighted (T1w) 영상을 합성하는 cross-modality conversion 모델을 개발했습니다. T1w와 T2w는 조직 특성을 상보적으로 표현하지만, 신생아의 경우 짧은 스캔 시간, 움직임 인공물, 진정제 사용 위험 등으로 두 contrast 모두를 얻기 어렵습니다. 본 연구는 누락된 modality를 합성해 multi-contrast 진단을 가능케 하는 빠르고 sedation-free한 경로를 제시합니다.</p> <h4 id="방법론">방법론</h4> <p><strong>모델 구조.</strong> 2D slice-wise conditional latent diffusion model (LDM)을 설계했습니다. 40쌍의 bias field-corrected T1w/T2w 데이터를 z-축 기준으로 slicing하고, Autoencoder-KL로 latent 공간에 인코딩한 뒤, T2w latent와 modality 조건 정보를 spatially aligned 방식으로 결합해 conditional image-to-image translation을 수행했습니다.</p> <p><strong>선행 기법과의 비교.</strong> 기존 GAN 기반 cross-modality translation은 학습 과정의 특성상 mode collapse, 비수렴, 불안정성 문제가 빈번했습니다. Denoising Diffusion Probabilistic Model (DDPM) 계열은 noise-perturbation 학습 과정 덕분에 더 안정적이고 다양한 출력을 생성하며, 영상 합성 task에서 GAN보다 우수함이 보고되었습니다.</p> <p><strong>손실 함수.</strong> Latent space와 conditioning key $\mathbf{y}$, diffusion time step $t$ 를 함께 고려한 LDM의 noise prediction loss는 다음과 같이 정의됩니다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h4 id="결과">결과</h4> <p>Held-out test set에서 합성 T1w 영상이 다음 성능을 달성했습니다.</p> <ul> <li><strong>PSNR</strong>: 21.03 dB</li> <li><strong>SSIM</strong>: 0.6963</li> </ul> <h4 id="의의">의의</h4> <p>T2w만으로 누락된 T1w를 생성할 수 있어 multi-contrast neonatal MRI에 빠르고 sedation-free한 접근 경로를 제공합니다. 본 framework는 infant 또는 fetal MRI 데이터로도 자연스럽게 확장 가능합니다.</p> <h4 id="성과">성과</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>C.H. Lee, K. Lee, B. Park, “Cross-Modality Neonatal Brain Image Conversion Using a Latent Diffusion Model,” <em>2025 Second International Conference on Artificial Intelligence for Medicine, Health and Care (AIxMHC)</em>, IEEE, 2025. (Oral)</p> </blockquote> </article> <article> <h1>Causal Inference: PSM, IPTW, CCW, Target Trial Emulation</h1> <p>Tue, 26 Aug 2025 00:00:00 +0000</p> <h2 id="왜-인과추론이-필요한가">왜 인과추론이 필요한가</h2> <p>후향적 연구 (registry data, 건강보험·심평원 청구 데이터 등) 는 RCT처럼 미리 정의된 조건으로 데이터를 수집한 게 아니다. <strong>bias가 존재할 수밖에 없다.</strong></p> <p>예) 새로운 약 효과를 보기 위해 두 그룹 (약 먹은 vs 안 먹은) 비교.</p> <ul> <li><strong>임상시험</strong>: randomization으로 baseline 통제 → 순수한 약 효과 (causal effect).</li> <li><strong>후향적 연구</strong>: 이미 모인 데이터 → 두 그룹의 baseline이 다를 수 있음.</li> </ul> <p>→ <strong>요는, 후향적 연구를 통계 기법으로 최대한 임상시험처럼 셋팅하는 것.</strong></p> <h2 id="카운터팩추얼-프레임">카운터팩추얼 프레임</h2> <p>각 개인에게 두 개의 잠재적 결과가 있다고 가정:</p> <ul> <li>$Y^{a=1}$ : “<strong>약을 먹었다면</strong>” 의 결과</li> <li>$Y^{a=0}$ : “<strong>약을 먹지 않았다면</strong>” 의 결과</li> </ul> <p>진짜 인과효과는 $E[Y^{a=1}] - E[Y^{a=0}]$ — <strong>평행세계의 약 먹은 나 vs. 평행세계의 약 안 먹은 나</strong> 의 차이.</p> <p>문제: 한 사람에게 한쪽만 관측됨. 그래서</p> $$E[Y^{a=1}] = E[Y \mid A=1] \quad \text{(?)}$$<p><strong>이 등식이 성립하려면 가정이 필요하다.</strong></p> <h3 id="조건부-독립-strongly-ignorable-assignment">조건부 독립 (Strongly Ignorable Assignment)</h3> $$Y^a \perp A \mid X$$ <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>모든 confounder $X$ 가 주어졌을 때, 잠재적 결과 $Y^a$ 와 treatment 배정 $A$ 가 독립</strong>이라는 가정.</p> </blockquote> <p>이게 성립하면</p> $$E[Y^{a=1}] = E[Y \mid A=1, X = x_0] \cdot \text{(for any specific } x_0\text{)}$$<p>그리고 marginalization으로</p> $$E[Y^{a=1}] = \sum_x E[Y \mid A=1, X=x]\, P(X=x)$$<p>즉, <strong>공변량 $X$ 가 충분히 주어지면 인과효과를 추정할 수 있다.</strong> 이 marginalization을 통계 기법으로 풀어내는 게 <strong>PS / IPTW</strong>.</p> <h2 id="ate-vs-att--무엇을-추정할-것인가">ATE vs ATT — 무엇을 추정할 것인가</h2> <table> <thead> <tr> <th>추정량</th> <th>정의</th> <th>누가 쓰나</th> </tr> </thead> <tbody> <tr> <td><strong>ATE</strong> (Average Treatment Effect)</td> <td>$E[Y^{a=1}] - E[Y^{a=0}]$</td> <td><strong>IPTW</strong></td> </tr> <tr> <td><strong>ATT</strong> (Average Treatment effect on the Treated)</td> <td>$E[Y^{a=1} - Y^{a=0} \mid A=1]$</td> <td><strong>PSM (matching)</strong></td> </tr> </tbody> </table> <p>매칭은 treated 군에 untreated 자료를 짝지어 가져오므로, <strong>treated 군에 한정된 효과</strong>만 정확히 본다 → ATT.</p> <p>ATT의 해석은 까다롭다 — 일반적으로 <strong>정책 평가</strong>처럼 “정책 시행군 전체에 대한 효과"를 보고 싶을 때 사용된다 (정책 시행 후엔 모두가 시행군이라 ATT가 자연스러움).</p> <p>IPTW는 전체 모집단에 대한 효과 (ATE) 를 직접 추정 → <strong>인과효과로 해석하기 가장 쉽다</strong>. 최근 임상연구의 흐름은 매칭보다 <strong>IPTW로 점점 이동</strong>.</p> <h2 id="기존-회귀adjusted-vs-인과추론">기존 회귀(Adjusted) vs 인과추론</h2> <p>회귀모형에 그냥 공변량을 다 넣어 보정하는 흔한 방법:</p> $$\text{lm}(y \sim a + x)$$<p>이때 회귀 계수는</p> $$E[Y \mid A=1, X] - E[Y \mid A=0, X]$$<p>이고, 보고 표기는 <strong>Adjusted risk ratio / Adjusted HR</strong> 등.</p> <p>문제점:</p> <ul> <li>공변량 $X$ 가 <strong>conditioning 된 상태에서의 효과</strong> — “성별·연령이 고정된 채 약 변수만 1 증가했을 때 효과” 라는 의미.</li> <li>진짜 약효 (marginal causal effect) 와 해석이 다름.</li> </ul> <p>용어 구분:</p> <ul> <li><strong>Conditional model</strong> — 공변량을 모형 안에 넣어 보정 (회귀의 표준)</li> <li><strong>Marginal model</strong> — weight를 주어 보정 (IPTW + univariate)</li> </ul> <p>→ 임상 논문 읽을 때 conditional/marginal HR 구분이 중요.</p> <h2 id="crude-vs-causal">Crude vs Causal</h2> <p>매칭 후 단순 비교:</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">coxph</span><span class="p">(</span><span class="nf">Surv</span><span class="p">(</span><span class="n">time</span><span class="p">,</span> <span class="n">event</span><span class="p">)</span> <span class="o">~</span> <span class="n">group</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">matched_df</span><span class="p">)</span> </span></span></code></pre></div><p>→ 매칭으로 균형이 맞춰졌으니 결과는 단순 crude HR이 아니라 <strong>causal HR</strong> 로 부를 수 있다.</p> <p>매칭 안 한 raw 비교는 <strong>crude HR</strong>. 이 둘을 구분해서 보고하는 게 좋다.</p> <h2 id="propensity-score-matching-psm">Propensity Score Matching (PSM)</h2> <p>공변량이 비슷한 사람끼리 두 그룹 간 짝지어 분석.</p> <ul> <li><strong>propensity score</strong> $P(A=1 \mid X)$ 를 logistic regression으로 추정.</li> <li>점수가 비슷한 treated/untreated 짝을 매칭.</li> <li>모든 case가 1:1로 맞춰진 후엔 단순 비교 (<code>coxph(Y ~ A)</code>) 가 곧 인과 효과 추정.</li> </ul> <p><strong>단점:</strong></p> <ul> <li>$n$ 수가 줄어든다 (짝 안 맞는 케이스 제거).</li> <li>매칭 결과 자체가 진짜 causal effect인지 약간 애매할 수 있음 (causal risk difference).</li> <li>treated 기준이라 ATT 추정.</li> </ul> <p><strong>임상 국룰</strong>: greedy matching (1:1 nearest matching) + caliper.</p> <h2 id="iptw-inverse-probability-of-treatment-weighting">IPTW (Inverse Probability of Treatment Weighting)</h2> <p>매칭의 반대. 짝짓는 대신 <strong>weight를 주어</strong> balance를 맞춘다.</p> <p>직관: 남자 3명, 여자 6명 → 남자에 weight 2를 주면 6:6. 이 weight 2 가 곧 $1/P(A=1 \mid X)$.</p> $$w_i = \frac{1}{P(A_i=1 \mid X_i)}$$<p>이 weight를 분석에 넣으면 <strong>단변량 회귀로도 인과효과</strong>를 얻는다:</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">coxph</span><span class="p">(</span><span class="nf">Surv</span><span class="p">(</span><span class="n">time</span><span class="p">,</span> <span class="n">event</span><span class="p">)</span> <span class="o">~</span> <span class="n">group</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">df</span><span class="p">,</span> <span class="n">weights</span> <span class="o">=</span> <span class="n">df</span><span class="o">$</span><span class="n">weights</span><span class="p">)</span> </span></span></code></pre></div><p>장점:</p> <ul> <li>$n$ 수 유지.</li> <li>ATE 직접 추정.</li> <li>인과효과 해석이 가장 쉽다.</li> </ul> <h3 id="weight의-직관">Weight의 직관</h3> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>ID 1번이 weight 2로 들어갔다 = 그 사람을 <strong>2명으로 복제</strong>했다고 생각하면 됨.</p> <p>실제로 표본 수가 늘어나는 게 아니라 cox 점수에 weight를 곱하는 형태로 처리.</p> </blockquote> <p>소수점 weight도 같은 직관.</p> <h2 id="r-구현-흐름">R 구현 흐름</h2> <p>PSM도 IPTW도 출발점은 같다 — propensity score 추정:</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">glm</span><span class="p">(</span><span class="n">group</span> <span class="o">~</span> <span class="n">age</span> <span class="o">+</span> <span class="n">sex</span> <span class="o">+</span> <span class="n">comorbidities</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">df</span><span class="p">,</span> <span class="n">family</span> <span class="o">=</span> <span class="nf">binomial</span><span class="p">(</span><span class="n">link</span> <span class="o">=</span> <span class="s">"logit"</span><span class="p">))</span> </span></span></code></pre></div><ul> <li>이 확률값으로 짝지으면 → <strong>PSM</strong></li> <li>이 확률의 역수를 weight로 쓰면 → <strong>IPTW</strong></li> </ul> <h2 id="stabilized-weight--truncation-실무-국룰">Stabilized Weight + Truncation (실무 국룰)</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>“stabilized 넣고 weight truncation까지 하는 건 국룰이다.”</p> </blockquote> <h3 id="왜-stabilized">왜 stabilized?</h3> <p>극단적인 표본 비대칭에서 weight가 폭발한다. 예: 남자 3명, 여자 30만명 → 남자 weight가 십만 단위. <code>glm</code>이 안 돌아가고, 운 나쁘게 그 3명 중에 사건이 몰리면 분석이 왜곡된다.</p> <p>해결: <strong>분자에 marginal probability</strong> 를 곱해 weight를 안정화.</p> $$w_i^{\text{stab}} = \frac{P(A_i=a)}{P(A_i=a \mid X_i)}$$<ul> <li>결과에 영향을 주지 않으면서 분산을 안정화.</li> <li>weight의 평균이 1 → <strong>표본 수가 유지된다.</strong></li> </ul> <h3 id="왜-truncation">왜 truncation?</h3> <p>stabilized 후에도 극단적으로 큰 weight 케이스가 남는다. 다변량 공변량에서 특정 조합이 매우 드문 경우 (예: 20대 + 특정 질환 + 특정 약 동반).</p> <p>해결: <strong>99% percentile (또는 1% 양쪽 자르기)</strong> 위 weight를 cap.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>“weight 4의 99% percentile, 100%가 32라고 하면 → 32 같은 outlier를 4로 바꾼다. 99% 이상은 다 4 4 4 …”</p> </blockquote> <p>논문 인용은 <strong>Peter Austin</strong> 의 stabilization / truncation 원논문이 보통.</p> <p>R에선 보통 함수로 묶음 (<code>get_sw(formula, data, trunc_cut = 0.01)</code> 같은 형태).</p> <h2 id="cbps-covariate-balancing-propensity-score">CBPS (Covariate Balancing Propensity Score)</h2> <p>기본 IPTW로 balance가 안 맞을 때, balance를 명시적으로 maximize하도록 PS를 추정하는 변종 (GMM 기반).</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>실무 의견: “<strong>거의 안 쓴다.</strong>” JAMA 등 임상 저널 게재 사례가 적고, reviewer 설득이 까다롭다. 정책학에서는 종종 사용.</p> </blockquote> <p>대신 우리는 <strong>interaction term을 하나씩 넣어가며</strong> balance를 맞춘다:</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="c1"># 기본</span> </span></span><span class="line"><span class="cl"><span class="nf">glm</span><span class="p">(</span><span class="n">group</span> <span class="o">~</span> <span class="n">x1</span> <span class="o">+</span> <span class="n">x2</span> <span class="o">+</span> <span class="n">x3</span><span class="p">,</span> <span class="kc">...</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="c1"># balance 안 맞으면</span> </span></span><span class="line"><span class="cl"><span class="nf">glm</span><span class="p">(</span><span class="n">group</span> <span class="o">~</span> <span class="n">x1</span> <span class="o">+</span> <span class="n">x2</span> <span class="o">+</span> <span class="n">x3</span> <span class="o">+</span> <span class="nf">I</span><span class="p">(</span><span class="n">x1^2</span><span class="p">)</span> <span class="o">+</span> <span class="n">x1</span><span class="o">:</span><span class="n">x2</span><span class="p">,</span> <span class="kc">...</span><span class="p">)</span> </span></span></code></pre></div><p>연속형 변수 제곱항, 변수 간 interaction을 시도해 SMD가 떨어질 때까지 조정.</p> <h2 id="balance-check">Balance Check</h2> <p>매칭/가중 결과가 잘 맞았는지 확인하는 진단:</p> <ul> <li><strong>SMD (Standardized Mean Difference)</strong> $< 0.1$ — 균형 OK</li> <li><strong>Love plot</strong> — 변수별 SMD를 시각화 (matching/weighting 전·후 비교)</li> </ul> <h2 id="robust-sandwich-estimator-매칭가중의-짝꿍">Robust Sandwich Estimator (매칭/가중의 짝꿍)</h2> <p>PSM, IPTW를 적용하면 신뢰구간이 인위적으로 줄어들어 <strong>p-value가 유의하게 잘못 나올 수 있다.</strong></p> <ul> <li>원래 분산 공식은 어떤 역행렬 가정에 기반함.</li> <li>weight를 쓰면 그 가정이 깨지므로 <strong>분산이 과소추정</strong>된다.</li> </ul> <p>해결: <strong>robust sandwich estimator</strong> — 분산 식이 $I S I$ 모양 (한 항이 더 추가). 이름의 유래는 그 모양.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>매칭/가중 ↔ Robust estimator</strong> 짝꿍처럼 기억.</p> </blockquote> <p>추가 분석에서 robust estimator로 바꿨다가 결과가 뒤집히는 사례가 있어 반드시 같이 써야 함.</p> <h2 id="hr-vs-risk-difference-ratio">HR vs Risk Difference Ratio</h2> <p>전통적으로 생존분석은 hazard ratio (HR) 만 보고했지만, 최근 trend는 <strong>HR + risk difference / risk ratio</strong> 를 같이 보는 것.</p> <ul> <li>HR은 proportional hazard 가정에 의존 → 가정 위배 시 해석 위험.</li> <li>Risk Ratio는 cumulative incidence curve의 각 시점에서의 risk를 비교 → 가정 더 자유로움.</li> <li>Time-specific hazard는 시간에 따라 위험이 변하지만, proportional hazard ratio는 그 평균 한 값으로 보고 → <strong>해석 모호</strong>.</li> </ul> <h2 id="immortal-time-bias">Immortal Time Bias</h2> <p>치료군 vs 비치료군 비교 시 <strong>index date를 어떻게 잡느냐</strong> 가 핵심.</p> <ul> <li>치료군의 index date = 치료 시점 → 그 시점까지 사망하지 않은 사람만 치료군에 들어감.</li> <li>비치료군은 그런 비대칭이 없음.</li> <li>결과적으로 치료군에 “사망하지 않을 운명” 의 시간(immortal time)이 부여됨 → bias.</li> </ul> <p>전통적 보정: <strong>landmark analysis</strong> (landmark 이전 사망자 제외).</p> <p>문제:</p> <ul> <li>전체 모집단이 아니라 “landmark까지 살아남은 사람” 만의 효과 → <strong>selection bias</strong>, 해석 어려움.</li> <li>Time-varying Cox 등 보조 도구가 필요해짐.</li> </ul> <h2 id="clone-censor-weighting-ccw">Clone Censor Weighting (CCW)</h2> <p>최신 흐름. 한 사람을 <strong>양쪽 그룹에 복제</strong>해 immortal time bias를 원천 제거한다.</p> <ul> <li>A라는 사람이 90일째 treatment 받았다고 하자 → 그 사람은 90일까지 안 죽었다.</li> <li>Control 군에도 똑같은 가상의 사람을 0~90일까지 만든다.</li> <li>두 쪽이 동일한 0~90일을 가지므로 immortal time이 상쇄됨.</li> </ul> <p>장점:</p> <ul> <li>Landmark 없이 immortal time bias 해결.</li> <li>같은 사람을 만들기 때문에 covariate balance도 자동 해결.</li> <li>매칭/IPTW 없이도 분석 가능.</li> </ul> <p>단점:</p> <ul> <li>Cloning된 자료 만드는 과정이 복잡 (경우의 수 많음).</li> <li><strong>CCW를 쓰면 IPCW (Inverse Probability of Censoring Weighting)</strong> 가 필수 짝꿍.</li> </ul> <h2 id="인과추론-방법-계층-trend">인과추론 방법 계층 (Trend)</h2> <p>분석의 중요도에 따라 방법이 점진적으로 강해진다:</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback"><span class="line"><span class="cl">가벼운 분석 매칭 (PSM) </span></span><span class="line"><span class="cl"> ↓ </span></span><span class="line"><span class="cl"> IPTW </span></span><span class="line"><span class="cl"> ↓ </span></span><span class="line"><span class="cl">중요한 분석 CCW + IPCW </span></span><span class="line"><span class="cl"> ↓ </span></span><span class="line"><span class="cl"> Target Trial Emulation (전체 framework) </span></span></code></pre></div><p>→ 중요한 분석에서는 “<strong>우리는 모든 bias를 제거했다</strong>” 라고 method에 기술할 수 있을 정도까지 간다.</p> <h2 id="target-trial-emulation-tte">Target Trial Emulation (TTE)</h2> <p>상위 framework. 임상시험 protocol처럼 <strong>연구 설계 시 조작적 정의를 엄격하게 명시</strong>하는 일련의 과정을 정형화. PRISMA가 메타분석 reporting을 정형화한 것처럼, TTE는 후향적 인과추론의 reporting/설계 standard.</p> <p>명시 항목:</p> <ul> <li><strong>Eligibility criteria</strong></li> <li><strong>Treatment strategies</strong></li> <li><strong>Assignment procedure</strong></li> <li><strong>Outcome / Follow-up</strong></li> <li><strong>Causal contrast</strong> (intention-to-treat / per-protocol)</li> <li><strong>Statistical analysis</strong> plan</li> </ul> <p>→ TTE는 잘 구조화된 retrospective data 분석을 위한 framework. 위에서 다룬 PSM/IPTW/CCW를 <strong>어떻게 조합해 protocol을 설계할지</strong>를 다룬다.</p> <h2 id="요약">요약</h2> <ul> <li>인과추론의 출발점: <strong>카운터팩추얼 프레임 + 조건부 독립 가정</strong> ($Y^a \perp A \mid X$)</li> <li>$X$ 를 통계 기법으로 처리하는 핵심 도구: <strong>PSM (ATT)</strong> 과 <strong>IPTW (ATE)</strong></li> <li>IPTW는 <strong>stabilized + truncation</strong> 가 실무 국룰</li> <li>매칭/가중 후엔 <strong>robust sandwich estimator</strong> 필수 짝꿍</li> <li>모형 안에 공변량 → conditional, weight로 보정 → marginal</li> <li>Balance 진단: SMD < 0.1, love plot</li> <li><strong>Immortal time bias</strong> 는 landmark가 전통 해법, 최근엔 <strong>CCW (+ IPCW)</strong> 가 부상</li> <li>전체를 framework로 정형화한 게 <strong>Target Trial Emulation</strong></li> <li>임상 trend: HR 단독 → HR + Risk Difference / Risk Ratio</li> </ul> </article> <article> <h1>Survival Analysis: Exposure Period, Immortal Time Bias, Fine-and-Gray</h1> <p>Mon, 31 Mar 2025 00:00:00 +0000</p> <h2 id="ggsurvfit-survfit2-잠깐">ggsurvfit (<code>survfit2</code>) 잠깐</h2> <p><code>survfit2()</code> 는 survival curve를 깔끔하게 그려주는 함수로 <strong><code>ggsurvfit</code></strong> 패키지에 있다. base R <code>survfit()</code> 결과를 ggplot 스타일로 변환.</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">library</span><span class="p">(</span><span class="n">ggsurvfit</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="nf">survfit2</span><span class="p">(</span><span class="nf">Surv</span><span class="p">(</span><span class="n">time</span><span class="p">,</span> <span class="n">event</span><span class="p">)</span> <span class="o">~</span> <span class="n">group</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">df</span><span class="p">)</span> <span class="o">|></span> </span></span><span class="line"><span class="cl"> <span class="nf">ggsurvfit</span><span class="p">()</span> <span class="o">+</span> </span></span><span class="line"><span class="cl"> <span class="nf">add_confidence_interval</span><span class="p">()</span> <span class="o">+</span> </span></span><span class="line"><span class="cl"> <span class="nf">add_risktable</span><span class="p">()</span> </span></span></code></pre></div><h2 id="wash-out-기간">Wash-out 기간</h2> <p>중재/약물 연구에서 <strong>이전 치료의 잔여 효과가 몸에서 사라지도록 두는 기간</strong>. 이 동안 참가자는 어떤 치료도 받지 않는다.</p> <p>예) 약물 A 효과 평가 후 같은 참가자에게 약물 B를 투여하기 전, A의 잔여 효과가 완전히 사라질 때까지 기다린다 → B 효과를 정확히 측정 가능.</p> <h2 id="index-date를-어디로-잡을-것인가--exposure-period-문제">Index Date를 어디로 잡을 것인가 — Exposure Period 문제</h2> <p>후향적 약물 연구의 핵심 질문 중 하나: <strong>약 복용 시점을 index date로 잡을지, 진단일로 잡을지.</strong></p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>“팽이 비유: 팽이 던진 순간부터는 가만 둬야 한다. 그 이후에 행위(약 처방)를 추가하면 그게 time-varying cox이고, 결과 활용이 어려워서 잘 안 쓴다.”</p> </blockquote> <h3 id="index-date--진단일로-잡으면">Index date = 진단일로 잡으면</h3> <ul> <li>좋은 점: control 군의 index를 잡기 쉽다.</li> <li>문제: 복용군이 약을 <strong>언제</strong> 먹었는지 모를 때 immortal time bias. <ul> <li>약을 1년 뒤에 먹은 사람 = “1년 동안 죽지 않았다” 는 정보가 미래에서 새는 셈.</li> <li>control 군은 그런 보장이 없다 → <strong>항상 약 먹은 사람이 더 오래 산다 (효과 좋음)</strong> 로 잘못 나옴.</li> </ul> </li> </ul> <h3 id="index-date--약-복용일로-잡으면">Index date = 약 복용일로 잡으면</h3> <ul> <li>control 군의 index를 잡을 수 없다 (약을 안 먹었으니까).</li> </ul> <h3 id="가장-흔한-해결-landmark--exposure-period">가장 흔한 해결: Landmark + Exposure Period</h3> <p>진단일부터 일정 기간 (예: 1년, 2년) 을 <strong>exposure period</strong> 로 정의:</p> <ol> <li><strong>진단 시점부터 진단 + N년까지를 exposure 정의 구간</strong> 으로 둔다.</li> <li>그 안에 약을 먹었으면 treatment, 아니면 control.</li> <li><strong>분석 시작은 진단 + N년 시점부터</strong> (이게 새 index date).</li> <li>분석엔 N년 이전 데이터는 버림.</li> </ol> <p><strong>효과</strong>:</p> <ul> <li>Treatment 군과 control 군이 <strong>같은 시점부터 추적 시작</strong> → immortal time이 양쪽에 동일하게 작용해 상쇄.</li> <li>미래 정보 누설 없음.</li> </ul> <p><strong>단점</strong>:</p> <ul> <li>N년 사이에 사망한 사람은 분석에서 제거 → 표본 수 감소.</li> <li>N이 너무 길면 표본이 많이 빠진다.</li> <li>결과는 “진단 후 N년까지 살아남은 사람들” 에 한정된 효과.</li> </ul> <h3 id="실무-팁">실무 팁</h3> <ul> <li><strong>랜드마크 1년 vs 2년 vs 3년</strong> 으로 표본 수와 결과를 비교해보고 합리적인 기간을 고른다.</li> <li>가능하면 <strong>진단 전에 먹은 것만</strong> 분석하는 게 가장 깔끔 (statin 연구처럼).</li> <li>“약을 끊는 시점” 같이 <strong>미래 정보를 봐야 하는 분석</strong>은 본질적으로 어렵다. 그래도 landmark로 어느 정도 우회 가능.</li> </ul> <h2 id="treatment-군-정의의-시점성">Treatment 군 정의의 시점성</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>“팽이를 만드는 거랑 팽이를 치는 거랑 차이가 있다.”</p> </blockquote> <ul> <li>treatment 군 / control 군을 정할 때는 <strong>현재 기준</strong> 으로 해야 한다.</li> <li>그냥 raw data로 “이 사람이 치료받은 사람이고 저 사람은 아니다” 라고 하면 사실상 <strong>미래를 본 거</strong> (그 사람이 약을 먹은 게 미래라).</li> <li>그래서 landmark를 걸면 그 시점까지의 정보로 그룹을 정의 — “현재 기준” 이 됨 → 사기 X.</li> </ul> <h2 id="competing-risk-regression-실무-코드">Competing Risk Regression (실무 코드)</h2> <h3 id="cause-specific-hazard-model">Cause-Specific Hazard Model</h3> <p>특정 사망 (e.g., cancer death) 의 위험만 본다. 다른 event는 censoring 처리.</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">coxph</span><span class="p">(</span><span class="nf">Surv</span><span class="p">(</span><span class="n">time</span><span class="p">,</span> <span class="n">status</span><span class="p">)</span> <span class="o">~</span> <span class="bp">T</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">df</span><span class="p">)</span> </span></span><span class="line"><span class="cl"><span class="c1"># status == 1 만 event, 그 외(예: 사망)는 censor</span> </span></span></code></pre></div><h3 id="fine-and-gray-sub-distribution-model">Fine-and-Gray Sub-Distribution Model</h3> <p>다른 event 발생 시 그 사람을 <strong>risk set에서 빼지 않고 무한대로 둔다.</strong> Cumulative incidence와 1:1 대응.</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">library</span><span class="p">(</span><span class="n">cmprsk</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="c1"># crprep으로 weighted long-format data 생성</span> </span></span><span class="line"><span class="cl"><span class="c1"># (또는 직접 crr 사용)</span> </span></span><span class="line"><span class="cl"><span class="n">fit.crr</span> <span class="o"><-</span> <span class="nf">crr</span><span class="p">(</span> </span></span><span class="line"><span class="cl"> <span class="n">ftime</span> <span class="o">=</span> <span class="n">sub</span><span class="o">$</span><span class="n">d.age</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">fstatus</span> <span class="o">=</span> <span class="n">sub</span><span class="o">$</span><span class="n">cod2</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">cov1</span> <span class="o">=</span> <span class="n">covs</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">failcode</span> <span class="o">=</span> <span class="m">1</span><span class="p">,</span> <span class="n">cencode</span> <span class="o">=</span> <span class="m">0</span> </span></span><span class="line"><span class="cl"><span class="p">)</span> </span></span><span class="line"><span class="cl"><span class="nf">summary</span><span class="p">(</span><span class="n">fit.crr</span><span class="p">)</span> </span></span></code></pre></div><h3 id="두-모델-어떻게-다른가">두 모델 어떻게 다른가</h3> <ul> <li><strong>Cause-specific</strong> — 특정 원인 사망의 hazard rate를 추정. 다른 event는 censor 처리. 인과적 해석에 가깝지만, cumulative incidence plot과 직접 매칭되지 않는다.</li> <li><strong>Fine-and-Gray</strong> — sub-distribution hazard. <strong>Cumulative incidence plot과 1:1 대응</strong> → HR과 CI plot을 같이 보여주기 좋다. 임상에서 더 많이 쓰임.</li> </ul> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>임상에서 cuminc plot과 HR을 함께 보여주려면 <strong>Fine-and-Gray</strong> 가 자연스럽다.</p> </blockquote> <h2 id="fine-and-gray가-cuminc와-일치하는-이유-간단-설명">Fine-and-Gray가 cuminc와 일치하는 이유 (간단 설명)</h2> <p>Fine-and-Gray model의 핵심은 <strong>다른 event가 일어난 사람도 끝까지 본다</strong>는 것 — 사망 시점에서 끊지 않고 연구 종료일까지 추적한다고 본다.</p> <p>다만 “언제까지 볼지” 가 애매하므로 <strong>시간이 멀어질수록 weight를 작게</strong> 준다. 이렇게 <strong>stabilized censoring weight</strong>를 곱한 long-format 데이터를 만들면, <code>survfit + ggsurvplot</code> 로 그린 cumulative incidence plot이 <code>cmprsk::cuminc</code> / <code>prodlim::Hist</code> 결과와 정확히 일치한다.</p> <p>→ Geskus 가 증명한 결과. R에서는 <code>cmprsk::crprep()</code> 함수가 이 long-format 데이터를 만들어준다.</p> <h2 id="matching-with-matchit">Matching with <code>MatchIt</code></h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-r" data-lang="r"><span class="line"><span class="cl"><span class="nf">library</span><span class="p">(</span><span class="n">MatchIt</span><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="n">m.out</span> <span class="o"><-</span> <span class="nf">matchit</span><span class="p">(</span> </span></span><span class="line"><span class="cl"> <span class="n">group</span> <span class="o">~</span> <span class="n">age</span> <span class="o">+</span> <span class="n">sex</span> <span class="o">+</span> <span class="n">comorbidities</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">data</span> <span class="o">=</span> <span class="n">df</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">method</span> <span class="o">=</span> <span class="s">"nearest"</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="n">caliper</span> <span class="o">=</span> <span class="m">0.1</span> </span></span><span class="line"><span class="cl"><span class="p">)</span> </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl"><span class="n">m.data</span> <span class="o"><-</span> <span class="nf">match.data</span><span class="p">(</span><span class="n">m.out</span><span class="p">)</span> </span></span><span class="line"><span class="cl"><span class="n">result</span> <span class="o"><-</span> <span class="nf">coxph</span><span class="p">(</span><span class="nf">Surv</span><span class="p">(</span><span class="n">time</span><span class="p">,</span> <span class="n">event</span><span class="p">)</span> <span class="o">~</span> <span class="n">group</span><span class="p">,</span> <span class="n">data</span> <span class="o">=</span> <span class="n">m.data</span><span class="p">)</span> </span></span><span class="line"><span class="cl"><span class="nf">summary</span><span class="p">(</span><span class="n">result</span><span class="p">)</span> </span></span></code></pre></div><p><code>method = "full"</code> 을 주면 optimal full matching이 자동으로 적용됨.</p> <h3 id="greedy-vs-full-matching">Greedy vs Full Matching</h3> <ul> <li><strong>Greedy (nearest, 1:1)</strong> — 임상 국룰. 거리 가까운 짝부터 차례로 매칭. caliper로 정밀도 제어. 표본 손실 있음.</li> <li><strong>Full</strong> — <code>optmatch</code> 패키지 기반. 모든 케이스를 활용해 더 효율적이지만 해석/보고가 까다롭다.</li> </ul> <h2 id="한-줄-요약">한 줄 요약</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Index date 결정이 곧 immortal time bias 처리의 핵심.</strong> Exposure period + landmark가 가장 흔한 실무 해법이고, competing risk가 있을 땐 Fine-and-Gray가 cumulative incidence plot과 1:1 대응해 가장 자주 쓰인다.</p> </blockquote> <h2 id="관련">관련</h2> <ul> <li> </li> <li> </li> </ul> <h2 id="참고">참고</h2> <ul> <li><em> </em> (Austin, Statistics in Medicine)</li> <li> </li> <li> </li> </ul> </article> <article> <h1>머신러닝 분류 과제 수행 단계</h1> <p>Thu, 24 Oct 2024 00:00:00 +0000</p> <p>분류(classification) 머신러닝 프로젝트를 처음부터 끝까지 끌고 가본 경험을 정리한 워크플로 가이드. <strong>전처리 → 변수 선택 → 모델링 → 평가</strong> 순서.</p> <h2 id="전처리-단계">전처리 단계</h2> <h3 id="1차-변수-탐색">1차 변수 탐색</h3> <ul> <li><strong>범주형</strong>: 2x2 table과 odds ratio로 변수 영향력 점검. odds ratio가 10 이상이거나 지나치게 낮으면 sensitivity/specificity 분포가 극단적으로 왜곡되므로 별도 검토.</li> <li><strong>연속형</strong>: 기초 통계량 (mean, sd 등) 과 histogram으로 영향력 확인.</li> </ul> <h3 id="2차-변수-탐색-결측--다중공선성">2차 변수 탐색 (결측 + 다중공선성)</h3> <p><strong>결측치 처리</strong></p> <ul> <li>결측률 <strong>40% 이상</strong> 이면 변수의 설명력 부족으로 판단해 제거.</li> <li>나머지는 imputation: <ul> <li>연속형 → <strong>median</strong> (mean보다 극단값 영향 덜 받음)</li> <li>범주형 → <strong>mode</strong></li> </ul> </li> <li>Train set 통계량을 test set에도 동일 적용 (leakage 방지).</li> </ul> <p><strong>다중공선성 (VIF)</strong></p> <ul> <li>Imputation 후 연속형 변수 간 VIF 산출.</li> <li>VIF $\ge 10$ 인 변수는 한 번에 한 개씩 제거하며 추이 관찰. cutoff는 주관적이지만 10 초과면 제거 권장.</li> </ul> <h3 id="범주형-변수-변환">범주형 변수 변환</h3> <ul> <li>One-hot encoding은 다중공선성 우려가 있으므로, 한 카테고리를 reference로 두는 <strong>dummy encoding</strong> 사용.</li> <li>Reference 카테고리는 모든 컬럼에서 0인 행 → 최종 컬럼 수 = 카테고리 수 - 1.</li> </ul> <h3 id="정규화--표준화">정규화 / 표준화</h3> <ul> <li>연속형 변수 scale 차이가 크면 모델 설명력에 영향 → MinMaxScaler 또는 Standardization 적용.</li> <li>표준화 통계량 (mean, sd) 역시 <strong>train 기준으로 test에 동일 적용</strong>.</li> </ul> <h3 id="변수-선택">변수 선택</h3> <ul> <li>Feature가 많을수록 설명력은 ↑ but overfitting 위험 ↑.</li> <li>Hyperparameter 최적화 전에 변수 선택을 거친다.</li> <li>방법: <strong>RFE (Recursive Feature Elimination)</strong> with <strong>5-fold stratified CV</strong>.</li> <li>평가 기준: <strong>AUROC</strong>.</li> <li>RFE-CV 결과 그래프로 최적 feature 수 (예: 5개) 결정.</li> </ul> <h2 id="모델링-단계">모델링 단계</h2> <h3 id="데이터-분할">데이터 분할</h3> <p>전체 데이터를 <strong>3:1 stratified split</strong> (train/test).</p> <h3 id="하이퍼파라미터-탐색">하이퍼파라미터 탐색</h3> <p>Train 안에서 <strong>10-fold stratified CV</strong>:</p> <ol> <li>10-fold CV로 train/val 분할</li> <li>Train set 표준화 → 그 통계량으로 val set 표준화</li> <li>각 fold에서 성능 metric 계산 → 평균</li> <li>평균이 가장 높은 hyperparameter 조합 저장</li> </ol> <p>탐색 알고리즘: <strong>Bayesian optimization</strong> (grid / random search보다 효율적).</p> <h3 id="최종-학습--평가">최종 학습 + 평가</h3> <ol> <li>전체 train data 표준화</li> <li>위에서 찾은 best hyperparameter로 모델 fitting → 모델 $a$</li> <li>Train 통계량으로 test data 표준화 → 모델 $a$ 에 넣고 성능 metric 출력</li> </ol> <h3 id="robustness--50회-반복">Robustness — 50회 반복</h3> <p>위 과정 (split → tuning → fit → test) 을 <strong>50번 반복</strong>하고 metric의 평균을 최종 성능으로 보고. → subject selection bias를 줄이고 robustness 확보.</p> <h2 id="모델-후보">모델 후보</h2> <ul> <li>XGBoost</li> <li>Random Forest</li> <li>Support Vector Machine (SVM)</li> <li>Logistic Regression</li> <li>Multi-Layer Perceptron (MLP)</li> </ul> <h2 id="평가-지표">평가 지표</h2> <ul> <li>Accuracy</li> <li>Precision</li> <li>Recall (Sensitivity)</li> <li>F1-score</li> <li>AUC-ROC</li> </ul> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> <p>이 워크플로를 적용한 실제 프로젝트는 참고.</p> </blockquote> </article> <article> <h1>Logistic Regression</h1> <p>Sun, 22 Sep 2024 00:00:00 +0000</p> <h2 id="logistic-regression-vs-linear-regression">Logistic Regression vs Linear Regression</h2> <ul> <li>Linear regression — <strong>닫힌 해 (closed-form solution)</strong> 가 존재 (정규방정식)</li> <li>Logistic regression — 닫힌 해 없음. <strong>최적화 기법</strong> 필요</li> </ul> <p>좋은 logistic regression 모델은 정답 클래스에는 높은 확률을, 오답 클래스에는 낮은 확률을 부여한다.</p> <h2 id="likelihood-function">Likelihood Function</h2> <p>모델 성능을 <strong>likelihood</strong> — “각 데이터 포인트가 정답 클래스로 분류될 확률을 모두 곱한 것” — 로 측정한다.</p> <p>문제: 확률값을 계속 곱하면 값이 0에 가까워져 수치적으로 불안정. → 로그를 취해 <strong>log-likelihood</strong> 사용.</p> <h2 id="maximum-likelihood-estimation-mle">Maximum Likelihood Estimation (MLE)</h2> $$\arg\max_\theta \mathcal{L}(\theta) \;=\; \arg\max_\theta \log \mathcal{L}(\theta) \;=\; \arg\min_\theta \big(-\log \mathcal{L}(\theta)\big)$$<p>데이터셋 likelihood를 최대화하는 계수 $\theta$ 를 찾는 것이 MLE. 실전에서는 보통 <strong>negative log-likelihood (NLL) 최소화</strong> 형태로 푼다.</p> <h2 id="gradient-descent">Gradient Descent</h2> <p>Logistic regression에는 닫힌 해가 없으므로 <strong>gradient descent</strong> 로 반복 개선:</p> <ol> <li>가중치 $\theta$ 를 무작위로 초기화</li> <li>NLL의 gradient (1차 도함수) 계산</li> <li>Gradient의 반대 방향으로 step size $\alpha$ (learning rate) 만큼 이동</li> <li>수렴할 때까지 반복</li> </ol> $$\theta^{(t+1)} = \theta^{(t)} - \alpha \cdot \nabla_\theta \big(-\log \mathcal{L}(\theta^{(t)})\big)$$<h2 id="예측-및-분류">예측 및 분류</h2> <p>학습된 계수로 새 데이터의 확률을 계산할 때 <strong>sigmoid 함수</strong> 사용 — S자 곡선:</p> $$\sigma(z) = \frac{1}{1 + e^{-z}}, \qquad z = \theta^\top x$$<p>기본 cutoff threshold (보통 0.5) 를 적용해 확률을 이진 분류로 변환:</p> $$\hat{y} = \begin{cases} 1 & \text{if } \sigma(\theta^\top x) \ge 0.5 \\ 0 & \text{otherwise} \end{cases}$$<p>threshold는 도메인에 따라 (예: 의료에서 false negative 비용이 클 때) 0.3, 0.7 등으로 조절 가능.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>MLP (Multi-Layer Perceptron)</h1> <p>Sat, 21 Sep 2024 00:00:00 +0000</p> <h2 id="perceptron의-한계">Perceptron의 한계</h2> <p>단일 perceptron은 두 클래스를 분리하는 hyperplane을 만드는 <strong>선형 모델</strong>. 변수 관계가 비선형이면 잡아내지 못한다 — 곡선 패턴이 더 적합한 복잡한 관계를 선형 회귀가 잡을 수 없는 것과 같은 한계.</p> <h2 id="mlp-도입">MLP 도입</h2> <p>핵심 원리: <strong>여러 선을 결합해 복잡한 문제를 작은 부분 문제들로 분해</strong>한다. 서로 다른 영역을 식별하는 여러 perceptron을 만들고 그 출력을 조합 → 비선형 결정 경계 형성.</p> <p>여러 hidden layer를 쌓으면 모델 복잡도가 증가하고 — 이게 바로 <strong>딥러닝 아키텍처의 시작</strong>.</p> <h2 id="decision-boundary-비교">Decision Boundary 비교</h2> <table> <thead> <tr> <th>모델</th> <th>결정 경계</th> </tr> </thead> <tbody> <tr> <td>Logistic regression</td> <td>선 1개, 임의 방향</td> </tr> <tr> <td>Decision tree</td> <td>축에 수직인 여러 선</td> </tr> <tr> <td><strong>MLP</strong></td> <td><strong>선 개수와 방향 모두 자유롭게 조정 가능</strong> (hidden layer / node 수로 복잡도 제어)</td> </tr> </tbody> </table> <h2 id="기본-구조">기본 구조</h2> <p>각 input은 모든 hidden node에 서로 다른 가중치로 연결됨. Hidden node가 정보를 처리해 output node에서 집계.</p> <p>분류의 경우 output node 수 = 클래스 수. <strong>One-hot encoding</strong> + <strong>softmax</strong> 로 확률 분포 출력:</p> $$y_j = \frac{e^{z_j}}{\sum_{k=1}^{c} e^{z_k}}$$<h2 id="hidden-node의-역할">Hidden Node의 역할</h2> <p>Hidden node 수 = <strong>네트워크의 복잡도</strong>. 노드가 많을수록 더 정교한 결정 경계가 가능.</p> <h2 id="xor-문제-다시-보기">XOR 문제 다시 보기</h2> <p>선형 분리가 불가능한 데이터를 hidden node를 통해 <strong>분리 가능한 공간으로 변환</strong>한다. 중간 단계에서 선형 분리들을 만들고 결합하면, 원래는 분리 불가능했던 데이터셋도 분류 가능해진다.</p> <h2 id="error-back-propagation">Error Back-Propagation</h2> <p>Gradient descent + backpropagation으로 가중치 업데이트.</p> <ul> <li><strong>Output → Hidden 가중치</strong>: 실제값과 예측값의 차이 × hidden node 값에 비례해 조정</li> <li><strong>Input → Hidden 가중치</strong>: 오차 크기와 input 값에 의존</li> </ul> <h2 id="학습-종료--기타">학습 종료 / 기타</h2> <p>학습은 다음 조건에서 종료:</p> <ul> <li>가중치 변화가 미미함</li> <li>Validation 오차가 임계값 아래로 떨어짐</li> <li>미리 정한 epoch 수 도달</li> </ul> <p>Overfitting 방지를 위한 메커니즘들이 존재 (dropout, regularization, early stopping 등).</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>XGBoost</h1> <p>Sat, 21 Sep 2024 00:00:00 +0000</p> <h2 id="발전-흐름">발전 흐름</h2> <p>단일 decision tree → bagging / Random Forest → Gradient Boosting → <strong>XGBoost</strong></p> <p>XGBoost는 gradient boosting machine의 <strong>성능, 확장성, 속도</strong> 를 최적화한 구현. 핵심은 <strong>정확한 계산 대신 빠른 근사 해</strong>를 도입했다는 점.</p> <h2 id="split-finding-algorithm">Split Finding Algorithm</h2> <p>Decision tree가 분기점을 찾을 때 가장 큰 비용은 “어느 변수의 어느 값에서 split할지” 결정하는 것.</p> <h3 id="exact-greedy">Exact Greedy</h3> <p>모든 가능한 split 후보를 다 시험. 정렬을 포함해 $O(n \log n)$ 의 복잡도. 데이터가 크면 매우 느리다.</p> <h3 id="approximation-방식">Approximation 방식</h3> <p>XGBoost는 변수 값들을 <strong>percentile 기반 bucket</strong> 으로 나눈 뒤, 각 bucket 안에서만 후보 split을 탐색한다. 예시에서 39개 후보를 30개로 줄이면서 동시에 <strong>bucket 단위로 멀티스레드 병렬화</strong> 가능.</p> <p>두 가지 변종:</p> <ul> <li><strong>Global variant</strong> — tree depth 전반에 걸쳐 동일한 bucket 구조를 유지</li> <li><strong>Local variant</strong> — 노드마다 일정한 bucket 개수를 유지 (depth가 깊어질수록 더 세밀)</li> </ul> <p>성능 비교: 근사 알고리즘은 exact 방식과 <strong>거의 동등한 정확도</strong>를 훨씬 짧은 계산 시간으로 달성.</p> <h2 id="sparsity-aware-split-finding">Sparsity-Aware Split Finding</h2> <p>결측값 처리에 특화. 학습 시 결측값을 split의 <strong>왼쪽 / 오른쪽으로 보내는 두 옵션을 모두 시험</strong>해보고, split 성능이 더 좋은 방향을 그 노드의 default direction으로 학습한다.</p> <p>→ 결측 패턴이 있는 데이터에서 별도의 imputation 없이도 우수한 성능.</p> <h2 id="system-design">System Design</h2> <p>데이터를 <strong>column-wise</strong> 포맷으로 저장하고 사전에 정렬해 둔다. tree 학습 중 같은 정렬을 반복할 필요 없음 → 메모리 오버헤드 감소, 속도 향상.</p> <p>또한 cache-aware access, out-of-core computation, sparse-aware computation 등 시스템 레벨 최적화가 결합되어, 대규모 데이터에서도 실용적인 학습 시간을 보장한다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>SVM (Support Vector Machine)</h1> <p>Fri, 20 Sep 2024 00:00:00 +0000</p> <h2 id="svm-개요">SVM 개요</h2> <p><strong>SVM (Support Vector Machine)</strong> 은 이진 분류 알고리즘이다. 본 글에서 다루는 original SVM은 본질적으로 <strong>선형 모델</strong>이다 (이후 kernel trick으로 비선형 확장 가능).</p> <h2 id="linear-classifier의-목적">Linear Classifier의 목적</h2> <p>SVM은 이진 분류에서 라벨을 $\{-1, +1\}$ 로 표기한다. 목표는 분류기 집합 $H$ 안에서 일반화 오차 $R_D(h)$ 가 작은 가설 $h: X \to \{-1, +1\}$ 을 찾는 것.</p> <p>입력 공간 $X$ 에서 각 학습 데이터의 실제 라벨 ($+1$, $-1$) 을 정확히 분류하는 최적 분류기를 찾는다 — 결국 일반화 오차 $R_D(h)$ 를 최소화하는 문제.</p> <p>SVM은 고차원 공간에서도 선형 분류를 수행한다.</p> <ul> <li>2D → <strong>선(line)</strong> 으로 분리</li> <li>3D → <strong>평면(plane)</strong> 으로 분리</li> <li>일반 $d$ 차원 → $(d-1)$ 차원의 <strong>초평면(hyperplane)</strong> 으로 두 클래스 분리</li> </ul> <p>선형 분류기는 다음 형태:</p> $$H = \{\, x \mapsto \mathrm{sign}(w \cdot x + b) \;:\; w \in \mathbb{R}^d,\; b \in \mathbb{R} \,\}$$<p>$w \cdot x + b$ 의 부호로 라벨을 결정 (음수 → $-1$, 양수 → $+1$). 여기서 $w, b$ 가 학습 대상.</p> <h2 id="local-optimum-global-optimum">Local Optimum? Global Optimum!</h2> <p>학습 데이터를 정확히 분류하는 hyperplane은 무수히 많다. SVM은 그 중 <strong>두 클래스 사이의 마진(margin)이 가장 넓은</strong> hyperplane을 고른다.</p> <h3 id="마진-너비-도출">마진 너비 도출</h3> <p>분류 경계 위의 점 $x_0$ 에서 $w^\top x_0 + b = 0$. 여기서 $w$ 는 hyperplane의 법선 벡터.</p> <p>“+1 plane” 위의 점 $x_1$ 은 법선 방향으로 거리만큼 이동한 점이므로</p> $$x_1 = x_0 + p\, w$$<p>$x_1$ 이 plus plane 위에 있다는 조건 $w^\top x + b = 1$ 에 대입:</p> $$w^\top x_0 + p\, w^\top w + b = 1$$<p>$w^\top x_0 + b = 0$ 이므로</p> $$p\, w^\top w = 1 \quad\Longrightarrow\quad |p| = \frac{1}{\|w\|^2}$$<p>→ 한쪽 마진은 $\dfrac{1}{\|w\|^2}$, <strong>양쪽 합 마진은 $\dfrac{2}{\|w\|^2}$.</strong></p> <p>(보다 일반적으로 plus와 minus plane 거리를 $\|w\|$ 로 정규화하면 마진은 $\dfrac{2}{\|w\|}$. 위 도출은 $w^\top x + b = \pm 1$ 형태로 정규화한 경우의 결과)</p> <h2 id="마진과-vc-차원의-관계">마진과 VC 차원의 관계</h2> <p>마진 $\Delta$ 를 가지는 분리 초평면의 VC 차원은 다음 상한을 가진다.</p> $$h \;\le\; \min\!\left(\left\lceil \frac{R^2}{\Delta^2}\right\rceil,\; D\right) + 1$$<ul> <li>$D$ : 입력 공간의 차원</li> <li>$R$ : 모든 입력 벡터를 포함하는 가장 작은 구의 반지름</li> <li>$\Delta$ : 마진</li> </ul> <p>여기서 변하는 건 $\Delta$ 뿐. <strong>마진이 클수록 $R^2/\Delta^2$ 가 작아져 VC 차원이 $D$ 보다 더 낮아질 수 있다.</strong></p> <p>VC 차원이 작아지면 일반화 위험 상한 (capacity term) 도 작아진다:</p> $$R[f] \;\le\; R_{\text{emp}}[f] + \sqrt{\frac{h(\ln(2n/h)+1) + \ln(\delta/4)}{n}}$$<p>→ <strong>마진을 최대화 = VC 차원 ↓ = capacity ↓ = 기대 위험 ↓.</strong> SVM이 마진을 최대화하는 이론적 근거.</p> <h2 id="svm-case-i-linear--hard-margin">SVM Case I: Linear & Hard Margin</h2> <p>데이터가 선형 분리 가능하고 예외(오분류)를 허용하지 않는 경우 (hard margin).</p> <h3 id="primal-problem">Primal Problem</h3> $$\min_{w, b} \;\frac{1}{2}\|w\|^2$$$$\text{s.t.} \quad y_i(w^\top x_i + b) \;\ge\; 1 \quad \forall i$$<p>마진 $\dfrac{2}{\|w\|^2}$ 을 최대화 ↔ $\dfrac{1}{2}\|w\|^2$ 을 최소화. 제약은</p> <ul> <li>클래스 $+1$: $w^\top x_i + b \ge 1$</li> <li>클래스 $-1$: $w^\top x_i + b \le -1$</li> <li>둘을 합쳐서 $y_i(w^\top x_i + b) \ge 1$</li> </ul> <h3 id="lagrangian--dual">Lagrangian → Dual</h3> <p>라그랑주 승수 $\alpha_i \ge 0$ 을 도입:</p> $$L_P = \frac{1}{2}\|w\|^2 - \sum_{i} \alpha_i \big( y_i(w^\top x_i + b) - 1 \big)$$<p>KKT 조건:</p> $$\frac{\partial L_P}{\partial w} = 0 \quad\Longrightarrow\quad w = \sum_i \alpha_i y_i x_i$$$$\frac{\partial L_P}{\partial b} = 0 \quad\Longrightarrow\quad \sum_i \alpha_i y_i = 0$$<p>이를 $L_P$ 에 다시 대입하면 <strong>$\alpha$ 만의 함수</strong>인 dual 문제가 나온다 (convex). 해를 $\alpha^\star$ 라 하자.</p> <h3 id="새-입력-분류">새 입력 분류</h3> $$f(x_{\text{new}}) = \mathrm{sign}\!\left(\sum_i \alpha_i^\star y_i \, x_i^\top x_{\text{new}} + b\right)$$<h3 id="support-vectors">Support Vectors</h3> <p>KKT의 complementary slackness에 의해 대부분의 데이터에서 $\alpha_i = 0$ 이 되고, <strong>마진 경계 위에 정확히 놓인 데이터들에 대해서만 $\alpha_i > 0$.</strong> 이들이 <strong>support vector</strong> — 모델 $w$ 를 결정짓는 핵심 데이터들.</p> <p>데이터셋 안쪽 깊은 점들은 분류기 결정에 영향을 주지 않고, 마진 위 소수 점만이 모델을 정의한다는 게 SVM의 본질.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Random Forest</h1> <p>Thu, 19 Sep 2024 00:00:00 +0000</p> <h2 id="random-forest">Random Forest</h2> <p><strong>Random Forest</strong> 는 bagging의 특수한 형태로, base learner로 <strong>decision tree</strong> 를 쓴다. 두 가지 메커니즘으로 앙상블의 다양성을 확보한다.</p> <ol> <li><strong>Bagging (bootstrap sampling)</strong> — 각 tree는 원본 데이터에서 복원 추출한 bootstrap 샘플로 학습</li> <li><strong>Random variable selection</strong> — tree의 각 분기점에서, 전체 $p$ 개 변수 중 무작위로 $m$ 개만 후보로 두고 그 중 최선의 변수로 분기</li> </ol> <h2 id="알고리즘">알고리즘</h2> <ol> <li>Bootstrap size $t$ 의 무작위 샘플 생성</li> <li>분기 시 원본 $p$ 개 변수에서 $m$ 개의 변수만 무작위로 선택해 후보로 두고 분기</li> <li>다수의 decision tree를 학습한 뒤 결과를 결합 (분류는 majority vote, 회귀는 평균)</li> </ol> <h2 id="핵심-통찰">핵심 통찰</h2> <p>변수 제약 때문에 <strong>개별 tree의 성능은 떨어진다.</strong> 하지만 tree들 간 <strong>상관(correlation)이 줄어들어</strong> 평균/투표로 결합하면 전체 앙상블의 성능은 더 좋아진다. “약한 학습기들을 다양하게 조합해 강한 학습기를 만든다"의 정수.</p> <h2 id="일반화-오차-generalization-error">일반화 오차 (Generalization Error)</h2> <p>Random Forest의 일반화 오차에는 다음과 같은 상한이 알려져 있다.</p> $$\text{Generalization Error} \;\le\; \frac{\bar{\rho}\,(1 - s^2)}{s^2}$$<p>여기서</p> <ul> <li>$\bar{\rho}$ : tree들 간 결과의 평균 <strong>상관(correlation)</strong></li> <li>$s^2$ : 개별 tree의 <strong>정확도</strong> (strength)</li> </ul> <p>→ 좋은 일반화는 <strong>개별 모델 성능($s$)이 높으면서 모델 간 상관($\bar{\rho}$)이 낮을 때</strong> 얻어진다. 이게 RF가 변수 무작위 선택을 추가하는 이유 — 약간의 개별 정확도 손해를 보더라도 상관을 크게 떨어뜨려서 전체 bound를 줄이는 거래.</p> <h2 id="변수-중요도-variable-importance">변수 중요도 (Variable Importance)</h2> <p>Random Forest는 <strong>Out-of-Bag (OOB)</strong> 데이터를 활용해 변수 중요도를 계산할 수 있다 (별도의 validation set 없이도 가능).</p> <h3 id="절차">절차</h3> <ol> <li>각 tree에 대해, 그 tree 학습에 쓰이지 않은 OOB 샘플로 예측 오차를 측정.</li> <li>변수 $x_i$ 의 값을 <strong>무작위로 permute</strong> 한 OOB 샘플로 다시 예측 오차 측정.</li> <li>두 오차의 차이를 모아 평균과 분산을 구한다.</li> </ol> <h3 id="중요도-지표">중요도 지표</h3> $$v_i \;=\; \frac{\bar{d}_i}{s_i}$$<p>여기서</p> <ul> <li>$\bar{d}_i$ : OOB 오차 차이의 평균 (permute 후 - permute 전)</li> <li>$s_i^2$ : 그 차이의 분산</li> </ul> <p>직관적으로, <strong>분기 시 자주 쓰이는 중요한 변수</strong>일수록 permute하면 모델이 크게 망가져 오차 차이가 커진다 → $\bar{d}_i$ 가 크다 → $v_i$ 가 크다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Acceptance-Rejection Algorithm</h1> <p>Sat, 07 Sep 2024 00:00:00 +0000</p> <h2 id="acceptance-rejection-algorithm">Acceptance-Rejection Algorithm</h2> <p>이전에는 A-R 알고리즘을 “균등분포를 씌우고 곡선 안쪽 점은 accept, 바깥은 reject” 정도로만 두루뭉술하게 알고 있었다. 이 글에서는 그 디테일한 로직을 단계별로 정리한다.</p> <h2 id="셋업">셋업</h2> <p>지지구간 $[0,1]$ 위에 정의된 (그러나 직접 적분이 까다로운) 분포 $f(x)$ 에서 샘플을 뽑고 싶다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h2 id="알고리즘">알고리즘</h2> <h3 id="step-1-x-축-샘플링">Step 1. x-축 샘플링</h3> <p>먼저 $x$-축에서 약 10,000개의 data point를 $\mathrm{Unif}(0,1)$ 에서 추출해 고정점으로 둔다.</p> <h3 id="step-2-y-축-샘플링">Step 2. y-축 샘플링</h3> <p>각 $x$ 고정점에 대해, $y$-축에서 약 10,000개의 data point를 $\mathrm{Unif}(0, a)$ 에서 추출한다. 여기서 $a$ 는 $f(x)$ 의 최댓값 (또는 그 이상). 즉, 곡선 $f(x)$ 를 충분히 덮는 가로 $1 \times$ 세로 $a$ 직사각형 안에 점들을 흩뿌리는 것.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h3 id="step-3-accept--reject">Step 3. Accept / Reject</h3> <p>각 $(x, y)$ 점에 대해</p> <ul> <li>$y \le f(x)$ → <strong>accept</strong> (곡선 안쪽 점)</li> <li>$y > f(x)$ → <strong>reject</strong> (곡선 바깥 점)</li> </ul> <h3 id="step-4-모든-x에-대해-반복">Step 4. 모든 x에 대해 반복</h3> <p>위 과정을 모든 $x$-축 data point에 대해 반복한다. accept된 $(x, y)$ 점들의 <strong>$x$-좌표만 모아서</strong> 히스토그램으로 그리면 다음과 같다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p>→ <strong>원래 $f(x)$ 의 분포에 잘 근사</strong>된다.</p> <h2 id="표본-통계량">표본 통계량</h2> <p>이 accepted data point들의 $x$-좌표 평균을 구하면 $f(x)$ 의 표본 평균을 추정할 수 있다 (분산도 마찬가지).</p> <h2 id="왜-동작하나-직관">왜 동작하나 (직관)</h2> <p>곡선 $f(x)$ 아래 면적은 정확히 1 (확률밀도이므로). 직사각형 $[0,1] \times [0,a]$ 에 균등하게 점을 뿌리면, <strong>곡선 아래 영역에 떨어지는 비율</strong>은 $\frac{1}{a}$. 그리고 이 영역 안의 점들은 <strong>곡선 아래에서 균등 분포</strong>를 따른다.</p> <p>이때 $x$-좌표만 보면, 그 한계분포(marginal)가 정확히 $f(x)$ 가 된다.</p> <p>수식으로:</p> $$P(X \le x \mid \text{accepted}) = \frac{\int_0^x f(t)\,dt}{\int_0^1 f(t)\,dt} = \int_0^x f(t)\,dt = F(x)$$<p>→ accepted $X$ 의 CDF가 $F$ 이므로 $X \sim f$. $\blacksquare$</p> <h2 id="일반화">일반화</h2> <p>지지구간이 $[0,1]$ 이 아니거나 $f$ 의 상한이 명확하지 않을 때는 임의의 proposal $g(x)$ 와 상수 $M$ 을 잡아 $f(x) \le M \cdot g(x)$ 를 만족시킨다. 그리고</p> <ol> <li>$X \sim g$ 에서 후보를 뽑고,</li> <li>$U \sim \mathrm{Unif}(0,1)$ 을 뽑아,</li> <li>$U \le \dfrac{f(X)}{M \cdot g(X)}$ 이면 accept, 아니면 reject.</li> </ol> <p>이때 accept된 $X$ 가 정확히 $f(x)$ 분포를 따른다. 위에서 다룬 케이스는 $g(x) = 1$ (균등 분포), $M = a$ 인 특수 경우에 해당한다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>MCMC (Metropolis-Hastings)</h1> <p>Sat, 07 Sep 2024 00:00:00 +0000</p> <h2 id="markov-chain-monte-carlo">Markov Chain Monte Carlo</h2> <p>간단히 말하면,</p> <ul> <li><strong>Markov chain</strong> 은 그 전에 몇 번 시행했든 간에 <strong>바로 이전 시행에 대해서만</strong> 영향을 받는다는 거고,</li> <li><strong>Monte Carlo</strong> 는 이상한 pdf의 분포를 구하기 어려울 때, 해당하는 pdf의 $x$ 를 많이 sampling해서 근사화시켜 표본 평균과 표본 분산을 구하는 과정을 말한다.</li> </ul> <h2 id="동기">동기</h2> <p>가령, $f(x)$ 라는 분포의 기댓값, 분산을 알고 싶다고 하자.</p> <p>이때 이 분포의 모양이 특이하면 (봉우리가 여러 개 있는 등), 적분하기 상당히 까다로울 것이다. 이럴 때 정규분포를 따르는 $h(x)$ 를 하나 씌워서 여기서 data point를 무작위로 뽑아 근사시켜 표본 평균·표본 분산을 구하는 식으로 기댓값과 분산을 유추할 수 있다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p>위 그림에서 파란색이 우리가 알고 싶은 복잡한 분포 $f(x)$ (두 봉우리), 빨간색이 우리가 sampling에 쓸 proposal 분포 $h(x)$ (정규분포).</p> <h2 id="알고리즘--acceptance-rejection-반복">알고리즘 — Acceptance-Rejection 반복</h2> <h3 id="step-1-reject--첫-시도가-실패하는-경우">Step 1. Reject — 첫 시도가 실패하는 경우</h3> <p>정규분포를 따르는 $h(x)$ 에서 한 data point를 뽑았는데 우연히 이 위치가 뽑혔다고 가정하자.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p>이때 $f(x) < h(x)$ (“하트가 음수”) 이면 해당 data point는 <strong>reject</strong> 하고, 같은 정규분포에서 data를 다시 추출한다.</p> <h3 id="step-2-accept">Step 2. Accept</h3> <p>새로 추출한 data point에서 $f(x) > h(x)$ 이므로 <strong>accept</strong>.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h3 id="step-3-proposal-이동">Step 3. Proposal 이동</h3> <p>Accept하면 해당 data point를 중심으로 정규분포 $h(x)$ 를 다시 가정한다 (현재 위치로 proposal을 옮긴다).</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h3 id="step-4-반복--random-walk">Step 4. 반복 — Random Walk</h3> <p>새로 가정한 정규분포에서 위와 같이 data point를 다시 무작위로 뽑는다.</p> <p>그런데 $f(x) > h(x)$ 이면 해당 data를 accept하고 다시 그 지점으로 이동해 새 정규분포를 가정한다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h3 id="step-5-다른-봉우리로-이동">Step 5. 다른 봉우리로 이동</h3> <p>이런 식으로 acceptance-rejection을 반복하면서 accept된 data point들을 차곡차곡 모아 놓는다. 그러다 보면, 처음에 있던 오른쪽 봉우리뿐 아니라 <strong>왼쪽 봉우리에서도 data point가 추출</strong>될 수 있다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h3 id="step-6-양쪽-봉우리-모두-탐험">Step 6. 양쪽 봉우리 모두 탐험</h3> <p>왼쪽 봉우리에서도 같은 acceptance-rejection을 반복한다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h2 id="결과">결과</h2> <p>이런 식으로 알고리즘을 충분히 반복한 후 추출된 data point들의 히스토그램을 그리면 다음과 같은 모양을 띈다 — <strong>원래 $f(x)$ 의 분포와 흡사</strong>하다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p>이 data point들의 평균을 구하면 $f(x)$ 의 표본 평균과 표본 분산을 얻을 수 있다.</p> <hr> <h2 id="보충-정확한-metropolis-hastings-채택-확률">보충: 정확한 Metropolis-Hastings 채택 확률</h2> <p>위 설명은 직관 중심이다. 실제 Metropolis-Hastings 알고리즘에서 <strong>새 점 $x'$ 을 채택할 확률</strong>은 다음과 같다.</p> $$\alpha(x' \mid x) \;=\; \min\!\left\{1,\; \frac{f(x')\, q(x \mid x')}{f(x)\, q(x' \mid x)}\right\}$$<p>여기서</p> <ul> <li>$f(\cdot)$ : 목표 분포 (target)</li> <li>$q(x' \mid x)$ : 현재 위치 $x$ 에서 다음 후보 $x'$ 을 제안하는 proposal density</li> <li>proposal이 대칭이면 ($q(x'\mid x) = q(x \mid x')$, 예: 평균이 현재 점에 있는 정규분포) <strong>Metropolis</strong> 알고리즘이 되어 비율이 $f(x')/f(x)$ 로 단순해진다.</li> </ul> <p>즉, “$f$ 가 큰 곳으로 이동하면 무조건 accept, $f$ 가 작은 곳으로 이동하면 비율만큼의 확률로 accept”. 위 직관 설명의 “f > h → accept, f < h → reject"는 이 채택 확률의 단순한 시각적 비유로 보면 된다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Diffusion Models: DDPM 수식 유도와 응용 (DDIM, LDM)</h1> <p>Tue, 28 May 2024 00:00:00 +0000</p> <h2 id="concept">Concept</h2> <p><strong>Diffusion model의 생물학적 원리.</strong> 분자 구조가 퍼져 나가는 모습에서 착안. 예) 물에 잉크가 퍼지는 과정, 공기 중에 연기가 퍼지는 과정.</p> <p><strong>수학적 원리.</strong> 분자의 다음 위치는 <strong>gaussian distribution</strong> 에 의해 결정된다.</p> <h2 id="forward--reverse-process">Forward / Reverse Process</h2> <p><strong>Forward process</strong> — 앞선 이미지에 gaussian distribution을 연속적으로 곱해 noise를 추가한다.</p> <p><strong>Reverse process</strong> — 같은 가우시안 분포를 곱해 denoising 상태로 복원한다. 학습을 위한 loss term을 구하는 과정에서 $p$ 와 $q$ 의 평균·분산을 알아야 한다.</p> <p>여기서</p> <ul> <li>$p$ : 우리가 구하고 싶은, 이미 정해진 정답 pdf</li> <li>$q$ : 우리가 학습을 통해 구해야 하는 pdf</li> </ul> <h2 id="사전-지식">사전 지식</h2> <ul> <li><strong>KL divergence</strong> — 두 확률 분포의 차이를 계산. 거리 개념은 아님 (asymmetric).</li> <li><strong>Markov chain</strong> — 현재 상태는 바로 이전 상태의 영향만 받는다.</li> <li><strong>Bayes’ theorem</strong></li> <li><strong>ELBO (Evidence Lower Bound)</strong> — VAE에서 출발한 개념. MLE를 푸는 한 방식.</li> </ul> <h2 id="vae에서-elbo">VAE에서 ELBO</h2> <p>VAE에서는 latent $z$ 가 주어졌을 때 관측 $x$ 의 분포 $p(x \mid z)$ 를 모델링한다. $p(x)$ 자체는 직접 구하기 어렵고, $q(z \mid x)$ 라는 추정 분포로 우회한다.</p> <p>KL divergence 정의로부터</p> $$D_{\mathrm{KL}}(q(z\mid x) \,\|\, p(z\mid x)) = \int q(z\mid x) \log\frac{q(z\mid x)}{p(z\mid x)}\,dz \ge 0$$<p>이를 풀어서 $\log p(x)$ 만 남기고 정리하면</p> $$\log p(x) = D_{\mathrm{KL}}(q(z\mid x)\,\|\,p(z\mid x)) - \mathbb{E}_{q(z\mid x)}[\log q(z\mid x)] + \mathbb{E}_{q(z\mid x)}[\log p(x, z)]$$<ul> <li>$\log p(x)$ 는 <strong>fixed</strong></li> <li>첫 항 $D_{\mathrm{KL}} \ge 0$ 이고, <strong>이걸 minimize 해야</strong> $q$ 가 $p$ 에 가까워진다</li> <li>그러면 나머지 두 항 (<strong>ELBO</strong>) 은 자연스럽게 maximize 된다</li> </ul> <p>ELBO 부분을 정리하면</p> $$\mathrm{ELBO} = \mathbb{E}_{q(z\mid x)}\!\left[\log\frac{p(x, z)}{q(z\mid x)}\right]$$<p>→ 이걸 maximize하는 게 VAE 학습의 핵심.</p> <h2 id="vae--ddpm-연결">VAE → DDPM 연결</h2> <p>DDPM에서는 latent $z$ 자리에 <strong>여러 시점의 noisy state</strong> $x_1, x_2, \dots, x_T$ 가 들어간다 ($x_0$ 는 원본 이미지).</p> <p>ELBO에 음수를 붙여 minimize 문제로 바꾸면</p> $$\mathcal{L} = -\mathbb{E}_{q(x_{1:T} \mid x_0)}\!\left[\log\frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)}\right]$$<p>이게 DDPM loss의 출발점.</p> <h2 id="ddpm-loss-수식-유도">DDPM Loss 수식 유도</h2> <p>Markov chain 가정 하에서 joint 분포가 chain rule로 분해된다:</p> $$p_\theta(x_{0:T}) = p(x_T)\prod_{t=1}^{T} p_\theta(x_{t-1} \mid x_t)$$$$q(x_{1:T} \mid x_0) = \prod_{t=1}^{T} q(x_t \mid x_{t-1})$$<p>대입 후 로그 전개:</p> $$\mathcal{L} = \mathbb{E}_q\!\left[-\log p(x_T) + \sum_{t=1}^{T} \log\frac{q(x_t \mid x_{t-1})}{p_\theta(x_{t-1} \mid x_t)}\right]$$<p>Bayes’ theorem과 markov 성질로 $q(x_t \mid x_{t-1}) = q(x_t \mid x_{t-1}, x_0)$ 가 성립하고, 이를 활용해 $q(x_{t-1} \mid x_t, x_0)$ 형태로 변환:</p> $$q(x_t \mid x_{t-1}, x_0) = \frac{q(x_{t-1} \mid x_t, x_0)\, q(x_t \mid x_0)}{q(x_{t-1} \mid x_0)}$$<p>이 변환을 적용하면 telescoping이 일어나며 최종적으로 다음의 KL 형태로 정리된다.</p> $$\mathcal{L} = \mathbb{E}_q\!\left[\underbrace{D_{\mathrm{KL}}(q(x_T \mid x_0)\,\|\,p(x_T))}_{L_T} + \sum_{t=2}^{T} \underbrace{D_{\mathrm{KL}}(q(x_{t-1} \mid x_t, x_0)\,\|\,p_\theta(x_{t-1} \mid x_t))}_{L_{t-1}} \;-\; \underbrace{\log p_\theta(x_0 \mid x_1)}_{L_0}\right]$$<h3 id="학습할-항만-남기기">학습할 항만 남기기</h3> <ul> <li>$L_T$ — forward process에서만 쓰이고 학습할 파라미터 없음 → <strong>무시</strong></li> <li>$L_0$ — 영향이 미미해서 <strong>무시</strong></li> <li>결국 <strong>$L_{t-1}$</strong> 만 minimize 하면 됨</li> </ul> <h3 id="의-평균분산">$q(x_{t-1} \mid x_t, x_0)$ 의 평균·분산</h3> <p>Forward process: $q(x_t \mid x_{t-1}) = \mathcal{N}(x_t;\, \sqrt{1-\beta_t}\, x_{t-1},\, \beta_t I)$.</p> <p>$\alpha_t = 1 - \beta_t$, $\bar\alpha_t = \prod_{s=1}^{t}\alpha_s$ 라 정의하면 reparameterization trick으로</p> $$q(x_t \mid x_0) = \mathcal{N}(x_t;\, \sqrt{\bar\alpha_t}\,x_0,\, (1-\bar\alpha_t) I)$$<p>Bayes’ theorem과 가우시안 곱 정리로</p> $$q(x_{t-1} \mid x_t, x_0) = \mathcal{N}\big(x_{t-1};\, \tilde\mu_t(x_t, x_0),\, \tilde\beta_t I\big)$$<p>여기서</p> $$\tilde\mu_t(x_t, x_0) = \frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,x_t$$$$\tilde\beta_t = \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\,\beta_t$$<p>$x_0 = \dfrac{1}{\sqrt{\bar\alpha_t}}\big(x_t - \sqrt{1-\bar\alpha_t}\,\epsilon\big)$ 로 다시 정리하면</p> $$\tilde\mu_t(x_t, x_0) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon\right)$$<h3 id="의-정의">$p_\theta(x_{t-1} \mid x_t)$ 의 정의</h3> <p>가우시안 분포로 가정하고, 평균을 다음처럼 <strong>네트워크 출력 $\epsilon_\theta$</strong> 의 형태로 둔다:</p> $$p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\!\big(x_{t-1};\, \mu_\theta(x_t, t),\, \sigma_t^2 I\big)$$$$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right)$$<p>→ 두 평균의 차이만 학습하면 되고, 이는 곧 <strong>$\epsilon$ vs $\epsilon_\theta$</strong> 의 차이를 학습하는 것이 된다.</p> <h3 id="가우시안-kl--평균-차이의-l2">가우시안 KL → 평균 차이의 L2</h3> <p>분산이 같은 두 가우시안의 KL은 평균 제곱 차로 환원되므로</p> $$L_{t-1} = \mathbb{E}_{x_0,\epsilon}\!\left[\frac{\beta_t^2}{2\sigma_t^2\,\alpha_t(1-\bar\alpha_t)} \,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\right]$$<h3 id="단순화된-최종-loss">단순화된 최종 loss</h3> <p>DDPM 논문에서는 weight term을 제거한 단순화된 loss를 사용한다:</p> $$\mathcal{L}_{\text{simple}}(\theta) = \mathbb{E}_{t,\,x_0,\,\epsilon}\!\left[\,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\,\right], \qquad \epsilon \sim \mathcal{N}(0, I)$$<p>→ 결국 <strong>U-Net (또는 다른 구조)이 noise $\epsilon$ 을 예측하도록 학습</strong>시키는 단순한 MSE 회귀 문제로 귀결.</p> <h2 id="학습샘플링-알고리즘-요약">학습·샘플링 알고리즘 요약</h2> <p><strong>Training</strong>: $x_0$ 와 $t \sim \mathrm{Unif}(\{1, \dots, T\})$, $\epsilon \sim \mathcal{N}(0, I)$ 을 뽑아 $\mathcal{L}_{\text{simple}}$ 의 SGD로 $\epsilon_\theta$ 를 학습.</p> <p><strong>Sampling</strong>: $x_T \sim \mathcal{N}(0, I)$ 부터 시작, $t = T, T-1, \dots, 1$ 까지 reverse step으로</p> $$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right) + \sigma_t z, \quad z \sim \mathcal{N}(0, I)$$<h2 id="ddim-denoising-diffusion-implicit-models">DDIM (Denoising Diffusion Implicit Models)</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>Song et al. (2021)</p> </blockquote> <p>DDPM은 markov chain을 연속적으로 곱해 process가 이루어져 <strong>샘플링이 느리다</strong> ($T$ 보통 1000).</p> <p>이를 단축하기 위해 <strong>non-markovian</strong> 개념을 도입. Forward process에서 $x_t$ 분포를 구할 때 $x_{t-1}$ 와 $x_0$ 만으로도 정의 가능 → markov 성질을 가정할 필요 없음. Sampling step을 대폭 줄여도 품질이 유지된다.</p> <p>가우시안이 아니어도 적용 가능 (이상치가 많은 분포라면 t분포·코시분포 활용 검토 가능).</p> <h2 id="diffusion-gan">Diffusion-GAN</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>Wang et al. (2023)</p> </blockquote> <p>Diffusion model에 GAN의 discriminator를 도입. Generator + Discriminator 구조로,</p> <ul> <li>Real noise (forward process로 만든 noisy image) 와 fake noise (학습한 모델이 만든 noisy image) 사이의 차이를 discriminator가 판별</li> <li>둘의 차이를 minimize하도록 generator를 학습</li> </ul> <h2 id="latent-diffusion-model-ldm">Latent Diffusion Model (LDM)</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>Rombach et al. (2022) — <em>High-Resolution Image Synthesis with Latent Diffusion Models</em></p> </blockquote> <p>기존 diffusion model은 픽셀 공간에서 직접 작동해 <strong>계산량이 많다</strong>. LDM은 이를 줄이기 위해 <strong>차원 축소된 latent space</strong>에서 diffusion을 수행한다.</p> <h3 id="pixel-space-vs-latent-space">Pixel space vs Latent space</h3> <ul> <li><strong>Pixel space</strong>: 차원 축소되지 않은 고차원</li> <li><strong>Latent space</strong>: 차원 축소된 저차원</li> </ul> <p>이미지의 resolution은 두 측면으로 분해할 수 있다:</p> <ul> <li><strong>Semantic</strong> — 사물의 형체만 알아볼 정도의 해상도</li> <li><strong>Perceptual</strong> — 더 디테일한 정보</li> </ul> <p>차원 축소 시 perceptual 정보를 덜어내고 semantic resolution을 보존한다. 이 latent에서 diffusion을 수행한 뒤 decoder로 perceptual 정보를 복원.</p> <h3 id="구조">구조</h3> <p>VAE의 autoencoder 개념이 결합된 구조:</p> <ul> <li><strong>$\varepsilon$ (encoder)</strong>: pixel → latent</li> <li><strong>$\mathcal{D}$ (decoder)</strong>: latent → pixel</li> <li><strong>Diffusion</strong> 은 latent space에서 작동</li> </ul> <p>내부적으로는 <strong>U-Net + attention-based transformer</strong> 모듈을 결합. Conditioning ($y$ — 텍스트, 클래스 라벨, semantic map 등) 은 cross-attention으로 주입한다.</p> <h3 id="손실-함수">손실 함수</h3> $$\mathcal{L}_{\mathrm{LDM}} = \mathbb{E}_{z_0,\, y,\, \epsilon,\, t}\!\left[\,\big\|\epsilon - \epsilon_\theta(z_t,\, t,\, y)\big\|_2^2\,\right]$$<p>→ 픽셀 공간 DDPM의 단순화된 loss와 형태는 같고, <strong>변수만 latent $z$ 와 condition $y$</strong> 로 바뀐 형태.</p> <h3 id="왜-좋은가">왜 좋은가</h3> <ul> <li>차원 축소된 공간에서 diffusion → <strong>계산 비용 ↓</strong></li> <li>Latent space는 likelihood 기반 생성 모델에 더 적합</li> <li>Semantic 수준에서만 학습되므로 데이터 효율성도 ↑</li> </ul> <h2 id="정리">정리</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>DDPM의 loss는 결국 VAE의 ELBO를 markov chain으로 펼친 형태이며, 가우시안 KL이 평균 차의 L2로 환원되어 결국 “noise 예측” 회귀 문제가 된다.</strong></p> <p>DDIM은 sampling 가속화, Diffusion-GAN은 GAN과의 결합, LDM은 latent space 활용으로 계산 효율을 끌어올린 후속 작업들.</p> </blockquote> <hr> <h2 id="참고">참고</h2> <ul> <li>Ho et al., <em>Denoising Diffusion Probabilistic Models</em>, NeurIPS 2020</li> <li>Song et al., <em>Denoising Diffusion Implicit Models</em>, ICLR 2021</li> <li>Rombach et al., <em>High-Resolution Image Synthesis with Latent Diffusion Models</em>, CVPR 2022</li> <li>Wang et al., <em>Diffusion-GAN: Training GANs with Diffusion</em>, 2023</li> </ul> </article> <article> <h1>Competing Risk Analysis</h1> <p>Fri, 15 Mar 2024 00:00:00 +0000</p> <h2 id="competing-risk란">Competing Risk란</h2> <p>생존분석에서 <strong>관심 event 외에 다른 event가 있어 두 event가 서로의 발생 확률에 영향을 주는</strong> 상황. 그래서 한 event가 다른 event의 변동을 일으킨다 → “경쟁 위험”.</p> <h3 id="직관-예시">직관 예시</h3> <p>술이 위암(A)의 원인이라고 하자. 술 먹는 사람은 위암 위험이 ↑.</p> <p>근데 술이 간암(A’)의 원인도 된다면? → 술 먹은 사람 중 어떤 이는 간암이 먼저 생기고, 어떤 이는 위암이 생긴다.</p> <p>간암 생긴 사람은 <strong>사망이라는 event가 먼저 발생</strong> → 그 사람의 위암은 더 이상 관찰되지 않는다. 결과적으로 위암은 작게 측정되는 (감소하는) 방향으로 작동한다.</p> <p>이렇게 하나의 원인에 대해 다른 event가 경쟁적으로 작동해, <strong>A’(간암) event 때문에 A(위암) event가 변동되는</strong> 게 competing risk이다.</p> <h3 id="mgus--mm-코호트-예시">MGUS / MM 코호트 예시</h3> <p>MGUS 코호트에서 outcome이 (MM 발생, 사망, censored) 라고 하자.</p> <ul> <li>관심 event: MM 발생 (event = 1)</li> <li>Competing risk: 사망 (사망으로 인해 MM outcome으로 갈 확률이 줄어드는 거니까)</li> </ul> <h2 id="두-가지-처리-방법">두 가지 처리 방법</h2> <h3 id="cause-specific-model">Cause-Specific Model</h3> <p>다른 event를 <strong>censored</strong> 로 처리하고 관심 event에 대해 standard Cox 회귀를 적용. 진정한 인과적 효과 (cause-specific hazard) 를 본다.</p> <h3 id="fine-gray-sub-distribution-model">Fine-Gray Sub-Distribution Model</h3> <p>다른 event 발생 시 <strong>추적 기간을 연구 종료일까지로 두고</strong> sub-distribution hazard를 모델링. → <strong>Cumulative incidence plot (CIF)</strong> 와 1:1 대응.</p> <h2 id="어느-걸-쓰나">어느 걸 쓰나</h2> <ul> <li><strong>인과적 효과</strong>를 보고 싶다 → cause-specific model이 더 적합</li> <li>그러나 <strong>실무에서는 Fine-Gray가 압도적으로 많이 쓰인다</strong> — cumulative incidence plot과 직관적으로 매칭되기 때문</li> </ul> <h2 id="참고">참고</h2> <ul> <li><em> </em> (Austin, Statistics in Medicine)</li> <li>출처: </li> </ul> </article> <article> <h1>MCMC (Gibbs Sampling)</h1> <p>Mon, 18 Dec 2023 00:00:00 +0000</p> <h2 id="bayes-theorem-기초">Bayes’ Theorem 기초</h2> $$P(a|b) = \frac{P(a \cap b)}{P(b)}$$$$P(b|a) = \frac{P(a \cap b)}{P(a)}$$$$P(a \cap b) = P(a)P(b|a)$$$$P(a|b) = \frac{P(a)P(b|a)}{P(b)} \quad (\text{where } P(b) \text{ is constant})$$$$P(a|b) \propto P(a)P(b|a) \quad (\text{using } \pi \text{ instead of } P)$$$$\pi(a|b) \propto \pi(a)\pi(b|a) \quad (\text{*이 식 알아두면 유용하다})$$<h2 id="when-to-use-gibbs-sampling">When to Use Gibbs Sampling</h2> <p>그럼 이 Gibbs sampling이라는 게 언제 사용하는 건지 알아보자.</p> $$y_i|\mu,\sigma^2 \sim N(\mu,\sigma^2), \quad i=1,\dots,n$$<p>위의 분포에서 $\mu, \sigma^2$ 는 unknown parameter이고,</p> <ul> <li>frequentist 관점에서는 $\mu, \sigma^2$ 를 MLE로 고정시킨다.</li> <li>반면 베이지안들은 이 unknown parameter에 분포를 걸어놓고 생각한다.</li> </ul> <p>이때 사용하는 게 Gibbs sampling이다.</p> <h2 id="posterior-distribution">Posterior Distribution</h2> <p>이 unknown parameter의 분포를 구하기 위해서는 다음과 같은 과정이 필요하다.</p> $$y_i|\mu,\sigma^2 \sim N(\mu,\sigma^2), \quad i=1,\dots,n$$$$P(\mu,\sigma^2|y_1,\dots,y_n) \propto P(y_1,\dots,y_n|\mu,\sigma^2)P(\mu,\sigma^2)$$$$P(\mu,\sigma^2|y_1,\dots,y_n) \propto P(y_1,\dots,y_n|\mu,\sigma^2)P(\mu)P(\sigma^2) \quad (\mu \perp \sigma^2)$$$$\propto P(y_1,\dots,y_n|\mu,\sigma^2)P(\mu) \quad (P(\sigma^2) \text{ known이므로 constant 취급})$$<p>이때 $P(\mu,\sigma^2|y_1,\dots,y_n)$ 는 posterior, $P(y_1,\dots,y_n|\mu,\sigma^2)$ 는 likelihood, $P(\mu)$ 는 prior 가 된다.</p> <p>여기서 보통 $P(\mu) \sim N(\mu_0, \sigma^2_0)$, $P(\sigma^2) \sim IG(a,b)$ 로 둔다. $\mu_0, \sigma^2_0, a, b$ 는 hyperparameter이고 내가 정하는 것이므로 prior라고 한다.</p> <h2 id="의-조건부-분포-유도">$\mu$ 의 조건부 분포 유도</h2> $$P(y_1,\dots,y_n|\mu,\sigma^2)P(\mu)$$$$= \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n\prod_{i=1}^{n}\exp\left(-\frac{1}{2\sigma^2}(y_i-\mu)^2\right) \times \frac{1}{\sqrt{2\pi\sigma^2_0}}\exp\left(-\frac{1}{2\sigma^2_0}(\mu-\mu_0)^2\right)$$<p>여기서 $\mu$ 만 변수이므로, $\mu$ 에 대한 거 아니면 모두 날아간다.</p> $$= \exp\left(-\frac{1}{2\sigma^2}\sum (y_i-\mu)^2-\frac{1}{2\sigma^2_0}(\mu-\mu_0)^2\right)$$$$= \exp\left(-\frac{1}{2\sigma^2}\left(\sum y^2_i-2n\bar{y}\mu+n\mu^2\right)-\frac{1}{2\sigma^2_0}(\mu-\mu_0)^2\right)$$$$= \exp\left(-\frac{1}{2}\left(\frac{\sum y_i^2-2n\bar{y}\mu+n\mu^2}{\sigma^2}+\frac{\mu^2-2\mu\mu_0+\mu^2_0}{\sigma_0^2}\right)\right)$$$$= \exp\left(-\frac{1}{2}\cdot\frac{\sigma^2_0n\mu^2+\sigma^2\mu^2-2\sigma^2_0n\bar{y}\mu-2\sigma^2\mu_0\mu}{\sigma^2\sigma^2_0}\right)$$<p>(이걸 $N(\circ,\square)$ 꼴로 만들어야 한다.)</p> $$= \exp\left(-\frac{1}{2}\cdot\frac{1}{\sigma^2\sigma^2_0}(\sigma^2_0n\mu^2+\sigma^2\mu^2-2(\sigma^2_0n\bar{y}+\sigma^2\mu_0)\mu)\right)$$$$= \exp\left(-\frac{1}{2}\cdot\frac{1}{\sigma^2\sigma^2_0}((\sigma^2_0n+\sigma^2)\mu^2-2(\sigma^2_0n\bar{y}+\sigma^2\mu_0)\mu)\right)$$$$= \exp\left(-\frac{1}{2}\cdot\frac{\sigma^2_0n+\sigma^2}{\sigma^2\sigma^2_0}\left(\mu^2-2\left(\frac{\sigma^2_0n\bar{y}+\sigma^2\mu_0}{\sigma^2_0n+\sigma^2}\right)\mu\right)\right)$$<p>따라서</p> $$\mathbf{E}(\mu|\sigma^2,\vec{y}) = \frac{\sigma^2_0n\bar{y}+\sigma^2\mu_0}{\sigma^2_0n+\sigma^2} = \frac{\dfrac{n\bar{y}}{\sigma^2}+\dfrac{\mu_0}{\sigma^2_0}}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}}$$$$\mathrm{Var}(\mu|\sigma^2,\vec{y}) = \frac{\sigma^2\sigma^2_0}{\sigma^2_0n+\sigma^2} = \frac{1}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}}$$<p>따라서</p> $$\pi(\mu|\sigma^2,y) \sim N\left(\frac{\dfrac{n\bar{y}}{\sigma^2}+\dfrac{\mu_0}{\sigma^2_0}}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}},\ \frac{1}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}}\right)$$<h2 id="의-조건부-분포-유도-1">$\sigma^2$ 의 조건부 분포 유도</h2> <p>마찬가지로, $\sigma^2$ 에 대한 posterior를 계산한다.</p> $$P(\sigma^2|\mu,y_1,\dots,y_n) \propto P(y_1,\dots,y_n|\mu,\sigma^2)P(\mu)P(\sigma^2) \quad (\mu \perp \sigma^2)$$$$\propto P(y_1,\dots,y_n|\mu,\sigma^2)P(\sigma^2) \quad (P(\mu) \text{ known} \to \text{상수 취급})$$<p>$P(\sigma^2) \sim IG(a,b)$ 이므로 다음과 같이 쓸 수 있다.</p> $$P(y_1,\dots,y_n|\mu,\sigma^2)P(\sigma^2) = \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n\prod_{i=1}^{n}\exp\left(-\frac{1}{2\sigma^2}(y_i-\mu)^2\right) \times (\sigma^2)^{-(a+1)}\exp\left(-\frac{b}{\sigma^2}\right)$$<p>(여기서 $\sigma^2$ 만 변수이므로, $\sigma^2$ 에 대한 거 아니면 모두 날아간다.)</p> $$= (2\pi\sigma^2)^{-\frac{n}{2}}\cdot (\sigma^2)^{-(a+1)}\cdot\exp\left(-\frac{1}{2\sigma^2}\sum(y_i-\mu)^2-\frac{b}{\sigma^2}\right)$$$$= (2\pi)^{-\frac{n}{2}}\cdot(\sigma^2)^{-\frac{n}{2}}\cdot(\sigma^2)^{-(a+1)}\cdot\exp\left(-\frac{1}{\sigma^2}\left(\frac{\sum(y_i-\mu)^2}{2}+b\right)\right)$$<p>(이걸 $IG(\circ,\square)$ 꼴로 만든다.)</p> $$= (\sigma^2)^{-(a+\frac{n}{2}+1)}\cdot\exp\left(-\frac{\dfrac{\sum(y_i-\mu)^2}{2}+b}{\sigma^2}\right)$$<p>따라서</p> $$\pi(\sigma^2|\mu,\vec{y}) \sim IG\left(a+\frac{n}{2},\ b+\frac{\sum(y_i-\mu)^2}{2}\right)$$<h2 id="사후-분포-정리">사후 분포 정리</h2> <p>이런 식으로 $\mu, \sigma^2$ 에 대한 posterior를 구하면 아래와 같다.</p> <ol> <li> $$\pi(\mu|\sigma^2,\vec{y})\sim N\left(\frac{\dfrac{n\bar{y}}{\sigma^2}+\dfrac{\mu_0}{\sigma^2_0}}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}},\ \frac{1}{\dfrac{n}{\sigma^2}+\dfrac{1}{\sigma^2_0}}\right)$$<p>($\sigma^2$ 은 모르니까 처음에는 1을 넣어준다.)</p> </li> <li> $$\pi(\sigma^2|\mu,\vec{y})\sim IG\left(a+\frac{n}{2},\ b+\frac{\sum(y_i-\mu)^2}{2}\right)$$</li> </ol> <p>여기서 $\mu_0, \sigma^2_0, a, b$ 는 hyperparameter다.</p> <h2 id="gibbs-sampling-알고리즘">Gibbs Sampling 알고리즘</h2> <p>이제 1에서 $\mu$ 하나 뽑는다 ($\to \mu^{(1)}$ 추출).</p> <p>그리고 나서, 2에 $\mu^{(1)}$ 을 넣어 $\sigma^2$ 을 뽑는다 ($\to \sigma^{2(1)}$).</p> <p>그 다음에, 1에 $\sigma^{2(1)}$ 을 넣어 $\mu^{(2)}$ 를 뽑는다.</p> <p>다시 2에 $\mu^{(2)}$ 를 넣고 $\sigma^{2(2)}$ 을 뽑는다.</p> <p>…</p> <p>이런 식으로 총 2만 번 sampling한다.</p> <p>초기값의 영향을 받을 수 있기 때문에 그 중 앞의 만 개는 버리고, 뒤의 만 개를 갖고 근사화된 분포를 구한다. 그러면 원래 joint distribution과 비슷한 분포를 얻게 된다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Customer Satisfaction Index Modeling with SEM (Amos)</h1> <p>Wed, 14 Jun 2023 00:00:00 +0000</p> <h2 id="개요">개요</h2> <p><strong>병원 내 서비스 혁신팀</strong>의 의뢰로 진행한 통계 컨설팅 프로젝트입니다. 환자/고객 설문지 응답 데이터를 활용해 서비스 품질의 잠재 구조를 모형화하고, 그로부터 <strong>고객만족지수(Customer Satisfaction Index, CSI)</strong> 를 산출하는 것이 목표였습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 대외비로, 구체적인 설문 항목·결과 수치·도식은 공개하지 않습니다. 본 페이지는 적용된 <strong>방법론과 분석 과정</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="데이터">데이터</h2> <ul> <li><strong>출처</strong>: 병원 서비스 혁신팀이 자체 시행한 고객 설문 결과 (수치/항목 비공개)</li> <li><strong>전처리</strong>: 결측치 제거 (NA exclusion), 셀별 가중치 부여, 가중치 적용 셀 단위 데이터셋 구성</li> <li><strong>변수 구조</strong>: 서비스 품질의 다양한 측면을 측정한 다수의 관측 항목 → 잠재 변수(서비스 품질 차원)에 매핑</li> </ul> <h2 id="방법론">방법론</h2> <h3 id="structural-equation-modeling-sem">Structural Equation Modeling (SEM)</h3> <p>본 분석에는 <strong>구조방정식 모형</strong>, 그중에서도 잠재변수 1개에 여러 관측 지표를 두는 <strong>다지표(multi-indicator) 측정 모형</strong>을 적용했습니다.</p> <ul> <li>잠재변수에 대해 reference indicator를 무작위로 1로 고정 (model identification)</li> <li>관측 변수 간 직접 path는 설정하지 않고, 측정 모형(measurement model)에 충실하게 구성</li> <li>잠재변수 자체에는 error term이 부착되지 않도록 주의 (모형 형태 점검)</li> </ul> <h3 id="적합도fit-지표">적합도(Fit) 지표</h3> <p>표준 SEM 적합도 지표를 통해 모형의 데이터 부합 정도를 진단:</p> <ul> <li>$\chi^2$, df, $\chi^2$/df</li> <li>CFI (Comparative Fit Index)</li> <li>TLI (Tucker-Lewis Index)</li> <li>RMSEA (Root Mean Square Error of Approximation)</li> <li>SRMR</li> </ul> <h3 id="수렴-타당성-convergent-validity">수렴 타당성 (Convergent Validity)</h3> <p>잠재변수 자체의 신뢰성·타당성을 확인하기 위한 추가 검증:</p> <ul> <li><strong>개념신뢰도 (Construct Reliability, CR)</strong></li> <li><strong>분산추출지수 (Average Variance Extracted, AVE)</strong></li> </ul> <h3 id="csi-고객만족지수-산출">CSI (고객만족지수) 산출</h3> <p>최종 채택된 측정 모형의 <strong>표준화 회귀 계수(standardized regression weights)</strong> 와 가중치 셀을 결합해 고객만족지수를 산출했습니다. 이 지수는 의뢰 부서가 정성적 보고에 활용할 수 있도록 표준화된 단일 점수 형태로 제공되었습니다.</p> <h2 id="도구">도구</h2> <ul> <li><strong>Amos</strong> — SEM 모형 추정·적합도 산출</li> <li><strong>SPSS</strong> — 데이터 전처리, 가중치 적용, 보조 분석</li> </ul> <h2 id="효과--임팩트">효과 / 임팩트</h2> <ul> <li><strong>비즈니스 문제 → 통계 문제 변환</strong> — “고객만족도를 단일 점수로 보고하고 싶다"는 요구를 SEM 측정 모형으로 정의</li> <li><strong>외주 비용 절감</strong> — 구조방정식 전문 모델링은 외부 컨설팅으로 의뢰 시 비용 부담이 상당함. 원내 의학통계지원센터에서 직접 수행함으로써 의뢰 부서의 외주 비용을 절감하고, 분석 흐름을 부서 일정에 맞춰 유연하게 진행</li> </ul> <h2 id="산출물">산출물</h2> <ul> <li><strong>고객만족지수(CSI) 단일 점수</strong> + 항목별 표준화 가중치</li> <li><strong>분석 결과 보고서</strong> — 의뢰 부서 내부 의사결정용 (대외비)</li> </ul> </article> <article> <h1>Whole-Brain Functional Gradients in Migraine</h1> <p>Sat, 01 Apr 2023 00:00:00 +0000</p> <h4 id="개요">개요</h4> <p>R과 Python을 활용해 편두통 환자군 데이터 분석을 수행하였습니다. 편두통 환자의 뇌 기능 저하를 정량적으로 평가하기 위한 모델을 구축하고 <em>Human Brain Mapping</em>에 1저자로 출판했습니다.</p> <h4 id="방법론">방법론</h4> <p><strong>차원 축소.</strong> 고차원의 뇌 영상 데이터를 비선형 매니폴드 러닝 기법으로 저차원으로 축소시켜 저차원 고유벡터를 생성했습니다. 결과에 영향을 미칠 수 있는 성별, 나이 등의 요소를 보정하여 다변량 분석을 수행했습니다.</p> <p><strong>집단 간 비교.</strong> 올바른 통계적 유의성 검정을 위해 false discovery rate (FDR) 보정을 거쳐 환자군과 정상군 사이에 영상 특징 데이터가 유의한 차이를 보이는 뇌 영역을 검출했습니다.</p> <p>피질뿐만 아니라 피질-피질하 (subcortico-cortical) 연결성으로 가중된 매니폴드까지 확장해 피질하 영역에서도 환자군 특이적 차이를 검출했습니다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <p><strong>예측 모델링.</strong> 편두통의 발병 횟수라는 임상학적 지표를 예측하기 위해 머신러닝 기법을 도입했습니다. 구체적으로, least absolute shrinkage and selection operator (LASSO)를 적용해 영상 피처들을 추출하고, 5-겹 중첩 교차 검증을 갖는 선형 회귀식으로 예측 모형을 구축했습니다. 내부 훈련 데이터 세트에서 성별과 나이를 보정한 후, intra class correlation (ICC)와 mean absolute error (MAE)를 기준으로 모델을 선출하고, 최종적으로 외부 검정 데이터 세트의 임상적 변수들을 예측했습니다. 피실험자들을 뽑는 과정에서 편향이 생기지 않도록 이 과정을 100회 반복했습니다. 예측 정확도는 실제 값과 예측 값 사이의 스피어만 상관 계수, ICC, MAE를 계산해 평가했고, 상관계수의 유의성은 비모수 순열 검정을 기반으로 결정했습니다.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > </div> </div></figure> </p> <h4 id="성과">성과</h4> <p>본 연구를 통해 주어진 데이터를 명확하게 이해하고, 해당 데이터를 분석하기 위해 올바르고 견고한 통계 분석 기법을 적용하는 방법을 익혔습니다. 결과는 다음과 같이 출판되었습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>C.H. Lee, H. Park, M.J. Lee, B. Park, “Whole-Brain Functional Gradients Reveal Cortical and Subcortical Alterations in Patients with Episodic Migraine,” <em>Human Brain Mapping</em>, Apr. 2023.</p> </blockquote> </article> <article> <h1>Newton-Raphson Method & Gradient Method</h1> <p>Fri, 27 Jan 2023 00:00:00 +0000</p> <p>곡선의 접선을 그리고, 그 접선이 알려주는 방향으로 한 걸음씩 옮겨가며 해 (또는 극점) 에 가까워지는 두 가지 반복적인 방법을 정리한다. 같은 예제 $y = x^2$ 로 비교한다.</p> <h2 id="newton-raphson-method">Newton-Raphson Method</h2> <p>방정식 $f(x) = 0$ 의 해를 구하는 방법. 현재 위치 $x_n$ 에서 곡선의 <strong>접선</strong>을 그리고, 그 접선이 $x$ 축과 만나는 점을 다음 위치 $x_{n+1}$ 로 삼는다.</p> <p>접선의 식:</p> $$y = f(x_n) + f'(x_n)(x - x_n)$$<p>이 직선이 $y=0$ 이 되는 $x$ 를 풀면</p> $$x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}$$<h3 id="예제">예제: $y = x^2$</h3> <p>$f(x) = x^2$, $f'(x) = 2x$ 이므로</p> $$x_{n+1} = x_n - \frac{x_n^2}{2x_n} = x_n - \frac{x_n}{2} = \frac{x_n}{2}$$<p>$x_0 = 8$ 부터 시작하면 $x_1 = 4, x_2 = 2, x_3 = 1, \dots$ 매 step마다 절반으로 줄어들며 해 $x^* = 0$ 에 접근한다. (그림에서 $x_0 \to x_1 \to x_2 \to \dots \to x^*$)</p> <h2 id="gradient-method">Gradient Method</h2> <p>함수 $f(x)$ 의 <strong>극점(보통 최솟값)</strong> 을 찾는 방법. 현재 위치 $x_n$ 에서 그래디언트(도함수)의 반대 방향으로 step size $\alpha$ 만큼 이동한다.</p> $$x_{n+1} = x_n - \alpha \cdot f'(x_n)$$<p>여기서 $\alpha$ 는 한 번에 너무 크게 이동하는 것을 방지하기 위한 <strong>하이퍼파라미터</strong> (learning rate / step size). 이 $\alpha$ 를 어떻게 적응적으로 조절하느냐가 <strong>AdaGrad, Adam</strong> 같은 옵티마이저 변종의 핵심.</p> <h3 id="예제-1">예제: $y = x^2$</h3> <p>$f'(x) = 2x$, $\alpha = 0.1$ 이라고 하자. $x^{(1)} = 5$ 부터 시작하면</p> $$x^{(2)} = 5 - 0.1 \cdot 2 \cdot 5 = 5 - 1 = 4$$$$x^{(3)} = 4 - 0.1 \cdot 2 \cdot 4 = 4 - 0.8 = 3.2$$$$\vdots$$<p>일반화하면</p> $$x^{(i+1)} = x^{(i)} - \alpha \cdot f'(x^{(i)})$$<p>매 step마다 $x$ 가 $0.8$ 배씩 (= $1 - 2\alpha$) 줄어들며 $x^* = 0$ 에 접근한다.</p> <h2 id="두-방법-비교">두 방법 비교</h2> <table> <thead> <tr> <th></th> <th>Newton-Raphson</th> <th>Gradient Method</th> </tr> </thead> <tbody> <tr> <td>목적</td> <td>$f(x) = 0$ (해 찾기)</td> <td>$\min f(x)$ (극점 찾기)</td> </tr> <tr> <td>업데이트</td> <td>$x_{n+1} = x_n - f(x_n)/f'(x_n)$</td> <td>$x_{n+1} = x_n - \alpha \cdot f'(x_n)$</td> </tr> <tr> <td>step size</td> <td>자동 (도함수 비)</td> <td>수동 (하이퍼파라미터 $\alpha$)</td> </tr> <tr> <td>필요 정보</td> <td>$f, f'$</td> <td>$f'$</td> </tr> <tr> <td>수렴 속도</td> <td>보통 빠름 (이차 수렴)</td> <td>$\alpha$에 의존 (보통 일차)</td> </tr> </tbody> </table> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>참고: 최적화 맥락에서 Newton’s method (“Newton’s optimization”) 는 $f'(x) = 0$ 의 해를 Newton-Raphson으로 찾는 것이라 $x_{n+1} = x_n - f'(x_n)/f''(x_n)$ 형태가 된다. 이때는 2차 도함수 $f''$ 가 필요하다.</p> </blockquote> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Importance Sampling</h1> <p>Tue, 17 Jan 2023 00:00:00 +0000</p> <h2 id="monte-carlo">Monte Carlo</h2> <p>기댓값을 계산하는 방법. $X \sim f(x)$ 일 때 $g(X)$ 의 기댓값은 다음 세 가지 형태로 동치다.</p> $$\underbrace{E[g(X)]}_{\text{①}} \;=\; \underbrace{\int g(x) f(x)\,dx}_{\text{②}} \;\approx\; \underbrace{\frac{1}{n}\sum_{i=1}^{n} g(x_i)}_{\text{③}}$$<p>①, ②는 정의상 같고, ③은 $f$ 에서 뽑은 샘플 $\{x_i\}$ 의 평균으로 ②를 근사한 것 (대수의 법칙).</p> <h3 id="예제-1-단순-mc">예제 1: 단순 MC</h3> <p>$g(x) = e^{-2x}$, $X \sim \mathrm{Unif}(0,1)$ 일 때 $E[g(X)]$ 을 구하라.</p> <p>이때 $f(x) = 1$ (Unif(0,1) 의 밀도)이므로</p> $$E[g(X)] = \int_0^1 e^{-2x}\,dx \;\approx\; \frac{1}{N}\sum_{i=1}^{N} e^{-2 x_i}, \qquad x_i \sim \mathrm{Unif}(0,1)$$<p>균등 분포에서 $N$ 개를 뽑아 $g$ 에 넣고 평균을 내면 끝.</p> <h2 id="importance-sampling">Importance Sampling</h2> <p>문제는 다음 두 경우다.</p> <ol> <li><strong>$f(x)$ 에서 샘플링이 어렵다.</strong> 닫힌 형태로 sampling이 안 되는 분포.</li> <li><strong>$g(x) \cdot f(x)$ 가 $f$ 의 꼬리/희소 영역에 몰려 있다.</strong> $f$ 에서 뽑은 대부분의 샘플이 $g \cdot f$ 가 큰 영역을 못 맞춰서 분산이 매우 커진다.</li> </ol> <p>이럴 때는 다른 분포 $\phi(x)$ (“proposal” 또는 “importance distribution”)에서 샘플을 뽑고 가중치로 보정한다. 핵심 항등식:</p> $$E_f[g(X)] = \int g(x) f(x)\,dx = \int g(x) \cdot \frac{f(x)}{\phi(x)} \cdot \phi(x)\,dx = E_\phi\!\left[g(X) \cdot \frac{f(X)}{\phi(X)}\right]$$<p>→ $\phi$ 에서 샘플 $\{x_i\}$ 을 뽑고</p> $$E_f[g(X)] \;\approx\; \frac{1}{N}\sum_{i=1}^{N} g(x_i) \cdot \underbrace{\frac{f(x_i)}{\phi(x_i)}}_{\text{weight}}$$<p>여기서 $f(x)/\phi(x)$ 가 <strong>importance weight</strong>. (이 가중치 때문에 “importance” sampling이라는 이름이 붙은 것)</p> <h2 id="예제-2">예제 2: $\int (x-1)(x-2)\,dx$</h2> <p>이 식은 따로 정해진 $f(x)$ 가 없다 (단순 적분). $\phi(x) \sim \mathrm{Exp}(1)$, 즉 $\phi(x) = e^{-x}$ ($x>0$) 를 proposal로 쓰자.</p> $$\int (x-1)(x-2)\,dx = \int \underbrace{\frac{(x-1)(x-2)}{e^{-x}}}_{\text{new } g(x)} \cdot \underbrace{e^{-x}}_{\text{new } f(x)}\,dx$$<p>→ $X \sim \mathrm{Exp}(1)$ 에서 $N$ 개를 뽑아 새 $g$ 에 넣고 평균:</p> $$\widehat{E[g(X)]} = \frac{1}{N}\sum_{i=1}^{N} \frac{(x_i-1)(x_i-2)}{e^{-x_i}}, \qquad x_i \sim \mathrm{Exp}(1)$$<h2 id="예제-3--with--proposal">예제 3: $\int e^{-|x|}\,dx$ with $N(0,1)$ proposal</h2> <p>$\phi(x) \sim N(0,1)$, 즉 $\phi(x) = \dfrac{1}{\sqrt{2\pi}} e^{-x^2/2}$ 를 쓰자.</p> $$\int e^{-|x|}\,dx = \int \underbrace{\frac{e^{-|x|}}{\frac{1}{\sqrt{2\pi}} e^{-x^2/2}}}_{\text{new } g(x)} \cdot \underbrace{\frac{1}{\sqrt{2\pi}} e^{-x^2/2}}_{\text{new } f(x)}\,dx$$<p>→ $X \sim N(0,1)$ 에서 $N$ 개 sampling 후 새 $g$ 에 넣어 평균을 구하면 된다.</p> <h2 id="왜--을-proposal로-골랐나">왜 $N(0,1)$ 을 proposal로 골랐나</h2> <p>원래의 $g(x) = e^{-|x|}$ 는 0 근처에 봉우리가 있는 양옆 대칭 함수다. $\phi(x) \sim N(0,1)$ 도 비슷한 모양 — 0 근처에 봉우리, 양쪽으로 빠르게 감소.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>proposal $\phi(x)$ 를 $|g(x) f(x)|$ 와 모양이 비슷하게 잡으면 분산이 작아져 효율이 좋다.</strong></p> </blockquote> <p>만약 $\phi$ 가 $|g \cdot f|$ 가 큰 영역을 거의 안 덮으면, 거의 모든 샘플의 weight $f(x)/\phi(x)$ 가 0 근처가 되고, 가끔 한 샘플의 weight가 매우 커져서 추정량의 분산이 폭발한다.</p> <h2 id="한-줄-요약">한 줄 요약</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>샘플링은 $\phi$ 에서, 평균은 weight $f/\phi$ 로 보정.</strong></p> <p>Proposal $\phi$ 의 모양을 신경써서 고를수록 추정량의 분산이 작아진다.</p> </blockquote> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>가능도비 검정 (Likelihood Ratio Test)</h1> <p>Tue, 17 Jan 2023 00:00:00 +0000</p> <h2 id="lr-검정-likelihood-ratio-test">LR 검정 (Likelihood Ratio Test)</h2> <p>간단히 말하면, <strong>자료가 귀무가설보다 대립가설의 영역에서 나왔을 가능성</strong>을 비교하는 검정이다.</p> <p>검정 통계량은</p> $$\lambda \;=\; \frac{L(\hat{\Omega}_0)}{L(\hat{\Omega})} \;=\; \frac{\displaystyle \max_{\theta \in \Omega_0} L(\theta)}{\displaystyle \max_{\theta \in \Omega} L(\theta)}$$<p>즉 <strong>(H₀ 하에서 가능도함수의 max) ÷ (전체 모수공간에서 가능도함수의 max)</strong> 이다.</p> <p>분자가 분모의 일부이므로 항상 $0 < \lambda \le 1$ 이고, 이를 다시 쓰면</p> $$\lambda \;=\; \frac{L(\hat{\Omega}_0)}{\max\{L(\hat{\Omega}_0),\, L(\hat{\Omega}_1)\}} \;=\; \frac{1}{\max\Big\{1,\; \dfrac{L(\hat{\Omega}_1)}{L(\hat{\Omega}_0)}\Big\}}$$<h2 id="기각역의-의미">기각역의 의미</h2> <p>LRT의 기각역은 $\lambda \le \lambda_0$ 형태인데, 위 식을 뒤집으면 결국</p> $$\frac{L(\hat{\Omega}_1)}{L(\hat{\Omega}_0)} \;\ge\; c$$<p>인 영역이다. 이 영역에서는 자료가 H₀ 보다 H₁ 에서 나왔을 가능성이 더 높다는 뜻이므로, <strong>H₀를 기각하는 게 타당하다</strong>.</p> <h2 id="예제-정규모형의-평균-검정">예제: 정규모형의 평균 검정</h2> <p>$X_1, \dots, X_n \sim N(\mu, \sigma^2)$ 일 때,</p> $$H_0:\ \mu = 0,\ \sigma^2 > 0 \quad \text{vs.} \quad H_1:\ \mu \neq 0,\ \sigma^2 > 0$$<p>에 대한 크기 $\alpha$ 의 LRT를 유도해보자.</p> <h3 id="1-mle-계산">1) MLE 계산</h3> <p><strong>전체 모수공간</strong> $\Omega$ 에서 MLE는</p> $$\hat{\mu} = \bar{x}, \qquad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2$$<p>따라서</p> $$L(\hat{\Omega}) = (2\pi\hat{\sigma}^2)^{-n/2} \exp(-n/2)$$<p><strong>Under $H_0$</strong> 에서는 $\mu = 0$ 으로 강제되므로</p> $$\hat{\mu}_0 = 0, \qquad \hat{\sigma}^2_0 = \frac{1}{n}\sum_{i=1}^n x_i^2$$<p>따라서</p> $$L(\hat{\Omega}_0) = (2\pi\hat{\sigma}^2_0)^{-n/2} \exp(-n/2)$$<h3 id="2--단순화">2) $\lambda$ 단순화</h3> $$\lambda = \frac{L(\hat{\Omega}_0)}{L(\hat{\Omega})} = \frac{(2\pi\hat{\sigma}^2_0)^{-n/2}\,\exp(-n/2)}{(2\pi\hat{\sigma}^2)^{-n/2}\,\exp(-n/2)} = \left(\frac{\hat{\sigma}^2_0}{\hat{\sigma}^2}\right)^{-n/2}$$<p>기각 조건 $\lambda \le \lambda_0$ ($0 < \lambda_0 < 1$)는</p> $$\left(\frac{\hat{\sigma}^2_0}{\hat{\sigma}^2}\right)^{-n/2} \le \lambda_0 \quad\Longleftrightarrow\quad \frac{\hat{\sigma}^2_0}{\hat{\sigma}^2} \ge k$$<h3 id="3--와--의-관계">3) $\hat{\sigma}^2_0$ 와 $\hat{\sigma}^2$ 의 관계</h3> <p>$\sum x_i^2 = \sum (x_i - \bar{x})^2 + n\bar{x}^2$ 항등식을 쓰면</p> $$n\hat{\sigma}^2_0 = \sum x_i^2 = \sum(x_i - \bar{x})^2 + n\bar{x}^2 = n\hat{\sigma}^2 + n\bar{x}^2$$<p>따라서</p> $$\hat{\sigma}^2_0 = \hat{\sigma}^2 + \bar{x}^2$$<h3 id="4-t-통계량-형태로-변환">4) t-통계량 형태로 변환</h3> <p>$\hat{\sigma}^2_0 / \hat{\sigma}^2 \ge k$ 에 대입하면</p> $$\frac{\hat{\sigma}^2 + \bar{x}^2}{\hat{\sigma}^2} = 1 + \frac{\bar{x}^2}{\hat{\sigma}^2} \;\ge\; k \quad\Longleftrightarrow\quad \frac{\bar{x}^2}{\hat{\sigma}^2} \;\ge\; k - 1 \quad\Longleftrightarrow\quad \frac{|\bar{x}|}{\hat{\sigma}} \;\ge\; k_2$$<p>이제 표본분산 $s^2 = \dfrac{1}{n-1}\sum (x_i - \bar{x})^2$ 와의 관계를 쓰면</p> $$n\hat{\sigma}^2 = (n-1)s^2 \quad\Longrightarrow\quad \hat{\sigma} = s\sqrt{\frac{n-1}{n}}$$<p>이를 대입해 정리하면 결국</p> $$\left|\frac{\bar{x}}{s/\sqrt{n}}\right| \;\ge\; c$$<p>즉 t-통계량의 절댓값이 어떤 임계값 $c$ 이상인 영역이 기각역이다.</p> <h3 id="5-크기--조건으로--결정">5) 크기 $\alpha$ 조건으로 $c$ 결정</h3> $$\alpha = \max_{\Omega_0} P\!\left(\left|\frac{\bar{x}}{s/\sqrt{n}}\right| \ge c\right) = P\!\left(\left|\frac{\bar{x}}{s/\sqrt{n}}\right| \ge c \;\Big|\; \mu = 0\right) = P\big(|t| \ge c\big), \quad t \sim t(n-1)$$<p>이로부터</p> $$c = t_{\alpha/2}(n-1)$$<h3 id="6-결론">6) 결론</h3> <p>크기 $\alpha$ LRT의 검정 기각역은</p> $$C = \left\{(x_1, \dots, x_n) \;\Big|\; \left|\frac{\bar{x}}{s/\sqrt{n}}\right| \ge t_{\alpha/2}(n-1)\right\}$$<p>→ 익숙한 <strong>단일표본 양측 t-검정</strong>과 정확히 같다. 즉 정규모형 평균에 대한 LRT는 t-검정으로 자연스럽게 환원된다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Inverse Sampling</h1> <p>Wed, 11 Jan 2023 00:00:00 +0000</p> <h2 id="inverse-sampling">Inverse Sampling</h2> <p>분포 $f(x)$ 에서 직접 샘플링하기 어려울 때 쓰는 기법. CDF의 역함수 $F^{-1}$ 과 균등 분포만 있으면 어떤 분포든 (이론적으로는) 뽑을 수 있다.</p> <h2 id="알고리즘">알고리즘</h2> <ol> <li>$f(x)$ 의 CDF $F(x) = \displaystyle\int_{-\infty}^{x} f(t)\,dt$ 를 구한다.</li> <li>$F$ 의 역함수 $F^{-1}$ 을 구한다.</li> <li>균등 분포에서 $u \sim \mathrm{Unif}(0,1)$ 을 뽑는다.</li> <li>$x = F^{-1}(u)$ 로 변환하면 $x \sim f(x)$ 이다.</li> </ol> <p>샘플링한 $u$ 들을 $F^{-1}$ 에 넣은 후 히스토그램으로 그리면 $f(x)$ 의 분포에 근사한다.</p> <h2 id="왜-동작하나-간단-증명">왜 동작하나 (간단 증명)</h2> <p>$U \sim \mathrm{Unif}(0,1)$ 이라 하자. $X = F^{-1}(U)$ 의 CDF를 계산하면</p> $$P(X \le x) = P(F^{-1}(U) \le x) = P(U \le F(x)) = F(x)$$<p>마지막 등호는 $U$ 가 $[0,1]$ 균등 분포이기 때문 ($P(U \le t) = t$). 즉 $X$ 의 CDF가 $F$ 와 같으므로 $X \sim f$. $\blacksquare$</p> <h2 id="기하학적-직관">기하학적 직관</h2> <ul> <li>$f(x)$ 가 한쪽으로 치우친 분포라고 하자 (예: $0$ 근처에 mass가 몰린 감소하는 밀도).</li> <li>$F^{-1}$ 은 $u$-축의 균등한 구간을 $x$-축의 <strong>불균등한 구간</strong>으로 매핑한다. <ul> <li>$f(x)$ 가 큰 영역 → $F$ 가 가파르게 증가 → $F^{-1}$ 은 완만 → 좁은 $x$ 구간이 넓은 $u$ 구간에 대응</li> <li>$f(x)$ 가 작은 영역 → $F$ 가 느리게 증가 → $F^{-1}$ 은 가파름 → 넓은 $x$ 구간이 좁은 $u$ 구간에 대응</li> </ul> </li> <li>따라서 균등 분포 $u$ 를 뽑아 $F^{-1}$ 에 넣으면, <strong>밀도가 높은 $x$ 영역에는 많은 샘플이, 낮은 영역에는 적은 샘플이</strong> 떨어진다.</li> </ul> <p>예: $u$ 를 10개 뽑아 $F^{-1}$ 에 넣으면, 결과 히스토그램이 원본 $f(x)$ 와 닮아간다.</p> <h2 id="한계">한계</h2> <ul> <li>$F^{-1}$ 을 닫힌 형태로 구할 수 있어야 깔끔하게 쓸 수 있다 (지수, 균등, 로지스틱 등).</li> <li>닫힌 형태 $F^{-1}$ 이 없거나 다변량으로 확장하기 어려울 때는 <strong>Rejection sampling</strong>, <strong>MCMC</strong> (Gibbs, Metropolis-Hastings) 등 다른 기법을 쓴다.</li> </ul> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> <article> <h1>Permutation Test</h1> <p>Thu, 03 Nov 2022 00:00:00 +0000</p> <h2 id="permutation-test">Permutation Test</h2> <p>Permutation test는 <strong>비모수(nonparametric) 가설 검정</strong> 방법이다. 표본 크기가 작거나 데이터가 정규분포를 따르지 않을 때 사용한다. 특히 표본 수가 제한적인 genomic 데이터 분석 등에서 유용하다.</p> <h2 id="핵심-아이디어">핵심 아이디어</h2> <p><strong>가정.</strong> 두 표본이 <strong>같은 모집단 분포</strong>에서 왔다.</p> <p><strong>논리.</strong> 만약 이 가정이 맞다면, 데이터를 무작위로 섞어도 분포는 같아야 한다. 즉, 라벨(어느 그룹 소속인지)은 사실상 의미가 없다.</p> <p>→ 그래서 <strong>라벨을 섞어서 검정 통계량을 다시 계산</strong>해도, 원래 관측한 값과 비슷한 분포가 나와야 한다. 이 분포로부터 멀리 떨어져 있다면 가정이 틀렸다고(=두 그룹이 다른 분포에서 왔다고) 결론낼 수 있다.</p> <h2 id="절차">절차</h2> <p>두 그룹의 평균 차 (test statistic) 가 $T_{\text{obs}} = 9.33$ 으로 관측되었다고 하자. 표본이 작고 비정규라 모수 검정은 못 쓰는 상황이다.</p> <ol> <li> <p>두 그룹 데이터를 합친 뒤 <strong>무작위로 섞는다 (약 1,000회 반복)</strong>.</p> </li> <li> <p>각 permutation마다 평균 차 $T^{(b)}$ 를 계산한다 ($b = 1, \dots, B$).</p> </li> <li> <p>$\{T^{(b)}\}$ 의 히스토그램을 그린다 — 이게 귀무가설 하의 경험적 분포다.</p> </li> <li> <p>관측값보다 더 극단적인 permutation 개수를 센다.</p> </li> <li> <p>p-value 계산:</p> $$p = \frac{\#\{b : T^{(b)} \ge T_{\text{obs}}\}}{B}$$<p>(단측 검정의 경우. 양측이면 절댓값 기준으로 비교)</p> </li> </ol> <h2 id="해석">해석</h2> <ul> <li>관측값 $T_{\text{obs}}$ 가 permutation 분포의 <strong>꼬리 끝</strong>에 있으면 → 두 그룹이 다른 분포에서 왔다는 강력한 증거.</li> <li>관측값이 분포의 <strong>중앙 근처</strong>에 있으면 → 두 그룹이 같은 모집단에서 왔다고 봐도 무방.</li> <li>“더 작은지"를 검정하는 단측 검정이라면 부등호 방향만 뒤집어 카운트.</li> </ul> <h2 id="왜-좋은가">왜 좋은가</h2> <ul> <li>모수 가정 (정규성, 등분산 등) 없이 동작한다.</li> <li>표본 수가 작아서 점근 이론을 못 쓰는 상황에서도 유효하다.</li> <li>검정 통계량을 자유롭게 정의할 수 있다 (평균 차, 중앙값 차, 상관 계수 등 무엇이든).</li> </ul> <p>대신 계산량이 크다 — $B$ 를 충분히 크게 해야 p-value의 정밀도이 나온다 (예: $B=1{,}000$ 이면 p-value 정밀도은 0.001).</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> <p>참고: </p> </blockquote> </article> <article> <h1>Rao–Blackwell Theorem</h1> <p>Mon, 31 Oct 2022 00:00:00 +0000</p> <h2 id="raoblackwell-theorem">Rao–Blackwell Theorem</h2> <p>$g(\theta)$ 를 모수의 함수, 그리고</p> <ul> <li>$S$ : sufficient statistic</li> <li>$T$ : $g(\theta)$ 의 unbiased estimator (u.e.)</li> </ul> <p>라 하자. 이때</p> $$f(S) \;=\; E(T(X) \mid S) \;=\; E(T \mid S)$$<p>는 $g(\theta)$ 에 의존하지 않는 <strong>통계량</strong>이며, $f(S)$ 도 역시 $g(\theta)$ 의 비편향추정량이다.</p> <p>(여기서 $f(S)$ 의 정의가 $\theta$ 에 의존하지 않는다 — $S$ 가 sufficient이기 때문에 $T \mid S$ 의 분포가 $\theta$ 와 무관해서, 조건부 기댓값도 $\theta$ 와 무관하다.)</p> <p>또한 모든 $\theta$ 에 대하여 다음이 성립한다.</p> $$\mathrm{Var}(f(S)) \;\le\; \mathrm{Var}(T(X)) \tag{1}$$<p>따라서 $f(S)$ 는 <strong>MVUE 가 될 후보</strong>가 된다.</p> <p>이제 (1)을 증명하자.</p> <h2 id="증명">증명</h2> <p>먼저 $f(S)$ 가 비편향임을 확인:</p> $$E(f(S)) = E\big(E(T(X) \mid S)\big) = E(T(X)) = g(\theta) \quad \text{(이중기댓값 정리)}$$<p>이제 $\mathrm{Var}(T(X))$ 를 전개한다. $E(f(S)) = g(\theta)$ 이고 $E(T(X)) = g(\theta)$ 이므로</p> $$\mathrm{Var}(T(X)) = E\big[T(X) - E(f(S))\big]^2$$<p>$T(X)$ 와 $E(f(S))$ 사이에 $f(S)$ 를 더하고 빼서 분리한다 ($+f(S) - f(S)$):</p> $$= E\big[(T(X) - f(S)) + (f(S) - E(f(S)))\big]^2$$<p>제곱을 전개하면</p> $$= \underbrace{E\big[T(X) - f(S)\big]^2}_{\text{(I)}} \;+\; 2\underbrace{E\big[(T(X) - f(S))(f(S) - E(f(S)))\big]}_{(\star)} \;+\; \underbrace{E\big[f(S) - E(f(S))\big]^2}_{=\,\mathrm{Var}(f(S))}$$<h3 id="핵심-교차항">핵심: 교차항 $(\star) = 0$</h3> $$(\star) = E\big[(T(X) - f(S))(f(S) - E(f(S)))\big] = E\Big[\,E\big[(T(X) - f(S))(f(S) - E(f(S))) \,\big|\, S\big]\,\Big]$$<p>조건부 안에서 $f(S)$ 와 $E(f(S))$ 는 $S$ 에 대해 상수처럼 다룰 수 있으므로 (전자는 $S$ 의 함수, 후자는 그냥 상수)</p> $$= E\Big[\,(f(S) - E(f(S))) \cdot E\big[T(X) - f(S) \,\big|\, S\big]\,\Big]$$<p>내부 조건부 기댓값을 분리하면</p> $$E\big[T(X) - f(S) \,\big|\, S\big] = E(T(X) \mid S) - E(f(S) \mid S) = f(S) - f(S) = 0$$<p>(첫 항은 $f(S)$ 의 정의 자체이고, 둘째 항은 $f(S)$ 가 $S$ 의 함수라 $E(f(S) \mid S) = f(S)$.)</p> <p>따라서 $(\star) = 0$.</p> <h3 id="결론">결론</h3> $$\mathrm{Var}(T(X)) = E[T(X) - f(S)]^2 + \mathrm{Var}(f(S)) \;\ge\; \mathrm{Var}(f(S))$$<p>$E[T(X) - f(S)]^2 \ge 0$ 이므로</p> $$\mathrm{Var}(f(S)) \le \mathrm{Var}(T(X)) \qquad \blacksquare$$<h2 id="한-줄-요약">한 줄 요약</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>충분통계량으로 조건부 기댓값을 취하면, 비편향성을 유지하면서 분산이 감소한다.</strong></p> </blockquote> <p>이 때문에 MVUE를 찾을 때는 어떤 비편향추정량을 가지고 시작하든 sufficient statistic으로 Rao–Blackwell화 (Rao–Blackwellize)하는 것이 유리하다. 단, 이렇게 얻은 $f(S)$ 가 <strong>유일한 MVUE</strong>라고 결론지으려면 $S$ 의 <strong>완비성 (completeness)</strong> 이 추가로 필요하며, 이것이 Lehmann–Scheffé 정리로 이어진다.</p> <hr> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>원문: </p> </blockquote> </article> </main></body></html>