Projects |

MBTI Persona Priming prompt research

Sat, 09 May 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 챗봇 persona 사전조사 입니다. LLM에 일관된 성격을 부여하기 위한 출발점으로, 심리 프로필 priming 방식의 framework — arXiv 논문 Psychologically Enhanced AI Agents ( ) 와 그 official 구현 를 검토하고, 검증 흐름·prompt 변종 비교를 정리했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 가상 아이돌에 사용될 priming 전문·생성 결과·내부 도식은 공개하지 않습니다. 본 페이지는 적용한 공개 framework와 실험 설계를 중심으로 기술합니다.

1. Framework

1.1 검증 방법 — 사용 모델

검증 단계 LLM: GPT-4o-mini

1.2 Flow (예: ENFJ)

priming.json — 16개 MBTI 유형 각각에 대한 priming prompt가 정의돼 있다. 챗봇에 system prompt로 주입한다.
한 유형(예: ENFJ)에 대해 16Personalities 공식 설문 기반 60문항을 던진다. 60문항은 E/I, S/N, F/T, J/P 네 축을 결정짓는 항목들로 구성.
각 문항에 대해 동일한 priming + 동일한 질문을 15회 반복 한다 (응답 일관성 검증).
- Temperature = 1.0이라 매번 약간씩 다른 응답이 나올 수 있음.
- 일관성이 높으면 priming 성공, 낮으면 실패.

1.3 Likert 환산

15번 응답을 7점 척도(score)로 환산한다 — 16Personalities 공식 테스트가 7점 척도를 사용하기 때문.

score_dict = {
 "agree": -3,
 "generally agree": -2,
 "partially agree": -1,
 "neither agree nor disagree": 0,
 "partially disagree": 1,
 "generally disagree": 2,
 "disagree": 3,
}

15회의 score를 평균해 한 문항의 응답값으로 삼고, 60문항에 대해 같은 절차를 수행.

1.4 결과 시각화

60문항 중 E/I 축을 결정하는 약 10개 문항을 모아 그 sample 평균을 좌표에 찍고 BoxPlot으로 분포를 본다.
ENFJ로 priming한 LLM이 E축 문항에서 외향적인 응답(예: 평균 −3 근처)을 일관되게 보이는지 검증.

결론: 이 priming을 prompt로 썼을 때 LLM이 MBTI 특성을 분명히 구분해 응답한다 는 가설을 BoxPlot으로 시각적으로 검증.

2. Prompt 변종 — 3종 비교

priming 구조의 어느 부분이 효과를 내는지 확인하기 위해 3종의 변종을 비교했다.

A. Only MBTI

You are an {MBTI_TYPE}.

→ MBTI 유형 라벨만 주는 가장 짧은 형태.

B. MBTI + Description (Structured Priming)

MBTI 라벨 + 다음 6개 카테고리로 구조화된 description 을 함께 부여한다.

Communication Style (소통 방식)
Leadership and Management Style (리더십)
Problem-Solving Approach (문제 해결)
Interpersonal Relationships (대인 관계)
Handling Change and Stress (스트레스 대처)
Application in Various Contexts

description 은 MBTI 공식 문헌 (Myers and Myers, 1980, “Gifts Differing”) 기반으로 LLM 요약을 거쳐 작성.

C. Only Description

위 6개 카테고리만 두고 MBTI 라벨은 제거. 라벨이 priming 효과를 내는지, 설명이 효과를 내는지 분리해 보기 위함.

3. 추가 검증 — WritingPrompt 태스크

성격 priming이 창작 응답에서도 일관되게 나타나는지 확인하기 위한 별도 검증.

Flow

priming(예: INFJ prompt)을 LLM에 주입.
Reddit r/WritingPrompts 에서 100개 글쓰기 프롬프트를 LLM에게 제공 → 각 prompt에 대해 짧은 스토리 생성.
- Story generator: Qwen3-235B-A22B
생성된 스토리를 LLM-as-judge 가 1–5점으로 평가.
- Judge: Qwen2.5-14B-Instruct
- 평가 기준: PersonaLLM 등 선행 연구의 persona consistency 지표.

→ 동일한 LLM이 다른 MBTI priming 하에서 글쓰기 스타일이 일관되게 달라지는지를 정량 평가.

Stack

Python — 실험 파이프라인
LLMs — GPT-4o-mini (검증), Qwen3-235B-A22B (story generation), Qwen2.5-14B-Instruct (judge)
Prompt Engineering — system prompt 설계, priming 구조화, score 환산

참고

Psychologically Enhanced AI Agents —
Reference code —
Myers, I. B., & Myers, P. B. (1980). Gifts Differing: Understanding Personality Type.
16Personalities 공식 설문 (60문항, 7점 Likert)

Long-term Opioid Use in Newly Diagnosed Multiple Myeloma

Mon, 04 May 2026 00:00:00 +0000

개요

신규 진단(newly diagnosed) 다발골수종(multiple myeloma, MM) 환자가 오피오이드 진통제를 시작했을 때, 얼마나 자주 장기 사용으로 이어지는지, 어떤 베이스라인 인자가 이를 예측하는지를 규명하는 전국 단위 후향적 코호트 연구입니다.

배경

다발골수종은 진단 시점에 70–80% 환자가 골 통증을 호소할 정도로 통증 부담이 큰 질환입니다. 오피오이드는 중등도 이상 통증의 표준 치료지만, 약 6개월 이상 사용하면 내성·의존·부작용 등으로 중단이 어려워집니다. 기존 연구는 주로 단일 기관 또는 서구 코호트 기반이며, 한국과 같이 엄격한 처방 환경에서의 인구 단위 근거는 제한적인 편입니다.

데이터

출처: 건강보험심사평가원(HIRA) 데이터베이스 — 한국 인구의 97% 이상 커버
포함 기준: 2009.01.01 – 2023.08.31에 신규 MM으로 진단되고, 진단 후 3개월 이내 ≥ 14일 누적 오피오이드 처방을 받은 성인
추적: 2024.08.31까지
분석 코호트: 3,621명 (중위 연령 66.0세 [IQR 59.0–73.0], 여성 47.1%)

노출 (Exposures)

진단 후 3개월 이내 오피오이드 강도를 다음 3군으로 분류 — equianalgesic dose ratio와 WHO analgesic ladder에 따라:

Weak only
Strong only
Weak and strong

결과 변수 (Outcome)

장기 오피오이드 사용 — MM 진단 후 6개월을 초과해 처방이 지속된 경우.

결과

전체 3,621명 중 **2,377명(65.6%)**이 장기 오피오이드 사용으로 진행했습니다. 강도가 높을수록 장기 사용 비율이 증가했습니다:

초기 강도	n	장기 사용률
Weak only	1,535	52.4% (804)
Strong only	1,049	70.7% (742)
Weak and strong	1,037	80.1% (831)

(P < 0.001)

다변량 로지스틱 회귀에서 오피오이드 강도가 가장 강한 예측 인자였습니다:

Strong only vs weak only: aOR 2.25 (95% CI, 1.90–2.66)
Weak and strong vs weak only: aOR 3.64 (95% CI, 3.02–4.38)

이 외에도 고연령, 기분/수면 장애 동반, bortezomib 기반 치료, 사전 오피오이드 사용 등이 독립적 예측 인자였습니다.

위험 점수 모형

베이스라인 인자들로 위험 점수 모형을 개발해 환자를 저/중/고위험군으로 분류했습니다. 군별 장기 사용률은 다음과 같습니다:

저위험: 55.1%
중위험: 65.0%
고위험: 74.3%

결론

전국 인구 단위 데이터로 본 결과, 신규 진단 MM 환자가 오피오이드를 시작하면 약 2/3가 6개월 이상 장기 사용으로 이어졌습니다. 보수적 처방 환경에서도 이 양상이 지속된다는 점은 오피오이드 시작 시점에서의 위험 기반 통증 관리 계획의 임상적 필요성을 보여줍니다.

진행 상황

논문 작성 중 (Manuscript in Preparation, 1저자).

Chaehyeon Lee, Suein Choi, Sung-Soo Park, “Patterns and Predictors of Long-term Opioid Use in Patients with Newly Diagnosed Multiple Myeloma: A Nationwide Real-world Study” (제출 준비 중).

Casting Image Generation

Sat, 02 May 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱의 캐릭터를 캐스팅하기 위한 이미지 생성 프로젝트. 얼굴·스타일·분위기 일관성 을 만족하는 트레이니 후보군을 prompt 설계 + 반복 생성 + 정성 평가로 좁혀나갔습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 단계와 방법론 중심으로 정리합니다.

단계별 진화

Step 1 — 초기 캐스팅 prompt 설계

목표: 가상 아이돌 트레이니의 변수 축을 prompt 변수로 정의하고, 그 격자로 후보 군을 만드는 것.

변수 축 (공개 가능 범위):

인종 (Race)
성별 (Gender)
분위기 (Mood)
(그 외 축은 비공개)

각 조합을 prompt template에 끼워 여러 조합을 만들고, trial 2회씩 반복해 안정성을 봤습니다.

Prompt 구조 (요약):

핵심 묘사: 변수 축 조합
스타일 지침: photorealistic K-pop trainee profile photo
구도: chest-up, front-facing

Step 2 — ID 사진 정제

Step 1 결과에서 발견된 문제 (배경 색감이 인물 식별을 방해, 메이크업 표현 일관성 부족) 를 해결하기 위해 prompt 변종을 비교하고, 정체성을 깨는 요소를 막기 위한 negative constraints 를 추가했습니다.

→ 흰 배경 + 메이크업 무관 + 부정 제약으로 ID 사진의 정체성 일관성 확보.

Step 3 — Visual Upgrade

Step 2의 ID 사진을 reference로 두고, 같은 인물성을 유지하면서 사진 품질을 끌어올리는 prompt 변종을 비교. 채택된 best 버전이 후속 단계의 기본 reference로 사용됨.

대규모 캐스팅 런 (Casting Runs)

Prompt 설계가 어느 정도 안정화된 후, 후보 다양성 확보를 위한 대규모 반복 생성 — 총 12회 캐스팅 런으로 약 800장 생성. 각 런마다 약간씩 다른 prompt seed / 변수 조합 / 모델 파라미터로 결과 분포를 확장하고, 결과를 정성 검수해 최종 prompt 를 확정.

결과 분석 관점 (정성 요약)

prompt 변수 축의 분리도 — 인상·분위기는 잘 구분되지만, 헤어 (특히 색상) 와 메이크업이 서로 영향을 주고받는 경향 이 있었음 (예: 헤어 색만 바꿨는데 메이크업 톤도 같이 변함). 두 축을 독립적으로 제어하려면 명시적 negative constraint 가 필요.
스케일 효과 — 여러 번의 반복 실험을 거쳐 안정적인 후보를 확보. prompt 설계만으로는 한계가 있고, 양적 탐색이 동반돼야 함.

자동화 파이프라인

각 런은 다음 자동화 위에서 실행:

Prompt template + 변수 격자 — Python으로 모든 조합을 펼침
API 호출
HTML report 자동 생성 — combo·trial 단위로 시각적으로 비교 가능한 리포트 자동 출력 (정성 검수용)

Stack

Python
Gemini Flash Image Preview
Prompt Engineering — 5축 변수 정의, system prompt, negative constraints

다음 단계 / 관련

확정된 companion profile 을 reference로 → (다양한 scene 의 콘텐츠 컷)
특정 포즈 정제 →
챗봇 persona 결합 →

Future DaTScan Synthesis for Parkinson's Progression with Conditional Wavelet Diffusion

Fri, 01 May 2026 00:00:00 +0000

개요

파킨슨병(Parkinson’s disease, PD) 환자의 도파민 신경 퇴행 진행을 예측하기 위한 딥러닝 프레임워크입니다. 초기(screening) DaTScan SPECT 영상 한 장을 조건으로 2년 후(V04) 시점의 DaTScan 영상을 합성해, 반복 촬영 없이 개인 수준의 진행 양상을 시각적으로 예측합니다.

기존 연구는 미래 UPDRS 점수 등 수치 예측에 그쳤지만, 본 연구는 영상 자체를 생성해 도파민 손실의 공간적 분포를 정성적으로도 보여줍니다. 임상에서 의사가 영상을 직접 판독해 진단하는 현실을 고려하면 정량 + 정성 모두 의미가 있습니다.

배경

DaTScan은 파킨슨병 진단의 핵심 영상 바이오마커지만, 방사선 피폭, 추적자 주입 후 3–6시간 대기, 핵의학 장비 접근성, 운동 증상이 진행된 환자의 SPECT 자세 유지 어려움 등으로 종단적(longitudinal) 추적 촬영에 실질적 제약이 따릅니다. 초기 영상만으로 미래 시점의 도파민 분포 패턴을 예측할 수 있다면, 불필요한 반복 촬영 없이 개인화된 예후 예측과 조기 예방적 권고가 가능해집니다.

데이터

출처: Parkinson’s Progression Markers Initiative (PPMI)
구성: 스크리닝(SC) 시점과 2년 후(V04) 시점의 DaTScan SPECT 영상 쌍, 품질 관리 후 746쌍
전처리: 공간 정규화 + 강도 정규화
분할: train / validation / test = 7 : 1.5 : 1.5

방법론

조건부 웨이블릿 확산 모델 (cWDM). Friedrich et al. (2024)의 cWDM 프레임워크를 적용했습니다. 학습 기반 오토인코더와 달리 웨이블릿 변환은 정보 손실 없이 영상을 저주파(전체 구조)와 고주파(세밀한 디테일) 성분으로 분해하고, 역변환으로 완벽 복원합니다.

3D Haar Wavelet. 128³ 복셀 영상을 64³ × 8채널의 웨이블릿 계수로 분해해 모든 정보를 보존하면서 연산량을 크게 줄였습니다.

손실 함수. 표준 DDPM noise prediction loss:

$$\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \big[\, \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})\|^2 \,\big]$$

조건 변수 c 는 baseline (SC 시점) DaTScan 영상입니다.

평가 지표

영상 품질: PSNR, SSIM, RMSE
임상적 유효성: Striatal Binding Ratio (SBR) — 미상핵(caudate), 피각(putamen), 피각/미상핵 비율(P/C ratio)
정성 평가: 임상용 color lookup table을 적용해 baseline · 실제 V04 · 합성 V04 비교

결과

테스트 세트(n = 112)에서 합성된 V04 영상의 정량 성능:

PSNR: 21.99 ± 2.40 dB
SSIM: 0.6452 ± 0.065

부위별 SBR은 실제 추적 영상과 강한 상관을 보였습니다:

전체 선조체(striatum): r = 0.676, p < 0.001
미상핵(caudate): r = 0.699, p < 0.001
피각(putamen): r = 0.660, p < 0.001
피각/미상핵 비율 (P/C ratio): r = 0.670, p < 0.001

임상용 color scale을 적용한 정성적 비교에서, 합성 영상은 선조체 영역의 전반적 섭취 위치를 반영하였으나 세부 구조의 선명도에는 한계가 있었습니다.

결론

단일 초기 DaTScan 영상으로부터 2년 후 영상을 합성하는 딥러닝 프레임워크를 제시했고, 피각/미상핵 비율을 포함한 부위별 진행 지표에서 실제 추적 영상과 유의한 상관관계를 확인했습니다. 향후 임상 변수와의 결합을 통해 개인화된 파킨슨병 진행 예측 모델로 확장될 수 있습니다.

성과

이채현, 이기림, 정봉기, 최수인, 박보용, “딥러닝 기반 파킨슨병 도파민 수송체 영상의 종단적 진행 예측: 조건부 웨이블릿 확산 모델을 활용한 미래 DaTScan 영상 합성”, 한국통계학회, 2026 (포스터, 1저자).

OPT2I — Iterative Prompt Refinement

Fri, 10 Apr 2026 00:00:00 +0000

개요

가상 아이돌 캐릭터의 특정 자세 컷을 prompt 만으로 안정적으로 생성하기 어려워, iterative prompt refinement 알고리즘을 적용한 실험. 베이스 알고리즘은 Mañas et al. (2024) 의 OPT2I — LLM을 prompt optimizer로 두고 반복적으로 prompt를 다듬어 vision-language metric을 끌어올리는 방법.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 알고리즘 구조와 실험 설계 중심으로 정리합니다.

1. OPT2I 알고리즘 (요약)

OPT2I는 text-to-image 생성에서 prompt-image alignment 를 끌어올리기 위한 LLM-as-optimizer 루프.

Input: user_prompt (초기 prompt)
Output: best_prompt (최적화된 prompt)

for round r = 1..R:
 1. LLM이 현재 best prompt를 변주해 K개의 variant 생성
 2. 각 variant로 이미지 생성 (T2I model)
 3. 각 이미지의 alignment score 측정 (e.g., CLIPScore, ImageReward, DSG)
 4. 가장 높은 점수의 prompt를 다음 round의 seed로 채택
 5. 점수가 더 이상 개선되지 않으면 조기 종료

핵심 가정: LLM이 좋은 prompt 생성기일 뿐 아니라 좋은 prompt 비평가 도 될 수 있다 → 이전 round의 점수와 prompt 변종 패턴을 LLM context에 넣어 더 나은 변주를 유도.

→ 논문:

2. 구현 — Round × Variant 격자

본 실험에서 사용한 OPT2I 변형 파이프라인:

차원	표기	값
Round	`R2 – R5`	최대 5 라운드
Variant	`V1 – V5`	라운드 당 후보 변종 수

각 round마다 variant 별 이미지 를 모두 저장해 사후 정성 검수 + 정량 비교 가능하도록 했습니다.

3. 평가 Metric — DSG (Davidsonian Scene Graph)

평가 metric으로 DSG (Davidsonian Scene Graph) 를 결합.

DSG는 prompt를 scene graph atomic question 들로 분해하고, VQA 모델로 각 question에 대한 응답 정확도를 평가.
단일 score보다 prompt의 어떤 측면이 충족/실패 했는지 지시적 (interpretable).

→ R-V 격자 결과를 DSG 점수로 비교해, “이 prompt 변주가 얼굴 형태는 잘 맞췄지만 헤어 길이 묘사가 약하다” 같은 진단을 자동화.

4. 결과 분석 관점 (정성 요약)

DSG 도입 효과 — DSG atomic 평가는 prompt의 어떤 부분이 부족한지 가리켜주어 다음 round prompt 변주의 방향성 이 명확해짐.
Round 수 trade-off — round R≥4부터는 점수 상승이 둔화되는 경향. R=5 cap 으로도 충분.
비용 — round 수 × variant 수 × character 수 만큼 image API 호출이 늘어 비용이 빠르게 증가. 변종 1회당 약 $25–30 수준 (대략 추정).

Stack

Python — OPT2I 루프 구현, round/variant 격자 관리, 결과 집계
Gemini Flash Image Preview
LLM-as-optimizer — prompt 변주 생성용 LLM (variant 후보 생성)
DSG (Davidsonian Scene Graph) — alignment evaluation metric

참고

Mañas et al., Improving Text-to-Image Consistency via Automatic Prompt Optimization, 2024 —
Cho et al., Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation, ICLR 2024
Implementation — (OPT2I + DSG core + side/fullbody runners)

Content Image Generation

Mon, 06 Apr 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 콘텐츠 이미지 생성 실험입니다. 가상 아이돌에게 다양한 scene을 입히면서도 캐릭터(얼굴) 정체성은 변하지 않도록, prompt 설계·reference conditioning·격자 탐색을 결합해 검증했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 설계와 방법론 중심으로 정리합니다.

실험 목적

“같은 캐릭터(얼굴)를 유지하면서, 다양한 scene의 콘텐츠 컷을 일관되게 생성할 수 있는가?”

일관성 (consistency) — 캐릭터의 얼굴이 scene이 바뀌어도 같은 사람으로 인식되어야 함
다양성 (variety) — 같은 캐릭터라도 scene·구도·의상이 자연스럽게 변주되어야 함
콘셉트 표현 — 각 scene의 분위기 (일상의 자연스러움, 상황감, 아이돌 포즈) 가 prompt만으로 전달되어야 함

실험 설계

신(Scene) 3종

신 ID	콘셉트	목적
Scene #1	일상, 자연스러움	자연스러운 표정 자세로 친근감 형성
Scene #2	시그니처 포즈	팬 인터랙션용 정형 포즈 일관성 검증
Scene #3	특정 장소 배경	콘셉트가 강한 narrative 컷의 prompt 표현력 검증

Reference-Image Conditioning

각 콘텐츠 컷 생성 시 유저가 생성한 캐릭터 ID 사진을 reference로 함께 입력해, 얼굴 정체성 유지 를 강제합니다. Prompt 앞단에 다음과 같은 지침을 둡니다 (요약):

Keep the person’s facial features exactly the same as the reference image. This is the same person, not a look-alike or approximation.

이를 통해 gemini의 image-to-image 모드에서 동일 인물성을 안정적으로 보장.

Combo 변주

각 신 안에서 combo (조합) 단위로 prompt 변종을 둡니다 — 의상 / 헤어 등 hyperparameter를 격자 탐색 형태로 변형. 동일 character × 동일 combo에서 trial 반복 으로 생성 안정성도 같이 본다.

생성 규모

실험	생성 이미지 수
Scene #1	≈ 1,249 장
Scene #2	≈ 937 장
Scene #3	≈ 1,041 장
총합	≈ 3,200 장

각 이미지는 384×688 해상도, 평균 약 9–11초 / 장 소요, 장당 비용 약 $0.045 수준.

결과 분석 관점

얼굴 일관성 — 헤어 색·길이는 prompt에 명시적 제약 (Do NOT alter the hairstyle color or length) 을 둬야 안정적이었다.
포즈 정확성 — 손가락 위치·구도가 변동성이 큼. 별도 negative prompt (e.g., no extra fingers) 로 보완.
콘셉트 강도 — 장소 디테일은 prompt에 명시적으로 포함시킬수록 narrative가 살아나지만, 그만큼 얼굴 영역의 픽셀 비율이 줄어 정체성 손실 위험 증가 → reference 가중치 / 카메라 거리 prompt를 같이 조정.

실험 흐름 (자동화)

각 sprint는 다음 자동화 파이프라인 위에서 돌렸습니다.

Prompt template 정의 — scene별 system prompt + character 변수 슬롯
Combo grid expansion — Python으로 character × combo × trial 격자 생성
API 호출 — image+text → image
HTML report 자동 생성 — combo 단위로 시각적으로 묶어 검수 가능한 리포트

Stack

Python — 실험 파이프라인 (combo grid, API 호출, HTML report 생성)
Gemini Flash Image Preview — 이미지 생성 모델
Prompt Engineering — system prompt + reference conditioning + negative constraints

OvaRisk-ML: Ovarian Cancer Risk Classification with Machine Learning

Wed, 01 Apr 2026 00:00:00 +0000

개요

머신러닝을 활용하여 난소암 위험군을 분류하는 예측 시스템 개발 프로젝트입니다. EDA부터 데이터 전처리, 변수 선택, 모델링, 웹 앱 배포까지 전 과정을 수행했고, 논문은 현재 review 중입니다.

데이터 전처리

변수 탐색. 범주형 변수는 2x2 table과 odds ratio로, 연속형 변수는 기초 통계량과 히스토그램으로 영향력을 점검했습니다. Odds ratio가 극단적인 변수는 sensitivity/specificity 분포를 왜곡할 수 있어 별도 검토했습니다.

결측치 처리. 결측률 40% 이상 변수는 설명력이 부족하다고 판단해 제거하고, 나머지는 연속형은 median, 범주형은 mode로 imputation 했습니다. Train set 통계량을 test set에도 동일 적용해 leakage를 방지했습니다.

다중공선성 점검. Imputation 후 VIF(variance inflation factor)를 산출해 cutoff 10 기준으로 변수를 한 번에 하나씩 제거하며 추이를 관찰했습니다.

인코딩 및 스케일링. 범주형 변수는 dummy encoding (reference 카테고리 제외)으로 변환했고, 연속형 변수는 Standardization 또는 MinMaxScaler를 적용했습니다. 표준화 통계량 역시 train 기준으로 test에 동일 적용했습니다.

변수 선택

5-fold stratified cross-validation을 결합한 Recursive Feature Elimination (RFE-CV)로 변수를 선택했습니다. 평가 기준은 AUROC를 사용했고, RFE-CV 결과 그래프를 토대로 최종 5개 변수를 선정했습니다.

모델링

모델 비교. Random Forest, Logistic Regression, XGBoost, CatBoost, MLP 5개 모델을 비교했습니다.

평가 파이프라인. 전체 데이터를 3:1 stratified split (train/test)으로 나누고, train 안에서 10-fold stratified cross-validation으로 하이퍼파라미터를 탐색했습니다. 효율을 위해 grid/random search 대신 Bayesian optimization을 사용했습니다. 각 fold의 train→val 전환 시 표준화 통계량은 train 기준으로 일관되게 적용했습니다.

Robustness 확보. 전체 split→tuning→fit→test 과정을 50회 반복하고 성능 metric의 평균을 최종 성능으로 보고했습니다. 이를 통해 subject selection bias를 줄이고 모델의 robustness를 높였습니다.

클래스 불균형 처리. 난소암 사례의 희소성을 고려해 undersampling을 적용하고, 그로 인해 편향된 예측 확률을 Bayes rule 기반 수식으로 보정했습니다.

평가 지표. Accuracy, Precision, Recall (Sensitivity), F1-score, AUC-ROC를 보고했습니다.

배포

선정된 최종 모델을 Python Shiny 기반 웹 앱으로 배포해, 사용자 입력값에 대한 위험군 분류 결과와 lifetime risk cumulative incidence plot을 제공합니다.

Live App:

성과

논문 작성 완료, 현재 저널 review 중.

LLM Model Benchmark

Fri, 30 Jan 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 LLM 모델 비교 / 선정 단계. 챗봇 응답 품질·비용·지연시간을 동시에 만족하는 모델을 찾기 위해 다수의 후보 (GPT, Claude, Gemini, Kimi, Qwen 계열) 를 동일한 조건으로 벤치마크했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 벤치마크 질문 전문·모델 응답·내부 시스템 prompt는 공개하지 않습니다. 본 페이지는 평가 기준 전환과 모델 선정 프레임워크 중심으로 정리합니다.

1. 평가 방법 — EQ-Bench

LLM의 감정 이해 능력 을 측정하는 벤치마크. 우리 task에 직접 부합.

방법론 (요약)

감정적으로 복잡한 대화 한 토막을 LLM에게 보여준다.
그 대화 속 한 캐릭터의 감정 강도를 4가지 감정으로 LLM이 예측 (각 0–10).
4 점수의 합이 10이 되도록 normalize.
Reference (저자 주석값) 와의 차이를 계산 — 차이가 작을수록 잘 맞춘 것.
한 문제 점수 = 10 - 차이의 절댓값 합.
60개 문제의 평균 × 10 → EQ-Bench 점수 (0–100 스케일).

감정 4개는 명백히 틀린 것 + 명백히 맞는 것 + 미묘한 것 을 섞도록 큐레이션.

→ Public leaderboard:

2. 모델 풀 + 경량 모델 체크리스트

EQ-Bench 리더보드 상위권 50+ 모델을 일단 풀로 두고, 그 중 서비스 비용으로 운영 가능한 경량 모델 을 체크리스트로 골라냈습니다.

풀 (예시)

프리미엄 / 대형: Kimi-K2-Instruct, GPT-5.2, o3, Gemini-3-pro-preview, GPT-5.1, Claude-Opus-4.5, Hermes-4-405B, Llama-3.1-405B-Instruct, …
중형: Claude-Sonnet-4.5, GLM-4.7, GPT-4.1, Mistral-Large, …
경량 (서비스용 후보): GPT-4.1-mini, Gemini-2.5-flash-preview, o4-mini, GPT-4.1-nano, Qwen3-8B, Mistral-Small-3.x, Llama-4-Scout/Maverick, Gemma-3-4b/27b, GPT-OSS-20b, …

→ 총 약 24개의 경량 모델 을 후보로 추렸음.

3. 서비스용 추천 Top 5 (× 2 카테고리)

프리미엄 Top 5

순위	모델	추천 이유
1	Kimi-K2-Instruct	1T 파라미터 (32B 활성 MoE), 가성비 매우 좋음
2	GPT-5.2	프리미엄 안정성
3	o3	프리미엄 reasoning
4	Gemini-3-pro-preview	프리미엄
5	Claude-Opus-4.5	프리미엄

경량 Top 5

순위	모델	추천 이유
1	GPT-4.1-mini	가성비 최고, 안정적
2	Gemini-2.5-flash-preview	빠름, 무료 티어
3	o4-mini	경량 reasoning
4	GPT-4.1-nano	초저가
5	Qwen3-8B	오픈소스, 로컬 가능

4. 비용 비교 프레임워크

벤치마크 한 건당 토큰 사용량을 기준으로 모델별 단가 를 계산:

Input: ~900 tokens (system prompt + user message)
Output: ~100 tokens (1–2문장 응답)

프리미엄 (1건당 비용 / 10건 기준)

모델	1건	10건	대비
Kimi-K2-Instruct	$0.00079	$0.0079	1×
GPT-5.2	$0.00298	$0.0298	3.8×
o3	$0.00260	$0.0260	3.3×
Gemini-3-pro-preview	$0.00300	$0.0300	3.8×
Claude-Opus-4.5	$0.00700	$0.0700	8.9×

경량 (1건당 비용 / 10건 기준)

모델	1건	10건	대비
Qwen3-8B	$0.000070	$0.0007	1×
GPT-4.1-nano	$0.000130	$0.0013	1.9×
Gemini-2.5-flash-preview	$0.000520	$0.0052	7.4×
GPT-4.1-mini	$0.000520	$0.0052	7.4×
o4-mini	$0.001430	$0.0143	20.4×

가격 형성 배경 (예시)

Kimi-K2 가 저렴한 이유:

중국 기업 (Moonshot AI) 의 시장 점유 전략 — 공격적 가격
MoE 아키텍처 (1T 파라미터 중 32B 활성) → 추론 비용 절감
DeepSeek 등 중국 모델들과의 가격 경쟁
중국 내 GPU/서버 비용이 상대적으로 저렴

→ DeepSeek R1, Kimi 등이 경쟁사 대비 약 90% 저렴한 가격 으로 시장 진입.

5. 벤치마크 실험 — 통제 조건

조건	값
Temperature	0.7 (다양성 ↔ 안정성 절충)
System prompt	MBTI description + “[중요] 1–2문장으로 간결하게 답변하세요.”
벤치마크 질문	우리 도메인에 맞춰 큐레이션한 3개

각 모델 × MBTI × question 조합으로 응답을 수집하고, 응답 길이·지연시간·비용·정성 품질을 같이 적재.

실서비스 도입 전 정성 검수 + 비용 시뮬레이션 을 진행했습니다.

6. 의사결정 영향

본 벤치마크 결과는 후속 단계 모델 선택의 베이스라인 으로 활용됩니다.

Stack

Python — 벤치마크 파이프라인 (모델 호출)
LLMs
EQ-Bench — 감정 이해 평가 framework

참고

Paech, EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models, 2024 —
Reference code —
Implementation — (벤치마크 노트북)
Public leaderboard —

Improved Survival in Multiple Myeloma with Early Precursor Detection

Wed, 01 Oct 2025 00:00:00 +0000

개요

다발골수종(Multiple Myeloma, MM) 환자에서 전구 질환(MGUS, smoldering MM)의 사전 진단 여부에 따라 생존 확률이 어떻게 달라지는지 비교 분석한 전국 규모 후향적 코호트 연구입니다. 조기 검진(early detection)이 생존률을 높임을 입증해, MM 환자에 대한 초기 단계 screening의 임상적 가치를 제안했습니다.

데이터

건강보험심사평가원(Health Insurance Review and Assessment Service, HIRA) 빅데이터 약 5천만 명 코호트에서 SQL을 활용해 MGUS, smoldering MM, de novo MM 환자군을 정의하고 추출했습니다.

분석 방법

선택 편향을 보정하기 위해 inverse probability of treatment weighting (IPTW) 매칭을 적용하고, weighted survival curve와 marginal Cox proportional hazards 분석으로 그룹 간 생존 확률을 비교했습니다. 분석은 R과 SAS로 구현했습니다.

성과

S. Choi, S.S. Park, C.H. Lee, et al., “Improved Survival in Multiple Myeloma Following Prior Detection of Precursor Conditions: A Nationwide Real-world Study,” Blood Cancer Journal, Oct. 2025.

Cross-Modality Neonatal Brain Image Conversion with Latent Diffusion

Mon, 01 Sep 2025 00:00:00 +0000

개요

신생아 뇌 MRI에서 routinely 수집되는 T2-weighted (T2w) 영상으로부터 T1-weighted (T1w) 영상을 합성하는 cross-modality conversion 모델을 개발했습니다. T1w와 T2w는 조직 특성을 상보적으로 표현하지만, 신생아의 경우 짧은 스캔 시간, 움직임 인공물, 진정제 사용 위험 등으로 두 contrast 모두를 얻기 어렵습니다. 본 연구는 누락된 modality를 합성해 multi-contrast 진단을 가능케 하는 빠르고 sedation-free한 경로를 제시합니다.

방법론

모델 구조. 2D slice-wise conditional latent diffusion model (LDM)을 설계했습니다. 40쌍의 bias field-corrected T1w/T2w 데이터를 z-축 기준으로 slicing하고, Autoencoder-KL로 latent 공간에 인코딩한 뒤, T2w latent와 modality 조건 정보를 spatially aligned 방식으로 결합해 conditional image-to-image translation을 수행했습니다.

선행 기법과의 비교. 기존 GAN 기반 cross-modality translation은 학습 과정의 특성상 mode collapse, 비수렴, 불안정성 문제가 빈번했습니다. Denoising Diffusion Probabilistic Model (DDPM) 계열은 noise-perturbation 학습 과정 덕분에 더 안정적이고 다양한 출력을 생성하며, 영상 합성 task에서 GAN보다 우수함이 보고되었습니다.

손실 함수. Latent space와 conditioning key $\mathbf{y}$, diffusion time step $t$ 를 함께 고려한 LDM의 noise prediction loss는 다음과 같이 정의됩니다.

결과

Held-out test set에서 합성 T1w 영상이 다음 성능을 달성했습니다.

PSNR: 21.03 dB
SSIM: 0.6963

의의

T2w만으로 누락된 T1w를 생성할 수 있어 multi-contrast neonatal MRI에 빠르고 sedation-free한 접근 경로를 제공합니다. 본 framework는 infant 또는 fetal MRI 데이터로도 자연스럽게 확장 가능합니다.

성과

C.H. Lee, K. Lee, B. Park, “Cross-Modality Neonatal Brain Image Conversion Using a Latent Diffusion Model,” 2025 Second International Conference on Artificial Intelligence for Medicine, Health and Care (AIxMHC), IEEE, 2025. (Oral)

Customer Satisfaction Index Modeling with SEM (Amos)

Wed, 14 Jun 2023 00:00:00 +0000

개요

병원 내 서비스 혁신팀의 의뢰로 진행한 통계 컨설팅 프로젝트입니다. 환자/고객 설문지 응답 데이터를 활용해 서비스 품질의 잠재 구조를 모형화하고, 그로부터 고객만족지수(Customer Satisfaction Index, CSI) 를 산출하는 것이 목표였습니다.

보안 안내. 본 프로젝트는 대외비로, 구체적인 설문 항목·결과 수치·도식은 공개하지 않습니다. 본 페이지는 적용된 방법론과 분석 과정 중심으로 정리합니다.

데이터

출처: 병원 서비스 혁신팀이 자체 시행한 고객 설문 결과 (수치/항목 비공개)
전처리: 결측치 제거 (NA exclusion), 셀별 가중치 부여, 가중치 적용 셀 단위 데이터셋 구성
변수 구조: 서비스 품질의 다양한 측면을 측정한 다수의 관측 항목 → 잠재 변수(서비스 품질 차원)에 매핑

방법론

Structural Equation Modeling (SEM)

본 분석에는 구조방정식 모형, 그중에서도 잠재변수 1개에 여러 관측 지표를 두는 다지표(multi-indicator) 측정 모형을 적용했습니다.

잠재변수에 대해 reference indicator를 무작위로 1로 고정 (model identification)
관측 변수 간 직접 path는 설정하지 않고, 측정 모형(measurement model)에 충실하게 구성
잠재변수 자체에는 error term이 부착되지 않도록 주의 (모형 형태 점검)

적합도(Fit) 지표

표준 SEM 적합도 지표를 통해 모형의 데이터 부합 정도를 진단:

$\chi^2$, df, $\chi^2$/df
CFI (Comparative Fit Index)
TLI (Tucker-Lewis Index)
RMSEA (Root Mean Square Error of Approximation)
SRMR

수렴 타당성 (Convergent Validity)

잠재변수 자체의 신뢰성·타당성을 확인하기 위한 추가 검증:

개념신뢰도 (Construct Reliability, CR)
분산추출지수 (Average Variance Extracted, AVE)

CSI (고객만족지수) 산출

최종 채택된 측정 모형의 표준화 회귀 계수(standardized regression weights) 와 가중치 셀을 결합해 고객만족지수를 산출했습니다. 이 지수는 의뢰 부서가 정성적 보고에 활용할 수 있도록 표준화된 단일 점수 형태로 제공되었습니다.

도구

Amos — SEM 모형 추정·적합도 산출
SPSS — 데이터 전처리, 가중치 적용, 보조 분석

효과 / 임팩트

비즈니스 문제 → 통계 문제 변환 — “고객만족도를 단일 점수로 보고하고 싶다"는 요구를 SEM 측정 모형으로 정의
외주 비용 절감 — 구조방정식 전문 모델링은 외부 컨설팅으로 의뢰 시 비용 부담이 상당함. 원내 의학통계지원센터에서 직접 수행함으로써 의뢰 부서의 외주 비용을 절감하고, 분석 흐름을 부서 일정에 맞춰 유연하게 진행

산출물

고객만족지수(CSI) 단일 점수 + 항목별 표준화 가중치
분석 결과 보고서 — 의뢰 부서 내부 의사결정용 (대외비)

Whole-Brain Functional Gradients in Migraine

Sat, 01 Apr 2023 00:00:00 +0000

개요

R과 Python을 활용해 편두통 환자군 데이터 분석을 수행하였습니다. 편두통 환자의 뇌 기능 저하를 정량적으로 평가하기 위한 모델을 구축하고 Human Brain Mapping에 1저자로 출판했습니다.

방법론

차원 축소. 고차원의 뇌 영상 데이터를 비선형 매니폴드 러닝 기법으로 저차원으로 축소시켜 저차원 고유벡터를 생성했습니다. 결과에 영향을 미칠 수 있는 성별, 나이 등의 요소를 보정하여 다변량 분석을 수행했습니다.

집단 간 비교. 올바른 통계적 유의성 검정을 위해 false discovery rate (FDR) 보정을 거쳐 환자군과 정상군 사이에 영상 특징 데이터가 유의한 차이를 보이는 뇌 영역을 검출했습니다.

피질뿐만 아니라 피질-피질하 (subcortico-cortical) 연결성으로 가중된 매니폴드까지 확장해 피질하 영역에서도 환자군 특이적 차이를 검출했습니다.

예측 모델링. 편두통의 발병 횟수라는 임상학적 지표를 예측하기 위해 머신러닝 기법을 도입했습니다. 구체적으로, least absolute shrinkage and selection operator (LASSO)를 적용해 영상 피처들을 추출하고, 5-겹 중첩 교차 검증을 갖는 선형 회귀식으로 예측 모형을 구축했습니다. 내부 훈련 데이터 세트에서 성별과 나이를 보정한 후, intra class correlation (ICC)와 mean absolute error (MAE)를 기준으로 모델을 선출하고, 최종적으로 외부 검정 데이터 세트의 임상적 변수들을 예측했습니다. 피실험자들을 뽑는 과정에서 편향이 생기지 않도록 이 과정을 100회 반복했습니다. 예측 정확도는 실제 값과 예측 값 사이의 스피어만 상관 계수, ICC, MAE를 계산해 평가했고, 상관계수의 유의성은 비모수 순열 검정을 기반으로 결정했습니다.

성과

본 연구를 통해 주어진 데이터를 명확하게 이해하고, 해당 데이터를 분석하기 위해 올바르고 견고한 통계 분석 기법을 적용하는 방법을 익혔습니다. 결과는 다음과 같이 출판되었습니다.

C.H. Lee, H. Park, M.J. Lee, B. Park, “Whole-Brain Functional Gradients Reveal Cortical and Subcortical Alterations in Patients with Episodic Migraine,” Human Brain Mapping, Apr. 2023.