Generative AI |

Casting Image Generation

Sat, 02 May 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱의 캐릭터를 캐스팅하기 위한 이미지 생성 프로젝트. 얼굴·스타일·분위기 일관성 을 만족하는 트레이니 후보군을 prompt 설계 + 반복 생성 + 정성 평가로 좁혀나갔습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 단계와 방법론 중심으로 정리합니다.

단계별 진화

Step 1 — 초기 캐스팅 prompt 설계

목표: 가상 아이돌 트레이니의 변수 축을 prompt 변수로 정의하고, 그 격자로 후보 군을 만드는 것.

변수 축 (공개 가능 범위):

인종 (Race)
성별 (Gender)
분위기 (Mood)
(그 외 축은 비공개)

각 조합을 prompt template에 끼워 여러 조합을 만들고, trial 2회씩 반복해 안정성을 봤습니다.

Prompt 구조 (요약):

핵심 묘사: 변수 축 조합
스타일 지침: photorealistic K-pop trainee profile photo
구도: chest-up, front-facing

Step 2 — ID 사진 정제

Step 1 결과에서 발견된 문제 (배경 색감이 인물 식별을 방해, 메이크업 표현 일관성 부족) 를 해결하기 위해 prompt 변종을 비교하고, 정체성을 깨는 요소를 막기 위한 negative constraints 를 추가했습니다.

→ 흰 배경 + 메이크업 무관 + 부정 제약으로 ID 사진의 정체성 일관성 확보.

Step 3 — Visual Upgrade

Step 2의 ID 사진을 reference로 두고, 같은 인물성을 유지하면서 사진 품질을 끌어올리는 prompt 변종을 비교. 채택된 best 버전이 후속 단계의 기본 reference로 사용됨.

대규모 캐스팅 런 (Casting Runs)

Prompt 설계가 어느 정도 안정화된 후, 후보 다양성 확보를 위한 대규모 반복 생성 — 총 12회 캐스팅 런으로 약 800장 생성. 각 런마다 약간씩 다른 prompt seed / 변수 조합 / 모델 파라미터로 결과 분포를 확장하고, 결과를 정성 검수해 최종 prompt 를 확정.

결과 분석 관점 (정성 요약)

prompt 변수 축의 분리도 — 인상·분위기는 잘 구분되지만, 헤어 (특히 색상) 와 메이크업이 서로 영향을 주고받는 경향 이 있었음 (예: 헤어 색만 바꿨는데 메이크업 톤도 같이 변함). 두 축을 독립적으로 제어하려면 명시적 negative constraint 가 필요.
스케일 효과 — 여러 번의 반복 실험을 거쳐 안정적인 후보를 확보. prompt 설계만으로는 한계가 있고, 양적 탐색이 동반돼야 함.

자동화 파이프라인

각 런은 다음 자동화 위에서 실행:

Prompt template + 변수 격자 — Python으로 모든 조합을 펼침
API 호출
HTML report 자동 생성 — combo·trial 단위로 시각적으로 비교 가능한 리포트 자동 출력 (정성 검수용)

Stack

Python
Gemini Flash Image Preview
Prompt Engineering — 5축 변수 정의, system prompt, negative constraints

다음 단계 / 관련

확정된 companion profile 을 reference로 → (다양한 scene 의 콘텐츠 컷)
특정 포즈 정제 →
챗봇 persona 결합 →

Future DaTScan Synthesis for Parkinson's Progression with Conditional Wavelet Diffusion

Fri, 01 May 2026 00:00:00 +0000

개요

파킨슨병(Parkinson’s disease, PD) 환자의 도파민 신경 퇴행 진행을 예측하기 위한 딥러닝 프레임워크입니다. 초기(screening) DaTScan SPECT 영상 한 장을 조건으로 2년 후(V04) 시점의 DaTScan 영상을 합성해, 반복 촬영 없이 개인 수준의 진행 양상을 시각적으로 예측합니다.

기존 연구는 미래 UPDRS 점수 등 수치 예측에 그쳤지만, 본 연구는 영상 자체를 생성해 도파민 손실의 공간적 분포를 정성적으로도 보여줍니다. 임상에서 의사가 영상을 직접 판독해 진단하는 현실을 고려하면 정량 + 정성 모두 의미가 있습니다.

배경

DaTScan은 파킨슨병 진단의 핵심 영상 바이오마커지만, 방사선 피폭, 추적자 주입 후 3–6시간 대기, 핵의학 장비 접근성, 운동 증상이 진행된 환자의 SPECT 자세 유지 어려움 등으로 종단적(longitudinal) 추적 촬영에 실질적 제약이 따릅니다. 초기 영상만으로 미래 시점의 도파민 분포 패턴을 예측할 수 있다면, 불필요한 반복 촬영 없이 개인화된 예후 예측과 조기 예방적 권고가 가능해집니다.

데이터

출처: Parkinson’s Progression Markers Initiative (PPMI)
구성: 스크리닝(SC) 시점과 2년 후(V04) 시점의 DaTScan SPECT 영상 쌍, 품질 관리 후 746쌍
전처리: 공간 정규화 + 강도 정규화
분할: train / validation / test = 7 : 1.5 : 1.5

방법론

조건부 웨이블릿 확산 모델 (cWDM). Friedrich et al. (2024)의 cWDM 프레임워크를 적용했습니다. 학습 기반 오토인코더와 달리 웨이블릿 변환은 정보 손실 없이 영상을 저주파(전체 구조)와 고주파(세밀한 디테일) 성분으로 분해하고, 역변환으로 완벽 복원합니다.

3D Haar Wavelet. 128³ 복셀 영상을 64³ × 8채널의 웨이블릿 계수로 분해해 모든 정보를 보존하면서 연산량을 크게 줄였습니다.

손실 함수. 표준 DDPM noise prediction loss:

$$\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \big[\, \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})\|^2 \,\big]$$

조건 변수 c 는 baseline (SC 시점) DaTScan 영상입니다.

평가 지표

영상 품질: PSNR, SSIM, RMSE
임상적 유효성: Striatal Binding Ratio (SBR) — 미상핵(caudate), 피각(putamen), 피각/미상핵 비율(P/C ratio)
정성 평가: 임상용 color lookup table을 적용해 baseline · 실제 V04 · 합성 V04 비교

결과

테스트 세트(n = 112)에서 합성된 V04 영상의 정량 성능:

PSNR: 21.99 ± 2.40 dB
SSIM: 0.6452 ± 0.065

부위별 SBR은 실제 추적 영상과 강한 상관을 보였습니다:

전체 선조체(striatum): r = 0.676, p < 0.001
미상핵(caudate): r = 0.699, p < 0.001
피각(putamen): r = 0.660, p < 0.001
피각/미상핵 비율 (P/C ratio): r = 0.670, p < 0.001

임상용 color scale을 적용한 정성적 비교에서, 합성 영상은 선조체 영역의 전반적 섭취 위치를 반영하였으나 세부 구조의 선명도에는 한계가 있었습니다.

결론

단일 초기 DaTScan 영상으로부터 2년 후 영상을 합성하는 딥러닝 프레임워크를 제시했고, 피각/미상핵 비율을 포함한 부위별 진행 지표에서 실제 추적 영상과 유의한 상관관계를 확인했습니다. 향후 임상 변수와의 결합을 통해 개인화된 파킨슨병 진행 예측 모델로 확장될 수 있습니다.

성과

이채현, 이기림, 정봉기, 최수인, 박보용, “딥러닝 기반 파킨슨병 도파민 수송체 영상의 종단적 진행 예측: 조건부 웨이블릿 확산 모델을 활용한 미래 DaTScan 영상 합성”, 한국통계학회, 2026 (포스터, 1저자).

OPT2I — Iterative Prompt Refinement

Fri, 10 Apr 2026 00:00:00 +0000

개요

가상 아이돌 캐릭터의 특정 자세 컷을 prompt 만으로 안정적으로 생성하기 어려워, iterative prompt refinement 알고리즘을 적용한 실험. 베이스 알고리즘은 Mañas et al. (2024) 의 OPT2I — LLM을 prompt optimizer로 두고 반복적으로 prompt를 다듬어 vision-language metric을 끌어올리는 방법.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 알고리즘 구조와 실험 설계 중심으로 정리합니다.

1. OPT2I 알고리즘 (요약)

OPT2I는 text-to-image 생성에서 prompt-image alignment 를 끌어올리기 위한 LLM-as-optimizer 루프.

Input: user_prompt (초기 prompt)
Output: best_prompt (최적화된 prompt)

for round r = 1..R:
 1. LLM이 현재 best prompt를 변주해 K개의 variant 생성
 2. 각 variant로 이미지 생성 (T2I model)
 3. 각 이미지의 alignment score 측정 (e.g., CLIPScore, ImageReward, DSG)
 4. 가장 높은 점수의 prompt를 다음 round의 seed로 채택
 5. 점수가 더 이상 개선되지 않으면 조기 종료

핵심 가정: LLM이 좋은 prompt 생성기일 뿐 아니라 좋은 prompt 비평가 도 될 수 있다 → 이전 round의 점수와 prompt 변종 패턴을 LLM context에 넣어 더 나은 변주를 유도.

→ 논문:

2. 구현 — Round × Variant 격자

본 실험에서 사용한 OPT2I 변형 파이프라인:

차원	표기	값
Round	`R2 – R5`	최대 5 라운드
Variant	`V1 – V5`	라운드 당 후보 변종 수

각 round마다 variant 별 이미지 를 모두 저장해 사후 정성 검수 + 정량 비교 가능하도록 했습니다.

3. 평가 Metric — DSG (Davidsonian Scene Graph)

평가 metric으로 DSG (Davidsonian Scene Graph) 를 결합.

DSG는 prompt를 scene graph atomic question 들로 분해하고, VQA 모델로 각 question에 대한 응답 정확도를 평가.
단일 score보다 prompt의 어떤 측면이 충족/실패 했는지 지시적 (interpretable).

→ R-V 격자 결과를 DSG 점수로 비교해, “이 prompt 변주가 얼굴 형태는 잘 맞췄지만 헤어 길이 묘사가 약하다” 같은 진단을 자동화.

4. 결과 분석 관점 (정성 요약)

DSG 도입 효과 — DSG atomic 평가는 prompt의 어떤 부분이 부족한지 가리켜주어 다음 round prompt 변주의 방향성 이 명확해짐.
Round 수 trade-off — round R≥4부터는 점수 상승이 둔화되는 경향. R=5 cap 으로도 충분.
비용 — round 수 × variant 수 × character 수 만큼 image API 호출이 늘어 비용이 빠르게 증가. 변종 1회당 약 $25–30 수준 (대략 추정).

Stack

Python — OPT2I 루프 구현, round/variant 격자 관리, 결과 집계
Gemini Flash Image Preview
LLM-as-optimizer — prompt 변주 생성용 LLM (variant 후보 생성)
DSG (Davidsonian Scene Graph) — alignment evaluation metric

참고

Mañas et al., Improving Text-to-Image Consistency via Automatic Prompt Optimization, 2024 —
Cho et al., Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation, ICLR 2024
Implementation — (OPT2I + DSG core + side/fullbody runners)

Content Image Generation

Mon, 06 Apr 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 콘텐츠 이미지 생성 실험입니다. 가상 아이돌에게 다양한 scene을 입히면서도 캐릭터(얼굴) 정체성은 변하지 않도록, prompt 설계·reference conditioning·격자 탐색을 결합해 검증했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 설계와 방법론 중심으로 정리합니다.

실험 목적

“같은 캐릭터(얼굴)를 유지하면서, 다양한 scene의 콘텐츠 컷을 일관되게 생성할 수 있는가?”

일관성 (consistency) — 캐릭터의 얼굴이 scene이 바뀌어도 같은 사람으로 인식되어야 함
다양성 (variety) — 같은 캐릭터라도 scene·구도·의상이 자연스럽게 변주되어야 함
콘셉트 표현 — 각 scene의 분위기 (일상의 자연스러움, 상황감, 아이돌 포즈) 가 prompt만으로 전달되어야 함

실험 설계

신(Scene) 3종

신 ID	콘셉트	목적
Scene #1	일상, 자연스러움	자연스러운 표정 자세로 친근감 형성
Scene #2	시그니처 포즈	팬 인터랙션용 정형 포즈 일관성 검증
Scene #3	특정 장소 배경	콘셉트가 강한 narrative 컷의 prompt 표현력 검증

Reference-Image Conditioning

각 콘텐츠 컷 생성 시 유저가 생성한 캐릭터 ID 사진을 reference로 함께 입력해, 얼굴 정체성 유지 를 강제합니다. Prompt 앞단에 다음과 같은 지침을 둡니다 (요약):

Keep the person’s facial features exactly the same as the reference image. This is the same person, not a look-alike or approximation.

이를 통해 gemini의 image-to-image 모드에서 동일 인물성을 안정적으로 보장.

Combo 변주

각 신 안에서 combo (조합) 단위로 prompt 변종을 둡니다 — 의상 / 헤어 등 hyperparameter를 격자 탐색 형태로 변형. 동일 character × 동일 combo에서 trial 반복 으로 생성 안정성도 같이 본다.

생성 규모

실험	생성 이미지 수
Scene #1	≈ 1,249 장
Scene #2	≈ 937 장
Scene #3	≈ 1,041 장
총합	≈ 3,200 장

각 이미지는 384×688 해상도, 평균 약 9–11초 / 장 소요, 장당 비용 약 $0.045 수준.

결과 분석 관점

얼굴 일관성 — 헤어 색·길이는 prompt에 명시적 제약 (Do NOT alter the hairstyle color or length) 을 둬야 안정적이었다.
포즈 정확성 — 손가락 위치·구도가 변동성이 큼. 별도 negative prompt (e.g., no extra fingers) 로 보완.
콘셉트 강도 — 장소 디테일은 prompt에 명시적으로 포함시킬수록 narrative가 살아나지만, 그만큼 얼굴 영역의 픽셀 비율이 줄어 정체성 손실 위험 증가 → reference 가중치 / 카메라 거리 prompt를 같이 조정.

실험 흐름 (자동화)

각 sprint는 다음 자동화 파이프라인 위에서 돌렸습니다.

Prompt template 정의 — scene별 system prompt + character 변수 슬롯
Combo grid expansion — Python으로 character × combo × trial 격자 생성
API 호출 — image+text → image
HTML report 자동 생성 — combo 단위로 시각적으로 묶어 검수 가능한 리포트

Stack

Python — 실험 파이프라인 (combo grid, API 호출, HTML report 생성)
Gemini Flash Image Preview — 이미지 생성 모델
Prompt Engineering — system prompt + reference conditioning + negative constraints

Cross-Modality Neonatal Brain Image Conversion with Latent Diffusion

Mon, 01 Sep 2025 00:00:00 +0000

개요

신생아 뇌 MRI에서 routinely 수집되는 T2-weighted (T2w) 영상으로부터 T1-weighted (T1w) 영상을 합성하는 cross-modality conversion 모델을 개발했습니다. T1w와 T2w는 조직 특성을 상보적으로 표현하지만, 신생아의 경우 짧은 스캔 시간, 움직임 인공물, 진정제 사용 위험 등으로 두 contrast 모두를 얻기 어렵습니다. 본 연구는 누락된 modality를 합성해 multi-contrast 진단을 가능케 하는 빠르고 sedation-free한 경로를 제시합니다.

방법론

모델 구조. 2D slice-wise conditional latent diffusion model (LDM)을 설계했습니다. 40쌍의 bias field-corrected T1w/T2w 데이터를 z-축 기준으로 slicing하고, Autoencoder-KL로 latent 공간에 인코딩한 뒤, T2w latent와 modality 조건 정보를 spatially aligned 방식으로 결합해 conditional image-to-image translation을 수행했습니다.

선행 기법과의 비교. 기존 GAN 기반 cross-modality translation은 학습 과정의 특성상 mode collapse, 비수렴, 불안정성 문제가 빈번했습니다. Denoising Diffusion Probabilistic Model (DDPM) 계열은 noise-perturbation 학습 과정 덕분에 더 안정적이고 다양한 출력을 생성하며, 영상 합성 task에서 GAN보다 우수함이 보고되었습니다.

손실 함수. Latent space와 conditioning key $\mathbf{y}$, diffusion time step $t$ 를 함께 고려한 LDM의 noise prediction loss는 다음과 같이 정의됩니다.

결과

Held-out test set에서 합성 T1w 영상이 다음 성능을 달성했습니다.

PSNR: 21.03 dB
SSIM: 0.6963

의의

T2w만으로 누락된 T1w를 생성할 수 있어 multi-contrast neonatal MRI에 빠르고 sedation-free한 접근 경로를 제공합니다. 본 framework는 infant 또는 fetal MRI 데이터로도 자연스럽게 확장 가능합니다.

성과

C.H. Lee, K. Lee, B. Park, “Cross-Modality Neonatal Brain Image Conversion Using a Latent Diffusion Model,” 2025 Second International Conference on Artificial Intelligence for Medicine, Health and Care (AIxMHC), IEEE, 2025. (Oral)

Diffusion Models: DDPM 수식 유도와 응용 (DDIM, LDM)

Tue, 28 May 2024 00:00:00 +0000

Concept

Diffusion model의 생물학적 원리. 분자 구조가 퍼져 나가는 모습에서 착안. 예) 물에 잉크가 퍼지는 과정, 공기 중에 연기가 퍼지는 과정.

수학적 원리. 분자의 다음 위치는 gaussian distribution 에 의해 결정된다.

Forward / Reverse Process

Forward process — 앞선 이미지에 gaussian distribution을 연속적으로 곱해 noise를 추가한다.

Reverse process — 같은 가우시안 분포를 곱해 denoising 상태로 복원한다. 학습을 위한 loss term을 구하는 과정에서 $p$ 와 $q$ 의 평균·분산을 알아야 한다.

여기서

$p$ : 우리가 구하고 싶은, 이미 정해진 정답 pdf
$q$ : 우리가 학습을 통해 구해야 하는 pdf

사전 지식

KL divergence — 두 확률 분포의 차이를 계산. 거리 개념은 아님 (asymmetric).
Markov chain — 현재 상태는 바로 이전 상태의 영향만 받는다.
Bayes’ theorem
ELBO (Evidence Lower Bound) — VAE에서 출발한 개념. MLE를 푸는 한 방식.

VAE에서 ELBO

VAE에서는 latent $z$ 가 주어졌을 때 관측 $x$ 의 분포 $p(x \mid z)$ 를 모델링한다. $p(x)$ 자체는 직접 구하기 어렵고, $q(z \mid x)$ 라는 추정 분포로 우회한다.

KL divergence 정의로부터

$$D_{\mathrm{KL}}(q(z\mid x) \,\|\, p(z\mid x)) = \int q(z\mid x) \log\frac{q(z\mid x)}{p(z\mid x)}\,dz \ge 0$$

이를 풀어서 $\log p(x)$ 만 남기고 정리하면

$$\log p(x) = D_{\mathrm{KL}}(q(z\mid x)\,\|\,p(z\mid x)) - \mathbb{E}_{q(z\mid x)}[\log q(z\mid x)] + \mathbb{E}_{q(z\mid x)}[\log p(x, z)]$$

$\log p(x)$ 는 fixed
첫 항 $D_{\mathrm{KL}} \ge 0$ 이고, 이걸 minimize 해야 $q$ 가 $p$ 에 가까워진다
그러면 나머지 두 항 (ELBO) 은 자연스럽게 maximize 된다

ELBO 부분을 정리하면

$$\mathrm{ELBO} = \mathbb{E}_{q(z\mid x)}\!\left[\log\frac{p(x, z)}{q(z\mid x)}\right]$$

→ 이걸 maximize하는 게 VAE 학습의 핵심.

VAE → DDPM 연결

DDPM에서는 latent $z$ 자리에 여러 시점의 noisy state $x_1, x_2, \dots, x_T$ 가 들어간다 ($x_0$ 는 원본 이미지).

ELBO에 음수를 붙여 minimize 문제로 바꾸면

$$\mathcal{L} = -\mathbb{E}_{q(x_{1:T} \mid x_0)}\!\left[\log\frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)}\right]$$

이게 DDPM loss의 출발점.

DDPM Loss 수식 유도

Markov chain 가정 하에서 joint 분포가 chain rule로 분해된다:

$$p_\theta(x_{0:T}) = p(x_T)\prod_{t=1}^{T} p_\theta(x_{t-1} \mid x_t)$$$$q(x_{1:T} \mid x_0) = \prod_{t=1}^{T} q(x_t \mid x_{t-1})$$

대입 후 로그 전개:

$$\mathcal{L} = \mathbb{E}_q\!\left[-\log p(x_T) + \sum_{t=1}^{T} \log\frac{q(x_t \mid x_{t-1})}{p_\theta(x_{t-1} \mid x_t)}\right]$$

Bayes’ theorem과 markov 성질로 $q(x_t \mid x_{t-1}) = q(x_t \mid x_{t-1}, x_0)$ 가 성립하고, 이를 활용해 $q(x_{t-1} \mid x_t, x_0)$ 형태로 변환:

$$q(x_t \mid x_{t-1}, x_0) = \frac{q(x_{t-1} \mid x_t, x_0)\, q(x_t \mid x_0)}{q(x_{t-1} \mid x_0)}$$

이 변환을 적용하면 telescoping이 일어나며 최종적으로 다음의 KL 형태로 정리된다.

$$\mathcal{L} = \mathbb{E}_q\!\left[\underbrace{D_{\mathrm{KL}}(q(x_T \mid x_0)\,\|\,p(x_T))}_{L_T} + \sum_{t=2}^{T} \underbrace{D_{\mathrm{KL}}(q(x_{t-1} \mid x_t, x_0)\,\|\,p_\theta(x_{t-1} \mid x_t))}_{L_{t-1}} \;-\; \underbrace{\log p_\theta(x_0 \mid x_1)}_{L_0}\right]$$

학습할 항만 남기기

$L_T$ — forward process에서만 쓰이고 학습할 파라미터 없음 → 무시
$L_0$ — 영향이 미미해서 무시
결국 $L_{t-1}$ 만 minimize 하면 됨

$q(x_{t-1} \mid x_t, x_0)$ 의 평균·분산

Forward process: $q(x_t \mid x_{t-1}) = \mathcal{N}(x_t;\, \sqrt{1-\beta_t}\, x_{t-1},\, \beta_t I)$.

$\alpha_t = 1 - \beta_t$, $\bar\alpha_t = \prod_{s=1}^{t}\alpha_s$ 라 정의하면 reparameterization trick으로

$$q(x_t \mid x_0) = \mathcal{N}(x_t;\, \sqrt{\bar\alpha_t}\,x_0,\, (1-\bar\alpha_t) I)$$

Bayes’ theorem과 가우시안 곱 정리로

$$q(x_{t-1} \mid x_t, x_0) = \mathcal{N}\big(x_{t-1};\, \tilde\mu_t(x_t, x_0),\, \tilde\beta_t I\big)$$

여기서

$$\tilde\mu_t(x_t, x_0) = \frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,x_t$$$$\tilde\beta_t = \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\,\beta_t$$

$x_0 = \dfrac{1}{\sqrt{\bar\alpha_t}}\big(x_t - \sqrt{1-\bar\alpha_t}\,\epsilon\big)$ 로 다시 정리하면

$$\tilde\mu_t(x_t, x_0) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon\right)$$

$p_\theta(x_{t-1} \mid x_t)$ 의 정의

가우시안 분포로 가정하고, 평균을 다음처럼 네트워크 출력 $\epsilon_\theta$ 의 형태로 둔다:

$$p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\!\big(x_{t-1};\, \mu_\theta(x_t, t),\, \sigma_t^2 I\big)$$$$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right)$$

→ 두 평균의 차이만 학습하면 되고, 이는 곧 $\epsilon$ vs $\epsilon_\theta$ 의 차이를 학습하는 것이 된다.

가우시안 KL → 평균 차이의 L2

분산이 같은 두 가우시안의 KL은 평균 제곱 차로 환원되므로

$$L_{t-1} = \mathbb{E}_{x_0,\epsilon}\!\left[\frac{\beta_t^2}{2\sigma_t^2\,\alpha_t(1-\bar\alpha_t)} \,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\right]$$

단순화된 최종 loss

DDPM 논문에서는 weight term을 제거한 단순화된 loss를 사용한다:

$$\mathcal{L}_{\text{simple}}(\theta) = \mathbb{E}_{t,\,x_0,\,\epsilon}\!\left[\,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\,\right], \qquad \epsilon \sim \mathcal{N}(0, I)$$

→ 결국 U-Net (또는 다른 구조)이 noise $\epsilon$ 을 예측하도록 학습시키는 단순한 MSE 회귀 문제로 귀결.

학습·샘플링 알고리즘 요약

Training: $x_0$ 와 $t \sim \mathrm{Unif}(\{1, \dots, T\})$, $\epsilon \sim \mathcal{N}(0, I)$ 을 뽑아 $\mathcal{L}_{\text{simple}}$ 의 SGD로 $\epsilon_\theta$ 를 학습.

Sampling: $x_T \sim \mathcal{N}(0, I)$ 부터 시작, $t = T, T-1, \dots, 1$ 까지 reverse step으로

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right) + \sigma_t z, \quad z \sim \mathcal{N}(0, I)$$

DDIM (Denoising Diffusion Implicit Models)

Song et al. (2021)

DDPM은 markov chain을 연속적으로 곱해 process가 이루어져 샘플링이 느리다 ($T$ 보통 1000).

이를 단축하기 위해 non-markovian 개념을 도입. Forward process에서 $x_t$ 분포를 구할 때 $x_{t-1}$ 와 $x_0$ 만으로도 정의 가능 → markov 성질을 가정할 필요 없음. Sampling step을 대폭 줄여도 품질이 유지된다.

가우시안이 아니어도 적용 가능 (이상치가 많은 분포라면 t분포·코시분포 활용 검토 가능).

Diffusion-GAN

Wang et al. (2023)

Diffusion model에 GAN의 discriminator를 도입. Generator + Discriminator 구조로,

Real noise (forward process로 만든 noisy image) 와 fake noise (학습한 모델이 만든 noisy image) 사이의 차이를 discriminator가 판별
둘의 차이를 minimize하도록 generator를 학습

Latent Diffusion Model (LDM)

Rombach et al. (2022) — High-Resolution Image Synthesis with Latent Diffusion Models

기존 diffusion model은 픽셀 공간에서 직접 작동해 계산량이 많다. LDM은 이를 줄이기 위해 차원 축소된 latent space에서 diffusion을 수행한다.

Pixel space vs Latent space

Pixel space: 차원 축소되지 않은 고차원
Latent space: 차원 축소된 저차원

이미지의 resolution은 두 측면으로 분해할 수 있다:

Semantic — 사물의 형체만 알아볼 정도의 해상도
Perceptual — 더 디테일한 정보

차원 축소 시 perceptual 정보를 덜어내고 semantic resolution을 보존한다. 이 latent에서 diffusion을 수행한 뒤 decoder로 perceptual 정보를 복원.

구조

VAE의 autoencoder 개념이 결합된 구조:

$\varepsilon$ (encoder): pixel → latent
$\mathcal{D}$ (decoder): latent → pixel
Diffusion 은 latent space에서 작동

내부적으로는 U-Net + attention-based transformer 모듈을 결합. Conditioning ($y$ — 텍스트, 클래스 라벨, semantic map 등) 은 cross-attention으로 주입한다.

손실 함수

$$\mathcal{L}_{\mathrm{LDM}} = \mathbb{E}_{z_0,\, y,\, \epsilon,\, t}\!\left[\,\big\|\epsilon - \epsilon_\theta(z_t,\, t,\, y)\big\|_2^2\,\right]$$

→ 픽셀 공간 DDPM의 단순화된 loss와 형태는 같고, 변수만 latent $z$ 와 condition $y$ 로 바뀐 형태.

왜 좋은가

차원 축소된 공간에서 diffusion → 계산 비용 ↓
Latent space는 likelihood 기반 생성 모델에 더 적합
Semantic 수준에서만 학습되므로 데이터 효율성도 ↑

정리

DDPM의 loss는 결국 VAE의 ELBO를 markov chain으로 펼친 형태이며, 가우시안 KL이 평균 차의 L2로 환원되어 결국 “noise 예측” 회귀 문제가 된다.

DDIM은 sampling 가속화, Diffusion-GAN은 GAN과의 결합, LDM은 latent space 활용으로 계산 효율을 끌어올린 후속 작업들.

참고

Ho et al., Denoising Diffusion Probabilistic Models, NeurIPS 2020
Song et al., Denoising Diffusion Implicit Models, ICLR 2021
Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models, CVPR 2022
Wang et al., Diffusion-GAN: Training GANs with Diffusion, 2023