Deep Learning |

Future DaTScan Synthesis for Parkinson's Progression with Conditional Wavelet Diffusion

Fri, 01 May 2026 00:00:00 +0000

개요

파킨슨병(Parkinson’s disease, PD) 환자의 도파민 신경 퇴행 진행을 예측하기 위한 딥러닝 프레임워크입니다. 초기(screening) DaTScan SPECT 영상 한 장을 조건으로 2년 후(V04) 시점의 DaTScan 영상을 합성해, 반복 촬영 없이 개인 수준의 진행 양상을 시각적으로 예측합니다.

기존 연구는 미래 UPDRS 점수 등 수치 예측에 그쳤지만, 본 연구는 영상 자체를 생성해 도파민 손실의 공간적 분포를 정성적으로도 보여줍니다. 임상에서 의사가 영상을 직접 판독해 진단하는 현실을 고려하면 정량 + 정성 모두 의미가 있습니다.

배경

DaTScan은 파킨슨병 진단의 핵심 영상 바이오마커지만, 방사선 피폭, 추적자 주입 후 3–6시간 대기, 핵의학 장비 접근성, 운동 증상이 진행된 환자의 SPECT 자세 유지 어려움 등으로 종단적(longitudinal) 추적 촬영에 실질적 제약이 따릅니다. 초기 영상만으로 미래 시점의 도파민 분포 패턴을 예측할 수 있다면, 불필요한 반복 촬영 없이 개인화된 예후 예측과 조기 예방적 권고가 가능해집니다.

데이터

출처: Parkinson’s Progression Markers Initiative (PPMI)
구성: 스크리닝(SC) 시점과 2년 후(V04) 시점의 DaTScan SPECT 영상 쌍, 품질 관리 후 746쌍
전처리: 공간 정규화 + 강도 정규화
분할: train / validation / test = 7 : 1.5 : 1.5

방법론

조건부 웨이블릿 확산 모델 (cWDM). Friedrich et al. (2024)의 cWDM 프레임워크를 적용했습니다. 학습 기반 오토인코더와 달리 웨이블릿 변환은 정보 손실 없이 영상을 저주파(전체 구조)와 고주파(세밀한 디테일) 성분으로 분해하고, 역변환으로 완벽 복원합니다.

3D Haar Wavelet. 128³ 복셀 영상을 64³ × 8채널의 웨이블릿 계수로 분해해 모든 정보를 보존하면서 연산량을 크게 줄였습니다.

손실 함수. 표준 DDPM noise prediction loss:

$$\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \big[\, \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})\|^2 \,\big]$$

조건 변수 c 는 baseline (SC 시점) DaTScan 영상입니다.

평가 지표

영상 품질: PSNR, SSIM, RMSE
임상적 유효성: Striatal Binding Ratio (SBR) — 미상핵(caudate), 피각(putamen), 피각/미상핵 비율(P/C ratio)
정성 평가: 임상용 color lookup table을 적용해 baseline · 실제 V04 · 합성 V04 비교

결과

테스트 세트(n = 112)에서 합성된 V04 영상의 정량 성능:

PSNR: 21.99 ± 2.40 dB
SSIM: 0.6452 ± 0.065

부위별 SBR은 실제 추적 영상과 강한 상관을 보였습니다:

전체 선조체(striatum): r = 0.676, p < 0.001
미상핵(caudate): r = 0.699, p < 0.001
피각(putamen): r = 0.660, p < 0.001
피각/미상핵 비율 (P/C ratio): r = 0.670, p < 0.001

임상용 color scale을 적용한 정성적 비교에서, 합성 영상은 선조체 영역의 전반적 섭취 위치를 반영하였으나 세부 구조의 선명도에는 한계가 있었습니다.

결론

단일 초기 DaTScan 영상으로부터 2년 후 영상을 합성하는 딥러닝 프레임워크를 제시했고, 피각/미상핵 비율을 포함한 부위별 진행 지표에서 실제 추적 영상과 유의한 상관관계를 확인했습니다. 향후 임상 변수와의 결합을 통해 개인화된 파킨슨병 진행 예측 모델로 확장될 수 있습니다.

성과

이채현, 이기림, 정봉기, 최수인, 박보용, “딥러닝 기반 파킨슨병 도파민 수송체 영상의 종단적 진행 예측: 조건부 웨이블릿 확산 모델을 활용한 미래 DaTScan 영상 합성”, 한국통계학회, 2026 (포스터, 1저자).

Cross-Modality Neonatal Brain Image Conversion with Latent Diffusion

Mon, 01 Sep 2025 00:00:00 +0000

개요

신생아 뇌 MRI에서 routinely 수집되는 T2-weighted (T2w) 영상으로부터 T1-weighted (T1w) 영상을 합성하는 cross-modality conversion 모델을 개발했습니다. T1w와 T2w는 조직 특성을 상보적으로 표현하지만, 신생아의 경우 짧은 스캔 시간, 움직임 인공물, 진정제 사용 위험 등으로 두 contrast 모두를 얻기 어렵습니다. 본 연구는 누락된 modality를 합성해 multi-contrast 진단을 가능케 하는 빠르고 sedation-free한 경로를 제시합니다.

방법론

모델 구조. 2D slice-wise conditional latent diffusion model (LDM)을 설계했습니다. 40쌍의 bias field-corrected T1w/T2w 데이터를 z-축 기준으로 slicing하고, Autoencoder-KL로 latent 공간에 인코딩한 뒤, T2w latent와 modality 조건 정보를 spatially aligned 방식으로 결합해 conditional image-to-image translation을 수행했습니다.

선행 기법과의 비교. 기존 GAN 기반 cross-modality translation은 학습 과정의 특성상 mode collapse, 비수렴, 불안정성 문제가 빈번했습니다. Denoising Diffusion Probabilistic Model (DDPM) 계열은 noise-perturbation 학습 과정 덕분에 더 안정적이고 다양한 출력을 생성하며, 영상 합성 task에서 GAN보다 우수함이 보고되었습니다.

손실 함수. Latent space와 conditioning key $\mathbf{y}$, diffusion time step $t$ 를 함께 고려한 LDM의 noise prediction loss는 다음과 같이 정의됩니다.

결과

Held-out test set에서 합성 T1w 영상이 다음 성능을 달성했습니다.

PSNR: 21.03 dB
SSIM: 0.6963

의의

T2w만으로 누락된 T1w를 생성할 수 있어 multi-contrast neonatal MRI에 빠르고 sedation-free한 접근 경로를 제공합니다. 본 framework는 infant 또는 fetal MRI 데이터로도 자연스럽게 확장 가능합니다.

성과

C.H. Lee, K. Lee, B. Park, “Cross-Modality Neonatal Brain Image Conversion Using a Latent Diffusion Model,” 2025 Second International Conference on Artificial Intelligence for Medicine, Health and Care (AIxMHC), IEEE, 2025. (Oral)

MLP (Multi-Layer Perceptron)

Sat, 21 Sep 2024 00:00:00 +0000

Perceptron의 한계

단일 perceptron은 두 클래스를 분리하는 hyperplane을 만드는 선형 모델. 변수 관계가 비선형이면 잡아내지 못한다 — 곡선 패턴이 더 적합한 복잡한 관계를 선형 회귀가 잡을 수 없는 것과 같은 한계.

MLP 도입

핵심 원리: 여러 선을 결합해 복잡한 문제를 작은 부분 문제들로 분해한다. 서로 다른 영역을 식별하는 여러 perceptron을 만들고 그 출력을 조합 → 비선형 결정 경계 형성.

여러 hidden layer를 쌓으면 모델 복잡도가 증가하고 — 이게 바로 딥러닝 아키텍처의 시작.

Decision Boundary 비교

모델	결정 경계
Logistic regression	선 1개, 임의 방향
Decision tree	축에 수직인 여러 선
MLP	선 개수와 방향 모두 자유롭게 조정 가능 (hidden layer / node 수로 복잡도 제어)

기본 구조

각 input은 모든 hidden node에 서로 다른 가중치로 연결됨. Hidden node가 정보를 처리해 output node에서 집계.

분류의 경우 output node 수 = 클래스 수. One-hot encoding + softmax 로 확률 분포 출력:

$$y_j = \frac{e^{z_j}}{\sum_{k=1}^{c} e^{z_k}}$$

Hidden Node의 역할

Hidden node 수 = 네트워크의 복잡도. 노드가 많을수록 더 정교한 결정 경계가 가능.

XOR 문제 다시 보기

선형 분리가 불가능한 데이터를 hidden node를 통해 분리 가능한 공간으로 변환한다. 중간 단계에서 선형 분리들을 만들고 결합하면, 원래는 분리 불가능했던 데이터셋도 분류 가능해진다.

Error Back-Propagation

Gradient descent + backpropagation으로 가중치 업데이트.

Output → Hidden 가중치: 실제값과 예측값의 차이 × hidden node 값에 비례해 조정
Input → Hidden 가중치: 오차 크기와 input 값에 의존

학습 종료 / 기타

학습은 다음 조건에서 종료:

가중치 변화가 미미함
Validation 오차가 임계값 아래로 떨어짐
미리 정한 epoch 수 도달

Overfitting 방지를 위한 메커니즘들이 존재 (dropout, regularization, early stopping 등).

원문:

Diffusion Models: DDPM 수식 유도와 응용 (DDIM, LDM)

Tue, 28 May 2024 00:00:00 +0000

Concept

Diffusion model의 생물학적 원리. 분자 구조가 퍼져 나가는 모습에서 착안. 예) 물에 잉크가 퍼지는 과정, 공기 중에 연기가 퍼지는 과정.

수학적 원리. 분자의 다음 위치는 gaussian distribution 에 의해 결정된다.

Forward / Reverse Process

Forward process — 앞선 이미지에 gaussian distribution을 연속적으로 곱해 noise를 추가한다.

Reverse process — 같은 가우시안 분포를 곱해 denoising 상태로 복원한다. 학습을 위한 loss term을 구하는 과정에서 $p$ 와 $q$ 의 평균·분산을 알아야 한다.

여기서

$p$ : 우리가 구하고 싶은, 이미 정해진 정답 pdf
$q$ : 우리가 학습을 통해 구해야 하는 pdf

사전 지식

KL divergence — 두 확률 분포의 차이를 계산. 거리 개념은 아님 (asymmetric).
Markov chain — 현재 상태는 바로 이전 상태의 영향만 받는다.
Bayes’ theorem
ELBO (Evidence Lower Bound) — VAE에서 출발한 개념. MLE를 푸는 한 방식.

VAE에서 ELBO

VAE에서는 latent $z$ 가 주어졌을 때 관측 $x$ 의 분포 $p(x \mid z)$ 를 모델링한다. $p(x)$ 자체는 직접 구하기 어렵고, $q(z \mid x)$ 라는 추정 분포로 우회한다.

KL divergence 정의로부터

$$D_{\mathrm{KL}}(q(z\mid x) \,\|\, p(z\mid x)) = \int q(z\mid x) \log\frac{q(z\mid x)}{p(z\mid x)}\,dz \ge 0$$

이를 풀어서 $\log p(x)$ 만 남기고 정리하면

$$\log p(x) = D_{\mathrm{KL}}(q(z\mid x)\,\|\,p(z\mid x)) - \mathbb{E}_{q(z\mid x)}[\log q(z\mid x)] + \mathbb{E}_{q(z\mid x)}[\log p(x, z)]$$

$\log p(x)$ 는 fixed
첫 항 $D_{\mathrm{KL}} \ge 0$ 이고, 이걸 minimize 해야 $q$ 가 $p$ 에 가까워진다
그러면 나머지 두 항 (ELBO) 은 자연스럽게 maximize 된다

ELBO 부분을 정리하면

$$\mathrm{ELBO} = \mathbb{E}_{q(z\mid x)}\!\left[\log\frac{p(x, z)}{q(z\mid x)}\right]$$

→ 이걸 maximize하는 게 VAE 학습의 핵심.

VAE → DDPM 연결

DDPM에서는 latent $z$ 자리에 여러 시점의 noisy state $x_1, x_2, \dots, x_T$ 가 들어간다 ($x_0$ 는 원본 이미지).

ELBO에 음수를 붙여 minimize 문제로 바꾸면

$$\mathcal{L} = -\mathbb{E}_{q(x_{1:T} \mid x_0)}\!\left[\log\frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)}\right]$$

이게 DDPM loss의 출발점.

DDPM Loss 수식 유도

Markov chain 가정 하에서 joint 분포가 chain rule로 분해된다:

$$p_\theta(x_{0:T}) = p(x_T)\prod_{t=1}^{T} p_\theta(x_{t-1} \mid x_t)$$$$q(x_{1:T} \mid x_0) = \prod_{t=1}^{T} q(x_t \mid x_{t-1})$$

대입 후 로그 전개:

$$\mathcal{L} = \mathbb{E}_q\!\left[-\log p(x_T) + \sum_{t=1}^{T} \log\frac{q(x_t \mid x_{t-1})}{p_\theta(x_{t-1} \mid x_t)}\right]$$

Bayes’ theorem과 markov 성질로 $q(x_t \mid x_{t-1}) = q(x_t \mid x_{t-1}, x_0)$ 가 성립하고, 이를 활용해 $q(x_{t-1} \mid x_t, x_0)$ 형태로 변환:

$$q(x_t \mid x_{t-1}, x_0) = \frac{q(x_{t-1} \mid x_t, x_0)\, q(x_t \mid x_0)}{q(x_{t-1} \mid x_0)}$$

이 변환을 적용하면 telescoping이 일어나며 최종적으로 다음의 KL 형태로 정리된다.

$$\mathcal{L} = \mathbb{E}_q\!\left[\underbrace{D_{\mathrm{KL}}(q(x_T \mid x_0)\,\|\,p(x_T))}_{L_T} + \sum_{t=2}^{T} \underbrace{D_{\mathrm{KL}}(q(x_{t-1} \mid x_t, x_0)\,\|\,p_\theta(x_{t-1} \mid x_t))}_{L_{t-1}} \;-\; \underbrace{\log p_\theta(x_0 \mid x_1)}_{L_0}\right]$$

학습할 항만 남기기

$L_T$ — forward process에서만 쓰이고 학습할 파라미터 없음 → 무시
$L_0$ — 영향이 미미해서 무시
결국 $L_{t-1}$ 만 minimize 하면 됨

$q(x_{t-1} \mid x_t, x_0)$ 의 평균·분산

Forward process: $q(x_t \mid x_{t-1}) = \mathcal{N}(x_t;\, \sqrt{1-\beta_t}\, x_{t-1},\, \beta_t I)$.

$\alpha_t = 1 - \beta_t$, $\bar\alpha_t = \prod_{s=1}^{t}\alpha_s$ 라 정의하면 reparameterization trick으로

$$q(x_t \mid x_0) = \mathcal{N}(x_t;\, \sqrt{\bar\alpha_t}\,x_0,\, (1-\bar\alpha_t) I)$$

Bayes’ theorem과 가우시안 곱 정리로

$$q(x_{t-1} \mid x_t, x_0) = \mathcal{N}\big(x_{t-1};\, \tilde\mu_t(x_t, x_0),\, \tilde\beta_t I\big)$$

여기서

$$\tilde\mu_t(x_t, x_0) = \frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,x_t$$$$\tilde\beta_t = \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\,\beta_t$$

$x_0 = \dfrac{1}{\sqrt{\bar\alpha_t}}\big(x_t - \sqrt{1-\bar\alpha_t}\,\epsilon\big)$ 로 다시 정리하면

$$\tilde\mu_t(x_t, x_0) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon\right)$$

$p_\theta(x_{t-1} \mid x_t)$ 의 정의

가우시안 분포로 가정하고, 평균을 다음처럼 네트워크 출력 $\epsilon_\theta$ 의 형태로 둔다:

$$p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\!\big(x_{t-1};\, \mu_\theta(x_t, t),\, \sigma_t^2 I\big)$$$$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right)$$

→ 두 평균의 차이만 학습하면 되고, 이는 곧 $\epsilon$ vs $\epsilon_\theta$ 의 차이를 학습하는 것이 된다.

가우시안 KL → 평균 차이의 L2

분산이 같은 두 가우시안의 KL은 평균 제곱 차로 환원되므로

$$L_{t-1} = \mathbb{E}_{x_0,\epsilon}\!\left[\frac{\beta_t^2}{2\sigma_t^2\,\alpha_t(1-\bar\alpha_t)} \,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\right]$$

단순화된 최종 loss

DDPM 논문에서는 weight term을 제거한 단순화된 loss를 사용한다:

$$\mathcal{L}_{\text{simple}}(\theta) = \mathbb{E}_{t,\,x_0,\,\epsilon}\!\left[\,\big\|\epsilon - \epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\; t\big)\big\|^2\,\right], \qquad \epsilon \sim \mathcal{N}(0, I)$$

→ 결국 U-Net (또는 다른 구조)이 noise $\epsilon$ 을 예측하도록 학습시키는 단순한 MSE 회귀 문제로 귀결.

학습·샘플링 알고리즘 요약

Training: $x_0$ 와 $t \sim \mathrm{Unif}(\{1, \dots, T\})$, $\epsilon \sim \mathcal{N}(0, I)$ 을 뽑아 $\mathcal{L}_{\text{simple}}$ 의 SGD로 $\epsilon_\theta$ 를 학습.

Sampling: $x_T \sim \mathcal{N}(0, I)$ 부터 시작, $t = T, T-1, \dots, 1$ 까지 reverse step으로

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\epsilon_\theta(x_t, t)\right) + \sigma_t z, \quad z \sim \mathcal{N}(0, I)$$

DDIM (Denoising Diffusion Implicit Models)

Song et al. (2021)

DDPM은 markov chain을 연속적으로 곱해 process가 이루어져 샘플링이 느리다 ($T$ 보통 1000).

이를 단축하기 위해 non-markovian 개념을 도입. Forward process에서 $x_t$ 분포를 구할 때 $x_{t-1}$ 와 $x_0$ 만으로도 정의 가능 → markov 성질을 가정할 필요 없음. Sampling step을 대폭 줄여도 품질이 유지된다.

가우시안이 아니어도 적용 가능 (이상치가 많은 분포라면 t분포·코시분포 활용 검토 가능).

Diffusion-GAN

Wang et al. (2023)

Diffusion model에 GAN의 discriminator를 도입. Generator + Discriminator 구조로,

Real noise (forward process로 만든 noisy image) 와 fake noise (학습한 모델이 만든 noisy image) 사이의 차이를 discriminator가 판별
둘의 차이를 minimize하도록 generator를 학습

Latent Diffusion Model (LDM)

Rombach et al. (2022) — High-Resolution Image Synthesis with Latent Diffusion Models

기존 diffusion model은 픽셀 공간에서 직접 작동해 계산량이 많다. LDM은 이를 줄이기 위해 차원 축소된 latent space에서 diffusion을 수행한다.

Pixel space vs Latent space

Pixel space: 차원 축소되지 않은 고차원
Latent space: 차원 축소된 저차원

이미지의 resolution은 두 측면으로 분해할 수 있다:

Semantic — 사물의 형체만 알아볼 정도의 해상도
Perceptual — 더 디테일한 정보

차원 축소 시 perceptual 정보를 덜어내고 semantic resolution을 보존한다. 이 latent에서 diffusion을 수행한 뒤 decoder로 perceptual 정보를 복원.

구조

VAE의 autoencoder 개념이 결합된 구조:

$\varepsilon$ (encoder): pixel → latent
$\mathcal{D}$ (decoder): latent → pixel
Diffusion 은 latent space에서 작동

내부적으로는 U-Net + attention-based transformer 모듈을 결합. Conditioning ($y$ — 텍스트, 클래스 라벨, semantic map 등) 은 cross-attention으로 주입한다.

손실 함수

$$\mathcal{L}_{\mathrm{LDM}} = \mathbb{E}_{z_0,\, y,\, \epsilon,\, t}\!\left[\,\big\|\epsilon - \epsilon_\theta(z_t,\, t,\, y)\big\|_2^2\,\right]$$

→ 픽셀 공간 DDPM의 단순화된 loss와 형태는 같고, 변수만 latent $z$ 와 condition $y$ 로 바뀐 형태.

왜 좋은가

차원 축소된 공간에서 diffusion → 계산 비용 ↓
Latent space는 likelihood 기반 생성 모델에 더 적합
Semantic 수준에서만 학습되므로 데이터 효율성도 ↑

정리

DDPM의 loss는 결국 VAE의 ELBO를 markov chain으로 펼친 형태이며, 가우시안 KL이 평균 차의 L2로 환원되어 결국 “noise 예측” 회귀 문제가 된다.

DDIM은 sampling 가속화, Diffusion-GAN은 GAN과의 결합, LDM은 latent space 활용으로 계산 효율을 끌어올린 후속 작업들.

참고

Ho et al., Denoising Diffusion Probabilistic Models, NeurIPS 2020
Song et al., Denoising Diffusion Implicit Models, ICLR 2021
Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models, CVPR 2022
Wang et al., Diffusion-GAN: Training GANs with Diffusion, 2023