Image Generation |

Casting Image Generation

Sat, 02 May 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱의 캐릭터를 캐스팅하기 위한 이미지 생성 프로젝트. 얼굴·스타일·분위기 일관성 을 만족하는 트레이니 후보군을 prompt 설계 + 반복 생성 + 정성 평가로 좁혀나갔습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 단계와 방법론 중심으로 정리합니다.

단계별 진화

Step 1 — 초기 캐스팅 prompt 설계

목표: 가상 아이돌 트레이니의 변수 축을 prompt 변수로 정의하고, 그 격자로 후보 군을 만드는 것.

변수 축 (공개 가능 범위):

인종 (Race)
성별 (Gender)
분위기 (Mood)
(그 외 축은 비공개)

각 조합을 prompt template에 끼워 여러 조합을 만들고, trial 2회씩 반복해 안정성을 봤습니다.

Prompt 구조 (요약):

핵심 묘사: 변수 축 조합
스타일 지침: photorealistic K-pop trainee profile photo
구도: chest-up, front-facing

Step 2 — ID 사진 정제

Step 1 결과에서 발견된 문제 (배경 색감이 인물 식별을 방해, 메이크업 표현 일관성 부족) 를 해결하기 위해 prompt 변종을 비교하고, 정체성을 깨는 요소를 막기 위한 negative constraints 를 추가했습니다.

→ 흰 배경 + 메이크업 무관 + 부정 제약으로 ID 사진의 정체성 일관성 확보.

Step 3 — Visual Upgrade

Step 2의 ID 사진을 reference로 두고, 같은 인물성을 유지하면서 사진 품질을 끌어올리는 prompt 변종을 비교. 채택된 best 버전이 후속 단계의 기본 reference로 사용됨.

대규모 캐스팅 런 (Casting Runs)

Prompt 설계가 어느 정도 안정화된 후, 후보 다양성 확보를 위한 대규모 반복 생성 — 총 12회 캐스팅 런으로 약 800장 생성. 각 런마다 약간씩 다른 prompt seed / 변수 조합 / 모델 파라미터로 결과 분포를 확장하고, 결과를 정성 검수해 최종 prompt 를 확정.

결과 분석 관점 (정성 요약)

prompt 변수 축의 분리도 — 인상·분위기는 잘 구분되지만, 헤어 (특히 색상) 와 메이크업이 서로 영향을 주고받는 경향 이 있었음 (예: 헤어 색만 바꿨는데 메이크업 톤도 같이 변함). 두 축을 독립적으로 제어하려면 명시적 negative constraint 가 필요.
스케일 효과 — 여러 번의 반복 실험을 거쳐 안정적인 후보를 확보. prompt 설계만으로는 한계가 있고, 양적 탐색이 동반돼야 함.

자동화 파이프라인

각 런은 다음 자동화 위에서 실행:

Prompt template + 변수 격자 — Python으로 모든 조합을 펼침
API 호출
HTML report 자동 생성 — combo·trial 단위로 시각적으로 비교 가능한 리포트 자동 출력 (정성 검수용)

Stack

Python
Gemini Flash Image Preview
Prompt Engineering — 5축 변수 정의, system prompt, negative constraints

다음 단계 / 관련

확정된 companion profile 을 reference로 → (다양한 scene 의 콘텐츠 컷)
특정 포즈 정제 →
챗봇 persona 결합 →

OPT2I — Iterative Prompt Refinement

Fri, 10 Apr 2026 00:00:00 +0000

개요

가상 아이돌 캐릭터의 특정 자세 컷을 prompt 만으로 안정적으로 생성하기 어려워, iterative prompt refinement 알고리즘을 적용한 실험. 베이스 알고리즘은 Mañas et al. (2024) 의 OPT2I — LLM을 prompt optimizer로 두고 반복적으로 prompt를 다듬어 vision-language metric을 끌어올리는 방법.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 알고리즘 구조와 실험 설계 중심으로 정리합니다.

1. OPT2I 알고리즘 (요약)

OPT2I는 text-to-image 생성에서 prompt-image alignment 를 끌어올리기 위한 LLM-as-optimizer 루프.

Input: user_prompt (초기 prompt)
Output: best_prompt (최적화된 prompt)

for round r = 1..R:
 1. LLM이 현재 best prompt를 변주해 K개의 variant 생성
 2. 각 variant로 이미지 생성 (T2I model)
 3. 각 이미지의 alignment score 측정 (e.g., CLIPScore, ImageReward, DSG)
 4. 가장 높은 점수의 prompt를 다음 round의 seed로 채택
 5. 점수가 더 이상 개선되지 않으면 조기 종료

핵심 가정: LLM이 좋은 prompt 생성기일 뿐 아니라 좋은 prompt 비평가 도 될 수 있다 → 이전 round의 점수와 prompt 변종 패턴을 LLM context에 넣어 더 나은 변주를 유도.

→ 논문:

2. 구현 — Round × Variant 격자

본 실험에서 사용한 OPT2I 변형 파이프라인:

차원	표기	값
Round	`R2 – R5`	최대 5 라운드
Variant	`V1 – V5`	라운드 당 후보 변종 수

각 round마다 variant 별 이미지 를 모두 저장해 사후 정성 검수 + 정량 비교 가능하도록 했습니다.

3. 평가 Metric — DSG (Davidsonian Scene Graph)

평가 metric으로 DSG (Davidsonian Scene Graph) 를 결합.

DSG는 prompt를 scene graph atomic question 들로 분해하고, VQA 모델로 각 question에 대한 응답 정확도를 평가.
단일 score보다 prompt의 어떤 측면이 충족/실패 했는지 지시적 (interpretable).

→ R-V 격자 결과를 DSG 점수로 비교해, “이 prompt 변주가 얼굴 형태는 잘 맞췄지만 헤어 길이 묘사가 약하다” 같은 진단을 자동화.

4. 결과 분석 관점 (정성 요약)

DSG 도입 효과 — DSG atomic 평가는 prompt의 어떤 부분이 부족한지 가리켜주어 다음 round prompt 변주의 방향성 이 명확해짐.
Round 수 trade-off — round R≥4부터는 점수 상승이 둔화되는 경향. R=5 cap 으로도 충분.
비용 — round 수 × variant 수 × character 수 만큼 image API 호출이 늘어 비용이 빠르게 증가. 변종 1회당 약 $25–30 수준 (대략 추정).

Stack

Python — OPT2I 루프 구현, round/variant 격자 관리, 결과 집계
Gemini Flash Image Preview
LLM-as-optimizer — prompt 변주 생성용 LLM (variant 후보 생성)
DSG (Davidsonian Scene Graph) — alignment evaluation metric

참고

Mañas et al., Improving Text-to-Image Consistency via Automatic Prompt Optimization, 2024 —
Cho et al., Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation, ICLR 2024
Implementation — (OPT2I + DSG core + side/fullbody runners)

Content Image Generation

Mon, 06 Apr 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 콘텐츠 이미지 생성 실험입니다. 가상 아이돌에게 다양한 scene을 입히면서도 캐릭터(얼굴) 정체성은 변하지 않도록, prompt 설계·reference conditioning·격자 탐색을 결합해 검증했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 prompt 전문·생성 이미지·캐릭터 식별 정보는 공개하지 않습니다. 본 페이지는 실험 설계와 방법론 중심으로 정리합니다.

실험 목적

“같은 캐릭터(얼굴)를 유지하면서, 다양한 scene의 콘텐츠 컷을 일관되게 생성할 수 있는가?”

일관성 (consistency) — 캐릭터의 얼굴이 scene이 바뀌어도 같은 사람으로 인식되어야 함
다양성 (variety) — 같은 캐릭터라도 scene·구도·의상이 자연스럽게 변주되어야 함
콘셉트 표현 — 각 scene의 분위기 (일상의 자연스러움, 상황감, 아이돌 포즈) 가 prompt만으로 전달되어야 함

실험 설계

신(Scene) 3종

신 ID	콘셉트	목적
Scene #1	일상, 자연스러움	자연스러운 표정 자세로 친근감 형성
Scene #2	시그니처 포즈	팬 인터랙션용 정형 포즈 일관성 검증
Scene #3	특정 장소 배경	콘셉트가 강한 narrative 컷의 prompt 표현력 검증

Reference-Image Conditioning

각 콘텐츠 컷 생성 시 유저가 생성한 캐릭터 ID 사진을 reference로 함께 입력해, 얼굴 정체성 유지 를 강제합니다. Prompt 앞단에 다음과 같은 지침을 둡니다 (요약):

Keep the person’s facial features exactly the same as the reference image. This is the same person, not a look-alike or approximation.

이를 통해 gemini의 image-to-image 모드에서 동일 인물성을 안정적으로 보장.

Combo 변주

각 신 안에서 combo (조합) 단위로 prompt 변종을 둡니다 — 의상 / 헤어 등 hyperparameter를 격자 탐색 형태로 변형. 동일 character × 동일 combo에서 trial 반복 으로 생성 안정성도 같이 본다.

생성 규모

실험	생성 이미지 수
Scene #1	≈ 1,249 장
Scene #2	≈ 937 장
Scene #3	≈ 1,041 장
총합	≈ 3,200 장

각 이미지는 384×688 해상도, 평균 약 9–11초 / 장 소요, 장당 비용 약 $0.045 수준.

결과 분석 관점

얼굴 일관성 — 헤어 색·길이는 prompt에 명시적 제약 (Do NOT alter the hairstyle color or length) 을 둬야 안정적이었다.
포즈 정확성 — 손가락 위치·구도가 변동성이 큼. 별도 negative prompt (e.g., no extra fingers) 로 보완.
콘셉트 강도 — 장소 디테일은 prompt에 명시적으로 포함시킬수록 narrative가 살아나지만, 그만큼 얼굴 영역의 픽셀 비율이 줄어 정체성 손실 위험 증가 → reference 가중치 / 카메라 거리 prompt를 같이 조정.

실험 흐름 (자동화)

각 sprint는 다음 자동화 파이프라인 위에서 돌렸습니다.

Prompt template 정의 — scene별 system prompt + character 변수 슬롯
Combo grid expansion — Python으로 character × combo × trial 격자 생성
API 호출 — image+text → image
HTML report 자동 생성 — combo 단위로 시각적으로 묶어 검수 가능한 리포트

Stack

Python — 실험 파이프라인 (combo grid, API 호출, HTML report 생성)
Gemini Flash Image Preview — 이미지 생성 모델
Prompt Engineering — system prompt + reference conditioning + negative constraints