LLM |

MBTI Persona Priming prompt research

Sat, 09 May 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 챗봇 persona 사전조사 입니다. LLM에 일관된 성격을 부여하기 위한 출발점으로, 심리 프로필 priming 방식의 framework — arXiv 논문 Psychologically Enhanced AI Agents ( ) 와 그 official 구현 를 검토하고, 검증 흐름·prompt 변종 비교를 정리했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 가상 아이돌에 사용될 priming 전문·생성 결과·내부 도식은 공개하지 않습니다. 본 페이지는 적용한 공개 framework와 실험 설계를 중심으로 기술합니다.

1. Framework

1.1 검증 방법 — 사용 모델

검증 단계 LLM: GPT-4o-mini

1.2 Flow (예: ENFJ)

priming.json — 16개 MBTI 유형 각각에 대한 priming prompt가 정의돼 있다. 챗봇에 system prompt로 주입한다.
한 유형(예: ENFJ)에 대해 16Personalities 공식 설문 기반 60문항을 던진다. 60문항은 E/I, S/N, F/T, J/P 네 축을 결정짓는 항목들로 구성.
각 문항에 대해 동일한 priming + 동일한 질문을 15회 반복 한다 (응답 일관성 검증).
- Temperature = 1.0이라 매번 약간씩 다른 응답이 나올 수 있음.
- 일관성이 높으면 priming 성공, 낮으면 실패.

1.3 Likert 환산

15번 응답을 7점 척도(score)로 환산한다 — 16Personalities 공식 테스트가 7점 척도를 사용하기 때문.

score_dict = {
 "agree": -3,
 "generally agree": -2,
 "partially agree": -1,
 "neither agree nor disagree": 0,
 "partially disagree": 1,
 "generally disagree": 2,
 "disagree": 3,
}

15회의 score를 평균해 한 문항의 응답값으로 삼고, 60문항에 대해 같은 절차를 수행.

1.4 결과 시각화

60문항 중 E/I 축을 결정하는 약 10개 문항을 모아 그 sample 평균을 좌표에 찍고 BoxPlot으로 분포를 본다.
ENFJ로 priming한 LLM이 E축 문항에서 외향적인 응답(예: 평균 −3 근처)을 일관되게 보이는지 검증.

결론: 이 priming을 prompt로 썼을 때 LLM이 MBTI 특성을 분명히 구분해 응답한다 는 가설을 BoxPlot으로 시각적으로 검증.

2. Prompt 변종 — 3종 비교

priming 구조의 어느 부분이 효과를 내는지 확인하기 위해 3종의 변종을 비교했다.

A. Only MBTI

You are an {MBTI_TYPE}.

→ MBTI 유형 라벨만 주는 가장 짧은 형태.

B. MBTI + Description (Structured Priming)

MBTI 라벨 + 다음 6개 카테고리로 구조화된 description 을 함께 부여한다.

Communication Style (소통 방식)
Leadership and Management Style (리더십)
Problem-Solving Approach (문제 해결)
Interpersonal Relationships (대인 관계)
Handling Change and Stress (스트레스 대처)
Application in Various Contexts

description 은 MBTI 공식 문헌 (Myers and Myers, 1980, “Gifts Differing”) 기반으로 LLM 요약을 거쳐 작성.

C. Only Description

위 6개 카테고리만 두고 MBTI 라벨은 제거. 라벨이 priming 효과를 내는지, 설명이 효과를 내는지 분리해 보기 위함.

3. 추가 검증 — WritingPrompt 태스크

성격 priming이 창작 응답에서도 일관되게 나타나는지 확인하기 위한 별도 검증.

Flow

priming(예: INFJ prompt)을 LLM에 주입.
Reddit r/WritingPrompts 에서 100개 글쓰기 프롬프트를 LLM에게 제공 → 각 prompt에 대해 짧은 스토리 생성.
- Story generator: Qwen3-235B-A22B
생성된 스토리를 LLM-as-judge 가 1–5점으로 평가.
- Judge: Qwen2.5-14B-Instruct
- 평가 기준: PersonaLLM 등 선행 연구의 persona consistency 지표.

→ 동일한 LLM이 다른 MBTI priming 하에서 글쓰기 스타일이 일관되게 달라지는지를 정량 평가.

Stack

Python — 실험 파이프라인
LLMs — GPT-4o-mini (검증), Qwen3-235B-A22B (story generation), Qwen2.5-14B-Instruct (judge)
Prompt Engineering — system prompt 설계, priming 구조화, score 환산

참고

Psychologically Enhanced AI Agents —
Reference code —
Myers, I. B., & Myers, P. B. (1980). Gifts Differing: Understanding Personality Type.
16Personalities 공식 설문 (60문항, 7점 Likert)

LLM Model Benchmark

Fri, 30 Jan 2026 00:00:00 +0000

개요

K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 LLM 모델 비교 / 선정 단계. 챗봇 응답 품질·비용·지연시간을 동시에 만족하는 모델을 찾기 위해 다수의 후보 (GPT, Claude, Gemini, Kimi, Qwen 계열) 를 동일한 조건으로 벤치마크했습니다.

보안 안내. 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 벤치마크 질문 전문·모델 응답·내부 시스템 prompt는 공개하지 않습니다. 본 페이지는 평가 기준 전환과 모델 선정 프레임워크 중심으로 정리합니다.

1. 평가 방법 — EQ-Bench

LLM의 감정 이해 능력 을 측정하는 벤치마크. 우리 task에 직접 부합.

방법론 (요약)

감정적으로 복잡한 대화 한 토막을 LLM에게 보여준다.
그 대화 속 한 캐릭터의 감정 강도를 4가지 감정으로 LLM이 예측 (각 0–10).
4 점수의 합이 10이 되도록 normalize.
Reference (저자 주석값) 와의 차이를 계산 — 차이가 작을수록 잘 맞춘 것.
한 문제 점수 = 10 - 차이의 절댓값 합.
60개 문제의 평균 × 10 → EQ-Bench 점수 (0–100 스케일).

감정 4개는 명백히 틀린 것 + 명백히 맞는 것 + 미묘한 것 을 섞도록 큐레이션.

→ Public leaderboard:

2. 모델 풀 + 경량 모델 체크리스트

EQ-Bench 리더보드 상위권 50+ 모델을 일단 풀로 두고, 그 중 서비스 비용으로 운영 가능한 경량 모델 을 체크리스트로 골라냈습니다.

풀 (예시)

프리미엄 / 대형: Kimi-K2-Instruct, GPT-5.2, o3, Gemini-3-pro-preview, GPT-5.1, Claude-Opus-4.5, Hermes-4-405B, Llama-3.1-405B-Instruct, …
중형: Claude-Sonnet-4.5, GLM-4.7, GPT-4.1, Mistral-Large, …
경량 (서비스용 후보): GPT-4.1-mini, Gemini-2.5-flash-preview, o4-mini, GPT-4.1-nano, Qwen3-8B, Mistral-Small-3.x, Llama-4-Scout/Maverick, Gemma-3-4b/27b, GPT-OSS-20b, …

→ 총 약 24개의 경량 모델 을 후보로 추렸음.

3. 서비스용 추천 Top 5 (× 2 카테고리)

프리미엄 Top 5

순위	모델	추천 이유
1	Kimi-K2-Instruct	1T 파라미터 (32B 활성 MoE), 가성비 매우 좋음
2	GPT-5.2	프리미엄 안정성
3	o3	프리미엄 reasoning
4	Gemini-3-pro-preview	프리미엄
5	Claude-Opus-4.5	프리미엄

경량 Top 5

순위	모델	추천 이유
1	GPT-4.1-mini	가성비 최고, 안정적
2	Gemini-2.5-flash-preview	빠름, 무료 티어
3	o4-mini	경량 reasoning
4	GPT-4.1-nano	초저가
5	Qwen3-8B	오픈소스, 로컬 가능

4. 비용 비교 프레임워크

벤치마크 한 건당 토큰 사용량을 기준으로 모델별 단가 를 계산:

Input: ~900 tokens (system prompt + user message)
Output: ~100 tokens (1–2문장 응답)

프리미엄 (1건당 비용 / 10건 기준)

모델	1건	10건	대비
Kimi-K2-Instruct	$0.00079	$0.0079	1×
GPT-5.2	$0.00298	$0.0298	3.8×
o3	$0.00260	$0.0260	3.3×
Gemini-3-pro-preview	$0.00300	$0.0300	3.8×
Claude-Opus-4.5	$0.00700	$0.0700	8.9×

경량 (1건당 비용 / 10건 기준)

모델	1건	10건	대비
Qwen3-8B	$0.000070	$0.0007	1×
GPT-4.1-nano	$0.000130	$0.0013	1.9×
Gemini-2.5-flash-preview	$0.000520	$0.0052	7.4×
GPT-4.1-mini	$0.000520	$0.0052	7.4×
o4-mini	$0.001430	$0.0143	20.4×

가격 형성 배경 (예시)

Kimi-K2 가 저렴한 이유:

중국 기업 (Moonshot AI) 의 시장 점유 전략 — 공격적 가격
MoE 아키텍처 (1T 파라미터 중 32B 활성) → 추론 비용 절감
DeepSeek 등 중국 모델들과의 가격 경쟁
중국 내 GPU/서버 비용이 상대적으로 저렴

→ DeepSeek R1, Kimi 등이 경쟁사 대비 약 90% 저렴한 가격 으로 시장 진입.

5. 벤치마크 실험 — 통제 조건

조건	값
Temperature	0.7 (다양성 ↔ 안정성 절충)
System prompt	MBTI description + “[중요] 1–2문장으로 간결하게 답변하세요.”
벤치마크 질문	우리 도메인에 맞춰 큐레이션한 3개

각 모델 × MBTI × question 조합으로 응답을 수집하고, 응답 길이·지연시간·비용·정성 품질을 같이 적재.

실서비스 도입 전 정성 검수 + 비용 시뮬레이션 을 진행했습니다.

6. 의사결정 영향

본 벤치마크 결과는 후속 단계 모델 선택의 베이스라인 으로 활용됩니다.

Stack

Python — 벤치마크 파이프라인 (모델 호출)
LLMs
EQ-Bench — 감정 이해 평가 framework

참고

Paech, EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models, 2024 —
Reference code —
Implementation — (벤치마크 노트북)
Public leaderboard —