https://chaeniverse.github.io/tags/benchmarking/BenchmarkingHugoBlox Kit (https://hugoblox.com)en-usFri, 30 Jan 2026 00:00:00 +0000https://chaeniverse.github.io/media/icon_hu_da05098ef60dc2e7.pnghttps://chaeniverse.github.io/tags/benchmarking/https://chaeniverse.github.io/projects/kpop-virtual-idol-llm-benchmark/Fri, 30 Jan 2026 00:00:00 +0000https://chaeniverse.github.io/projects/kpop-virtual-idol-llm-benchmark/<h2 id="개요">개요</h2> <p>K-Pop 가상 아이돌 앱 프로젝트의 일부로 진행한 <strong>LLM 모델 비교 / 선정</strong> 단계. 챗봇 응답 품질·비용·지연시간을 동시에 만족하는 모델을 찾기 위해 다수의 후보 (GPT, Claude, Gemini, Kimi, Qwen 계열) 를 동일한 조건으로 벤치마크했습니다.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>보안 안내.</strong> 본 프로젝트는 일부 대외비 작업이 포함되어, 실제 벤치마크 질문 전문·모델 응답·내부 시스템 prompt는 공개하지 않습니다. 본 페이지는 <strong>평가 기준 전환과 모델 선정 프레임워크</strong> 중심으로 정리합니다.</p> </blockquote> <h2 id="1-평가-방법--eq-bench">1. 평가 방법 — EQ-Bench</h2> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p> </p> </blockquote> <p>LLM의 <strong>감정 이해 능력</strong> 을 측정하는 벤치마크. 우리 task에 직접 부합.</p> <h4 id="방법론-요약">방법론 (요약)</h4> <ol> <li>감정적으로 복잡한 대화 한 토막을 LLM에게 보여준다.</li> <li>그 대화 속 한 캐릭터의 감정 강도를 4가지 감정으로 LLM이 예측 (각 0–10).</li> <li>4 점수의 합이 10이 되도록 normalize.</li> <li><strong>Reference (저자 주석값)</strong> 와의 차이를 계산 — 차이가 작을수록 잘 맞춘 것.</li> <li>한 문제 점수 = <code>10 - 차이의 절댓값 합</code>.</li> <li>60개 문제의 평균 × 10 → <strong>EQ-Bench 점수 (0–100 스케일)</strong>.</li> </ol> <p>감정 4개는 <strong>명백히 틀린 것 + 명백히 맞는 것 + 미묘한 것</strong> 을 섞도록 큐레이션.</p> <p>→ Public leaderboard: </p> <h2 id="2-모델-풀--경량-모델-체크리스트">2. 모델 풀 + 경량 모델 체크리스트</h2> <p>EQ-Bench 리더보드 상위권 50+ 모델을 일단 풀로 두고, 그 중 <strong>서비스 비용으로 운영 가능한 경량 모델</strong> 을 체크리스트로 골라냈습니다.</p> <h3 id="풀-예시">풀 (예시)</h3> <ul> <li><strong>프리미엄 / 대형</strong>: Kimi-K2-Instruct, GPT-5.2, o3, Gemini-3-pro-preview, GPT-5.1, Claude-Opus-4.5, Hermes-4-405B, Llama-3.1-405B-Instruct, …</li> <li><strong>중형</strong>: Claude-Sonnet-4.5, GLM-4.7, GPT-4.1, Mistral-Large, …</li> <li><strong>경량 (서비스용 후보)</strong>: GPT-4.1-mini, Gemini-2.5-flash-preview, o4-mini, GPT-4.1-nano, Qwen3-8B, Mistral-Small-3.x, Llama-4-Scout/Maverick, Gemma-3-4b/27b, GPT-OSS-20b, …</li> </ul> <p>→ 총 약 <strong>24개의 경량 모델</strong> 을 후보로 추렸음.</p> <h2 id="3-서비스용-추천-top-5--2-카테고리">3. 서비스용 추천 Top 5 (× 2 카테고리)</h2> <h3 id="프리미엄-top-5">프리미엄 Top 5</h3> <table> <thead> <tr> <th>순위</th> <th>모델</th> <th>추천 이유</th> </tr> </thead> <tbody> <tr> <td>1</td> <td>Kimi-K2-Instruct</td> <td>1T 파라미터 (32B 활성 MoE), 가성비 매우 좋음</td> </tr> <tr> <td>2</td> <td>GPT-5.2</td> <td>프리미엄 안정성</td> </tr> <tr> <td>3</td> <td>o3</td> <td>프리미엄 reasoning</td> </tr> <tr> <td>4</td> <td>Gemini-3-pro-preview</td> <td>프리미엄</td> </tr> <tr> <td>5</td> <td>Claude-Opus-4.5</td> <td>프리미엄</td> </tr> </tbody> </table> <h3 id="경량-top-5">경량 Top 5</h3> <table> <thead> <tr> <th>순위</th> <th>모델</th> <th>추천 이유</th> </tr> </thead> <tbody> <tr> <td>1</td> <td>GPT-4.1-mini</td> <td>가성비 최고, 안정적</td> </tr> <tr> <td>2</td> <td>Gemini-2.5-flash-preview</td> <td>빠름, 무료 티어</td> </tr> <tr> <td>3</td> <td>o4-mini</td> <td>경량 reasoning</td> </tr> <tr> <td>4</td> <td>GPT-4.1-nano</td> <td>초저가</td> </tr> <tr> <td>5</td> <td>Qwen3-8B</td> <td>오픈소스, 로컬 가능</td> </tr> </tbody> </table> <h2 id="4-비용-비교-프레임워크">4. 비용 비교 프레임워크</h2> <p>벤치마크 한 건당 토큰 사용량을 기준으로 <strong>모델별 단가</strong> 를 계산:</p> <ul> <li><strong>Input</strong>: ~900 tokens (system prompt + user message)</li> <li><strong>Output</strong>: ~100 tokens (1–2문장 응답)</li> </ul> <h3 id="프리미엄-1건당-비용--10건-기준">프리미엄 (1건당 비용 / 10건 기준)</h3> <table> <thead> <tr> <th>모델</th> <th>1건</th> <th>10건</th> <th>대비</th> </tr> </thead> <tbody> <tr> <td>Kimi-K2-Instruct</td> <td>$0.00079</td> <td>$0.0079</td> <td><strong>1×</strong></td> </tr> <tr> <td>GPT-5.2</td> <td>$0.00298</td> <td>$0.0298</td> <td>3.8×</td> </tr> <tr> <td>o3</td> <td>$0.00260</td> <td>$0.0260</td> <td>3.3×</td> </tr> <tr> <td>Gemini-3-pro-preview</td> <td>$0.00300</td> <td>$0.0300</td> <td>3.8×</td> </tr> <tr> <td>Claude-Opus-4.5</td> <td>$0.00700</td> <td>$0.0700</td> <td>8.9×</td> </tr> </tbody> </table> <h3 id="경량-1건당-비용--10건-기준">경량 (1건당 비용 / 10건 기준)</h3> <table> <thead> <tr> <th>모델</th> <th>1건</th> <th>10건</th> <th>대비</th> </tr> </thead> <tbody> <tr> <td>Qwen3-8B</td> <td>$0.000070</td> <td>$0.0007</td> <td><strong>1×</strong></td> </tr> <tr> <td>GPT-4.1-nano</td> <td>$0.000130</td> <td>$0.0013</td> <td>1.9×</td> </tr> <tr> <td>Gemini-2.5-flash-preview</td> <td>$0.000520</td> <td>$0.0052</td> <td>7.4×</td> </tr> <tr> <td>GPT-4.1-mini</td> <td>$0.000520</td> <td>$0.0052</td> <td>7.4×</td> </tr> <tr> <td>o4-mini</td> <td>$0.001430</td> <td>$0.0143</td> <td>20.4×</td> </tr> </tbody> </table> <h3 id="가격-형성-배경-예시">가격 형성 배경 (예시)</h3> <p><strong>Kimi-K2 가 저렴한 이유</strong>:</p> <ul> <li>중국 기업 (Moonshot AI) 의 시장 점유 전략 — 공격적 가격</li> <li>MoE 아키텍처 (1T 파라미터 중 32B 활성) → 추론 비용 절감</li> <li>DeepSeek 등 중국 모델들과의 가격 경쟁</li> <li>중국 내 GPU/서버 비용이 상대적으로 저렴</li> </ul> <p>→ DeepSeek R1, Kimi 등이 <strong>경쟁사 대비 약 90% 저렴한 가격</strong> 으로 시장 진입.</p> <h2 id="5-벤치마크-실험--통제-조건">5. 벤치마크 실험 — 통제 조건</h2> <table> <thead> <tr> <th>조건</th> <th>값</th> </tr> </thead> <tbody> <tr> <td>Temperature</td> <td>0.7 (다양성 ↔ 안정성 절충)</td> </tr> <tr> <td>System prompt</td> <td>MBTI description + &ldquo;[중요] 1–2문장으로 간결하게 답변하세요.&rdquo;</td> </tr> <tr> <td>벤치마크 질문</td> <td>우리 도메인에 맞춰 큐레이션한 3개</td> </tr> </tbody> </table> <p>각 모델 × MBTI × question 조합으로 응답을 수집하고, 응답 길이·지연시간·비용·정성 품질을 같이 적재.</p> <p>실서비스 도입 전 <strong>정성 검수 + 비용 시뮬레이션</strong> 을 진행했습니다.</p> <h2 id="6-의사결정-영향">6. 의사결정 영향</h2> <p>본 벤치마크 결과는 후속 단계 모델 선택의 <strong>베이스라인</strong> 으로 활용됩니다.</p> <h2 id="stack">Stack</h2> <ul> <li><strong>Python</strong> — 벤치마크 파이프라인 (모델 호출)</li> <li><strong>LLMs</strong></li> <li><strong>EQ-Bench</strong> — 감정 이해 평가 framework</li> </ul> <h2 id="참고">참고</h2> <ul> <li>Paech, <em>EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models</em>, 2024 — </li> <li>Reference code — </li> <li>Implementation — (벤치마크 노트북)</li> <li>Public leaderboard — </li> </ul>