---
tags: [research, llm, gpt-5.4, benchmark, cost, robeing, model-routing]
---

# GPT-5.4 / mini / nano 벤치마크 요약 리서치

**작성일**: 2026-03-18  
**목적**: 스크린샷·블로그에 흔한 GPT-5.4 계열 벤치 수치의 출처를 구분하고, 로빙의 모델·에이전트 설계에 쓸 수 있는 해석만 SSOT로 남긴다.

**상위 원칙·근거**: [312_writing-principles.md](../../book/300_architecture/312_writing-principles.md) (리서치 문서 규칙)  
**관련 문서**:
- [로빙 LLM·Agent API 모델선정·비용비교 리서치](./orchestration_tools/260312_로빙_LLM_API_Agent_API_모델선정_비용비교_리서치.md)
- [LLM 모델 비교 분석](./LLM_모델_비교_분석.md)

---

## 1. 사실 (Facts)

### 1.1 수치 출처 계층

| 구분 | 설명 |
|------|------|
| **1차(공식)** | OpenAI가 모델 공개 글에서 제시한 벤치마크 수치 |
| **2차(집계·요약)** | BenchLM, SWE-bench 블로그, 개인/에이전시 분석 글 등 |
| **캡처 표** | 위 자료를 재배열한 이미지·슬라이드. **파일 형식이 PDF가 아니어도** “공식 수치의 재인용”일 수 있음 |

### 1.2 SWE-Bench Pro (코딩) — 공식 글과 맞는 대표 수치

아래는 [OpenAI, GPT-5.4 mini·nano 소개](https://openai.com/index/introducing-gpt-5-4-mini-and-nano/)에서 인용 가능한 계열 비교로 정리한 것이다. (스크린샷과 동일 대역)

| 모델 | SWE-Bench Pro (대표 인용값) |
|------|-----------------------------|
| GPT-5.4 (full) | 57.7% |
| GPT-5.4 mini | 54.4% |
| GPT-5.4 nano | 52.4% |
| GPT-5 mini (이전 세대) | 45.7% |

### 1.3 사용자 메시지에 있던 기타 벤치 (출처는 2차 요약 위주)

다음 항목은 **공식 PDF 단일 표**보다는 블로그·리포트에서 자주 같이 인용된다. 수치를 제품 결정에 쓸 때는 **해당 글 또는 OpenAI 원문의 표를 직접 대조**할 것.

| 벤치 | mini / nano / GPT-5 mini (메시지 기준) | 비고 |
|------|----------------------------------------|------|
| OSWorld | 72.1% / 39.0% / 42.0% | 컴퓨터 사용·UI 자동화 계열 |
| GPQA Diamond | 88.0% / 82.8% / 81.6% | 지식·추론 |
| Toolathlon (tool use) | 42.9% / (nano 별도 확인) / 26.9% | 도구·에이전트 계열에서 mini 대비 이전 세대 격차가 큼 |

### 1.4 참고 링크 (요약문 하이퍼링크, [312 §출처 표기](../../book/300_architecture/312_writing-principles.md) 준수)

- [OpenAI 공식: GPT-5.4 mini·nano 소개](https://openai.com/index/introducing-gpt-5-4-mini-and-nano/)
- [Adam Holter: 벤치·가격·용도 정리](https://adam.holter.com/gpt-5-4-mini-and-nano-benchmarks-pricing-and-what-theyre-actually-good-for/)
- [Beam.ai: 멀티모델·에이전트 아키텍처 관점 요약](https://beam.ai/agentic-insights/gpt-54-mini-and-nano-openai-just-validated-the-multi-model-agent-architecture)
- [BenchLM: GPT-5.4 nano 모델 페이지(집계형)](https://benchlm.ai/models/gpt-5-4-nano)
- [SWE-bench 블로그: GPT-5·mini 비용·성능](https://swebench.com/SWE-bench/blog/2025/08/08/gpt5)

---

## 2. 해석 (Interpretation) — 로빙 프로젝트에의 함의

1. **라우팅·비용**  
   - full → 최고 품질·고비용 경로.  
   - **mini**: full 대비 SWE-Bench Pro 손실이 작고(57.7→54.4), 이전 세대 mini 대비 큰 폭 개선 → **“기본 업무 LLM” 후보**로 문서·코드·스킬 오케스트레이션 균형에 적합.  
   - **nano**: SWE 쪽은 여전히 GPT-5 mini보다 우수할 수 있으나, **OSWorld 등 일부 축에서 급락**이 보고되므로 UI/멀티스텝 자동화에는 검증 후 배치.

2. **툴·에이전트**  
   - Toolathlon 식 지표에서 **mini vs GPT-5 mini** 격차가 크다는 해석은, 로빙의 **스킬 호출·의도분석·서브에이전트**에 “세대 교체” 이득이 있을 수 있음을 시사한다. (실제 파이프라인에서는 자체 eval 필요)

3. **문서화 원칙**  
   - 슬랙/노션 **캡처 표만 SSOT로 삼지 말 것**.  
   - 수치 변경·모델 패치 시 **OpenAI 원문 + 내부 측정**을 한 쌍으로 맞출 것.

---

## 3. 미확정 (Unresolved)

- OSWorld / GPQA / Toolathlon의 **정확한 정의·버전·평가 세트**는 글마다 다를 수 있음 → 수치 단정은 원문 표 기준으로만.
- 로빙 현재 스택(Gemini 등)과 **직접 경쟁 비교는 아님**. “외부 LLM 제품군의 trade-off 패턴” 참고용.

---

## 4. 한 줄 요약

**공식 소개 글에 SWE-Bench Pro 수치가 명시되어 있고, 스크린샷 표는 그 요약·재구성일 가능성이 크다. 로빙에는 mini=균형·nano=저비용(축별 검증)·툴/에이전트는 세대 교체 이득 가설로만 반영하고, 실서비스는 자체 eval과 OpenAI 원문 대조를 병행한다.**
