From 343c32550ead23c58a39dd6da6e31746ba26cbc3 Mon Sep 17 00:00:00 2001 From: happybell80 Date: Sun, 22 Mar 2026 23:13:29 +0900 Subject: [PATCH] =?UTF-8?q?docs:=20gpt-5.4-mini=20=EC=A0=84=ED=99=98=20?= =?UTF-8?q?=EC=9B=8C=ED=81=AC=EB=A1=9C=EA=B7=B8=20+=20=EC=A6=9D=EB=B6=84?= =?UTF-8?q?=EC=9D=B8=EB=8D=B1=EC=8B=B1=20keyword=20=ED=95=B4=EC=86=8C?= =?UTF-8?q?=C2=B7=EB=AA=A8=EB=8D=B8=20=EC=A0=84=ED=99=98=20=EB=B0=98?= =?UTF-8?q?=EC=98=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 4.6 (1M context) --- ...60323_gpt5_mini에서_gpt54_mini_전환.md | 41 +++++++++++++++++++ .../companyx_incremental_indexing_workflow.md | 10 ++--- 2 files changed, 46 insertions(+), 5 deletions(-) create mode 100644 journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md diff --git a/journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md b/journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md new file mode 100644 index 0000000..0160c39 --- /dev/null +++ b/journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md @@ -0,0 +1,41 @@ +--- +type: worklog +tags: [worklog, llm, model, gpt-5.4-mini, rb8001] +work_date: 2026-03-23 +--- + +# 260323 gpt-5-mini → gpt-5.4-mini 전환 + +## 배경 + +- Company X RAG grounding 테스트에서 gpt-5-mini가 고유번호증 질문을 실패 (4/5) +- gpt-5.4-mini와 비교 테스트 필요 + +## 문제 + +- gpt-5.4-mini가 `reasoning_effort: minimal`을 지원하지 않음 +- `openai_handler.py`가 gpt-5 계열이면 무조건 `minimal`을 보내서 400 에러 발생 + +## 조치 + +1. `openai_handler.py`에 `_REASONING_EFFORT_MAP` 추가 + - `gpt-5-mini` → `minimal` + - `gpt-5.4-mini` → `low` +2. 비교 테스트 실행 (5개 질문) + +## 테스트 결과 + +| 항목 | gpt-5-mini | gpt-5.4-mini | +|------|-----------|-------------| +| 통과율 | 4/5 (80%) | **5/5 (100%)** | +| 평균 응답 시간 | 6.8s | **6.4s** | +| 고유번호증 | FAIL | **PASS** | + +## 전환 + +- `workspace-config/runtime.env`: `DEFAULT_LLM_MODEL=gpt-5.4-mini` +- rb8001 재배포 완료, healthy + +## 커밋 + +- rb8001 `4b0c5e2`: reasoning_effort 매핑 + gpt-5.4-mini 지원 diff --git a/workflow/03_rag/companyx_incremental_indexing_workflow.md b/workflow/03_rag/companyx_incremental_indexing_workflow.md index b1b193a..4103d25 100644 --- a/workflow/03_rag/companyx_incremental_indexing_workflow.md +++ b/workflow/03_rag/companyx_incremental_indexing_workflow.md @@ -68,13 +68,13 @@ tags: [workflow, rag, companyx, indexing, batch, incremental] ### 검색 품질 상태 (260323 기준) - **hybrid 검색**: 17/17 통과 (벡터가 보완) -- **keyword 단독 검색**: 전 질의 0건 — PostgreSQL `simple` 토크나이저의 한국어 구조적 한계 -- **미해결 이슈**: [keyword 단독 검색 전질의 0건](../../journey/troubleshooting/260323_companyx_rag_keyword_단독검색_전질의_0건.md) -- **근본 해결**: MeCab-ko 형태소 분석기 도입 필요 +- **keyword 단독 검색**: pg_trgm 설치 + tsvector→trgm 자동 보완으로 전 질의 결과 반환 (260323 해소) +- **해소 이슈**: [keyword 단독 검색 전질의 0건 (닫힘)](../../journey/troubleshooting/260323_companyx_rag_keyword_단독검색_전질의_0건.md) +- **LLM 모델**: gpt-5.4-mini로 전환 (260323), 5/5 PASS ### 2단계 진입 조건 -- keyword 단독 검색 품질이 미해결이므로, 2단계 진입 전 keyword 축 해결이 선행되어야 함 -- hybrid는 통과하지만 keyword 축이 죽어 있으면 대량 확장 시 검색 품질 저하 위험 +- ~~keyword 단독 검색 품질이 미해결~~ → pg_trgm으로 해소 (260323) +- hybrid + keyword 모두 동작 확인, 2단계 진입 가능 ## 관련 문서 - [RAG 업로드·인덱싱 파이프라인](./rag_upload_indexing_pipeline.md)