docs: gpt-5.4-mini 전환 워크로그 + 증분인덱싱 keyword 해소·모델 전환 반영
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
70c306385a
commit
343c32550e
41
journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md
Normal file
41
journey/worklog/260323_gpt5_mini에서_gpt54_mini_전환.md
Normal file
@ -0,0 +1,41 @@
|
||||
---
|
||||
type: worklog
|
||||
tags: [worklog, llm, model, gpt-5.4-mini, rb8001]
|
||||
work_date: 2026-03-23
|
||||
---
|
||||
|
||||
# 260323 gpt-5-mini → gpt-5.4-mini 전환
|
||||
|
||||
## 배경
|
||||
|
||||
- Company X RAG grounding 테스트에서 gpt-5-mini가 고유번호증 질문을 실패 (4/5)
|
||||
- gpt-5.4-mini와 비교 테스트 필요
|
||||
|
||||
## 문제
|
||||
|
||||
- gpt-5.4-mini가 `reasoning_effort: minimal`을 지원하지 않음
|
||||
- `openai_handler.py`가 gpt-5 계열이면 무조건 `minimal`을 보내서 400 에러 발생
|
||||
|
||||
## 조치
|
||||
|
||||
1. `openai_handler.py`에 `_REASONING_EFFORT_MAP` 추가
|
||||
- `gpt-5-mini` → `minimal`
|
||||
- `gpt-5.4-mini` → `low`
|
||||
2. 비교 테스트 실행 (5개 질문)
|
||||
|
||||
## 테스트 결과
|
||||
|
||||
| 항목 | gpt-5-mini | gpt-5.4-mini |
|
||||
|------|-----------|-------------|
|
||||
| 통과율 | 4/5 (80%) | **5/5 (100%)** |
|
||||
| 평균 응답 시간 | 6.8s | **6.4s** |
|
||||
| 고유번호증 | FAIL | **PASS** |
|
||||
|
||||
## 전환
|
||||
|
||||
- `workspace-config/runtime.env`: `DEFAULT_LLM_MODEL=gpt-5.4-mini`
|
||||
- rb8001 재배포 완료, healthy
|
||||
|
||||
## 커밋
|
||||
|
||||
- rb8001 `4b0c5e2`: reasoning_effort 매핑 + gpt-5.4-mini 지원
|
||||
@ -68,13 +68,13 @@ tags: [workflow, rag, companyx, indexing, batch, incremental]
|
||||
|
||||
### 검색 품질 상태 (260323 기준)
|
||||
- **hybrid 검색**: 17/17 통과 (벡터가 보완)
|
||||
- **keyword 단독 검색**: 전 질의 0건 — PostgreSQL `simple` 토크나이저의 한국어 구조적 한계
|
||||
- **미해결 이슈**: [keyword 단독 검색 전질의 0건](../../journey/troubleshooting/260323_companyx_rag_keyword_단독검색_전질의_0건.md)
|
||||
- **근본 해결**: MeCab-ko 형태소 분석기 도입 필요
|
||||
- **keyword 단독 검색**: pg_trgm 설치 + tsvector→trgm 자동 보완으로 전 질의 결과 반환 (260323 해소)
|
||||
- **해소 이슈**: [keyword 단독 검색 전질의 0건 (닫힘)](../../journey/troubleshooting/260323_companyx_rag_keyword_단독검색_전질의_0건.md)
|
||||
- **LLM 모델**: gpt-5.4-mini로 전환 (260323), 5/5 PASS
|
||||
|
||||
### 2단계 진입 조건
|
||||
- keyword 단독 검색 품질이 미해결이므로, 2단계 진입 전 keyword 축 해결이 선행되어야 함
|
||||
- hybrid는 통과하지만 keyword 축이 죽어 있으면 대량 확장 시 검색 품질 저하 위험
|
||||
- ~~keyword 단독 검색 품질이 미해결~~ → pg_trgm으로 해소 (260323)
|
||||
- hybrid + keyword 모두 동작 확인, 2단계 진입 가능
|
||||
|
||||
## 관련 문서
|
||||
- [RAG 업로드·인덱싱 파이프라인](./rag_upload_indexing_pipeline.md)
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user