1.0 KiB
1.0 KiB
type, tags, work_date
| type | tags | work_date | |||||
|---|---|---|---|---|---|---|---|
| worklog |
|
2026-03-23 |
260323 gpt-5-mini → gpt-5.4-mini 전환
배경
- Company X RAG grounding 테스트에서 gpt-5-mini가 고유번호증 질문을 실패 (4/5)
- gpt-5.4-mini와 비교 테스트 필요
문제
- gpt-5.4-mini가
reasoning_effort: minimal을 지원하지 않음 openai_handler.py가 gpt-5 계열이면 무조건minimal을 보내서 400 에러 발생
조치
openai_handler.py에_REASONING_EFFORT_MAP추가gpt-5-mini→minimalgpt-5.4-mini→low
- 비교 테스트 실행 (5개 질문)
테스트 결과
| 항목 | gpt-5-mini | gpt-5.4-mini |
|---|---|---|
| 통과율 | 4/5 (80%) | 5/5 (100%) |
| 평균 응답 시간 | 6.8s | 6.4s |
| 고유번호증 | FAIL | PASS |
전환
workspace-config/runtime.env:DEFAULT_LLM_MODEL=gpt-5.4-mini- rb8001 재배포 완료, healthy
커밋
- rb8001
4b0c5e2: reasoning_effort 매핑 + gpt-5.4-mini 지원