From 8ec9ae28476089414f77847ef434901d8d242b9c Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Thu, 23 Oct 2025 13:23:05 +0900 Subject: [PATCH] =?UTF-8?q?docs(troubleshooting):=20=EC=9D=98=EB=8F=84-?= =?UTF-8?q?=ED=9A=8C=EA=B7=80(=EA=B3=B1=EC=94=B9=EA=B8=B0)=C2=B7=EC=8B=9C?= =?UTF-8?q?=EA=B0=84=20=EA=B0=90=EC=87=A0=C2=B7=EC=9E=90=EC=8B=A0=EA=B0=90?= =?UTF-8?q?=20=ED=8F=89=EA=B0=80/=EB=A6=AC=EB=9D=BC=EC=9D=B4=ED=8A=B8=20?= =?UTF-8?q?=EB=A1=9C=EC=A7=81=20=EC=B6=94=EA=B0=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...n_rb8001_웹검색_엔티티_정확도_개선.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/troubleshooting/251023_admin_rb8001_웹검색_엔티티_정확도_개선.md b/troubleshooting/251023_admin_rb8001_웹검색_엔티티_정확도_개선.md index f0807ec..67c6ea7 100644 --- a/troubleshooting/251023_admin_rb8001_웹검색_엔티티_정확도_개선.md +++ b/troubleshooting/251023_admin_rb8001_웹검색_엔티티_정확도_개선.md @@ -26,10 +26,23 @@ 4) 라우팅 보강 - “(기업|회사).*(이름|대표|대표이사)” 등도 웹검색 파이프로 라우팅. +5) 의도-회귀(곱씹기) 단계 + - 실행 전 “요청-대상-행위” 삼단 체크리스트로 의도 재확인(예: [요청] 이 기업 대표? [대상] 지에프솔루션? [행위] 웹검색/대표확인). + - 엔티티 확정(clarify/CQR) 없이는 실행 금지. 질문이 모호하면 반드시 clarify 우선. + +6) 시간 감쇠·윈도우 제한 + - 메모리/최근 대화 검색은 최신 N개·최근 T분(예: 10~15분) 윈도우로 제한하고, 오래된 기억은 감쇠 가중(0.5× 이하) 적용. + - 파일명/전대문자 상수 토큰은 기본 제외 목록으로 처리. + ## 정확도/표현 - 확신도 낮은 경우: “재질문/보류(출처 부족)”로 응답. - 요약/포맷: ‘출처:’ 블록에 상위 3개 제목+URL 표준 표기. +### 대답 정확도(자신감) 평가 로직 +- 신뢰도 특징: (a) 근거 커버리지(출처 수·다양성) (b) 엔티티 일치도(질의 엔티티↔결과 타이틀/본문) (c) 최신성(KST 기준 타임스탬프) (d) NLI(출처→응답 정합). +- 스코어 산출·캘리브레이션: 위 특징을 0–1로 정규화해 가중 합산→ECE/Brier로 보정; 임계 미만은 재질문/보류 라벨 부여. +- 반성적 리라이트: 응답 말미에 “가정/근거/시간/확신도”를 메타로 요약하여 과장 금지, 불확실 영역은 분리 표기. + ## 검증/모니터링 - 테스트(로컬): 엔티티 우선순위·clarify·그래프 경로 안정화 검증. - 로그: `[WebSearch] CAND entity`, `Pronoun resolved`, `Fallback /search`, Clarify 버튼 액션 로그.