From 624e563372477d0ac3a314aa0a2168cf979588d3 Mon Sep 17 00:00:00 2001 From: happybell80 Date: Sun, 22 Mar 2026 09:23:47 +0900 Subject: [PATCH] =?UTF-8?q?open:=20LLM=20=ED=8C=90=EB=8B=A8=20=EA=B3=BC?= =?UTF-8?q?=EB=B3=B4=EC=88=98=20+=20=EB=8C=80=ED=99=94=20=EB=A7=A5?= =?UTF-8?q?=EB=9D=BD=20=EB=AF=B8=EC=97=B0=EA=B2=B0=20=ED=8A=B8=EB=9F=AC?= =?UTF-8?q?=EB=B8=94=20+=20=ED=85=8C=EC=8A=A4=ED=8A=B8=EC=85=8B=2015?= =?UTF-8?q?=EA=B0=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 4.6 (1M context) --- ...g_LLM판단보수_대화맥락미연결.md | 56 +++++++++++++++++++ 1 file changed, 56 insertions(+) create mode 100644 journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md diff --git a/journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md b/journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md new file mode 100644 index 0000000..3c766b8 --- /dev/null +++ b/journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md @@ -0,0 +1,56 @@ +--- +type: troubleshooting +tags: [companyx, rag, grounding, llm, context, rb8001] +status: open +opened_date: 2026-03-22 +severity: high +root_cause: +--- + +# 260322 Company X RAG LLM 판단 과보수 + 대화 맥락 미연결 + +## 현상 + +1. **LLM 판단 과보수**: 검색에 관련 문서가 잡히는데 LLM이 "근거 없음"으로 판단 + - 예: "컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘" → 고유번호증 문서가 검색 4위에 있지만 failure 응답 +2. **대화 맥락 미연결**: 후속 질문에서 이전 검색 결과를 참조 못 함 + - 예: "에프앤엘 서면의결서 찾아줘" → 성공 → "이 문서 내용을 말해줘" → failure + +## 테스트 질문셋 + +### A. LLM 판단 과보수 (단일 질문, 검색은 되는데 failure) + +| # | 질문 | 기대 | 비고 | +|---|------|------|------| +| A1 | 컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘 | 고유번호증 내용 답변 | 검색 4위에 문서 있음 | +| A2 | 다리마티 보통주 계약서 핵심 조건이 뭐야? | 계약 조건 요약 | 검색 1위에 문서 있음 | +| A3 | 오늘전통 6기 사업계획서 내용 요약해줘 | 사업계획서 요약 | 검색 1위에 문서 있음 | +| A4 | 컴퍼니엑스 IP 투자조합별 관리보수 자금계획 비교해줘 | 비교 답변 | 복수 문서 필요 | +| A5 | 앤션트투투데이 2025년 재무상태표 수치 알려줘 | 수치 답변 | 검색 1위에 문서 있음 | + +### B. 대화 맥락 연결 (선행 질문 성공 후 후속 질문) + +| # | 선행 질문 | 후속 질문 | 기대 | +|---|----------|----------|------| +| B1 | 에프앤엘 서면의결서 양식 찾아줘 | 이 문서 내용을 말해줘 | 서면의결서 내용 답변 | +| B2 | 오늘전통 AC 본점 이전 공문 내용이 뭐야? | 이걸 요약해줘 | 공문 요약 | +| B3 | 팁스 운영사 소재지 변경 공문 내용 요약해줘 | 발신일이 언제야? | 공문 날짜 답변 | +| B4 | 옐로펀치 컴퍼니엑스 협약 근거 있어? | 구체적으로 어떤 내용이야? | MOU 내용 상세 | +| B5 | 아크로셀 정기주총 서류 있어? | 몇 호 의안이 있어? | 의안 목록 답변 | + +### C. 경계 케이스 + +| # | 질문 | 기대 | 비고 | +|---|------|------|------| +| C1 | 컴퍼니엑스 내부 휴가 규정이 뭐야? | 정상 failure | 200개에 없는 문서 | +| C2 | 점심 뭐 먹을까? | 일반 챗봇 응답 (grounding failure → fallback) | 라우팅 완화 후 경계 | +| C3 | 고유번호증이 뭐야? 일반적으로 설명해줘 | 일반 지식 답변 (grounding 아님) | 내부 문서 아닌 일반 질문 | + +## 관련 파일 + +- `rb8001/app/services/companyx_grounding_service.py`: `_call_llm_companyx_grounding()`, `_build_grounded_response()` +- `rb8001/app/services/message_service.py`: 대화 맥락 전달 경로 + +## 관련 문서 + +- [260322 답변 품질 트러블 (닫힘)](./260322_companyx_rag_답변품질_장황_무관문서혼입_점수노출.md)