open: LLM 판단 과보수 + 대화 맥락 미연결 트러블 + 테스트셋 15개

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md

@@ -0,0 +1,56 @@
+---
+type: troubleshooting
+tags: [companyx, rag, grounding, llm, context, rb8001]
+status: open
+opened_date: 2026-03-22
+severity: high
+root_cause:
+---
+
+# 260322 Company X RAG LLM 판단 과보수 + 대화 맥락 미연결
+
+## 현상
+
+1. **LLM 판단 과보수**: 검색에 관련 문서가 잡히는데 LLM이 "근거 없음"으로 판단
+   - 예: "컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘" → 고유번호증 문서가 검색 4위에 있지만 failure 응답
+2. **대화 맥락 미연결**: 후속 질문에서 이전 검색 결과를 참조 못 함
+   - 예: "에프앤엘 서면의결서 찾아줘" → 성공 → "이 문서 내용을 말해줘" → failure
+
+## 테스트 질문셋
+
+### A. LLM 판단 과보수 (단일 질문, 검색은 되는데 failure)
+
+| # | 질문 | 기대 | 비고 |
+|---|------|------|------|
+| A1 | 컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘 | 고유번호증 내용 답변 | 검색 4위에 문서 있음 |
+| A2 | 다리마티 보통주 계약서 핵심 조건이 뭐야? | 계약 조건 요약 | 검색 1위에 문서 있음 |
+| A3 | 오늘전통 6기 사업계획서 내용 요약해줘 | 사업계획서 요약 | 검색 1위에 문서 있음 |
+| A4 | 컴퍼니엑스 IP 투자조합별 관리보수 자금계획 비교해줘 | 비교 답변 | 복수 문서 필요 |
+| A5 | 앤션트투투데이 2025년 재무상태표 수치 알려줘 | 수치 답변 | 검색 1위에 문서 있음 |
+
+### B. 대화 맥락 연결 (선행 질문 성공 후 후속 질문)
+
+| # | 선행 질문 | 후속 질문 | 기대 |
+|---|----------|----------|------|
+| B1 | 에프앤엘 서면의결서 양식 찾아줘 | 이 문서 내용을 말해줘 | 서면의결서 내용 답변 |
+| B2 | 오늘전통 AC 본점 이전 공문 내용이 뭐야? | 이걸 요약해줘 | 공문 요약 |
+| B3 | 팁스 운영사 소재지 변경 공문 내용 요약해줘 | 발신일이 언제야? | 공문 날짜 답변 |
+| B4 | 옐로펀치 컴퍼니엑스 협약 근거 있어? | 구체적으로 어떤 내용이야? | MOU 내용 상세 |
+| B5 | 아크로셀 정기주총 서류 있어? | 몇 호 의안이 있어? | 의안 목록 답변 |
+
+### C. 경계 케이스
+
+| # | 질문 | 기대 | 비고 |
+|---|------|------|------|
+| C1 | 컴퍼니엑스 내부 휴가 규정이 뭐야? | 정상 failure | 200개에 없는 문서 |
+| C2 | 점심 뭐 먹을까? | 일반 챗봇 응답 (grounding failure → fallback) | 라우팅 완화 후 경계 |
+| C3 | 고유번호증이 뭐야? 일반적으로 설명해줘 | 일반 지식 답변 (grounding 아님) | 내부 문서 아닌 일반 질문 |
+
+## 관련 파일
+
+- `rb8001/app/services/companyx_grounding_service.py`: `_call_llm_companyx_grounding()`, `_build_grounded_response()`
+- `rb8001/app/services/message_service.py`: 대화 맥락 전달 경로
+
+## 관련 문서
+
+- [260322 답변 품질 트러블 (닫힘)](./260322_companyx_rag_답변품질_장황_무관문서혼입_점수노출.md)