DOCS/journey/troubleshooting/260322_companyx_rag_LLM판단보수_대화맥락미연결.md

type, tags, status, opened_date, severity, root_cause

type	tags	status	opened_date	severity	root_cause
troubleshooting	companyx rag grounding llm context rb8001	open	2026-03-22	high

260322 Company X RAG LLM 판단 과보수 + 대화 맥락 미연결

현상

1. LLM 판단 과보수: 검색에 관련 문서가 잡히는데 LLM이 "근거 없음"으로 판단
   • 예: "컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘" → 고유번호증 문서가 검색 4위에 있지만 failure 응답
2. 대화 맥락 미연결: 후속 질문에서 이전 검색 결과를 참조 못 함
   • 예: "에프앤엘 서면의결서 찾아줘" → 성공 → "이 문서 내용을 말해줘" → failure

테스트 질문셋

A. LLM 판단 과보수 (단일 질문, 검색은 되는데 failure)

#	질문	기대	비고
A1	컴퍼니엑스 IP 투자조합 9호 고유번호증 보여줘	고유번호증 내용 답변	검색 4위에 문서 있음
A2	다리마티 보통주 계약서 핵심 조건이 뭐야?	계약 조건 요약	검색 1위에 문서 있음
A3	오늘전통 6기 사업계획서 내용 요약해줘	사업계획서 요약	검색 1위에 문서 있음
A4	컴퍼니엑스 IP 투자조합별 관리보수 자금계획 비교해줘	비교 답변	복수 문서 필요
A5	앤션트투투데이 2025년 재무상태표 수치 알려줘	수치 답변	검색 1위에 문서 있음

B. 대화 맥락 연결 (선행 질문 성공 후 후속 질문)

#	선행 질문	후속 질문	기대
B1	에프앤엘 서면의결서 양식 찾아줘	이 문서 내용을 말해줘	서면의결서 내용 답변
B2	오늘전통 AC 본점 이전 공문 내용이 뭐야?	이걸 요약해줘	공문 요약
B3	팁스 운영사 소재지 변경 공문 내용 요약해줘	발신일이 언제야?	공문 날짜 답변
B4	옐로펀치 컴퍼니엑스 협약 근거 있어?	구체적으로 어떤 내용이야?	MOU 내용 상세
B5	아크로셀 정기주총 서류 있어?	몇 호 의안이 있어?	의안 목록 답변

C. 경계 케이스

#	질문	기대	비고
C1	컴퍼니엑스 내부 휴가 규정이 뭐야?	정상 failure	200개에 없는 문서
C2	점심 뭐 먹을까?	일반 챗봇 응답 (grounding failure → fallback)	라우팅 완화 후 경계
C3	고유번호증이 뭐야? 일반적으로 설명해줘	일반 지식 답변 (grounding 아님)	내부 문서 아닌 일반 질문

관련 파일

• rb8001/app/services/companyx_grounding_service.py: _call_llm_companyx_grounding(), _build_grounded_response()
• rb8001/app/services/message_service.py: 대화 맥락 전달 경로

관련 문서

• 260322 답변 품질 트러블 (닫힘)