DOCS/journey/troubleshooting/260322_companyx_rag_답변품질_장황_무관문서혼입_점수노출.md

type, tags, status, opened_date, closed_date, closed_reason, severity, root_cause

type	tags	status	opened_date	closed_date	closed_reason	severity	root_cause
troubleshooting	companyx rag grounding answer-quality rb8001	closed	2026-03-22	2026-03-22	evidence_lines 하드코딩을 LLM evidence_docs 기반 간결 목록으로 교체. 청크 덤프/무관 문서/점수 노출 3건 동시 해소.	high	_build_grounded_response()가 LLM 답변 뒤에 _build_evidence_lines()로 청크 원문+점수를 무조건 붙이는 구조

260322 Company X RAG 답변 품질 — 장황·무관 문서 혼입·점수 노출

현상

실제 Slack 응답에서 확인된 3가지 문제:

1. 청크 원문 덤프 — 요약 없이 chunk_text를 그대로 노출. 사용자가 읽을 수 없음
2. 무관 문서 혼입 — "아크로셀 정기주총 서류" 질문에 기술보증기금 협약서가 근거로 노출
3. 점수 정보 노출 — score 1.00, vec 0.77, kw 0.00 같은 내부 지표가 사용자에게 보임

직접 원인 (코드 기준)

• _build_evidence_lines(): chunk_text[:180]을 그대로 넣고 점수를 함께 표시
• _select_top_results(): relevance_score 순 상위 5개를 무조건 포함, 질문 적합도 재검증 없음
• LLM 프롬프트: 근거 문서 목록을 LLM이 생성하는 게 아니라 코드가 하드코딩으로 붙임

관련 파일

• rb8001/app/services/companyx_grounding_service.py: _build_evidence_lines(), _build_grounded_response()
• DOCS/skills/companyx-rag/SKILL.md: Response Shape 계약

관련 문서

• 260321 하이브리드 검색 품질 개선 계획