DOCS/journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md

tags

tags
robeing companyx rag troubleshooting answer-quality

Company X RAG 답변 합성 회귀

관련 문서

• Company X 내부 문서 근거응답 사용자 시나리오
• Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증
• Company X 내부문서 RAG 근거응답 구현계획

문제

• Company X RAG 연결 자체는 되었지만, 실제 Slack 실응답이 시나리오의 기대 답변 형식을 만족하지 못했습니다.
• 질문:
  • 컴퍼니엑스의 투자사는 몇개야?
• 실제 응답:
  • Company X 내부 문서에서 관련 근거를 찾았습니다.
  • 질문에 대한 직접 답이 없음
  • 투자사 개수 질문과 직접 관련 없는 청크가 그대로 노출됨
• 추가 질문:
  • 그럼 컴퍼니엑스 내부 규정 상 휴가는 얼마나 쓸 수 있어?
• 추가 실제 응답:
  • 휴가 규정과 무관한 companyx_todaytradition.pdf 청크만 반환
  • 사용자가 아직 완벽하지 않네.라고 하자, 로빙이 근거 보강 대신 어떤 부분이 더 필요하신지를 묻는 메타 대화로 빠짐

왜 문제인가

• 시나리오 완료 기준은 직접 답 먼저, 질문과 맞는 근거만 선별, 근거 부족 시 모른다고 말하기입니다.
• 현재 응답은 retrieval hit는 있지만, answer composition 단계에서 질문 적합도 필터링이 부족합니다.
• 따라서 이 상태는 시나리오 종결이 아니라 시나리오 재오픈 판단이 맞습니다.

확인된 사실

• 오늘전통/옐로펀치 대표 질문은 근거응답이 가능했습니다.
• 하지만 다른 Company X 질의에서는 검색 결과를 그대로 요약 없이 붙이는 회귀가 확인됐습니다.
• 규정형 질문처럼 아예 문서군이 다를 가능성이 큰 질의에서도, 근거 없음 대신 무관한 청크를 억지로 반환했습니다.
• 즉 현재 구현은 질문별 답변 합성 품질이 안정화되지 않았습니다.

원인 가설

1. retrieval 결과를 질문 적합도 기준으로 재정렬/필터링하지 않습니다.
2. 수치형 질문과 사실 확인형 질문을 분리하지 않고 같은 응답 포맷으로 처리합니다.
3. 직접 답 생성 전에 근거 청크 선별이 충분히 정교하지 않습니다.
4. 적절한 근거가 없을 때 모른다/문서 미확인로 빠지는 실패 경로가 약합니다.

필요한 조치

1. 질문 유형별 응답 규칙 분기
   • 수치 확인형
   • 사실 확인형
   • 설명형
2. retrieval 결과의 질문 적합도 재평가
3. 직접 답이 없으면 근거 목록만 반환하지 않도록 가드 추가
4. Slack 실응답 기준으로 시나리오 질문셋 재검증
5. 근거 부족 시 메타 대화가 아니라 문서 없음 또는 미확인으로 답하는 실패 경로 고정

상태

• 열림