---
tags: [robeing, companyx, rag, troubleshooting, answer-quality]
---

# Company X RAG 답변 합성 회귀

## 관련 문서
- [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md)
- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
- [Company X 내부문서 RAG 근거응답 구현계획](../plans/260312_companyx_내부문서_rag_근거응답_구현계획.md)

## 문제
- Company X RAG 연결 자체는 되었지만, 실제 Slack 실응답이 시나리오의 기대 답변 형식을 만족하지 못했습니다.
- 질문:
  - `컴퍼니엑스의 투자사는 몇개야?`
- 실제 응답:
  - `Company X 내부 문서에서 관련 근거를 찾았습니다.`
  - 질문에 대한 직접 답이 없음
  - `투자사 개수` 질문과 직접 관련 없는 청크가 그대로 노출됨
- 추가 질문:
  - `그럼 컴퍼니엑스 내부 규정 상 휴가는 얼마나 쓸 수 있어?`
- 추가 실제 응답:
  - 휴가 규정과 무관한 `companyx_todaytradition.pdf` 청크만 반환
  - 사용자가 `아직 완벽하지 않네.`라고 하자, 로빙이 근거 보강 대신 `어떤 부분이 더 필요하신지`를 묻는 메타 대화로 빠짐

## 왜 문제인가
- 시나리오 완료 기준은 `직접 답 먼저`, `질문과 맞는 근거만 선별`, `근거 부족 시 모른다고 말하기`입니다.
- 현재 응답은 retrieval hit는 있지만, answer composition 단계에서 질문 적합도 필터링이 부족합니다.
- 따라서 이 상태는 `시나리오 종결`이 아니라 `시나리오 재오픈` 판단이 맞습니다.

## 확인된 사실
- `오늘전통/옐로펀치` 대표 질문은 근거응답이 가능했습니다.
- 하지만 다른 Company X 질의에서는 검색 결과를 그대로 요약 없이 붙이는 회귀가 확인됐습니다.
- 규정형 질문처럼 아예 문서군이 다를 가능성이 큰 질의에서도, `근거 없음` 대신 무관한 청크를 억지로 반환했습니다.
- 즉 현재 구현은 `질문별 답변 합성 품질`이 안정화되지 않았습니다.

## 원인 가설
1. retrieval 결과를 질문 적합도 기준으로 재정렬/필터링하지 않습니다.
2. 수치형 질문과 사실 확인형 질문을 분리하지 않고 같은 응답 포맷으로 처리합니다.
3. `직접 답 생성` 전에 `근거 청크 선별`이 충분히 정교하지 않습니다.
4. 적절한 근거가 없을 때 `모른다/문서 미확인`로 빠지는 실패 경로가 약합니다.

## 필요한 조치
1. 질문 유형별 응답 규칙 분기
   - 수치 확인형
   - 사실 확인형
   - 설명형
2. retrieval 결과의 질문 적합도 재평가
3. `직접 답`이 없으면 근거 목록만 반환하지 않도록 가드 추가
4. Slack 실응답 기준으로 시나리오 질문셋 재검증
5. 근거 부족 시 메타 대화가 아니라 `문서 없음 또는 미확인`으로 답하는 실패 경로 고정

## 상태
- 열림