---
tags: [robeing, companyx, rag, troubleshooting, answer-quality]
---

# Company X RAG 답변 합성 회귀

## 관련 문서
- [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md)
- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
- [Company X 내부문서 RAG 근거응답 구현계획](../plans/260312_companyx_내부문서_rag_근거응답_구현계획.md)

## 문제
- Company X RAG 연결 자체는 되었지만, 실제 Slack 실응답이 시나리오의 기대 답변 형식을 만족하지 못했습니다.
- 질문:
  - `컴퍼니엑스의 투자사는 몇개야?`
- 실제 응답:
  - `Company X 내부 문서에서 관련 근거를 찾았습니다.`
  - 질문에 대한 직접 답이 없음
  - `투자사 개수` 질문과 직접 관련 없는 청크가 그대로 노출됨

## 왜 문제인가
- 시나리오 완료 기준은 `직접 답 먼저`, `질문과 맞는 근거만 선별`, `근거 부족 시 모른다고 말하기`입니다.
- 현재 응답은 retrieval hit는 있지만, answer composition 단계에서 질문 적합도 필터링이 부족합니다.
- 따라서 이 상태는 `시나리오 종결`이 아니라 `시나리오 재오픈` 판단이 맞습니다.

## 확인된 사실
- `오늘전통/옐로펀치` 대표 질문은 근거응답이 가능했습니다.
- 하지만 다른 Company X 질의에서는 검색 결과를 그대로 요약 없이 붙이는 회귀가 확인됐습니다.
- 즉 현재 구현은 `질문별 답변 합성 품질`이 안정화되지 않았습니다.

## 원인 가설
1. retrieval 결과를 질문 적합도 기준으로 재정렬/필터링하지 않습니다.
2. 수치형 질문과 사실 확인형 질문을 분리하지 않고 같은 응답 포맷으로 처리합니다.
3. `직접 답 생성` 전에 `근거 청크 선별`이 충분히 정교하지 않습니다.

## 필요한 조치
1. 질문 유형별 응답 규칙 분기
   - 수치 확인형
   - 사실 확인형
   - 설명형
2. retrieval 결과의 질문 적합도 재평가
3. `직접 답`이 없으면 근거 목록만 반환하지 않도록 가드 추가
4. Slack 실응답 기준으로 시나리오 질문셋 재검증

## 상태
- 열림