Reopen Company X scenario after answer regression

journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md

@@ -3,7 +3,7 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding]
 # Company X 내부 문서 RAG 응답 아이디어
 
 **상태**: 종결  
-**종결 문서**: [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
+**종결 문서**: [Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
 
 ## 배경
 - 로빙은 이미 `skill-rag-file`을 통해 문서를 텍스트로 처리하고 검색할 수 있지만, Company X 내부 NAS 문서를 `Company X 업무 근거`로 안정적으로 활용하는 사용자 경험은 아직 고정되지 않았습니다.

journey/plans/260312_companyx_내부문서_rag_근거응답_구현계획.md

@@ -1,14 +1,15 @@
 # Company X 내부문서 RAG 근거응답 구현계획
 
 **작성일**: 2026-03-12  
-**상태**: 완료  
+**상태**: 부분 완료  
 **목표**: Company X 소속 사용자의 내부 업무 질문에 대해, 로빙이 Company X 내부 문서를 우선 검색하고 `직접 답변 + 근거 문서` 형식으로 응답하도록 최소 운영 기준을 고정
 
 **관련 문서**:
 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md)
 - [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md)
 - [Company X 내부문서 RAG 근거응답 현황 리서치](../research/260312_companyx_내부문서_rag_근거응답_현황_리서치.md)
-- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
+- [Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
+- [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md)
 
 ---
 

journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md

@@ -2,7 +2,7 @@ tags: [robeing, companyx, rag, scenarios, user-experience]
 
 # Company X 내부 문서 근거응답 사용자 시나리오
 
-**상태**: 종결  
+**상태**: 재오픈  
 **작성일**: 2026-03-12  
 **대상 사용자**: Company X 소속으로 인증된 사용자
 
@@ -104,7 +104,13 @@ tags: [robeing, companyx, rag, scenarios, user-experience]
 - 사용자가 답변 후 "근거 문서가 뭐냐"를 다시 묻는 빈도가 줄어듭니다.
 - 설명형, 사실 확인형, 수치 확인형, 재정리형 질문 모두에서 답변 형식이 크게 흔들리지 않습니다.
 
+## 현재 재오픈 이유
+- 대표 질문 일부는 동작했지만, Slack 실응답 `컴퍼니엑스의 투자사는 몇개야?`에서 기대 형식이 깨졌습니다.
+- 실제 응답은 직접 답 없이 관련성 낮은 청크만 반환했고, 이는 이 시나리오의 완료 기준을 만족하지 못합니다.
+- 따라서 현재 상태는 `부분 구현`이며, 시나리오는 다시 열린 것으로 봅니다.
+
 ## 연결 문서
 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md)
 - [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
+- [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md)
 - [컴퍼니엑스(Company X) 개요](../../book/500_business/560_컴퍼니엑스_개요.md)

journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md

@@ -0,0 +1,46 @@
+---
+tags: [robeing, companyx, rag, troubleshooting, answer-quality]
+---
+
+# Company X RAG 답변 합성 회귀
+
+## 관련 문서
+- [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md)
+- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
+- [Company X 내부문서 RAG 근거응답 구현계획](../plans/260312_companyx_내부문서_rag_근거응답_구현계획.md)
+
+## 문제
+- Company X RAG 연결 자체는 되었지만, 실제 Slack 실응답이 시나리오의 기대 답변 형식을 만족하지 못했습니다.
+- 질문:
+  - `컴퍼니엑스의 투자사는 몇개야?`
+- 실제 응답:
+  - `Company X 내부 문서에서 관련 근거를 찾았습니다.`
+  - 질문에 대한 직접 답이 없음
+  - `투자사 개수` 질문과 직접 관련 없는 청크가 그대로 노출됨
+
+## 왜 문제인가
+- 시나리오 완료 기준은 `직접 답 먼저`, `질문과 맞는 근거만 선별`, `근거 부족 시 모른다고 말하기`입니다.
+- 현재 응답은 retrieval hit는 있지만, answer composition 단계에서 질문 적합도 필터링이 부족합니다.
+- 따라서 이 상태는 `시나리오 종결`이 아니라 `시나리오 재오픈` 판단이 맞습니다.
+
+## 확인된 사실
+- `오늘전통/옐로펀치` 대표 질문은 근거응답이 가능했습니다.
+- 하지만 다른 Company X 질의에서는 검색 결과를 그대로 요약 없이 붙이는 회귀가 확인됐습니다.
+- 즉 현재 구현은 `질문별 답변 합성 품질`이 안정화되지 않았습니다.
+
+## 원인 가설
+1. retrieval 결과를 질문 적합도 기준으로 재정렬/필터링하지 않습니다.
+2. 수치형 질문과 사실 확인형 질문을 분리하지 않고 같은 응답 포맷으로 처리합니다.
+3. `직접 답 생성` 전에 `근거 청크 선별`이 충분히 정교하지 않습니다.
+
+## 필요한 조치
+1. 질문 유형별 응답 규칙 분기
+   - 수치 확인형
+   - 사실 확인형
+   - 설명형
+2. retrieval 결과의 질문 적합도 재평가
+3. `직접 답`이 없으면 근거 목록만 반환하지 않도록 가드 추가
+4. Slack 실응답 기준으로 시나리오 질문셋 재검증
+
+## 상태
+- 열림

journey/troubleshooting/README.md

@@ -42,3 +42,5 @@
   - 프롬프트 DB 골격은 있으나 실제 운영 프롬프트 다수가 하드코딩으로 남아 있는 상태 기록
 - [260312_rb8001_memory_chromadb_768_384_dimension_drift.md](./260312_rb8001_memory_chromadb_768_384_dimension_drift.md)
   - rb8001 사용자 메모리 컬렉션에 남아 있는 768/384 차원 드리프트와 Company X RAG 검증 시 동시 관찰된 에러 기록
+- [260312_companyx_rag_answer_composition_regression.md](./260312_companyx_rag_answer_composition_regression.md)
+  - Company X RAG 연결은 되었지만 Slack 실응답에서 직접 답과 질문 적합 근거 선별이 깨진 회귀 기록

journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md

@@ -2,7 +2,7 @@
 tags: [robeing, companyx, rag, worklog, grounding]
 ---
 
-# Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증
+# Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증
 
 ## 관련 문서
 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md)
@@ -14,6 +14,7 @@ tags: [robeing, companyx, rag, worklog, grounding]
 - Company X 사용자 질문에서 내부 문서 근거응답을 우선 처리하는 `rb8001` 최소 라우팅을 추가했습니다.
 - Company X 전용 RAG 사용 규칙을 [SKILL.md](../../skills/companyx-rag/SKILL.md)로 고정했습니다.
 - 대표 시나리오 질문 `오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?`를 실제로 테스트해 근거 문서가 붙는 응답을 확인했습니다.
+- 다만 이후 Slack 실응답에서 답변 합성 회귀가 확인돼, 시나리오는 종결이 아니라 재오픈 상태로 전환했습니다.
 
 ## 구현 내용
 - `rb8001`
@@ -58,8 +59,11 @@ tags: [robeing, companyx, rag, worklog, grounding]
 ## 남은 리스크
 - Company X 근거응답 자체는 동작하지만, `rb8001` 사용자 메모리 컬렉션은 아직 `768/384` 차원 불일치 로그가 남습니다.
 - 이 이슈는 Company X RAG 시나리오를 막지는 않았지만, 별도 메모리 컬렉션 정비 작업이 필요합니다.
+- 질문별 답변 합성 품질이 아직 안정화되지 않아, Slack 실응답에서는 시나리오 기대 형식이 깨질 수 있습니다.
 
 ## 닫힌 항목
 - 아이디어 문서: 방향 가설을 실제 구현과 검증으로 닫음
-- 시나리오 문서: 대표 질문 1건을 실제 근거응답으로 재현해 닫음
-- 계획 문서: 1차 구현과 대표 시나리오 검증 기준으로 완료 처리
+
+## 열려 있는 항목
+- 시나리오 문서: Slack 실응답 기준으로 재오픈
+- 후속 문제: [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md)