From 714851827f4b6449630d4313d25558f2f74fdbd2 Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Thu, 12 Mar 2026 22:47:41 +0900 Subject: [PATCH] Reopen Company X scenario after answer regression --- ...yx_내부문서_rag_응답_아이디어.md | 2 +- ...부문서_rag_근거응답_구현계획.md | 5 +- ...서_근거응답_사용자시나리오.md | 8 +++- ...panyx_rag_answer_composition_regression.md | 46 +++++++++++++++++++ journey/troubleshooting/README.md | 2 + ...거응답_구현및시나리오검증.md | 10 ++-- 6 files changed, 66 insertions(+), 7 deletions(-) create mode 100644 journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md diff --git a/journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md b/journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md index fef989c..4861f7e 100644 --- a/journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md +++ b/journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md @@ -3,7 +3,7 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding] # Company X 내부 문서 RAG 응답 아이디어 **상태**: 종결 -**종결 문서**: [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) +**종결 문서**: [Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) ## 배경 - 로빙은 이미 `skill-rag-file`을 통해 문서를 텍스트로 처리하고 검색할 수 있지만, Company X 내부 NAS 문서를 `Company X 업무 근거`로 안정적으로 활용하는 사용자 경험은 아직 고정되지 않았습니다. diff --git a/journey/plans/260312_companyx_내부문서_rag_근거응답_구현계획.md b/journey/plans/260312_companyx_내부문서_rag_근거응답_구현계획.md index e101dfc..6853a68 100644 --- a/journey/plans/260312_companyx_내부문서_rag_근거응답_구현계획.md +++ b/journey/plans/260312_companyx_내부문서_rag_근거응답_구현계획.md @@ -1,14 +1,15 @@ # Company X 내부문서 RAG 근거응답 구현계획 **작성일**: 2026-03-12 -**상태**: 완료 +**상태**: 부분 완료 **목표**: Company X 소속 사용자의 내부 업무 질문에 대해, 로빙이 Company X 내부 문서를 우선 검색하고 `직접 답변 + 근거 문서` 형식으로 응답하도록 최소 운영 기준을 고정 **관련 문서**: - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md) - [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md) - [Company X 내부문서 RAG 근거응답 현황 리서치](../research/260312_companyx_내부문서_rag_근거응답_현황_리서치.md) -- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) +- [Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) +- [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md) --- diff --git a/journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md b/journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md index 38df985..77366b2 100644 --- a/journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md +++ b/journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md @@ -2,7 +2,7 @@ tags: [robeing, companyx, rag, scenarios, user-experience] # Company X 내부 문서 근거응답 사용자 시나리오 -**상태**: 종결 +**상태**: 재오픈 **작성일**: 2026-03-12 **대상 사용자**: Company X 소속으로 인증된 사용자 @@ -104,7 +104,13 @@ tags: [robeing, companyx, rag, scenarios, user-experience] - 사용자가 답변 후 "근거 문서가 뭐냐"를 다시 묻는 빈도가 줄어듭니다. - 설명형, 사실 확인형, 수치 확인형, 재정리형 질문 모두에서 답변 형식이 크게 흔들리지 않습니다. +## 현재 재오픈 이유 +- 대표 질문 일부는 동작했지만, Slack 실응답 `컴퍼니엑스의 투자사는 몇개야?`에서 기대 형식이 깨졌습니다. +- 실제 응답은 직접 답 없이 관련성 낮은 청크만 반환했고, 이는 이 시나리오의 완료 기준을 만족하지 못합니다. +- 따라서 현재 상태는 `부분 구현`이며, 시나리오는 다시 열린 것으로 봅니다. + ## 연결 문서 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md) - [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) +- [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md) - [컴퍼니엑스(Company X) 개요](../../book/500_business/560_컴퍼니엑스_개요.md) diff --git a/journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md b/journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md new file mode 100644 index 0000000..097fa8d --- /dev/null +++ b/journey/troubleshooting/260312_companyx_rag_answer_composition_regression.md @@ -0,0 +1,46 @@ +--- +tags: [robeing, companyx, rag, troubleshooting, answer-quality] +--- + +# Company X RAG 답변 합성 회귀 + +## 관련 문서 +- [Company X 내부 문서 근거응답 사용자 시나리오](../scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md) +- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md) +- [Company X 내부문서 RAG 근거응답 구현계획](../plans/260312_companyx_내부문서_rag_근거응답_구현계획.md) + +## 문제 +- Company X RAG 연결 자체는 되었지만, 실제 Slack 실응답이 시나리오의 기대 답변 형식을 만족하지 못했습니다. +- 질문: + - `컴퍼니엑스의 투자사는 몇개야?` +- 실제 응답: + - `Company X 내부 문서에서 관련 근거를 찾았습니다.` + - 질문에 대한 직접 답이 없음 + - `투자사 개수` 질문과 직접 관련 없는 청크가 그대로 노출됨 + +## 왜 문제인가 +- 시나리오 완료 기준은 `직접 답 먼저`, `질문과 맞는 근거만 선별`, `근거 부족 시 모른다고 말하기`입니다. +- 현재 응답은 retrieval hit는 있지만, answer composition 단계에서 질문 적합도 필터링이 부족합니다. +- 따라서 이 상태는 `시나리오 종결`이 아니라 `시나리오 재오픈` 판단이 맞습니다. + +## 확인된 사실 +- `오늘전통/옐로펀치` 대표 질문은 근거응답이 가능했습니다. +- 하지만 다른 Company X 질의에서는 검색 결과를 그대로 요약 없이 붙이는 회귀가 확인됐습니다. +- 즉 현재 구현은 `질문별 답변 합성 품질`이 안정화되지 않았습니다. + +## 원인 가설 +1. retrieval 결과를 질문 적합도 기준으로 재정렬/필터링하지 않습니다. +2. 수치형 질문과 사실 확인형 질문을 분리하지 않고 같은 응답 포맷으로 처리합니다. +3. `직접 답 생성` 전에 `근거 청크 선별`이 충분히 정교하지 않습니다. + +## 필요한 조치 +1. 질문 유형별 응답 규칙 분기 + - 수치 확인형 + - 사실 확인형 + - 설명형 +2. retrieval 결과의 질문 적합도 재평가 +3. `직접 답`이 없으면 근거 목록만 반환하지 않도록 가드 추가 +4. Slack 실응답 기준으로 시나리오 질문셋 재검증 + +## 상태 +- 열림 diff --git a/journey/troubleshooting/README.md b/journey/troubleshooting/README.md index 27f69f5..fd91984 100644 --- a/journey/troubleshooting/README.md +++ b/journey/troubleshooting/README.md @@ -42,3 +42,5 @@ - 프롬프트 DB 골격은 있으나 실제 운영 프롬프트 다수가 하드코딩으로 남아 있는 상태 기록 - [260312_rb8001_memory_chromadb_768_384_dimension_drift.md](./260312_rb8001_memory_chromadb_768_384_dimension_drift.md) - rb8001 사용자 메모리 컬렉션에 남아 있는 768/384 차원 드리프트와 Company X RAG 검증 시 동시 관찰된 에러 기록 +- [260312_companyx_rag_answer_composition_regression.md](./260312_companyx_rag_answer_composition_regression.md) + - Company X RAG 연결은 되었지만 Slack 실응답에서 직접 답과 질문 적합 근거 선별이 깨진 회귀 기록 diff --git a/journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md b/journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md index 0c59c80..54dddd2 100644 --- a/journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md +++ b/journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md @@ -2,7 +2,7 @@ tags: [robeing, companyx, rag, worklog, grounding] --- -# Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증 +# Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증 ## 관련 문서 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md) @@ -14,6 +14,7 @@ tags: [robeing, companyx, rag, worklog, grounding] - Company X 사용자 질문에서 내부 문서 근거응답을 우선 처리하는 `rb8001` 최소 라우팅을 추가했습니다. - Company X 전용 RAG 사용 규칙을 [SKILL.md](../../skills/companyx-rag/SKILL.md)로 고정했습니다. - 대표 시나리오 질문 `오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?`를 실제로 테스트해 근거 문서가 붙는 응답을 확인했습니다. +- 다만 이후 Slack 실응답에서 답변 합성 회귀가 확인돼, 시나리오는 종결이 아니라 재오픈 상태로 전환했습니다. ## 구현 내용 - `rb8001` @@ -58,8 +59,11 @@ tags: [robeing, companyx, rag, worklog, grounding] ## 남은 리스크 - Company X 근거응답 자체는 동작하지만, `rb8001` 사용자 메모리 컬렉션은 아직 `768/384` 차원 불일치 로그가 남습니다. - 이 이슈는 Company X RAG 시나리오를 막지는 않았지만, 별도 메모리 컬렉션 정비 작업이 필요합니다. +- 질문별 답변 합성 품질이 아직 안정화되지 않아, Slack 실응답에서는 시나리오 기대 형식이 깨질 수 있습니다. ## 닫힌 항목 - 아이디어 문서: 방향 가설을 실제 구현과 검증으로 닫음 -- 시나리오 문서: 대표 질문 1건을 실제 근거응답으로 재현해 닫음 -- 계획 문서: 1차 구현과 대표 시나리오 검증 기준으로 완료 처리 + +## 열려 있는 항목 +- 시나리오 문서: Slack 실응답 기준으로 재오픈 +- 후속 문제: [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md)