docs: finalize Company X RAG scenario details

journey/ideas/260312_companyx_내부문서_rag_응답_아이디어.md

@@ -29,6 +29,12 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding]
 - 1차 질문 범위는 프로그램 소개, 운영 사실 확인, 기존 문서 기반 설명, 내부 자료 재정리 요청입니다.
 - 1차 답변 범위는 `문서에 있는 사실 설명`, `문서 간 표현 비교`, `근거 문서 재정리`까지로 제한하는 편이 안전합니다.
 
+## 우선 문서군 가설
+- 1순위: 프로그램 소개서, 운영안, 제안서, 소개 자료
+- 2순위: 보도자료 초안, 대외 설명 문서, 보고용 요약본
+- 3순위: 실적 집계표, 운영 로그, 개별 계약/투자 관련 문서
+- 이유는 1순위 문서가 `질문 빈도`, `설명 적합성`, `근거 노출 안정성` 면에서 가장 먼저 가치가 크기 때문입니다.
+
 ## 비목표 초안
 - 문서에 없는 최신 수치를 추정해서 답하는 기능은 이번 범위가 아닙니다.
 - 권한이 불분명한 사용자에게 내부 문서를 근거로 답하는 기능은 이번 범위가 아닙니다.
@@ -39,6 +45,11 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding]
 - 같은 질문이라도 비소속 사용자에게는 내부 문서 기반 답변을 하지 않거나, 공개 가능한 범위만 분리해 답해야 합니다.
 - 따라서 이 아이디어는 RAG 품질 문제이면서 동시에 권한 경계 문제입니다.
 
+## 문서 충돌 처리 가설
+- 같은 주제의 문서가 여러 개면 최신 문서를 무조건 우선하지 않고 `공식성 -> 승인 상태 -> 최신성` 순서로 우선 판단하는 편이 안전합니다.
+- 소개 문서와 초안 문서가 충돌하면 초안보다 공식 소개 문서를 우선합니다.
+- 숫자나 상태값이 충돌하면 단정 답변보다 `문서 간 불일치` 자체를 먼저 드러내야 합니다.
+
 ## 기대 효과
 - Company X 구성원은 로빙을 일반 챗봇이 아니라 내부 문서 기반 업무 보조자로 인식할 수 있습니다.
 - 같은 질문에 대해 추측성 답변보다 실제 파일 근거가 먼저 나오므로 신뢰도가 높아집니다.
@@ -50,6 +61,12 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding]
 - 내부 문서를 그대로 청킹할지, 사람이 읽기 쉬운 중간 RAG 포맷으로 먼저 변환할지 아직 결정되지 않았습니다.
 - 답변에 어느 수준까지 근거를 노출할지, 원문 인용 범위를 어떻게 제한할지도 미확정입니다.
 
+## 성공 판단 기준 초안
+- Company X 소속 사용자의 대표 질문 세트에 대해, 답변마다 근거 문서명이 함께 제시됩니다.
+- 문서에 없는 값은 추정하지 않고 `근거 없음` 또는 `문서 불일치`로 응답합니다.
+- 같은 질문을 다시 했을 때 근거 문서 선택과 답변 형식이 크게 흔들리지 않습니다.
+- 사용자가 후속으로 `근거 문서만 다시 정리해줘`를 요청하면 이전 근거를 재구성할 수 있습니다.
+
 ## 검증이 필요한 질문
 1. Company X 내부 문서 중 실제 질문 빈도가 높은 문서군은 무엇인가
 2. RAG 입력은 원본 파일 직접 청킹과 중간 정제 포맷 중 무엇이 더 안정적인가
@@ -57,6 +74,7 @@ tags: [robeing, companyx, rag, ideas, knowledge-grounding]
 4. 답변 근거를 문서 경로, 제목, 문단 수준 중 어디까지 보여주는 것이 적절한가
 5. 문서 원문 인용 허용 범위와 요약 중심 노출 기준은 어떻게 나눌 것인가
 6. 문서가 서로 충돌할 때 최신성, 공식성, 승인 상태 중 무엇을 우선할 것인가
+7. 어떤 질문 유형부터 `정답률`보다 `근거 일관성`을 먼저 검증해야 하는가
 
 ## 다음 단계 후보
 1. 실제 Company X 파일 유형을 분류하는 `research`

journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md

@@ -17,6 +17,12 @@ tags: [robeing, companyx, rag, scenarios, user-experience]
 - 답변에는 결론만 아니라 근거 문서명, 관련 문단 요지, 필요한 경우 원문 위치가 함께 제시됩니다.
 - 내부 문서에 근거가 부족하면 억지로 답하지 않고, 부족한 근거와 다음 확인 경로를 분명히 말합니다.
 
+## 질문 유형 범위
+- 설명형 질문: "X-COURSE가 뭐야?"
+- 사실 확인형 질문: "옐로펀치와 공동 운영 근거 있어?"
+- 수치 확인형 질문: "이번 달 확정 투자 건수 몇 건이야?"
+- 재정리형 질문: "근거 문서명만 다시 정리해줘."
+
 ## 장면 1. 프로그램 자료를 빠르게 찾고 설명받고 싶다
 1. 사용자가 묻습니다. "X-COURSE가 뭐야? 내부 자료 기준으로 설명해줘."
 2. 로빙은 Company X 내부 문서에서 `X-COURSE` 관련 소개서, 운영 문서, 제안서 등을 먼저 찾습니다.
@@ -80,6 +86,12 @@ tags: [robeing, companyx, rag, scenarios, user-experience]
 - 근거가 부족하면 추정 대신 부족한 이유와 다음 확인 대상을 말합니다.
 - 사용자가 재사용할 수 있게 근거 문서 목록을 다시 뽑아줄 수 있어야 합니다.
 
+## 금지 답변
+- 내부 문서에 없는 최신 수치를 추정해 단정하지 않습니다.
+- 근거 문서 없이 "알고 있다", "그럴 것이다" 같은 표현으로 넘기지 않습니다.
+- 내부 문서와 충돌하는 일반 웹 지식을 먼저 답하지 않습니다.
+- 문서 경로만 던지고 요지 설명 없이 끝내지 않습니다.
+
 ## 실패 장면
 1. 사용자가 내부 자료 기준 답변을 기대하고 질문합니다.
 2. 로빙이 내부 문서 대신 일반 웹 정보나 추측으로 먼저 답합니다.
@@ -90,6 +102,7 @@ tags: [robeing, companyx, rag, scenarios, user-experience]
 - Company X 소속 사용자가 내부 업무 질문에 대해 "문서 근거가 붙은 답변"을 일관되게 받습니다.
 - 근거가 없는 질문에는 추측 대신 부족한 근거를 명확히 안내합니다.
 - 사용자가 답변 후 "근거 문서가 뭐냐"를 다시 묻는 빈도가 줄어듭니다.
+- 설명형, 사실 확인형, 수치 확인형, 재정리형 질문 모두에서 답변 형식이 크게 흔들리지 않습니다.
 
 ## 연결 문서
 - [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md)