DOCS/journey/scenarios/260312_companyx_내부문서_근거응답_사용자시나리오.md

tags: [robeing, companyx, rag, scenarios, user-experience]

# Company X 내부 문서 근거응답 사용자 시나리오

**상태**: 닫힘 — 검증은 260320 계획으로 이관
**작성일**: 2026-03-12
**갱신일**: 2026-03-20
**후속**: [260320 로빙 다형식문서 RAG 적용1 계획](../plans/260320_로빙_다형식문서_RAG_적용1_계획.md)
**대상 사용자**: Company X 소속으로 인증된 사용자

---

## 현재 체감
- 지금의 로빙은 Company X 내부 파일을 사용자의 질문 맥락에서 안정적으로 근거화해 답하는 경험이 고정돼 있지 않습니다.
- 사용자는 내부 문서에 답이 있을 것 같은 질문도 다시 사람에게 묻거나, 파일을 직접 열어 찾아야 합니다.

## 해결 후 기대 상황
- Company X 소속 사용자가 내부 업무 질문을 하면, 로빙이 Company X 내부 문서를 먼저 검색해 답합니다.
- 답변에는 결론만 아니라 근거 문서명, 관련 문단 요지, 필요한 경우 원문 위치가 함께 제시됩니다.
- 내부 문서에 근거가 부족하면 억지로 답하지 않고, 부족한 근거와 다음 확인 경로를 분명히 말합니다.

## 질문 유형 범위
- 설명형 질문: "X-COURSE가 뭐야?"
- 사실 확인형 질문: "옐로펀치와 공동 운영 근거 있어?"
- 수치 확인형 질문: "이번 달 확정 투자 건수 몇 건이야?"
- 재정리형 질문: "근거 문서명만 다시 정리해줘."

## 이 시나리오의 운영 범위
- 대상은 `Company X 소속 사용자`의 `내부 문서 근거응답 경험`입니다.
- 핵심은 검색 성공 자체보다 `답변을 어떻게 마무리해 사용자에게 신뢰 가능한 형태로 보여주느냐`입니다.
- 따라서 이 시나리오는 `검색됨`만으로 닫히지 않고, `직접 답 + 맞는 근거 + 부족 시 명시적 한계 고지`까지 충족해야 닫힙니다.

## 장면 1. 프로그램 자료를 빠르게 찾고 설명받고 싶다
1. 사용자가 묻습니다. "X-COURSE가 뭐야? 내부 자료 기준으로 설명해줘."
2. 로빙은 Company X 내부 문서에서 `X-COURSE` 관련 소개서, 운영 문서, 제안서 등을 먼저 찾습니다.
3. 로빙은 핵심 설명을 짧게 답한 뒤, 어떤 문서를 근거로 썼는지 함께 보여줍니다.

### 현재 답변 예시
> X-COURSE는 Company X의 프로그램으로 보입니다.  
> 스타트업 지원이나 액셀러레이팅과 관련된 것 같습니다.

### 바람직한 답변 예시
> X-COURSE는 Company X가 운영하는 액셀러레이팅 프로그램으로 보입니다.  
> 내부 문서 기준으로는 투자 연계, 스타트업 육성, 프로그램 운영 흐름이 반복적으로 언급됩니다.  
> 근거: `문서명`, `섹션/페이지`, 해당 문단 요약.

## 장면 2. 문서 속 사실 여부를 확인하고 싶다
1. 사용자가 묻습니다. "오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?"
2. 로빙은 관련 제안서, 소개 문서, 보도자료 초안 등에서 공동 운영 표현을 검색합니다.
3. 근거가 있으면 문서 위치를 붙여 답하고, 없으면 없다고 답합니다.

### 현재 답변 예시
> 제가 아는 범위에서는 Company X가 옐로펀치와 함께 운영하는 것으로 알고 있습니다.  
> 정확한 근거 문서는 바로 제시하기 어렵습니다.

### 바람직한 답변 예시
> 확인된 내부 문서 기준으로는 Company X가 옐로펀치와 공동 운영한다고 적힌 자료가 있습니다.  
> 다만 문서마다 표현이 `공동 운영`, `협력 운영`으로 조금 다를 수 있습니다.  
> 근거: `문서명`, `문단 요약`, `파일 경로 또는 페이지 위치`.

## 장면 3. 내부 문서에 없는 내용은 모른다고 말해야 한다
1. 사용자가 묻습니다. "이번 달 확정 투자 건수 몇 건이야?"
2. 로빙이 검색했지만 최신 월간 실적 문서나 집계표가 없거나, 값이 서로 다릅니다.
3. 로빙은 추정하지 않고 현재 확보된 근거 범위를 설명합니다.

### 현재 답변 예시
> 이번 달 확정 투자 건수는 몇 건으로 보입니다.  
> 정확하지 않을 수 있지만 대략 그 정도입니다.

### 바람직한 답변 예시
> 현재 제가 확인한 Company X 내부 문서만으로는 이번 달 확정 투자 건수를 단정할 수 없습니다.  
> 찾은 자료는 과거 보고서와 개별 투자 문서이고, 이번 달 집계표는 아직 보이지 않습니다.  
> 가능하면 최신 월간 보고서나 투자 집계 파일을 추가 확인해야 합니다.

## 장면 4. 사용자는 답만 아니라 근거 재사용이 가능해야 한다
1. 사용자가 묻습니다. "이 답을 대표님께 공유하려는데, 근거 문서명만 다시 정리해줘."
2. 로빙은 이전 답변에서 사용한 문서 근거를 다시 짧게 정리합니다.
3. 사용자는 파일을 다시 뒤지지 않고 바로 전달 자료를 만들 수 있습니다.

### 현재 답변 예시
> 아까 답변을 참고해주세요.  
> 관련 문서는 여러 개였는데 정확한 이름은 다시 찾아봐야 합니다.

### 바람직한 답변 예시
> 이번 답변에 사용한 내부 근거 문서는 아래와 같습니다.  
> 1. `문서명 A` - 프로그램 개요  
> 2. `문서명 B` - 공동 운영 표현 확인  
> 3. `문서명 C` - 운영 대상/목적 확인

## 답변 형식 기대
- 첫 문장에서 질문에 대한 직접 답을 짧게 말합니다.
- 둘째 부분에서 근거 문서명, 문단 요지, 위치 정보를 붙입니다.
- 근거가 부족하면 추정 대신 부족한 이유와 다음 확인 대상을 말합니다.
- 사용자가 재사용할 수 있게 근거 문서 목록을 다시 뽑아줄 수 있어야 합니다.

## 연결 구조
- 같은 레벨 입력: `ideas/260312_companyx_내부문서_rag_응답_아이디어.md`, 본 시나리오
- 단일 리서치: `research/260315_companyx_rag_답변합성_시나리오동시종결_리서치.md`
- 단일 플랜: `plans/260315_companyx_rag_답변합성_시나리오동시종결_계획.md`
- 닫힘 흐름: 플랜 완료 기준 충족 시 시나리오/트러블과 함께 닫힘 선언 (아이디어 문서는 종결 상태 유지)

## 재오픈 기준 질문과 기대 결과 (20개)
1. `컴퍼니엑스의 투자사는 몇개야?`
- 기대 결과: 수치를 말할 수 있으면 문서 근거와 함께 말하고, 말할 수 없으면 `내부 문서만으로는 단정 불가`를 분명히 답합니다.
2. `그럼 컴퍼니엑스 내부 규정 상 휴가는 얼마나 쓸 수 있어?`
- 기대 결과: 휴가 규정 문서가 확인되지 않으면 `관련 내부 규정을 아직 확인하지 못했다`고 답합니다.
3. `오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?`
- 기대 결과: 직접 답 + 근거 문서명 + 근거 요약이 함께 나와야 합니다.
- 의미: 이미 일부 동작 확인된 질문이므로, 재오픈 이후에도 계속 유지돼야 하는 기준 질문입니다.
4. `X-COURSE가 뭐야? 내부 자료 기준으로 설명해줘.`
- 기대 결과: 정의를 한 문장으로 말하고, 근거 문서명과 문단 요지를 함께 제시합니다.
5. `Company X의 프로그램 운영 흐름이 문서에 정리돼 있어?`
- 기대 결과: 운영 흐름이 있는 문서를 특정하고, 해당 문서 요지를 짧게 요약합니다.
6. `Company X가 운영하는 주요 프로그램 목록만 알려줘.`
- 기대 결과: 근거 문서에 있는 프로그램명만 나열하고, 각 문서명을 함께 제시합니다.
7. `옐로펀치와의 협력 범위가 어디까지야?`
- 기대 결과: 문서에 명시된 범위를 인용해 요약하고, 범위가 불명확하면 `문서 미확인`으로 답합니다.
8. `오늘전통 프로그램의 대상/조건이 문서에 적혀 있어?`
- 기대 결과: 대상/조건을 말할 수 있으면 문서 요지와 함께 답하고, 없으면 `문서 없음`으로 답합니다.
9. `내부 규정에서 재택근무 기준이 있는지 확인해줘.`
- 기대 결과: 규정 문서가 확인되면 기준을 요약하고, 없으면 `관련 내부 규정을 아직 확인하지 못했다`고 답합니다.
10. `IR 채널에서 공유된 투자사 리스트 문서가 있어?`
- 기대 결과: 문서 존재 여부를 분명히 말하고, 있으면 문서명과 위치를 제시합니다.
11. `Company X 조직도나 팀 구성 문서가 있어?`
- 기대 결과: 조직/팀 문서 유무를 답하고, 확인된 문서명과 요지를 제공합니다.
12. `최근 분기별 주요 성과 지표가 문서로 정리돼 있나?`
- 기대 결과: 최신 분기 문서가 없으면 `내부 문서만으로는 단정 불가`로 답합니다.
13. `프로그램 참여 기업 선정 기준이 문서에 명시돼 있어?`
- 기대 결과: 선정 기준 문서가 있으면 핵심 기준을 요약하고, 없으면 문서 미확인으로 답합니다.
14. `Company X의 슬로건/미션이 내부 문서에 어떻게 적혀 있어?`
- 기대 결과: 문서 표현을 요약하고, 근거 문서명을 함께 제시합니다.
15. `내부 규정상 출장비 정산 기준이 있나?`
- 기대 결과: 규정 문서가 확인되면 기준을 요약하고, 없으면 `관련 내부 규정을 아직 확인하지 못했다`고 답합니다.
16. `프로그램 운영 기간이나 일정이 명시된 자료가 있어?`
- 기대 결과: 일정 문서 유무를 답하고, 있으면 문서명과 요지를 제공합니다.
17. `Company X가 제공하는 지원 항목(멘토링/투자/공간 등)이 문서에 있어?`
- 기대 결과: 문서에 있는 항목만 열거하고, 근거 문서명을 붙입니다.
18. `옐로펀치와 공동 운영이라고 표현된 정확한 문구를 알려줘.`
- 기대 결과: 문구가 있는 문서를 특정해 요지를 제공하거나, 없으면 `문서 미확인`으로 답합니다.
19. `근거 문서명만 다시 정리해줘.`
- 기대 결과: 직전 답변에서 사용한 문서명 리스트를 재정리해 제공합니다.
20. `이번 답변에 사용한 근거 문서의 위치(페이지/섹션)만 알려줘.`
- 기대 결과: 사용한 문서의 위치 정보를 가능 범위에서 제시하고, 확인 불가하면 확인 불가를 명시합니다.

## 금지 답변
- 내부 문서에 없는 최신 수치를 추정해 단정하지 않습니다.
- 근거 문서 없이 "알고 있다", "그럴 것이다" 같은 표현으로 넘기지 않습니다.
- 내부 문서와 충돌하는 일반 웹 지식을 먼저 답하지 않습니다.
- 문서 경로만 던지고 요지 설명 없이 끝내지 않습니다.

## 실패 장면
1. 사용자가 내부 자료 기준 답변을 기대하고 질문합니다.
2. 로빙이 내부 문서 대신 일반 웹 정보나 추측으로 먼저 답합니다.
3. 근거 문서가 보이지 않거나, 실제 내부 표현과 다른 내용이 섞입니다.
4. 사용자는 다시 파일을 직접 찾아야 하고, 로빙 답변을 신뢰하지 못합니다.

### 실제 재오픈 사례 A
- 질문: `컴퍼니엑스의 투자사는 몇개야?`
- 실제 응답: 직접 답 없이 `관련 근거를 찾았습니다`와 무관한 청크만 반환
- 기대와의 차이: 수치형 질문인데 개수를 말하지 못했고, 질문 적합 근거 선별도 실패

### 실제 재오픈 사례 B
- 질문: `그럼 컴퍼니엑스 내부 규정 상 휴가는 얼마나 쓸 수 있어?`
- 실제 응답: 휴가 규정과 무관한 `companyx_todaytradition.pdf` 청크만 반환
- 사용자 반응: `아직 완벽하지 않네.`
- 후속 로빙 응답: `어떤 부분이 더 필요하신지 구체적으로 알려주시면 감사하겠습니다.`
- 기대와의 차이: 근거 없음 또는 문서 미확인으로 답해야 했는데, 무관한 청크를 준 뒤 다시 메타 대화로 빠졌습니다.

## 완료 기준 (사용자 기준)
- Company X 소속 사용자가 내부 업무 질문에 대해 "문서 근거가 붙은 답변"을 일관되게 받습니다.
- 근거가 없는 질문에는 추측 대신 부족한 근거를 명확히 안내합니다.
- 사용자가 답변 후 "근거 문서가 뭐냐"를 다시 묻는 빈도가 줄어듭니다.
- 설명형, 사실 확인형, 수치 확인형, 재정리형 질문 모두에서 답변 형식이 크게 흔들리지 않습니다.

## 닫힘 판정 기준
- 재오픈 기준 질문 20개에서 각각 기대 결과가 실제 응답으로 재현돼야 합니다.
- 성공 질문 1개만 맞고 다른 질문에서 무관한 청크를 반환하는 상태는 닫힘으로 보지 않습니다.
- 사용자가 추가 질문을 했을 때도 메타 대화로 빠지지 않고, 근거 재정리 또는 근거 부족 안내로 이어져야 합니다.
- 이 시나리오는 대응 troubleshooting 문서와 함께 만족하는 단일 research와 단일 plan이 작성돼야 다음 단계로 넘어갑니다.

## 현재 상태 (2026-03-17 갱신)

### 재오픈 원인 (2026-03-12)
- Slack 실응답 `컴퍼니엑스의 투자사는 몇개야?`에서 직접 답 없이 무관한 청크만 반환.
- Slack 실응답 `그럼 컴퍼니엑스 내부 규정 상 휴가는 얼마나 쓸 수 있어?`에서 규정 근거가 아닌 사업계획서 청크 반환.

### 구현 반영 상태 (2026-03-17 코드 검토)
- **해결됨**: 질문 유형 분류(`_classify_question_type()` 4유형), 근거 채택 판정(`_score_result_relevance()`), 직접 답/실패 답 분리(`_build_direct_answer()` / `_build_failure_answer()`), 하드코딩 특례 제거
- **미완료**: Slack 실응답 20개 질문 통과 검증, 자동화 테스트 고정
- 상세: [260317_companyx_grounding_코드검토_및_문서현행화](../worklog/260317_companyx_grounding_코드검토_및_문서현행화.md)

### 임베딩 전제 갱신
- `384d local` → `Gemini Embedding 2 / 768d` 전환 확정 (0_VALUE 정책)
- NAS Company X 53,249 파일 전량 재임베딩 대상
- SKILL.md 반영 완료
- NAS 동기화 경로/시점은 아직 미확정이며, 이 전제는 리서치/플랜에서 먼저 닫아야 합니다.
- `char_per_token = 4` 고정 근사로 인한 **한국어 과소 청킹 리스크**가 남아 있습니다.

### 닫힘까지 남은 작업
1. Gemini Embedding 2 / 768d 기준으로 Company X 대표 문서 재임베딩 완료 확인 (현재 상태: 미확인)
2. 재오픈 기준 질문 20개 중 대표 5개를 Slack 실응답으로 검증 (전수 20개는 자동화 테스트로 대체)
3. 자동화 테스트 추가 후 통과
4. 종결 worklog 1건 작성

## 연결 문서
- [Company X 내부 문서 RAG 응답 아이디어](../ideas/260312_companyx_내부문서_rag_응답_아이디어.md)
- [Company X 내부문서 RAG 근거응답 구현 및 시나리오 검증](../worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md)
- [Company X RAG 답변 합성 회귀](../troubleshooting/260312_companyx_rag_answer_composition_regression.md)
- [Company X RAG 답변합성 시나리오·트러블 동시종결 리서치](../research/260315_companyx_rag_답변합성_시나리오동시종결_리서치.md)
- [Company X RAG 답변합성 시나리오·트러블 동시종결 계획](../plans/260315_companyx_rag_답변합성_시나리오동시종결_계획.md)
- [컴퍼니엑스(Company X) 개요](../../book/500_business/560_컴퍼니엑스_개요.md)