6.7 KiB
tags: [robeing, companyx, rag, scenarios, user-experience]
Company X 내부 문서 근거응답 사용자 시나리오
상태: 종결
작성일: 2026-03-12
대상 사용자: Company X 소속으로 인증된 사용자
현재 체감
- 지금의 로빙은 Company X 내부 파일을 사용자의 질문 맥락에서 안정적으로 근거화해 답하는 경험이 고정돼 있지 않습니다.
- 사용자는 내부 문서에 답이 있을 것 같은 질문도 다시 사람에게 묻거나, 파일을 직접 열어 찾아야 합니다.
해결 후 기대 상황
- Company X 소속 사용자가 내부 업무 질문을 하면, 로빙이 Company X 내부 문서를 먼저 검색해 답합니다.
- 답변에는 결론만 아니라 근거 문서명, 관련 문단 요지, 필요한 경우 원문 위치가 함께 제시됩니다.
- 내부 문서에 근거가 부족하면 억지로 답하지 않고, 부족한 근거와 다음 확인 경로를 분명히 말합니다.
질문 유형 범위
- 설명형 질문: "X-COURSE가 뭐야?"
- 사실 확인형 질문: "옐로펀치와 공동 운영 근거 있어?"
- 수치 확인형 질문: "이번 달 확정 투자 건수 몇 건이야?"
- 재정리형 질문: "근거 문서명만 다시 정리해줘."
장면 1. 프로그램 자료를 빠르게 찾고 설명받고 싶다
- 사용자가 묻습니다. "X-COURSE가 뭐야? 내부 자료 기준으로 설명해줘."
- 로빙은 Company X 내부 문서에서
X-COURSE관련 소개서, 운영 문서, 제안서 등을 먼저 찾습니다. - 로빙은 핵심 설명을 짧게 답한 뒤, 어떤 문서를 근거로 썼는지 함께 보여줍니다.
현재 답변 예시
X-COURSE는 Company X의 프로그램으로 보입니다.
스타트업 지원이나 액셀러레이팅과 관련된 것 같습니다.
바람직한 답변 예시
X-COURSE는 Company X가 운영하는 액셀러레이팅 프로그램으로 보입니다.
내부 문서 기준으로는 투자 연계, 스타트업 육성, 프로그램 운영 흐름이 반복적으로 언급됩니다.
근거:문서명,섹션/페이지, 해당 문단 요약.
장면 2. 문서 속 사실 여부를 확인하고 싶다
- 사용자가 묻습니다. "오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?"
- 로빙은 관련 제안서, 소개 문서, 보도자료 초안 등에서 공동 운영 표현을 검색합니다.
- 근거가 있으면 문서 위치를 붙여 답하고, 없으면 없다고 답합니다.
현재 답변 예시
제가 아는 범위에서는 Company X가 옐로펀치와 함께 운영하는 것으로 알고 있습니다.
정확한 근거 문서는 바로 제시하기 어렵습니다.
바람직한 답변 예시
확인된 내부 문서 기준으로는 Company X가 옐로펀치와 공동 운영한다고 적힌 자료가 있습니다.
다만 문서마다 표현이공동 운영,협력 운영으로 조금 다를 수 있습니다.
근거:문서명,문단 요약,파일 경로 또는 페이지 위치.
장면 3. 내부 문서에 없는 내용은 모른다고 말해야 한다
- 사용자가 묻습니다. "이번 달 확정 투자 건수 몇 건이야?"
- 로빙이 검색했지만 최신 월간 실적 문서나 집계표가 없거나, 값이 서로 다릅니다.
- 로빙은 추정하지 않고 현재 확보된 근거 범위를 설명합니다.
현재 답변 예시
이번 달 확정 투자 건수는 몇 건으로 보입니다.
정확하지 않을 수 있지만 대략 그 정도입니다.
바람직한 답변 예시
현재 제가 확인한 Company X 내부 문서만으로는 이번 달 확정 투자 건수를 단정할 수 없습니다.
찾은 자료는 과거 보고서와 개별 투자 문서이고, 이번 달 집계표는 아직 보이지 않습니다.
가능하면 최신 월간 보고서나 투자 집계 파일을 추가 확인해야 합니다.
장면 4. 사용자는 답만 아니라 근거 재사용이 가능해야 한다
- 사용자가 묻습니다. "이 답을 대표님께 공유하려는데, 근거 문서명만 다시 정리해줘."
- 로빙은 이전 답변에서 사용한 문서 근거를 다시 짧게 정리합니다.
- 사용자는 파일을 다시 뒤지지 않고 바로 전달 자료를 만들 수 있습니다.
현재 답변 예시
아까 답변을 참고해주세요.
관련 문서는 여러 개였는데 정확한 이름은 다시 찾아봐야 합니다.
바람직한 답변 예시
이번 답변에 사용한 내부 근거 문서는 아래와 같습니다.
문서명 A- 프로그램 개요문서명 B- 공동 운영 표현 확인문서명 C- 운영 대상/목적 확인
답변 형식 기대
- 첫 문장에서 질문에 대한 직접 답을 짧게 말합니다.
- 둘째 부분에서 근거 문서명, 문단 요지, 위치 정보를 붙입니다.
- 근거가 부족하면 추정 대신 부족한 이유와 다음 확인 대상을 말합니다.
- 사용자가 재사용할 수 있게 근거 문서 목록을 다시 뽑아줄 수 있어야 합니다.
금지 답변
- 내부 문서에 없는 최신 수치를 추정해 단정하지 않습니다.
- 근거 문서 없이 "알고 있다", "그럴 것이다" 같은 표현으로 넘기지 않습니다.
- 내부 문서와 충돌하는 일반 웹 지식을 먼저 답하지 않습니다.
- 문서 경로만 던지고 요지 설명 없이 끝내지 않습니다.
실패 장면
- 사용자가 내부 자료 기준 답변을 기대하고 질문합니다.
- 로빙이 내부 문서 대신 일반 웹 정보나 추측으로 먼저 답합니다.
- 근거 문서가 보이지 않거나, 실제 내부 표현과 다른 내용이 섞입니다.
- 사용자는 다시 파일을 직접 찾아야 하고, 로빙 답변을 신뢰하지 못합니다.
완료 기준 (사용자 기준)
- Company X 소속 사용자가 내부 업무 질문에 대해 "문서 근거가 붙은 답변"을 일관되게 받습니다.
- 근거가 없는 질문에는 추측 대신 부족한 근거를 명확히 안내합니다.
- 사용자가 답변 후 "근거 문서가 뭐냐"를 다시 묻는 빈도가 줄어듭니다.
- 설명형, 사실 확인형, 수치 확인형, 재정리형 질문 모두에서 답변 형식이 크게 흔들리지 않습니다.