DOCS/journey/worklog/260312_companyx_내부문서_rag_근거응답_구현및시나리오검증.md

tags

tags
robeing companyx rag worklog grounding

Company X 내부문서 RAG 근거응답 1차 구현 및 부분 검증

관련 문서

• Company X 내부 문서 RAG 응답 아이디어
• Company X 내부 문서 근거응답 사용자 시나리오
• Company X 내부문서 RAG 근거응답 현황 리서치
• Company X 내부문서 RAG 근거응답 구현계획

완료 요약

• Company X 사용자 질문에서 내부 문서 근거응답을 우선 처리하는 rb8001 최소 라우팅을 추가했습니다.
• Company X 전용 RAG 사용 규칙을 SKILL.md로 고정했습니다.
• 대표 시나리오 질문 오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?를 실제로 테스트해 근거 문서가 붙는 응답을 확인했습니다.
• 다만 이후 Slack 실응답에서 답변 합성 회귀가 확인돼, 시나리오는 종결이 아니라 재오픈 상태로 전환했습니다.

구현 내용

• rb8001
  • Company X 팀 UUID 사용자에게만 동작하는 companyx_grounding_service 추가
  • 오늘전통, 옐로펀치, X-COURSE, 근거, 내부 문서 계열 질의는 skill-rag-file 검색을 우선 수행
  • 응답 형식을 직접 답 + 근거 문서로 고정
• message_tracking
  • rag_used
  • retrieval_hit_count
  • grounding_present
  • grounding_doc_ids
  • grounding_team_id 를 evaluate_snapshot에 적재하도록 확장
• skill-rag-file 운영 데이터
  • Company X 팀 컬렉션을 현재 384d 경로로 재구성
  • 대표 근거 문서 2건을 실제 인덱싱

시나리오 검증

• 질문:
  • 오늘전통 프로그램을 Company X가 옐로펀치랑 같이 운영한다는 근거 있어?
• 검색 확인:
  • companyx_todaytradition.pdf
  • TalkFile_MOU_옐로펀치X컴퍼니엑스- 25.01.23.pdf.pdf
• 기대 검증:
  • 직접 답이 먼저 나온다
  • 근거 문서명이 함께 나온다
  • 최소 2개 문서가 함께 근거로 묶인다
• 실제 /api/test/router-message 응답:
  • 네. Company X 내부 문서 기준으로 옐로펀치 협력 근거는 확인됩니다.
  • 근거 문서 3줄이 함께 반환됨
• 실제 /api/message 응답:
  • run_id: 8f4f1be7-59fb-4d26-8d10-2ef4ee412345
  • status: success
  • Company X 사용자 UUID로 동일 질문이 같은 형식으로 반환됨
• 실제 메타 평가 적재:
  • rag_used=true
  • grounding_present=true
  • grounding_doc_ids=2개
  • retrieval_hit_count=14
  • grounding_team_id=79441171-3951-4870-beb8-916d07fe8be5

남은 리스크

• Company X 근거응답 자체는 동작하지만, rb8001 사용자 메모리 컬렉션은 아직 768/384 차원 불일치 로그가 남습니다.
• 이 이슈는 Company X RAG 시나리오를 막지는 않았지만, 별도 메모리 컬렉션 정비 작업이 필요합니다.
• 질문별 답변 합성 품질이 아직 안정화되지 않아, Slack 실응답에서는 시나리오 기대 형식이 깨질 수 있습니다.

닫힌 항목

• 아이디어 문서: 방향 가설을 실제 구현과 검증으로 닫음

열려 있는 항목

• 시나리오 문서: Slack 실응답 기준으로 재오픈
• 후속 문제: Company X RAG 답변 합성 회귀