- 계획: Phase 3 근거 채택 판정을 LLM 위임으로 전환 반영 - 워크플로우 JSON: 키워드 필터링 노드 제거, Vector Score 선택 + LLM 판단 구조 - 워크플로우 MD: 근거 선별 원칙 추가 (룰베이스 절제 원칙 §B.6) Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2.7 KiB
2.7 KiB
tags: [workflow, rag, companyx, grounding, answer]
Company X Grounding 파이프라인
목적
- Company X 소속 사용자의 내부 문서 질문에 대해 로빙이 근거를 붙여 답하게 한다.
- 직접 답과 근거 문서를 함께 반환하는 기준을 고정한다.
상위 원칙
입력
- 사용자 질문
- 사용자 ID
- 검색된 근거 문서 목록
- 근거 문서 메타데이터
출력
- 직접 답
- 근거 문서명
- 근거 문단 요약
- 필요 시 위치 정보
- 근거 부족 시 명시적 실패 응답
처리 순서
- 질문이 Company X 근거응답 대상인지 판단한다.
- 벡터 유사도 검색으로 상위 결과를 수집한다.
- 검색 결과를 LLM에 컨텍스트로 전달하고, LLM이 질문 적합도를 판단해 답변한다.
- LLM 응답을 Pydantic으로 검증한다.
- 근거가 부족하면 LLM이
failure_reason을 명시하고, 추정 답변 대신 실패 응답으로 끝낸다.
근거 선별 원칙
- 키워드 기반 룰로 검색 결과를 필터링하지 않는다 (룰베이스 절제 원칙 — global-principles.md §B.6).
- 벡터 검색이 반환한 유사도 순서를 신뢰하고, LLM이 컨텍스트를 보고 적합도를 재판단한다.
- 근거 선별 책임은 LLM에 있으며, 코드 레벨에서는 유사도 상위 결과를 문서 다양성 기준으로 선택만 한다.
실패 분기
- 검색 결과가 0건이면
문서 없음으로 실패한다. - LLM이 컨텍스트만으로 답변 불가로 판단하면
failure_reason을 채우고, 성공처럼 반환하지 않는다. - 수치형 질문에서 값이 없으면 추정하지 않는다.
- 내부 규정이나 최신 집계가 없으면
문서 없음,미확인,불일치중 하나로 명시한다. - 메타 대화로 회피하지 않는다.
현재 기준
- 이 흐름은
rb8001답변 합성 규칙과 연결된다. - 검색 결과를 그대로 붙이는 방식은 허용하지 않는다.
- 질문 유형 분류는 LLM 프롬프트 톤 조절용으로만 사용한다.
검증 기준
오늘전통/옐로펀치같은 기준 질문에서 직접 답 + 근거 문서가 함께 나와야 한다.투자사 수,휴가 규정같은 근거 부족 질문은 추정 없이 실패해야 한다.- Slack 실응답과 테스트 응답이 같은 기준을 따라야 한다.