DOCS/journey/scenarios/260303_자기개선루프_미팅요약_피드백_시나리오.md

3.3 KiB

자기개선 루프 시나리오: 미팅 요약 요청

상태: 미구현(설계 완료) 날짜: 2026-03-03 대상 서비스: rb8001, robeing-monitor, robeing-gateway


1) 목적

  • 사용자의 짧은 업무 요청(미팅 준비)을 예측 -> 행동 -> 평가 -> 반성으로 처리하는 기준 시나리오를 정의한다.
  • 단발 응답이 아니라, 다음 응답 품질이 개선되는 자기개선 루프를 만든다.

2) 입력 시나리오

  • 사용자 질문: 내일 오전 미팅 준비 요약해줘
  • 컨텍스트:
    • 최근 대화에서 사용자는 장문보다 짧은 응답을 선호
    • 같은 유형 요청에서 누락 피드백이 1회 존재

3) 루프 단계 상세

Step A. 예측 (Predict)

  • 시스템 가설:
    • 선호 응답 형태: 짧은 실행형 (3~5줄)
    • 핵심 정보 우선순위: 안건 > 리스크 > 즉시 할 일
    • 목표 포맷: 안건 3개 + 리스크 1개 + 액션 2개
  • 예측 로그 저장 항목(예시):
    • predicted_format = concise_execution
    • predicted_risk = missing_key_agenda
    • confidence = 0.72

Step B. 행동 (Act)

  • 실제 답변 생성:
    • 안건 3개
    • 리스크 1개
    • 지금 할 일 2개
  • 출력 예시:
    • 1) 안건: A/B/C
    • 2) 리스크: 의사결정 지연 가능성
    • 3) 지금 할 일: 자료 2건 점검 + 질문 1건 준비

Step C. 평가 (Evaluate)

  • 사용자 반응 신호:
    • 명시 피드백: 좋아요/싫어요
    • 암묵 신호: 후속 요청(더 짧게, 핵심 빠졌어) 여부
  • 평가 기준:
    • explicit_feedback_score (up/down)
    • revision_request_count
    • intent_consistency (의도 부합 여부)

Step D. 반성 (Reflect)

  • 반성 규칙:
    • 싫어요 또는 수정 요청 발생 시 원인 태깅
    • 태그 예: too_long, missing_agenda, weak_actionability
  • 다음 사이클 반영:
    • 동일 유형 요청에서 템플릿 자동 전환
    • 예: 3줄 제한 + 액션 우선 정책 활성화

4) 사용자 반응별 분기

분기 1: 좋아요 + 추가 질문 없음

  • 판단: 현재 포맷 유지
  • 조치: 해당 패턴 가중치 소폭 강화

분기 2: 싫어요

  • 판단: 답변 구조 또는 길이 부적합
  • 조치:
    • 리뷰 큐에 corrected로 기록
    • 다음 응답에서 축약 템플릿 강제

분기 3: 좋아요 + "더 짧게"

  • 판단: 내용은 맞으나 길이 과다
  • 조치:
    • 개인 선호에 ultra_concise 기록
    • 후속 동일 의도는 3줄 고정

분기 4: "핵심 빠졌어"

  • 판단: 핵심 추출 실패
  • 조치:
    • 누락 슬롯(agenda, risk, action) 재검증
    • 누락 유형을 반성 로그에 누적

5) 저장 데이터(운영 관점)

  • 예측 스냅샷:
    • predicted_template, predicted_slots, confidence
  • 행동 스냅샷:
    • response_text, response_length, used_template
  • 평가 스냅샷:
    • feedback, followup_signal, quality_score
  • 반성 스냅샷:
    • error_tags, policy_change, rollback_flag

6) 성공 기준

  • 2주 내 동일 의도 요청에서:
    • 싫어요 비율 감소
    • 수정 요청 비율 감소
    • 첫 응답 해결률 증가

7) 연결 문서