3.3 KiB
3.3 KiB
자기개선 루프 시나리오: 미팅 요약 요청
상태: 미구현(설계 완료)
날짜: 2026-03-03
대상 서비스: rb8001, robeing-monitor, robeing-gateway
1) 목적
- 사용자의 짧은 업무 요청(미팅 준비)을
예측 -> 행동 -> 평가 -> 반성으로 처리하는 기준 시나리오를 정의한다. - 단발 응답이 아니라, 다음 응답 품질이 개선되는 자기개선 루프를 만든다.
2) 입력 시나리오
- 사용자 질문:
내일 오전 미팅 준비 요약해줘 - 컨텍스트:
- 최근 대화에서 사용자는 장문보다 짧은 응답을 선호
- 같은 유형 요청에서 누락 피드백이 1회 존재
3) 루프 단계 상세
Step A. 예측 (Predict)
- 시스템 가설:
- 선호 응답 형태:
짧은 실행형(3~5줄) - 핵심 정보 우선순위:
안건 > 리스크 > 즉시 할 일 - 목표 포맷:
안건 3개 + 리스크 1개 + 액션 2개
- 선호 응답 형태:
- 예측 로그 저장 항목(예시):
predicted_format = concise_executionpredicted_risk = missing_key_agendaconfidence = 0.72
Step B. 행동 (Act)
- 실제 답변 생성:
- 안건 3개
- 리스크 1개
- 지금 할 일 2개
- 출력 예시:
1) 안건: A/B/C2) 리스크: 의사결정 지연 가능성3) 지금 할 일: 자료 2건 점검 + 질문 1건 준비
Step C. 평가 (Evaluate)
- 사용자 반응 신호:
- 명시 피드백: 좋아요/싫어요
- 암묵 신호: 후속 요청(
더 짧게,핵심 빠졌어) 여부
- 평가 기준:
explicit_feedback_score(up/down)revision_request_countintent_consistency(의도 부합 여부)
Step D. 반성 (Reflect)
- 반성 규칙:
싫어요또는수정 요청발생 시 원인 태깅- 태그 예:
too_long,missing_agenda,weak_actionability
- 다음 사이클 반영:
- 동일 유형 요청에서 템플릿 자동 전환
- 예:
3줄 제한 + 액션 우선정책 활성화
4) 사용자 반응별 분기
분기 1: 좋아요 + 추가 질문 없음
- 판단: 현재 포맷 유지
- 조치: 해당 패턴 가중치 소폭 강화
분기 2: 싫어요
- 판단: 답변 구조 또는 길이 부적합
- 조치:
- 리뷰 큐에
corrected로 기록 - 다음 응답에서 축약 템플릿 강제
- 리뷰 큐에
분기 3: 좋아요 + "더 짧게"
- 판단: 내용은 맞으나 길이 과다
- 조치:
- 개인 선호에
ultra_concise기록 - 후속 동일 의도는 3줄 고정
- 개인 선호에
분기 4: "핵심 빠졌어"
- 판단: 핵심 추출 실패
- 조치:
- 누락 슬롯(
agenda,risk,action) 재검증 - 누락 유형을 반성 로그에 누적
- 누락 슬롯(
5) 저장 데이터(운영 관점)
- 예측 스냅샷:
predicted_template,predicted_slots,confidence
- 행동 스냅샷:
response_text,response_length,used_template
- 평가 스냅샷:
feedback,followup_signal,quality_score
- 반성 스냅샷:
error_tags,policy_change,rollback_flag
6) 성공 기준
- 2주 내 동일 의도 요청에서:
싫어요 비율감소수정 요청 비율감소첫 응답 해결률증가