From 13361fe0cc007c7368c7d5db2da0fc39faf74f45 Mon Sep 17 00:00:00 2001 From: happybell80 Date: Sun, 14 Sep 2025 16:22:48 +0900 Subject: [PATCH] docs(troubleshooting): add zero-shot intent scenarios and VLA search handling guidance (thread_focus, slots, fallback) [250914] --- ...ybell80_IntentAnalyzer_미사용_문제.md | 20 ++++++++++++++++++- 1 file changed, 19 insertions(+), 1 deletion(-) diff --git a/troubleshooting/250914_happybell80_IntentAnalyzer_미사용_문제.md b/troubleshooting/250914_happybell80_IntentAnalyzer_미사용_문제.md index 55e1259..36514cc 100644 --- a/troubleshooting/250914_happybell80_IntentAnalyzer_미사용_문제.md +++ b/troubleshooting/250914_happybell80_IntentAnalyzer_미사용_문제.md @@ -82,4 +82,22 @@ response_text = response_text.replace("**", "*") # Slack 포맷 변환 ## 영향 범위 - router 레벨 통합 시 Slack뿐 아니라 모든 인터페이스(frontend 등)에 자연어 지원 - DecisionEngine(정규식)과 IntentAnalyzer(LLM) 병행 사용으로 성능/정확도 균형 필요 -- 포맷 깨짐 문제 해결로 가독성 개선 ✅ \ No newline at end of file +- 포맷 깨짐 문제 해결로 가독성 개선 ✅ + +## 제로샷 의도 시나리오(추가) +- 시나리오 1: "AI 뉴스 뭐 있어?" → 프리필터 [news, digest, 기타] → LLM 점수 {news:0.86,…} → news 선택 → skill-news /search 호출 → 요약 포함 응답 +- 시나리오 1 실패: news 스킬 다운 → "현재 뉴스 기능 불가" 안내 + 에러 로그 + 대체 제안(/digest) +- 시나리오 2: "할 일 뽑아줘"(스레드) → 프리필터 [actions, digest, 기타] → actions ≥ 임계치 → 스레드 메시지 수집 → 액션 추출 → 체크리스트 반환 +- 시나리오 2 불명확: 임계치 미달 → "범위 선택(이 스레드/지난 24시간)?" 재질문 → 사용자 선택 후 실행 +- 시나리오 3: "정리해줘"(모호) → 프리필터 [digest, actions, news, 기타] → 최고 점수<0.6 → 옵션 제시 → 선택 후 실행 +- 멘션 없이도 처리: 채널 자연어에서 키워드(뉴스/요약/할 일) 감지 시 IntentAnalyzer 경로 진입 +- 출력 스키마: JSON {intent, score, reason} 강제, 파싱 실패 시 원문 메시지로 폴백 +- 실행 가드: 헬스체크/권한 실패 시 "지금은 불가" 응답, execution_plan 함께 로그 저장 +- 레지스트리 연동: 의도 후보·키워드·엔드포인트를 YAML/JSON으로 관리하여 시나리오 자동 반영 +- 모니터링: 점수 분포·임계치 미달률·폴백율을 대시보드로 추적해 프리필터/프롬프트 개선 + +- 실패 대화(요약): "vla 검색"→"다른 내용"→"/search"→"기술용어"에도 미실행 +- 기대 처리: thread_focus='vla' 유지, intent=search 지속, query 자동보완 +- 보조 슬롯: "기술용어"→domain='tech' 적용, 즉시 실행 +- 응답 예: "VLA는 Variable Length Array/ Vision-Language-Action 등, 어떤 쪽인가요? 기본은 C언어 VLA로 검색합니다." +- 폴백: 스킬 불가 시 "지금은 검색 불가" + 대체 제안(/digest), 로그 기록