diff --git a/journey/plans/archive/251223_짧은_후속_질문_LLM_우선_해결_계획.md b/journey/plans/archive/251223_짧은_후속_질문_LLM_우선_해결_계획.md new file mode 100644 index 0000000..f6557f6 --- /dev/null +++ b/journey/plans/archive/251223_짧은_후속_질문_LLM_우선_해결_계획.md @@ -0,0 +1,75 @@ +# 짧은 후속 질문 LLM 우선 해결 계획 + +**작성일**: 2025-12-23 +**목표**: 실패하는 질문 18개를 LLM 우선 접근 원칙으로 해결 +**원칙**: `311_FastAPI_구조_원칙.md` 섹션 13 참고 +**테스트 결과**: `rb8001/tests/test_failed_questions_results.md` + +--- + +## 문제 + +**실패한 질문 18개** (총 23개 중 78%): +- 짧은 후속: "어디서?", "언제?", "누구랑?", "뭐야?" +- 맥락 의존: "그거 어떻게 됐어?", "결과는?", "그럼 어떻게 할까?" +- 모호한: "어떻게 생각해?", "괜찮아?" +- 부정/거부: "안 해도 돼", "취소해줘", "보내지 마" +- 비교/선택: "어느 게 나아?", "A와 B 중에 뭐가 좋아?" +- 시간 모호: "언제 했어?" +- 상태 확인: "지금 뭐 하고 있어?", "작업 끝났어?" +- 정보 요청: "너는 뭘 할 수 있어?" + +**현재 문제**: CONTEXT_FOLLOWUP Intent 구현되어 있으나 패턴 매칭 미작동, 규칙 기반 접근으로 정확도 저하 + +--- + +## 아키텍처 + +### 워크플로우 +``` +사용자 질문 + ↓ +FastPath (명확한 케이스만) → 성공 시 즉시 처리 + ↓ 실패 +짧은 질문 감지 (len <= 10 또는 확신도 < 0.7) + ↓ +LLM 질문 확장 (맥락 포함) + ↓ +LLM 의도 분류 (맥락 포함) + ↓ +LangGraph 워크플로우 (엔티티 추출 → 스킬 선택) + ↓ +스킬 실행 +``` + +### 필요 작업 +1. ✅ LLM 질문 확장 기능 추가 (완료) +2. ✅ LLM 의도 분류 맥락 포함 강화 (완료) +3. ✅ LangGraph 기반 워크플로우 구현 (완료, 기본 활성화) +4. ✅ 세션 맥락 LLM 전달 (완료) + +--- + +## 구현 단계 + +| Phase | 작업 | 상태 | +|-------|------|------| +| 1 | LLM 질문 확장 구현 | ✅ 완료 → `troubleshooting/251223_짧은_후속_질문_LLM_Phase1234_구현.md` | +| 2 | LLM 의도 분류 강화 | ✅ 완료 → `troubleshooting/251223_짧은_후속_질문_LLM_Phase1234_구현.md` | +| 3 | LangGraph 워크플로우 | ✅ 완료 → `troubleshooting/251223_짧은_후속_질문_LLM_Phase1234_구현.md` | +| 4 | 세션 맥락 통합 | ✅ 완료 → `troubleshooting/251223_짧은_후속_질문_LLM_Phase1234_구현.md` | + +--- + +## 목표 + +- 실패한 질문 18개 → 3개 이하 (78% → 13%) +- 짧은 후속 질문 정확도: 30% → 90% 이상 +- 맥락 의존 질문 정확도: 30% → 85% 이상 + +--- + +## 참고 + +- `311_FastAPI_구조_원칙.md` (섹션 13: LLM 우선 접근 원칙) +- `context_followup_question_solutions.md` (연구 문서)