diff --git a/journey/plans/251126_intent_3step_architecture_plan.md b/journey/plans/251126_intent_3step_architecture_plan.md index dcea6e3..36c8b34 100644 --- a/journey/plans/251126_intent_3step_architecture_plan.md +++ b/journey/plans/251126_intent_3step_architecture_plan.md @@ -298,3 +298,18 @@ SkillSelector.select(ActionPlan) → SkillSequence **작성 완료**: 2025-11-26 **다음 단계**: Phase 1 구현 시작 +--- + +## 8. 리스크 및 추가 고려사항 + +- **회귀 및 승인/컨펌 흐름 붕괴 리스크** + - 기존 DecisionEngine이 암묵적으로 처리하던 승인/취소/컨펌, 예외 케이스들이 IntentGoal → ActionPlan → SkillSequence 분리 과정에서 깨질 수 있음 (예: 같은 입력인데 캘린더/이메일 오작동). + - 실제 서비스 대화 로그를 기반으로 한 리플레이 테스트 세트, A/B 플래그(구 구조/신 구조 토글), 빠른 롤백 전략을 설계한 뒤 단계적으로 트래픽을 전환해야 함. + +- **LLM 기반 1단계 도입에 따른 비용/레이턴시/안정성 이슈** + - 모든 발화가 최소 1회 LLM을 타면 레이턴시·비용·비결정성이 커지므로, 고빈도·단순 패턴(“그래”, “응”, 일정 단문 등)은 규칙/통계 모델로 단축 경로를 두고, 각 단계별 confidence 기준과 실패 시 폴백 전략(UNKNOWN → 안전한 일반 대화/질문 재확인)을 명시적으로 정의해야 함. + - LLM 프롬프트/파라미터 변경에 따른 드리프트를 감시할 수 있도록, IntentAnalyzer 입력/출력(카테고리, 설명, confidence)을 구조화된 로그로 남기고 모니터링 지표(오탐/미탐 비율, 평균 응답 시간 등)를 운영 레벨에서 관리해야 함. + +- **학습·개선 루프까지 포함한 설계** + - 3단계 분리는 파일 구조 정리가 아니라, 각 단계에서 생성되는 신호를 intent_review/active_learning과 연결해 시간이 지날수록 의도→행동→스킬 품질이 자동 개선되도록 만드는 것이 핵심. + - IntentGoal/ActionPlan/SkillSequence 및 실제 실행 결과(성공/실패, 사용자 피드백)를 표준 스키마로 저장하고, 이를 기반으로 한 오프라인 평가·액티브 러닝·온라인 튜닝 루프를 설계해야 함.