docs: add risks and considerations for 3-step intent architecture
This commit is contained in:
parent
83771200a2
commit
0cf46ce37a
@ -298,3 +298,18 @@ SkillSelector.select(ActionPlan) → SkillSequence
|
||||
**작성 완료**: 2025-11-26
|
||||
**다음 단계**: Phase 1 구현 시작
|
||||
|
||||
---
|
||||
|
||||
## 8. 리스크 및 추가 고려사항
|
||||
|
||||
- **회귀 및 승인/컨펌 흐름 붕괴 리스크**
|
||||
- 기존 DecisionEngine이 암묵적으로 처리하던 승인/취소/컨펌, 예외 케이스들이 IntentGoal → ActionPlan → SkillSequence 분리 과정에서 깨질 수 있음 (예: 같은 입력인데 캘린더/이메일 오작동).
|
||||
- 실제 서비스 대화 로그를 기반으로 한 리플레이 테스트 세트, A/B 플래그(구 구조/신 구조 토글), 빠른 롤백 전략을 설계한 뒤 단계적으로 트래픽을 전환해야 함.
|
||||
|
||||
- **LLM 기반 1단계 도입에 따른 비용/레이턴시/안정성 이슈**
|
||||
- 모든 발화가 최소 1회 LLM을 타면 레이턴시·비용·비결정성이 커지므로, 고빈도·단순 패턴(“그래”, “응”, 일정 단문 등)은 규칙/통계 모델로 단축 경로를 두고, 각 단계별 confidence 기준과 실패 시 폴백 전략(UNKNOWN → 안전한 일반 대화/질문 재확인)을 명시적으로 정의해야 함.
|
||||
- LLM 프롬프트/파라미터 변경에 따른 드리프트를 감시할 수 있도록, IntentAnalyzer 입력/출력(카테고리, 설명, confidence)을 구조화된 로그로 남기고 모니터링 지표(오탐/미탐 비율, 평균 응답 시간 등)를 운영 레벨에서 관리해야 함.
|
||||
|
||||
- **학습·개선 루프까지 포함한 설계**
|
||||
- 3단계 분리는 파일 구조 정리가 아니라, 각 단계에서 생성되는 신호를 intent_review/active_learning과 연결해 시간이 지날수록 의도→행동→스킬 품질이 자동 개선되도록 만드는 것이 핵심.
|
||||
- IntentGoal/ActionPlan/SkillSequence 및 실제 실행 결과(성공/실패, 사용자 피드백)를 표준 스키마로 저장하고, 이를 기반으로 한 오프라인 평가·액티브 러닝·온라인 튜닝 루프를 설계해야 함.
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user