DOCS/journey/research/context_followup_question_solutions.md

짧은 후속 질문 및 맥락 의존 질문 해결 방법 연구

작성일: 2025-12-23 목적: 실패하는 질문 18개 해결을 위한 구체적 방법론 제시 참고: 테스트 결과 rb8001/tests/test_failed_questions_results.md

---

문제 요약

실패한 질문 유형:

1. 짧은 후속 질문 (컨텍스트 필요): "어디서?", "언제?", "누구랑?", "뭐야?"
2. 맥락 의존 질문: "그거 어떻게 됐어?", "결과는?", "그럼 어떻게 할까?"
3. 모호한 질문: "어떻게 생각해?", "괜찮아?"
4. 부정/거부 표현: "안 해도 돼", "취소해줘", "보내지 마"
5. 비교/선택 질문: "어느 게 나아?", "A와 B 중에 뭐가 좋아?"
6. 시간 관련 모호한 질문: "언제 했어?"
7. 상태 확인: "지금 뭐 하고 있어?", "작업 끝났어?"
8. 정보 요청: "너는 뭘 할 수 있어?"

현재 상태: CONTEXT_FOLLOWUP Intent는 구현되어 있으나 패턴 매칭이 제대로 작동하지 않음

---

해결 방법론 (연구 기반)

0. LLM 기반 직접 발화 확장 (Question Expansion)

이론적 배경:

• 최신 연구(2024-2025): LLM을 활용한 질문 확장(Question Expansion) 기법
• Few-shot prompting으로 짧은 질문을 맥락 포함 완전한 질문으로 변환
• 코드베이스에 이미 유사 구현 존재: message_router.py:_resolve_pronoun_via_llm (대명사 해소)

현재 구현 상태:

• message_service.py:225: CONTEXT_FOLLOWUP 시 컨텍스트를 추가하지만 질문 자체는 확장하지 않음
• message_router.py:268: 대명사 해소는 구현되어 있으나 짧은 질문 확장은 미구현

구현 방법:

1. 짧은 질문 감지 (len <= 10 또는 패턴 매칭)
2. LLM에 질문 확장 요청 (Few-shot 예시 포함)
3. 확장된 질문으로 의도 분류 재시도

프롬프트 템플릿:
"다음은 짧은 후속 질문입니다. 직전 대화 맥락을 참고하여 완전한 질문으로 확장하세요.

예시:
- 직전: "11월 18일 오전 6시 40분에 검진이 있습니다"
- 짧은 질문: "어디서?"
- 확장: "검진은 어디서 하시나요?"

- 직전: "이메일 보냈어"
- 짧은 질문: "결과는?"
- 확장: "이메일 발송 결과는 어떻게 되었나요?"

직전 대화:
사용자: {previous_message}
로빙: {previous_response}

현재 짧은 질문: {message}

확장된 질문만 출력하세요:"

장점:

• 구현이 간단하고 즉시 적용 가능
• LLM의 자연어 이해 능력 활용
• Few-shot 예시로 정확도 향상

단점:

• LLM 호출 비용 증가 (짧은 질문마다 추가 호출)
• 응답 지연 시간 증가 (약 500ms-1s)

비용 최적화:

• 확신도 < 0.5인 경우에만 확장 시도
• 확장된 질문을 캐싱하여 동일 패턴 재사용
• 배치 처리로 여러 짧은 질문을 한 번에 확장

참고 구현:

• rb8001/app/router/message_router.py:268-317: 대명사 해소 유사 패턴
• rb8001/app/services/message_service.py:206-228: CONTEXT_FOLLOWUP 처리

---

1. Anaphora Resolution (지시어 해석) 기법

이론적 배경:

• 대화 시스템에서 "그거", "결과", "그럼" 같은 지시어(anaphora)는 이전 대화의 선행사(antecedent)를 참조
• 최신 연구(2024-2025)에서는 Transformer 기반 모델이 anaphora resolution에서 우수한 성능

구현 방법:

1. 최근 N턴 대화에서 명사구/엔티티 추출
2. 현재 질문의 지시어("그거", "결과")와 선행사 후보 매칭
3. 임베딩 유사도로 가장 가능성 높은 선행사 선택
4. 선행사를 포함한 확장 질문 생성 → LLM에 전달

예시:

• 입력: "그거 어떻게 됐어?"
• 이전 대화: "이메일 보냈어" → 선행사: "이메일"
• 확장: "이메일 어떻게 됐어?" → 정확한 의도 분류 가능

참고 논문: Neural Anaphora Resolution in Dialogue Systems (2024)

---

2. Hybrid LLM-ML 임계값 검증 (AppFolio 2024)

이론적 배경:

• DOCS/journey/research/memory/classification/2024_hybrid_llm_ml_threshold.md 참고
• ML 모델로 1차 분류, 확신도 낮은 케이스만 LLM 재검증
• 비용 효율적이면서 정확도 향상

현재 문제:

• 짧은 질문이 UNKNOWN으로 분류되면 바로 LLM으로 가지만, 맥락 없이 처리됨

개선 방안:

1. FastPath (정규식) → 실패
2. SemanticIntentClassifier (임베딩) → 확신도 < 0.5
3. 맥락 확장 (Anaphora Resolution) → 선행사 포함 질문 생성
4. LLM 재검증 → 맥락 포함 질문으로 의도 분류

효과:

• 75% 케이스 자동화 유지
• 맥락 포함으로 LLM 정확도 향상
• 비용 증가 최소화 (10-20% 범위)

---

3. 세션 기반 슬롯 관리 강화

이론적 배경:

• DOCS/journey/troubleshooting/251117_short_followup_context_3phase_implementation.md 참고
• 현재 SessionManager는 구현되어 있으나 Redis 미마이그레이션 상태

문제:

• "취소해줘", "보내지 마" 같은 부정 표현이 무엇을 취소/거부하는지 맥락 필요
• 세션 슬롯에 현재 진행 중인 작업 정보가 없음

개선 방안:

1. 세션 슬롯에 "active_action" 필드 추가
   - 예: {active_action: "email_send", recipient: "김팀장", subject: "일정 확인"}
   
2. 부정 표현 감지 시 active_action 참조
   - "취소해줘" → active_action이 "calendar_event"면 calendar_delete
   - "보내지 마" → active_action이 "email_send"면 email_send_approval (거부)
   
3. Redis 마이그레이션으로 세션 영속성 확보
   - 서버 재시작 시에도 세션 유지
   - TTL 10분 → 30분으로 확장 (복잡한 작업 대응)

참고: Multi-turn Dialogue State Tracking (DST) 연구 (2024-2025)

---

4. 의도 확장: 새로운 Intent 추가

필요한 Intent:

1. CANCEL_REQUEST: 취소/거부 의도

   • 패턴: "취소해줘", "안 해도 돼", "보내지 마", "하지 마"
   • 처리: active_action 참조하여 구체적 취소 액션 결정

2. COMPARISON_QUERY: 비교/선택 질문

   • 패턴: "어느 게 나아?", "A와 B 중에 뭐가 좋아?", "비교해줘"
   • 처리: 이전 대화에서 비교 대상 추출, LLM으로 비교 분석

3. STATUS_CHECK: 상태 확인 질문

   • 패턴: "작업 끝났어?", "지금 뭐 하고 있어?", "진행 상황은?"
   • 처리: 세션의 active_action 상태 확인, 진행률 반환

4. CAPABILITY_QUERY: 기능 조회

   • 패턴: "너는 뭘 할 수 있어?", "기능 알려줘", "할 수 있는 일은?"
   • 처리: IntentType 목록을 자연어로 변환하여 반환

---

5. Ko-SRoBERTa 임베딩 활용 (고정밀 경로)

이론적 배경:

• DOCS/journey/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md 참고
• Ko-SRoBERTa는 의도 분류에서 75% 정확도 (기존 53.6% → 75.0%)

현재 문제:

• SemanticIntentClassifier가 skill-embedding(384d) 사용 중
• 짧은 질문의 임베딩 유사도가 낮아 UNKNOWN으로 분류

개선 방안:

1. 고정밀 파이프라인 전용 Ko-SRoBERTa 서비스 분리
   - skill-embedding-highres (768d) 신규 서비스
   
2. 짧은 질문/맥락 의존 질문은 고정밀 경로 사용
   - len(message) <= 10 또는 확신도 < 0.5인 경우
   - Ko-SRoBERTa로 재임베딩 → 유사도 재계산
   
3. 맥락 포함 임베딩
   - "어디서?" + 직전 발화 → 결합 임베딩
   - 선행사 포함 질문으로 확장 후 임베딩

효과:

• 의도 분류 정확도 21pt 향상 (challenge set 기준)
• 짧은 질문도 맥락과 결합하여 정확도 향상

---

6. 대화 로그 분석 기반 패턴 학습

이론적 배경:

• 웹 검색 결과: 대화 로그 분석을 통한 의도 인식 개선
• HITL 피드백 루프 활용 (DOCS/journey/research/intent_classification/README.md)

구현 방법:

1. 실패한 질문 패턴 수집
   - UNKNOWN으로 분류된 질문 + 직전 대화 맥락
   - 리뷰 큐에 자동 진입 (low confidence)
   
2. 패턴 분석
   - "어디서?" → 이전 의도가 calendar_event면 calendar_query
   - "결과는?" → 이전 의도가 web_search면 web_search (재검색)
   
3. 규칙 기반 보완
   - 패턴이 명확하면 FastPath에 규칙 추가
   - 모호하면 LLM 프롬프트에 예시 추가

참고: Active Learning with Rationales (Sharma et al., 2015)

---

구현 우선순위

Phase 1: 즉시 적용 가능 (1-2주)

1. ✅ Anaphora Resolution 기본 구현

   • 지시어("그거", "결과") → 선행사 매칭
   • 확장 질문 생성 로직

2. ✅ 새로운 Intent 추가

   • CANCEL_REQUEST, COMPARISON_QUERY, STATUS_CHECK, CAPABILITY_QUERY
   • FastPath 패턴 매칭 추가

3. ✅ 세션 active_action 필드 추가

   • 부정 표현 처리 개선

Phase 2: 중기 개선 (1개월)

4. ✅ Hybrid LLM-ML 임계값 검증 강화

   • 맥락 확장 후 LLM 재검증
   • 비용 효율성 유지

5. ✅ Ko-SRoBERTa 고정밀 경로

   • skill-embedding-highres 서비스 분리
   • 짧은 질문 전용 경로

Phase 3: 장기 개선 (2-3개월)

6. ✅ Redis 세션 마이그레이션

   • 세션 영속성 확보
   • TTL 확장 (10분 → 30분)

7. ✅ 대화 로그 분석 자동화

   • 실패 패턴 자동 학습
   • 규칙 기반 보완 자동화

---

예상 효과

정량적 목표:

• 실패한 질문 18개 → 5개 이하로 감소 (72% → 22%)
• 짧은 후속 질문 정확도: 30% → 80% 이상
• 맥락 의존 질문 정확도: 30% → 70% 이상

정성적 개선:

• 사용자 경험: 자연스러운 대화 흐름 유지
• 시스템 신뢰도: 맥락 이해 능력 향상
• 운영 효율: UNKNOWN 감소로 리뷰 큐 부담 감소

---

참고 문헌

1. Neural Anaphora Resolution in Dialogue Systems (2024)
2. Hybrid LLM-ML Classification with Intelligent Threshold Verification (AppFolio, 2024)
3. Multi-turn Dialogue State Tracking (DST) Research (2024-2025)
4. Active Learning with Rationales (Sharma et al., 2015)
5. Ko-SRoBERTa Runtime Evaluation (2025-11-15)
6. Human-in-the-Loop Machine Learning (Narang)

---

작성일: 2025-12-23 상태: 연구 완료, 구현 대기