725f8b047c
- 트러블슈팅 문서에 개선 결과 섹션 추가 (23.4%→70.2%) - 계획 문서 아카이브에 완료 사항 업데이트 - 리서치 README는 인덱스 역할로 간소화 (상세는 troubleshooting 참조)
103 lines
5.2 KiB
Markdown
103 lines
5.2 KiB
Markdown
# 의도 분류(Intent Classification) 연구
|
||
|
||
**작성일**: 2025-11-17
|
||
**목적**: 로빙 프로젝트의 의도 분석 시스템 개선을 위한 이론적 배경 및 최신 연구 동향
|
||
|
||
## 개요
|
||
|
||
의도 분류는 사용자의 자연어 발화에서 의도를 추출하여 적절한 응답이나 액션을 결정하는 핵심 기술입니다. 로빙 프로젝트에서는 HITL(Human-in-the-Loop) 피드백을 통한 지속적인 의도 분류 정확도 개선을 목표로 합니다.
|
||
|
||
## 핵심 논문
|
||
|
||
### 1. Active Learning with Rationales for Text Classification
|
||
- **저자**: Sharma et al.
|
||
- **연도**: 2015 (ACL)
|
||
- **핵심**: 액티브 러닝과 인간의 피드백을 결합하여 텍스트 분류 모델의 성능을 향상
|
||
- **로빙 적용**: 사용자 피드백(좋아요/싫어요)을 통한 의도 분류 개선의 이론적 근거
|
||
|
||
### 2. Human-in-the-Loop Machine Learning
|
||
- **저자**: Loveleen Narang
|
||
- **핵심**: HITL 접근법이 머신러닝 파이프라인의 여러 단계에서 인간의 전문 지식을 통합하여 모델의 품질과 신뢰성을 향상
|
||
- **로빙 적용**: 리뷰 큐를 통한 라벨링 및 재학습 파이프라인의 설계 원칙
|
||
|
||
### 3. PT4AL: Using Self-Supervised Pretext Tasks for Active Learning
|
||
- **저자**: -
|
||
- **연도**: 2022 (arXiv)
|
||
- **핵심**: 자기지도 학습을 활용한 액티브 러닝 기법으로 레이블링 비용 절감 및 성능 향상
|
||
- **로빙 적용**: 의도 분류기의 효율적인 재학습 전략
|
||
|
||
### 4. Impact of Feedback Type on Explanatory Interactive Learning
|
||
- **연도**: 2022 (arXiv)
|
||
- **핵심**: 사용자 피드백 유형이 모델 성능과 설명 정확도에 미치는 영향 분석
|
||
- **로빙 적용**: 좋아요/싫어요 같은 이진 피드백의 효용성 검증
|
||
|
||
## 최신 트렌드 (2023-2025)
|
||
|
||
### 1. Implicit vs Explicit Feedback
|
||
- **트렌드**: 명시적 피드백(좋아요/싫어요)과 암묵적 피드백(재질문, 세션 종료 등)의 결합
|
||
- **로빙 적용**: 현재는 명시적 피드백만 수집, 향후 암묵적 피드백 통합 고려
|
||
|
||
### 2. Human-AI 협업의 피드백 루프 설계
|
||
- **트렌드**: 컨텍스트 공유와 피드백 루프를 통한 협업 효율성 향상
|
||
- **로빙 적용**: 리뷰 큐에서 관리자가 라벨링할 때 컨텍스트 정보 제공
|
||
|
||
### 3. Few-shot Learning with User Feedback
|
||
- **트렌드**: 소량의 사용자 피드백으로 빠른 적응
|
||
- **로빙 적용**: 재학습 배치에서 few-shot learning 기법 활용 검토
|
||
- **프롬프트 개선**: Gemini 프롬프트 설계 원칙(`book/300_architecture/313_Gemini_프롬프트_설계_원칙.md`) - Few-shot 예시가 제로샷보다 효과적
|
||
|
||
## 로빙 프로젝트 적용 현황
|
||
|
||
### 구현 완료 (2025-11-17)
|
||
- ✅ 사용자 피드백 수집 (좋아요/싫어요)
|
||
- ✅ 리뷰 큐 진입 로직 (low confidence, error, negative feedback)
|
||
- ✅ 관리자 라벨링 API (조회/라벨링/통계)
|
||
- ✅ 데이터 수집 파이프라인 (100% 수집률 달성)
|
||
- ✅ 코드 작성 원칙 준수 (router → services → state)
|
||
|
||
### 진행 중 (2025-11-17)
|
||
- [x] 재학습 배치 스크립트 구현 (TDD) ✅
|
||
- [x] 재학습 전후 정확도 비교 측정 ✅
|
||
- [x] Active Learning 쿼리 전략 구현 (uncertainty sampling, margin sampling) ✅
|
||
- [x] 암묵적 피드백 수집 (재질문, 세션 종료 등) ✅
|
||
- [ ] Few-shot learning 기법 적용
|
||
- [ ] 암묵적 피드백 통합 (conversation_service 연동)
|
||
|
||
### 성능 비교 테스트 및 프로덕션 적용
|
||
|
||
- [하이브리드 의도 분류 성능 비교](../troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md)
|
||
- 초기 테스트: FastPath 49.6%, 제로샷 임베딩 23.4%, 병행 비교 49.6%
|
||
- Multi-centroid 적용 후: 제로샷 임베딩 70.2% (+46.8%p), FastPath 72.3% (+22.7%p)
|
||
- 프로덕션 적용: 14개 intent × 3개 centroid (version=3), 123개 샘플 기반 K-means
|
||
|
||
## 구현 문서
|
||
|
||
- [재학습 파이프라인 설계](./retraining_pipeline_plan.md)
|
||
- [Active Learning 쿼리 전략](./active_learning_query_strategy.md)
|
||
- [암묵적 피드백 수집](./implicit_feedback.md)
|
||
|
||
## 성능 비교 테스트
|
||
|
||
- [하이브리드 의도 분류 성능 비교](../troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md): FastPath vs 제로샷 임베딩 vs 병행 비교 (2026-01-03)
|
||
|
||
## 관련 연구 분야
|
||
|
||
- [Memory/Classification](../memory/classification/): BERT 임베딩, 하이브리드 LLM-ML 분류
|
||
- [Bayesian Theory](../bayesian_theory/): 베이지안 의도 추론
|
||
- [Memory/Embedding Search](../memory/embedding_search/): Ko-SRoBERTa 기반 의도 분류
|
||
|
||
## 참고 문헌
|
||
|
||
1. Sharma, M., et al. (2015). "Active Learning with Rationales for Text Classification." ACL.
|
||
2. Narang, L. "Human-in-the-Loop Machine Learning: Combining Human and Artificial Intelligence."
|
||
3. PT4AL: Using Self-Supervised Pretext Tasks for Active Learning (2022, arXiv)
|
||
4. Impact of Feedback Type on Explanatory Interactive Learning (2022, arXiv)
|
||
|
||
---
|
||
|
||
**업데이트**:
|
||
- 2025-11-17: HITL 피드백 파이프라인 구현 완료, 논문 근거 추가
|
||
- 2026-01-03: 하이브리드 의도 분류 성능 비교 테스트 결과 추가, Few-shot LLM 프롬프트 개선 방향 추가
|
||
- 2026-01-03: Multi-centroid 방식 적용 완료, 제로샷 임베딩 23.4%→70.2% 개선 (프로덕션 적용 사례 추가)
|
||
|