From 9647373c56397f531f3e7e6e3c18aaf3461588e8 Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Mon, 17 Nov 2025 12:05:21 +0900 Subject: [PATCH] =?UTF-8?q?docs:=20=EC=9D=98=EB=8F=84=20=EB=B6=84=EB=A5=98?= =?UTF-8?q?=20=EC=97=B0=EA=B5=AC=20=ED=8F=B4=EB=8D=94=20=EC=B6=94=EA=B0=80?= =?UTF-8?q?=20=EB=B0=8F=20=EB=85=BC=EB=AC=B8=20=EA=B7=BC=EA=B1=B0=20?= =?UTF-8?q?=EC=A0=95=EB=A6=AC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - intent_classification 폴더 생성 - HITL + active learning 관련 논문 정리 - 실험 보고서에 이론적 배경 추가 --- research/intent_classification/README.md | 78 ++++++++++++++++++++++++ 1 file changed, 78 insertions(+) create mode 100644 research/intent_classification/README.md diff --git a/research/intent_classification/README.md b/research/intent_classification/README.md new file mode 100644 index 0000000..8cc647a --- /dev/null +++ b/research/intent_classification/README.md @@ -0,0 +1,78 @@ +# 의도 분류(Intent Classification) 연구 + +**작성일**: 2025-11-17 +**목적**: 로빙 프로젝트의 의도 분석 시스템 개선을 위한 이론적 배경 및 최신 연구 동향 + +## 개요 + +의도 분류는 사용자의 자연어 발화에서 의도를 추출하여 적절한 응답이나 액션을 결정하는 핵심 기술입니다. 로빙 프로젝트에서는 HITL(Human-in-the-Loop) 피드백을 통한 지속적인 의도 분류 정확도 개선을 목표로 합니다. + +## 핵심 논문 + +### 1. Active Learning with Rationales for Text Classification +- **저자**: Sharma et al. +- **연도**: 2015 (ACL) +- **핵심**: 액티브 러닝과 인간의 피드백을 결합하여 텍스트 분류 모델의 성능을 향상 +- **로빙 적용**: 사용자 피드백(좋아요/싫어요)을 통한 의도 분류 개선의 이론적 근거 + +### 2. Human-in-the-Loop Machine Learning +- **저자**: Loveleen Narang +- **핵심**: HITL 접근법이 머신러닝 파이프라인의 여러 단계에서 인간의 전문 지식을 통합하여 모델의 품질과 신뢰성을 향상 +- **로빙 적용**: 리뷰 큐를 통한 라벨링 및 재학습 파이프라인의 설계 원칙 + +### 3. PT4AL: Using Self-Supervised Pretext Tasks for Active Learning +- **저자**: - +- **연도**: 2022 (arXiv) +- **핵심**: 자기지도 학습을 활용한 액티브 러닝 기법으로 레이블링 비용 절감 및 성능 향상 +- **로빙 적용**: 의도 분류기의 효율적인 재학습 전략 + +### 4. Impact of Feedback Type on Explanatory Interactive Learning +- **연도**: 2022 (arXiv) +- **핵심**: 사용자 피드백 유형이 모델 성능과 설명 정확도에 미치는 영향 분석 +- **로빙 적용**: 좋아요/싫어요 같은 이진 피드백의 효용성 검증 + +## 최신 트렌드 (2023-2025) + +### 1. Implicit vs Explicit Feedback +- **트렌드**: 명시적 피드백(좋아요/싫어요)과 암묵적 피드백(재질문, 세션 종료 등)의 결합 +- **로빙 적용**: 현재는 명시적 피드백만 수집, 향후 암묵적 피드백 통합 고려 + +### 2. Human-AI 협업의 피드백 루프 설계 +- **트렌드**: 컨텍스트 공유와 피드백 루프를 통한 협업 효율성 향상 +- **로빙 적용**: 리뷰 큐에서 관리자가 라벨링할 때 컨텍스트 정보 제공 + +### 3. Few-shot Learning with User Feedback +- **트렌드**: 소량의 사용자 피드백으로 빠른 적응 +- **로빙 적용**: 재학습 배치에서 few-shot learning 기법 활용 검토 + +## 로빙 프로젝트 적용 현황 + +### 구현 완료 +- ✅ 사용자 피드백 수집 (좋아요/싫어요) +- ✅ 리뷰 큐 진입 로직 (low confidence, error, negative feedback) +- ✅ 관리자 라벨링 API +- ✅ 데이터 수집 파이프라인 (100% 수집률 달성) + +### 다음 단계 +- [ ] 재학습 배치 구현 +- [ ] 재학습 전후 정확도 비교 측정 +- [ ] Few-shot learning 기법 적용 +- [ ] 암묵적 피드백 통합 + +## 관련 연구 분야 + +- [Memory/Classification](../memory/classification/): BERT 임베딩, 하이브리드 LLM-ML 분류 +- [Bayesian Theory](../bayesian_theory/): 베이지안 의도 추론 +- [Memory/Embedding Search](../memory/embedding_search/): Ko-SRoBERTa 기반 의도 분류 + +## 참고 문헌 + +1. Sharma, M., et al. (2015). "Active Learning with Rationales for Text Classification." ACL. +2. Narang, L. "Human-in-the-Loop Machine Learning: Combining Human and Artificial Intelligence." +3. PT4AL: Using Self-Supervised Pretext Tasks for Active Learning (2022, arXiv) +4. Impact of Feedback Type on Explanatory Interactive Learning (2022, arXiv) + +--- + +**업데이트**: 2025-11-17 - HITL 피드백 파이프라인 구현 완료, 논문 근거 추가 +