diff --git a/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md b/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md index fa68b71..171671b 100644 --- a/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md +++ b/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md @@ -65,16 +65,9 @@ ## 개선 방향 -### 1. Multi-centroid 방식 도입 -- 각 intent별 K-means centroid 생성 (`seed_multi_centroid_prototypes.py`) -- intent_prototypes DB에 version=3으로 저장 - -### 2. Few-shot LLM 프롬프트 개선 -- Top-3 임베딩 후보 활용, XML 구조화 프롬프트 -- 참고: `313_Gemini_프롬프트_설계_원칙.md` - -### 3. 하이브리드 3단계 최적화 -- FastPath → multi-centroid embedding → Few-shot LLM +1. Multi-centroid 방식 도입 (`seed_multi_centroid_prototypes.py`, version=3) +2. Few-shot LLM 프롬프트 개선 (Top-3 후보 활용, `intent_parser.py:26-91`) +3. 하이브리드 3단계: FastPath → multi-centroid embedding → Few-shot LLM --- @@ -84,13 +77,9 @@ - 리서치 문서의 이론적 성능과 실제 성능 차이 확인 필수 - intent_prototypes DB 초기화 상태와 차원 일치 여부 사전 확인 -### Few-shot Prompting 활용 -- 제로샷 LLM보다 Few-shot 예시가 효과적 (`313_Gemini_프롬프트_설계_원칙.md`) -- Top-3 후보를 활용한 컨텍스트 제공으로 정확도 향상 가능 - ### 단계적 개선 전략 -- FastPath 유지 (명확 패턴 처리, 49.6% 정확도) -- multi-centroid embedding으로 75%+ 달성 후 병행 비교 적용 +- FastPath 유지 (명확 패턴 처리) +- multi-centroid embedding으로 75%+ 달성 목표 --- @@ -115,27 +104,18 @@ **주요 개선 사항**: - 제로샷 임베딩 정확도 3배 향상 (23.4% → 70.2%) -- FastPath도 개선 (49.6% → 72.3%), 현재 최고 성능 -- 병행 비교도 의미 있게 작동 (70.9%) +- FastPath 72.3% (최고 성능), 병행 비교 70.9% -**남은 과제**: -- 75%+ 목표 달성을 위해 Few-shot LLM 프롬프트 개선 필요 -- 샘플 데이터 증강으로 추가 정확도 향상 가능 +**남은 과제**: Few-shot LLM 프롬프트 개선으로 75%+ 목표 --- ## 구현 상세 -**스크립트**: `scripts/seed_multi_centroid_prototypes.py --apply --max-k=3` - -**코드 변경**: -- `intent_store.py:70-118`: `load_multi_prototypes_db()` 추가, version 높은 것 우선 로드 -- `semantic_classifier.py:41-86`: multi-centroid 최대 유사도 계산 +**코드**: `intent_store.py:70-118` (multi-centroid 로드), `semantic_classifier.py:41-86` (최대 유사도 계산) **버전**: version=3 (multi-centroid), version=2 (단일), version=1 (legacy) -**Few-shot LLM**: `intent_parser.py:26-91`에서 Top-3 후보 활용 예시 추가 필요 - --- ## 참고