From 42eccf13425120de81946a81d9cf8dc7ecc56f85 Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Sat, 3 Jan 2026 12:35:57 +0900 Subject: [PATCH] =?UTF-8?q?docs:=20=ED=8A=B8=EB=9F=AC=EB=B8=94=EC=8A=88?= =?UTF-8?q?=ED=8C=85=20=EB=AC=B8=EC=84=9C=20=EC=A4=91=EB=B3=B5=20=EC=A0=9C?= =?UTF-8?q?=EA=B1=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Few-shot LLM 언급 중복 제거 (개선 방향에만 유지) - 교훈 섹션 간소화 (중복 내용 제거) - 구현 상세 섹션 간소화 - 147줄→약130줄 --- ..._의도_분류_성능_비교_테스트.md | 36 +++++-------------- 1 file changed, 8 insertions(+), 28 deletions(-) diff --git a/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md b/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md index fa68b71..171671b 100644 --- a/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md +++ b/journey/troubleshooting/260103_하이브리드_의도_분류_성능_비교_테스트.md @@ -65,16 +65,9 @@ ## 개선 방향 -### 1. Multi-centroid 방식 도입 -- 각 intent별 K-means centroid 생성 (`seed_multi_centroid_prototypes.py`) -- intent_prototypes DB에 version=3으로 저장 - -### 2. Few-shot LLM 프롬프트 개선 -- Top-3 임베딩 후보 활용, XML 구조화 프롬프트 -- 참고: `313_Gemini_프롬프트_설계_원칙.md` - -### 3. 하이브리드 3단계 최적화 -- FastPath → multi-centroid embedding → Few-shot LLM +1. Multi-centroid 방식 도입 (`seed_multi_centroid_prototypes.py`, version=3) +2. Few-shot LLM 프롬프트 개선 (Top-3 후보 활용, `intent_parser.py:26-91`) +3. 하이브리드 3단계: FastPath → multi-centroid embedding → Few-shot LLM --- @@ -84,13 +77,9 @@ - 리서치 문서의 이론적 성능과 실제 성능 차이 확인 필수 - intent_prototypes DB 초기화 상태와 차원 일치 여부 사전 확인 -### Few-shot Prompting 활용 -- 제로샷 LLM보다 Few-shot 예시가 효과적 (`313_Gemini_프롬프트_설계_원칙.md`) -- Top-3 후보를 활용한 컨텍스트 제공으로 정확도 향상 가능 - ### 단계적 개선 전략 -- FastPath 유지 (명확 패턴 처리, 49.6% 정확도) -- multi-centroid embedding으로 75%+ 달성 후 병행 비교 적용 +- FastPath 유지 (명확 패턴 처리) +- multi-centroid embedding으로 75%+ 달성 목표 --- @@ -115,27 +104,18 @@ **주요 개선 사항**: - 제로샷 임베딩 정확도 3배 향상 (23.4% → 70.2%) -- FastPath도 개선 (49.6% → 72.3%), 현재 최고 성능 -- 병행 비교도 의미 있게 작동 (70.9%) +- FastPath 72.3% (최고 성능), 병행 비교 70.9% -**남은 과제**: -- 75%+ 목표 달성을 위해 Few-shot LLM 프롬프트 개선 필요 -- 샘플 데이터 증강으로 추가 정확도 향상 가능 +**남은 과제**: Few-shot LLM 프롬프트 개선으로 75%+ 목표 --- ## 구현 상세 -**스크립트**: `scripts/seed_multi_centroid_prototypes.py --apply --max-k=3` - -**코드 변경**: -- `intent_store.py:70-118`: `load_multi_prototypes_db()` 추가, version 높은 것 우선 로드 -- `semantic_classifier.py:41-86`: multi-centroid 최대 유사도 계산 +**코드**: `intent_store.py:70-118` (multi-centroid 로드), `semantic_classifier.py:41-86` (최대 유사도 계산) **버전**: version=3 (multi-centroid), version=2 (단일), version=1 (legacy) -**Few-shot LLM**: `intent_parser.py:26-91`에서 Top-3 후보 활용 예시 추가 필요 - --- ## 참고