From 93cc1fa85ebfcde11c8ec8861299e1d12f7e40ce Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Sat, 15 Nov 2025 22:31:48 +0900 Subject: [PATCH] docs: record calendar intent migration --- .../2025_ko_sroberta_runtime_eval.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md b/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md index 32e957d..4f5019c 100644 --- a/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md +++ b/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md @@ -55,3 +55,15 @@ refs: 테스트 로그는 `scripts/run_*` 출력 그대로 남겨두었으며, 상세 결과는 작업일(2025-11-15) terminal 로그 참고. Ko-SRoBERTa 전환 시 추가 문서 업데이트가 필요하다. +## 6. 2025-11-15 오후 - 일정 intent 복구 및 768d 전체 마이그레이션 +- `rb8001/chroma_db`를 완전히 초기화 후 Ko-SRoBERTa 768차원 기준으로 재생성하여 `Collection expecting 384` 오류 제거. +- `scripts/seed_intent_runtime.py`가 pgvector `intent_prototypes`에 **UPSERT** 하도록 수정 → 모든 intent description 임베딩을 768d로 다시 채움. +- `scripts/seed_calendar_event_samples.py`에 일정 표현 27건(대구 창경 심사, “일정관리 해줄래?” 등) 추가하고 Version=2 centroid를 재계산. +- `app/memory/embedding_client.HTTPEmbeddingFunction`/`EmbeddingClient`가 numpy 배열을 순수 리스트로 변환하도록 보강 → SemanticIntentClassifier가 더 이상 ValueError 없이 동작. +- `app/brain/decision_engine`에 SemanticIntentClassifier 기반 fallback을 추가하고 `intent_thresholds`의 `calendar_event` 임계값을 0.4/0.05로 조정, 실서비스에서도 embedding 기반 일정 의도 분류가 활성화됨. +- 검증: + - `PYTHONPATH=. python3 scripts/run_semantic_classifier_eval.py --dataset tests/data/intent_eval_samples.json --encoders skill` → accuracy **67.4%**, avg 25.9 ms. + - 신규 `tests/data/intent_eval_calendar.json` 10문장 기준 accuracy **100%**, avg 25.0 ms. + - `PYTHONPATH=. pytest tests/test_intent_entity_skill_comprehensive.py -k intent_classification_coverage` → 22 testcases all pass, 일정 문장 2건도 `calendar_event` 판정. +- 남은 TODO: coldmail/vector 데이터 재임베딩 자동화, SemanticIntentClassifier threshold를 운영 모니터링에 노출. +