diff --git a/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md b/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md index 4f5019c..7586a6e 100644 --- a/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md +++ b/research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md @@ -61,6 +61,7 @@ refs: - `scripts/seed_calendar_event_samples.py`에 일정 표현 27건(대구 창경 심사, “일정관리 해줄래?” 등) 추가하고 Version=2 centroid를 재계산. - `app/memory/embedding_client.HTTPEmbeddingFunction`/`EmbeddingClient`가 numpy 배열을 순수 리스트로 변환하도록 보강 → SemanticIntentClassifier가 더 이상 ValueError 없이 동작. - `app/brain/decision_engine`에 SemanticIntentClassifier 기반 fallback을 추가하고 `intent_thresholds`의 `calendar_event` 임계값을 0.4/0.05로 조정, 실서비스에서도 embedding 기반 일정 의도 분류가 활성화됨. +- “일정 요청 → ㅇㅇ” 흐름에 대한 TDD를 추가해 Affirmation(`ㅇㅇ`, `네` 등)이 자동으로 `calendar_approval` intent로 승격되도록 approval 로직을 확장. - 검증: - `PYTHONPATH=. python3 scripts/run_semantic_classifier_eval.py --dataset tests/data/intent_eval_samples.json --encoders skill` → accuracy **67.4%**, avg 25.9 ms. - 신규 `tests/data/intent_eval_calendar.json` 10문장 기준 accuracy **100%**, avg 25.0 ms.