ivada-infra/DOCS
3
0
Fork 0
Code Issues 1 Pull Requests 5 Actions Packages Projects Releases Wiki Activity

docs: note calendar approval tdd

Browse Source
This commit is contained in:
Claude-51124 2025-11-16 07:52:38 +09:00
parent 93cc1fa85e
commit e41eb70335
1 changed files with 1 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
research/memory/embedding_search/2025_ko_sroberta_runtime_eval.md
View File

@ -61,6 +61,7 @@ refs:
- `scripts/seed_calendar_event_samples.py`에 일정 표현 27건(대구 창경 심사, “일정관리 해줄래?” 등) 추가하고 Version=2 centroid를 재계산.
- `app/memory/embedding_client.HTTPEmbeddingFunction`/`EmbeddingClient`가 numpy 배열을 순수 리스트로 변환하도록 보강 → SemanticIntentClassifier가 더 이상 ValueError 없이 동작.
- `app/brain/decision_engine`에 SemanticIntentClassifier 기반 fallback을 추가하고 `intent_thresholds`의 `calendar_event` 임계값을 0.4/0.05로 조정, 실서비스에서도 embedding 기반 일정 의도 분류가 활성화됨.
- “일정 요청 → ㅇㅇ” 흐름에 대한 TDD를 추가해 Affirmation(`ㅇㅇ`, `네` 등)이 자동으로 `calendar_approval` intent로 승격되도록 approval 로직을 확장.
- 검증:
- `PYTHONPATH=. python3 scripts/run_semantic_classifier_eval.py --dataset tests/data/intent_eval_samples.json --encoders skill` → accuracy **67.4%**, avg 25.9 ms.
- 신규 `tests/data/intent_eval_calendar.json` 10문장 기준 accuracy **100%**, avg 25.0 ms.