a9627edebf
- 트러블슈팅: 문제 정의, 현재/기대 상태, 재현 조건, 확인된 사실, 미확정 항목 - 계획: 목표, 범위, 적용 순서, 검증 기준 - 리서치 문서에 후속 문서 링크 추가 - README에 새 문서 등록 Made-with: Cursor
2.6 KiB
2.6 KiB
tags
| tags | |||||
|---|---|---|---|---|---|
|
임베딩 Gemini Embedding 2 전환 문제 오픈
상위 원칙
문제 정의
- 로빙의 임베딩은 현재
skill-embedding(ko-sroberta 768d)과 서비스별 혼재 경로를 사용합니다. - 멀티모달(이미지, PDF, 오디오) 데이터는 캡셔닝 파이프라인 없이 직접 임베딩할 수 없습니다.
- 리서치(260315)에서 Gemini Embedding 2 도입이 NAS RAG·Company X에 유리하다고 정리했으나, 실행 계획과 문제 문서가 없어 전환 여부가 미결정 상태입니다.
현재 상태
| 항목 | 내용 |
|---|---|
| skill-embedding | ko-sroberta(multitask) 768d, 텍스트 전용 |
| rb8001 메모리 | ChromaDB 768/384 차원 드리프트 잔존 |
| skill-rag-file | Company X 384d, intent_prototypes pgvector 768d |
| 멀티모달 | 미지원 (이미지·PDF는 텍스트 추출 후 임베딩) |
| 청킹 | Micro-chunking(300~500 단어) 위주 |
기대 상태
| 항목 | 내용 |
|---|---|
| 임베딩 모델 | Gemini Embedding 2 (또는 하이브리드) 도입 |
| 멀티모달 | PDF·이미지 직접 임베딩 가능 (캡셔닝 파이프라인 생략) |
| 차원 | MRL로 768d 유지 또는 1536/3072 선택 |
| 청킹 | Macro-chunking(2,000~4,000 토큰) 전환 검토 |
| 비용 | 무료 티어·품질 비교 후 부분/하이브리드 적용 |
관련 문서
재현 조건
- NAS RAG, Company X RAG, rb8001 메모리에서 임베딩 품질·비용·멀티모달 요구가 생길 때
- PDF·이미지 기반 검색 품질 개선이 필요할 때
확인된 사실
- 리서치(260315)에서 Gemini Embedding 2 특징·비용·청킹 전략이 정리됨
- NAS RAG에 부분 도입, 하이브리드(미디어=Gemini 2, 텍스트=저렴) 권장
rb8001/scripts/test_gemini_embedding_2.py로 API 테스트 스크립트 존재
미확정 항목
- skill-embedding 교체 vs Gemini API 직접 호출 병용
- ChromaDB/pgvector 스키마 차원(768/1536/3072) 확정
- 비용·품질 A/B 테스트 범위 및 기준