a9627edebf
- 트러블슈팅: 문제 정의, 현재/기대 상태, 재현 조건, 확인된 사실, 미확정 항목 - 계획: 목표, 범위, 적용 순서, 검증 기준 - 리서치 문서에 후속 문서 링크 추가 - README에 새 문서 등록 Made-with: Cursor
2.3 KiB
2.3 KiB
tags
| tags | |||||
|---|---|---|---|---|---|
|
임베딩 Gemini Embedding 2 전환 계획
상위 원칙
상태
- planned
목표
- Gemini Embedding 2를 NAS RAG·Company X RAG에 부분 도입 또는 하이브리드 적용합니다.
- 멀티모달(이미지, PDF) 직접 임베딩으로 캡셔닝 파이프라인 비용·지연을 줄입니다.
- 기존 ko-sroberta(768d)와의 품질·비용 비교 후 전환 범위를 확정합니다.
범위
포함
- skill-embedding 또는 skill-rag-file에 Gemini Embedding 2 경로 추가
- NAS RAG·Company X RAG의 PDF·이미지 임베딩 경로 검토
- MRL 768d 유지 시 ChromaDB/pgvector 스키마 호환
- 청킹 전략 Macro-chunking(2,000~4,000 토큰) 검토
제외
- rb8001 메모리 768/384 차원 드리프트 해결 (별도 이슈)
- skill-embedding ko-sroberta 즉시 제거 (과도기 병용 가능)
적용 순서
- 품질·비용 테스트
rb8001/scripts/test_gemini_embedding_2.py확장 또는 별도 벤치마크- 무료 티어로 PDF·이미지 임베딩 품질 비교
- 경로 설계
- skill-embedding에 Gemini 2 옵션 추가 vs skill-rag-file 내부 직접 호출
- 하이브리드: 미디어=Gemini 2, 텍스트=ko-sroberta 또는 text-embedding-004
- 스키마·청킹
- output_dimensionality=768 확정 시 기존 ChromaDB 호환
- 청킹 단위 2,000~4,000 토큰으로 확대 검토
- 적용 및 검증
- NAS RAG 또는 Company X RAG 1개 경로에 먼저 적용
- Recall·비용 측정 후 확대 여부 결정
검증 기준
- PDF·이미지 직접 임베딩 시 검색 Recall이 기존(캡셔닝 파이프라인) 대비 유지 또는 개선
- 1M 토큰 기준 비용이 예산 내 ($0.25 이하)
- 기존 768d 컬렉션과 MRL 768d 호환
레포별 경계
- 1차:
robeing/skill-rag-file(Company X, NAS RAG) - 2차:
robeing/skill-embedding(옵션 추가 시) - 문서:
robeing/DOCS