6e5c439a49
- 신규: 260316_임베딩_전체프로젝트_현황_및_SSOT_리서치 - robeing, StarsAndI, TheGooseCouncil, companyx 등 전수 조사 - 0_VALUE 정책 불일치 요약, SSOT 설정 방안 - 트러블-리서치 연결: 이 문서가 여는 리서치 섹션 추가 - 260315: 전수 교체 정책 반영, 현황 리서치 링크 - 계획: 전수 교체 목표, 전체 프로젝트 적용 범위 Made-with: Cursor
2.5 KiB
2.5 KiB
tags
| tags | |||||
|---|---|---|---|---|---|
|
임베딩 Gemini Embedding 2 전환 계획
상위 원칙
- 0_VALUE 임베딩 정책
- 로빙 문서 작성 원칙
- 임베딩 Gemini Embedding 2 전환 문제 오픈
- 임베딩 전체 프로젝트 현황 및 SSOT 리서치
- Gemini Embedding 2 리서치: 비용·청킹·도입 검토
상태
- planned
목표
- Gemini Embedding 2를 0_VALUE 정책에 따라 전수 교체합니다.
- 멀티모달(이미지, PDF) 직접 임베딩으로 캡셔닝 파이프라인 비용·지연을 줄입니다.
- robeing·StarsAndI·TheGooseCouncil 등 전체 프로젝트에 적용합니다.
범위
포함
- skill-embedding 또는 skill-rag-file에 Gemini Embedding 2 경로 추가
- NAS RAG·Company X RAG의 PDF·이미지 임베딩 경로 검토
- MRL 768d 유지 시 ChromaDB/pgvector 스키마 호환
- 청킹 전략 Macro-chunking(2,000~4,000 토큰) 검토
제외
- rb8001 메모리 768/384 차원 드리프트 해결 (별도 이슈)
적용 순서
- 품질·비용 테스트
rb8001/scripts/test_gemini_embedding_2.py확장 또는 별도 벤치마크- 무료 티어로 PDF·이미지 임베딩 품질 비교
- 경로 설계
- skill-embedding을 Gemini 2로 전환 vs skill-rag-file 내부 직접 Gemini API 호출
- 전체 프로젝트 현황 리서치 참조
- 스키마·청킹
- output_dimensionality=768 확정 시 기존 ChromaDB 호환
- 청킹 단위 2,000~4,000 토큰으로 확대 검토
- 적용 및 검증
- NAS RAG 또는 Company X RAG 1개 경로에 먼저 적용
- Recall·비용 측정 후 확대 여부 결정
검증 기준
- PDF·이미지 직접 임베딩 시 검색 Recall이 기존(캡셔닝 파이프라인) 대비 유지 또는 개선
- 1M 토큰 기준 비용이 예산 내 ($0.25 이하)
- 기존 768d 컬렉션과 MRL 768d 호환
레포별 경계
- 1차:
robeing/skill-rag-file(Company X, NAS RAG) - 2차:
robeing/skill-embedding(옵션 추가 시) - 문서:
robeing/DOCS