docs: 임베딩 Gemini Embedding 2 전환 트러블슈팅·계획 문서 추가

- 트러블슈팅: 문제 정의, 현재/기대 상태, 재현 조건, 확인된 사실, 미확정 항목
- 계획: 목표, 범위, 적용 순서, 검증 기준
- 리서치 문서에 후속 문서 링크 추가
- README에 새 문서 등록

Made-with: Cursor
This commit is contained in:
happybell80 2026-03-16 12:49:17 +09:00
parent ed5f890fda
commit a9627edebf
5 changed files with 133 additions and 0 deletions

View File

@ -0,0 +1,62 @@
---
tags: [plans, embedding, gemini, rag, robeing]
---
# 임베딩 Gemini Embedding 2 전환 계획
## 상위 원칙
- [로빙 문서 작성 원칙](../../book/300_architecture/312_writing-principles.md)
- [임베딩 Gemini Embedding 2 전환 문제 오픈](../troubleshooting/260316_임베딩_Gemini_Embedding_2_전환_문제오픈.md)
- [Gemini Embedding 2 리서치: 비용·청킹·도입 검토](../research/rag/260315_Gemini_Embedding_2_리서치_비용_청킹_도입검토.md)
## 상태
- planned
## 목표
- Gemini Embedding 2를 NAS RAG·Company X RAG에 부분 도입 또는 하이브리드 적용합니다.
- 멀티모달(이미지, PDF) 직접 임베딩으로 캡셔닝 파이프라인 비용·지연을 줄입니다.
- 기존 ko-sroberta(768d)와의 품질·비용 비교 후 전환 범위를 확정합니다.
## 범위
### 포함
- skill-embedding 또는 skill-rag-file에 Gemini Embedding 2 경로 추가
- NAS RAG·Company X RAG의 PDF·이미지 임베딩 경로 검토
- MRL 768d 유지 시 ChromaDB/pgvector 스키마 호환
- 청킹 전략 Macro-chunking(2,000~4,000 토큰) 검토
### 제외
- rb8001 메모리 768/384 차원 드리프트 해결 (별도 이슈)
- skill-embedding ko-sroberta 즉시 제거 (과도기 병용 가능)
## 적용 순서
1. **품질·비용 테스트**
- `rb8001/scripts/test_gemini_embedding_2.py` 확장 또는 별도 벤치마크
- 무료 티어로 PDF·이미지 임베딩 품질 비교
2. **경로 설계**
- skill-embedding에 Gemini 2 옵션 추가 vs skill-rag-file 내부 직접 호출
- 하이브리드: 미디어=Gemini 2, 텍스트=ko-sroberta 또는 text-embedding-004
3. **스키마·청킹**
- output_dimensionality=768 확정 시 기존 ChromaDB 호환
- 청킹 단위 2,000~4,000 토큰으로 확대 검토
4. **적용 및 검증**
- NAS RAG 또는 Company X RAG 1개 경로에 먼저 적용
- Recall·비용 측정 후 확대 여부 결정
## 검증 기준
- PDF·이미지 직접 임베딩 시 검색 Recall이 기존(캡셔닝 파이프라인) 대비 유지 또는 개선
- 1M 토큰 기준 비용이 예산 내 ($0.25 이하)
- 기존 768d 컬렉션과 MRL 768d 호환
## 레포별 경계
- 1차: `robeing/skill-rag-file` (Company X, NAS RAG)
- 2차: `robeing/skill-embedding` (옵션 추가 시)
- 문서: `robeing/DOCS`

View File

@ -35,6 +35,11 @@
**목표**: Company X 내부문서 근거응답을 질문별 특례 처리에서 공통 계약 기반 답변합성 구조로 전환
**참고**: `plans/260315_companyx_rag_답변합성_시나리오동시종결_계획.md`
### 5. 임베딩 Gemini Embedding 2 전환 (260316)
**상태**: planned
**목표**: NAS RAG·Company X RAG에 Gemini Embedding 2 부분/하이브리드 도입, 멀티모달 직접 임베딩
**참고**: `plans/260316_임베딩_Gemini_Embedding_2_전환_계획.md`
## ✅ 완료된 항목 (archive 이동 완료)
1. **admin_dashboard_business_integration (251204)** - 완료 → archive 이동

View File

@ -123,3 +123,8 @@ print(response.embeddings[0].values)
- RAG 활용: RETRIEVAL_QUERY vs RETRIEVAL_DOCUMENT 태스크 타입 구분 시 검색 정확도 향상
- 관련: `251110_gemini_file_search_api_테스트_및_콜드메일_개선방안_평가.md`
## 7. 후속 문서
- [임베딩 Gemini Embedding 2 전환 문제 오픈](../../troubleshooting/260316_임베딩_Gemini_Embedding_2_전환_문제오픈.md)
- [임베딩 Gemini Embedding 2 전환 계획](../../plans/260316_임베딩_Gemini_Embedding_2_전환_계획.md)

View File

@ -0,0 +1,59 @@
---
tags: [troubleshooting, embedding, gemini, rag, robeing]
---
# 임베딩 Gemini Embedding 2 전환 문제 오픈
## 상위 원칙
- [로빙 문서 작성 원칙](../../book/300_architecture/312_writing-principles.md)
- [백엔드 PostgreSQL ChromaDB Vector Memory](../../book/300_architecture/330_백엔드_PostgreSQL_ChromaDB_Vector_Memory.md)
## 문제 정의
- 로빙의 임베딩은 현재 `skill-embedding`(ko-sroberta 768d)과 서비스별 혼재 경로를 사용합니다.
- 멀티모달(이미지, PDF, 오디오) 데이터는 캡셔닝 파이프라인 없이 직접 임베딩할 수 없습니다.
- 리서치(260315)에서 Gemini Embedding 2 도입이 NAS RAG·Company X에 유리하다고 정리했으나, 실행 계획과 문제 문서가 없어 전환 여부가 미결정 상태입니다.
## 현재 상태
| 항목 | 내용 |
|------|------|
| skill-embedding | ko-sroberta(multitask) 768d, 텍스트 전용 |
| rb8001 메모리 | ChromaDB 768/384 차원 드리프트 잔존 |
| skill-rag-file | Company X 384d, intent_prototypes pgvector 768d |
| 멀티모달 | 미지원 (이미지·PDF는 텍스트 추출 후 임베딩) |
| 청킹 | Micro-chunking(300~500 단어) 위주 |
## 기대 상태
| 항목 | 내용 |
|------|------|
| 임베딩 모델 | Gemini Embedding 2 (또는 하이브리드) 도입 |
| 멀티모달 | PDF·이미지 직접 임베딩 가능 (캡셔닝 파이프라인 생략) |
| 차원 | MRL로 768d 유지 또는 1536/3072 선택 |
| 청킹 | Macro-chunking(2,000~4,000 토큰) 전환 검토 |
| 비용 | 무료 티어·품질 비교 후 부분/하이브리드 적용 |
## 관련 문서
- [Gemini Embedding 2 리서치: 비용·청킹·도입 검토](../research/rag/260315_Gemini_Embedding_2_리서치_비용_청킹_도입검토.md)
- [rb8001 메모리 ChromaDB 768/384 차원 드리프트](./260312_rb8001_memory_chromadb_768_384_dimension_drift.md)
- [skill-embedding 서비스 구축](./250805_happybell80_skill-embedding서비스구축.md)
## 재현 조건
- NAS RAG, Company X RAG, rb8001 메모리에서 임베딩 품질·비용·멀티모달 요구가 생길 때
- PDF·이미지 기반 검색 품질 개선이 필요할 때
## 확인된 사실
- 리서치(260315)에서 Gemini Embedding 2 특징·비용·청킹 전략이 정리됨
- NAS RAG에 부분 도입, 하이브리드(미디어=Gemini 2, 텍스트=저렴) 권장
- `rb8001/scripts/test_gemini_embedding_2.py`로 API 테스트 스크립트 존재
## 미확정 항목
- skill-embedding 교체 vs Gemini API 직접 호출 병용
- ChromaDB/pgvector 스키마 차원(768/1536/3072) 확정
- 비용·품질 A/B 테스트 범위 및 기준

View File

@ -31,6 +31,8 @@
## 현재 열린 트러블슈팅 우선 문서
- [260316_임베딩_Gemini_Embedding_2_전환_문제오픈.md](./260316_임베딩_Gemini_Embedding_2_전환_문제오픈.md)
- 상태: 열림
- [260311_naverworks_briefing_insight_preamble_leak.md](./260311_naverworks_briefing_insight_preamble_leak.md)
- 상태: 열림
- [260311_prompt_db_partial_adoption_and_hardcoded_prompts.md](./260311_prompt_db_partial_adoption_and_hardcoded_prompts.md)