# Gemini File Search 콜드메일 통합 TDD 테스트 계획

**작성일**: 2025-11-10  
**작성자**: Claude Code  
**목표**: Gemini File Search API를 콜드메일 워크플로우에 통합하여 IR 분석 품질 개선

---

## 1. 배경

### 현재 콜드메일 워크플로우

참고: rb8001/app/services/workflows/coldmail_workflow.py:22-150

1. 컴퍼니엑스 이메일 조회 (NAVER WORKS)
2. Naive Bayes 콜드메일 필터링
3. PDF 첨부파일 다운로드
4. skill-rag-file 업로드 (PyPDF2 → OCR)
5. RAG 쿼리 6회 (IR 지표 추출)
6. 베이지안 가치 평가
7. Slack Lists 등록

### 병목점

참고: 
- skill-rag-file/app/api/upload.py:148-183
- rb8001/app/services/startup_valuation.py:38-72, 296-314

**PDF 추출 실패 연쇄 효과**:
- OCR 품질 낮음 → RAG 검색 0건
- IR 지표 "N/A" → evidence_count=0
- seed 30억·신뢰도 0.6 고정

### Gemini File Search 개선 효과

참고: DOCS/research/rag/251110_gemini_file_search_api_테스트_및_콜드메일_개선방안_평가.md:166-184

- 한글 OCR PDF 13.77초 안정 처리
- IR 지표 정확 추출 → evidence_count ≥ 2
- 신뢰도 0.7~0.8 상승
- grounding_metadata로 근거 제공

---

## 2. 임베딩 차원 호환성

### 현재 시스템

- skill-embedding: multilingual-MiniLM-L12-v2 (384차원)
- ChromaDB 컬렉션: skill_rag_file_{team_id}_documents

### Gemini 임베딩

- gemini-embedding-001: 3,072차원 (기본)
- 설정 가능: 128~3,072 차원

### 호환성 전략

**옵션 1**: 별도 컬렉션 (team_id_gemini vs team_id_documents)  
**옵션 2**: Gemini 차원 384로 축소  
**추천**: 옵션 1 (성능 최대화)

---

## 3. 테스트 코드 위치

### 추천 위치

**파일**: `rb8001/tests/test_coldmail_gemini_integration.py`

**이유**:
- rb8001/tests/에 기존 콜드메일 테스트 시리즈 있음
- 전체 E2E 워크플로우 통합 테스트 가능
- 실제 스케줄러 환경과 동일

**기존 콜드메일 테스트**:
- test_coldmail_filter.py
- test_coldmail_ontology.py  
- test_coldmail_full_scenario.py
- test_e2e_coldmail_workflow.py

---

## 4. 테스트 시나리오

### 시나리오 1: PDF 처리 품질 A/B 테스트

**목적**: PyPDF2+OCR vs Gemini File Search IR 지표 추출 정확도

**Given**:
- IR PDF 샘플: rb8001/state/ocr_tests/611938b0-kor.ocr.pdf
- 또는 과거 콜드메일 첨부 PDF

**When**:
- 경로 A: skill-rag-file (PyPDF2 → OCR → 384차원)
- 경로 B: Gemini File Search (자동 색인 → 3,072차원)

**Then 검증**:
- IR 지표 6개 추출 성공률 (사업분야, 단계, 매출, 성장률, 팀규모, 기술우위)
- evidence_count 비교 (0~4개)
- 처리 시간 비교

**성공 기준**:
- Gemini evidence_count ≥ 2
- 신뢰도 ≥ 0.7

### 시나리오 2: 밸류에이션 신뢰도 개선 검증

**목적**: evidence_count 증가로 신뢰도 0.6 → 0.7~0.8 상승 확인

**Given**:
- evidence_count=0 과거 콜드메일 케이스
- startup_valuation.py:296-314 함수 동작

**When**:
- 동일 PDF를 Gemini로 재분석
- IR 지표 재추출 → evidence_count 증가
- valuate_startup() 재실행

**Then 검증**:
- 기존: seed 30억, 신뢰도 0.6
- 개선: seed 탈출, 신뢰도 0.7~0.8
- compute_confidence() ev_boost 작동

**성공 기준**:
- evidence_count: 0 → 2 이상
- confidence: 0.6 → 0.7 이상
- Slack Lists 상태: HOLD → 정상

### 시나리오 3: 하이브리드 운영 E2E 테스트

**목적**: 48시간 제약 우회 이중 저장 전체 플로우

**Given**:
- 신규 콜드메일 수신 시뮬레이션

**When**:
1. PDF 다운로드
2. Gemini File Search 업로드 (임시)
3. skill-rag-file 업로드 (영구)
4. IR 분석: Gemini RAG 우선 사용
5. Slack Lists 등록
6. 48시간 후: Gemini 삭제, Chroma 검색

**Then 검증**:
- 48시간 이내: Gemini 검색 성공, grounding 제공
- 48시간 이후: Chroma 검색 성공
- Slack Lists IR 파일 영구 유효
- TCO 측정 (색인 비용 vs 운영 비용)

**성공 기준**:
- 검색 영속성 보장
- 결과 일관성 유지
- 비용 효율성 검증

---

## 5. 구현 순서

### Phase 1: 기본 검증 (시나리오 1)
1. test_coldmail_gemini_integration.py 생성
2. PDF A/B 테스트 함수 작성
3. IR 지표 추출 정확도 비교

### Phase 2: 품질 개선 검증 (시나리오 2)
1. evidence_count 증가 테스트
2. 신뢰도 향상 검증
3. Slack Lists HOLD 상태 해소

### Phase 3: 운영 검증 (시나리오 3)
1. 이중 저장 파이프라인 구현
2. 48시간 영속성 테스트
3. TCO 분석 및 의사결정

---

## 6. 제약사항

### Gemini API 한계

- 무료 tier: 분당 요청 제한
- 저장 한도: 1GB (무료)
- 파일 크기: 최대 100MB
- 보존 기간: 48시간

### 기술적 제약

- 임베딩 차원 불일치 (384 vs 3,072)
- 별도 컬렉션 필요
- ChromaDB 스토리지 증가 (8배)

### 운영 고려사항

- 색인 비용: $0.15/1M 토큰
- 외부 API 의존성
- 데이터 보안 리스크

---

## 7. 다음 단계

### 즉시 실행 가능
1. rb8001/tests/test_coldmail_gemini_integration.py 생성
2. 시나리오 1 구현 (PDF A/B 테스트)
3. 기존 IR PDF로 검증

### 의사결정 필요
1. Gemini 차원 설정 (384 vs 3,072)
2. 하이브리드 운영 여부
3. 예산 승인 (유료 tier 전환)

---

**작성**: Claude Code, 2025-11-10  
**상태**: 계획 단계 (구현 전)  
**참고**: research/rag/251110_gemini_file_search_api_테스트_및_콜드메일_개선방안_평가.md