Add: LLM 멀티 모델 테스트 트러블슈팅 문서

This commit is contained in:
happybell80 2025-08-04 22:07:27 +09:00
parent 08b92740d1
commit 65f3cb8ee4

View File

@ -0,0 +1,58 @@
# 250804 LLM 멀티 모델 테스트
## 오후 9시 54분
### LLM API 통합 테스트
**문제상황**:
- 로빙 프로젝트에서 Gemini 외에 다른 LLM 모델들을 백업으로 사용하기 위해 테스트 필요
- Mistral, OpenAI, Claude, xAI(Grok) API 키 획득 및 테스트
**해결과정**:
1. **API 키 환경변수 설정**
```
# .env 파일에 추가
MISTRAL_API_KEY=4wJvIPVgvQeGMnvPTjHia8gPQW5RZK7q
OPENAI_API_KEY=sk-proj-VcaRxJcMq2dv9nIaWGxcj9vkeCDYvtpHeDlQ2tqoJMm...
ANTHROPIC_API_KEY=sk-ant-api03-XsUfN5agl0EhqfioqmYMCWlte8MepbwWR3GT...
XAI_API_KEY=xai-2WKqqTgiGGE9POKvEwbFqhymfRel50ask4tyhxuW2S2TFf5XA...
```
2. **개별 테스트 스크립트 작성**
- test_mistral.py: Mistral Small 3.1 테스트
- test_openai.py: GPT-4o-mini 테스트
- test_claude.py: Claude 3.5 Haiku 테스트
- test_grok.py: Grok 3 테스트
3. **통합 비교 테스트 (test_all_for_ro-being.py)**
- 로빙 시스템 프롬프트 적용
- 한국어 감정 지원 시나리오로 테스트
- 응답 시간, 토큰 사용량, 품질 비교
**테스트 결과**:
```
모델 응답시간 상태 토큰사용
Gemini 2.5 Flash 2.36초 ✅ 성공 N/A
Mistral Small 3.1 2.12초 ✅ 성공 223
GPT-4o-mini 1.78초 ✅ 성공 256
Claude 3.5 Haiku 3.80초 ✅ 성공 459
Grok 3 2.41초 ✅ 성공 298
```
**분석**:
- **가장 빠른 응답**: GPT-4o-mini (1.78초)
- **가장 토큰 효율적**: Mistral Small 3.1 (223 토큰)
- **가장 품질 높은 응답**: Claude 3.5 Haiku (상세하고 공감적)
- **균형잡힌 선택**: Gemini 2.5 Flash (기존 주력)
**최종 모델 선택**:
1. **메인**: Gemini Pro (기존 사용 중)
2. **백업**: GPT-4o-mini (효율적, 빠른 응답)
3. **보조**: Mistral Small 3.1 (한국어 자연스러움)
**교훈**:
- 멀티 LLM 전략으로 안정성 확보
- 각 모델의 장단점을 파악하여 상황별 활용
- API 키는 반드시 .env 파일로 관리
- 통합 테스트로 객관적 비교 가능