Add rb10508_micro ONNX deployment troubleshooting
This commit is contained in:
parent
3933c12d47
commit
07ffee2123
@ -147,4 +147,36 @@ docker compose up -d --build
|
|||||||
#### 교훈
|
#### 교훈
|
||||||
1. **표준 준수**: 기존 시스템과의 일관성 유지 중요
|
1. **표준 준수**: 기존 시스템과의 일관성 유지 중요
|
||||||
2. **필드명 통일**: 모든 프로젝트에서 동일한 필드명 사용
|
2. **필드명 통일**: 모든 프로젝트에서 동일한 필드명 사용
|
||||||
3. **문서화**: API 변경사항은 README에 즉시 반영
|
3. **문서화**: API 변경사항은 README에 즉시 반영
|
||||||
|
|
||||||
|
## 오후 6시 40분
|
||||||
|
|
||||||
|
### ONNX 경량화 작업 및 배포 오류
|
||||||
|
|
||||||
|
#### ONNX 모델 Git 저장소 오류
|
||||||
|
- **문제**: 배포 시 onnx_models Git 저장소를 찾을 수 없다는 오류 발생
|
||||||
|
```
|
||||||
|
fatal: repository 'https://git.ro-being.com/ivada_Ro-being/onnx_models.git/' not found
|
||||||
|
```
|
||||||
|
- **원인**: 서버팀이 onnx_models를 Git 저장소로 초기화했으나 Gitea에 푸시하지 않음
|
||||||
|
- **해결**: 서버에서 onnx_models/.git 디렉토리 삭제하여 일반 디렉토리로 변환
|
||||||
|
|
||||||
|
#### ONNX 경량화 적용
|
||||||
|
- **변경사항**:
|
||||||
|
1. Dockerfile: `chroma_vector:1.0` → `python:3.11-slim`
|
||||||
|
2. requirements.txt: `onnxruntime`, `transformers` 추가
|
||||||
|
3. docker-compose.yml: ONNX 모델 볼륨 마운트 추가
|
||||||
|
4. 임베딩 모델 설정을 다국어 지원 모델로 변경
|
||||||
|
- **효과**:
|
||||||
|
- 이미지 크기 6.19GB → ~500MB 예상
|
||||||
|
- PyTorch 의존성 제거로 메모리 사용량 대폭 감소
|
||||||
|
|
||||||
|
#### 모델 볼륨 마운트 경로 수정
|
||||||
|
- **문제**: 잘못된 모델 캐시 경로 사용
|
||||||
|
- **해결**: `/opt/models:/models:ro`로 수정 (서버 트러블슈팅 문서 참고)
|
||||||
|
|
||||||
|
#### 교훈
|
||||||
|
1. **서버 자원 확인**: Git 저장소가 아닌 로컬 디렉토리인지 확인 필요
|
||||||
|
2. **트러블슈팅 문서 참고**: 기존 문서에 이미 해결책이 있을 수 있음
|
||||||
|
3. **ONNX 경량화 효과**: PyTorch 제거만으로도 큰 효과
|
||||||
|
4. **배포 전 검증**: 서버 측 디렉토리 구조와 설정 확인 필수
|
||||||
Loading…
x
Reference in New Issue
Block a user