docs: ONNX 임베딩 경량화 문서 수정
- onnx_embedder.py, chroma_onnx_function.py는 별도 파일로 생성되지 않음을 명시 - 실제로는 skill-embedding 서비스에 직접 구현되었음을 설명 - 코드 수정 예시를 HTTPEmbeddingFunction 사용으로 변경
This commit is contained in:
parent
19a6516a5f
commit
063575f4e4
@ -34,14 +34,15 @@ uv pip install transformers torch onnx onnxruntime
|
||||
|
||||
### 오후 3시 30분 - 경량 추론 모듈 개발
|
||||
|
||||
1. `onnx_embedder.py` 작성
|
||||
1. ONNX 임베딩 기능 설계
|
||||
- PyTorch 없이 ONNX Runtime만으로 임베딩 생성
|
||||
- ChromaDB 호환 인터페이스 제공
|
||||
- Mean pooling 구현
|
||||
|
||||
2. `chroma_onnx_function.py` 작성
|
||||
- ChromaDB EmbeddingFunction 인터페이스 구현
|
||||
- 기존 sentence-transformers 대체 가능
|
||||
|
||||
2. **주의**: 이 기능은 후에 skill-embedding 서비스에 직접 구현됨
|
||||
- 별도 파일(`onnx_embedder.py`, `chroma_onnx_function.py`)로 생성하지 않음
|
||||
- skill-embedding 서비스의 embedder.py에 ONNXEmbedder 클래스로 구현
|
||||
- http_embedding_function.py에 HTTPEmbeddingFunction 클래스로 구현
|
||||
|
||||
### 오후 3시 40분 - 테스트 및 검증
|
||||
|
||||
@ -84,9 +85,9 @@ RUN pip install onnxruntime transformers
|
||||
from sentence_transformers import SentenceTransformer
|
||||
embedder = SentenceTransformer(model_name)
|
||||
|
||||
# 변경
|
||||
from onnx_models.chroma_onnx_function import ONNXEmbeddingFunction
|
||||
embedding_function = ONNXEmbeddingFunction("/path/to/onnx/model")
|
||||
# 변경 (skill-embedding 서비스 사용)
|
||||
from http_embedding_function import HTTPEmbeddingFunction
|
||||
embedding_function = HTTPEmbeddingFunction("http://localhost:8015")
|
||||
```
|
||||
|
||||
### 3. 모델 마운트
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user