docs: ONNX 임베딩 경량화 문서 수정
- onnx_embedder.py, chroma_onnx_function.py는 별도 파일로 생성되지 않음을 명시 - 실제로는 skill-embedding 서비스에 직접 구현되었음을 설명 - 코드 수정 예시를 HTTPEmbeddingFunction 사용으로 변경
This commit is contained in:
parent
19a6516a5f
commit
063575f4e4
@ -34,14 +34,15 @@ uv pip install transformers torch onnx onnxruntime
|
|||||||
|
|
||||||
### 오후 3시 30분 - 경량 추론 모듈 개발
|
### 오후 3시 30분 - 경량 추론 모듈 개발
|
||||||
|
|
||||||
1. `onnx_embedder.py` 작성
|
1. ONNX 임베딩 기능 설계
|
||||||
- PyTorch 없이 ONNX Runtime만으로 임베딩 생성
|
- PyTorch 없이 ONNX Runtime만으로 임베딩 생성
|
||||||
- ChromaDB 호환 인터페이스 제공
|
- ChromaDB 호환 인터페이스 제공
|
||||||
- Mean pooling 구현
|
- Mean pooling 구현
|
||||||
|
|
||||||
2. `chroma_onnx_function.py` 작성
|
2. **주의**: 이 기능은 후에 skill-embedding 서비스에 직접 구현됨
|
||||||
- ChromaDB EmbeddingFunction 인터페이스 구현
|
- 별도 파일(`onnx_embedder.py`, `chroma_onnx_function.py`)로 생성하지 않음
|
||||||
- 기존 sentence-transformers 대체 가능
|
- skill-embedding 서비스의 embedder.py에 ONNXEmbedder 클래스로 구현
|
||||||
|
- http_embedding_function.py에 HTTPEmbeddingFunction 클래스로 구현
|
||||||
|
|
||||||
### 오후 3시 40분 - 테스트 및 검증
|
### 오후 3시 40분 - 테스트 및 검증
|
||||||
|
|
||||||
@ -84,9 +85,9 @@ RUN pip install onnxruntime transformers
|
|||||||
from sentence_transformers import SentenceTransformer
|
from sentence_transformers import SentenceTransformer
|
||||||
embedder = SentenceTransformer(model_name)
|
embedder = SentenceTransformer(model_name)
|
||||||
|
|
||||||
# 변경
|
# 변경 (skill-embedding 서비스 사용)
|
||||||
from onnx_models.chroma_onnx_function import ONNXEmbeddingFunction
|
from http_embedding_function import HTTPEmbeddingFunction
|
||||||
embedding_function = ONNXEmbeddingFunction("/path/to/onnx/model")
|
embedding_function = HTTPEmbeddingFunction("http://localhost:8015")
|
||||||
```
|
```
|
||||||
|
|
||||||
### 3. 모델 마운트
|
### 3. 모델 마운트
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user