diff --git a/troubleshooting/250804_claude_ONNX임베딩경량화.md b/troubleshooting/250804_claude_ONNX임베딩경량화.md index f3c648f..608728b 100644 --- a/troubleshooting/250804_claude_ONNX임베딩경량화.md +++ b/troubleshooting/250804_claude_ONNX임베딩경량화.md @@ -34,14 +34,15 @@ uv pip install transformers torch onnx onnxruntime ### 오후 3시 30분 - 경량 추론 모듈 개발 -1. `onnx_embedder.py` 작성 +1. ONNX 임베딩 기능 설계 - PyTorch 없이 ONNX Runtime만으로 임베딩 생성 - ChromaDB 호환 인터페이스 제공 - Mean pooling 구현 - -2. `chroma_onnx_function.py` 작성 - - ChromaDB EmbeddingFunction 인터페이스 구현 - - 기존 sentence-transformers 대체 가능 + +2. **주의**: 이 기능은 후에 skill-embedding 서비스에 직접 구현됨 + - 별도 파일(`onnx_embedder.py`, `chroma_onnx_function.py`)로 생성하지 않음 + - skill-embedding 서비스의 embedder.py에 ONNXEmbedder 클래스로 구현 + - http_embedding_function.py에 HTTPEmbeddingFunction 클래스로 구현 ### 오후 3시 40분 - 테스트 및 검증 @@ -84,9 +85,9 @@ RUN pip install onnxruntime transformers from sentence_transformers import SentenceTransformer embedder = SentenceTransformer(model_name) -# 변경 -from onnx_models.chroma_onnx_function import ONNXEmbeddingFunction -embedding_function = ONNXEmbeddingFunction("/path/to/onnx/model") +# 변경 (skill-embedding 서비스 사용) +from http_embedding_function import HTTPEmbeddingFunction +embedding_function = HTTPEmbeddingFunction("http://localhost:8015") ``` ### 3. 모델 마운트