Debain-12.9使用vllm部署内嵌模型/embedding
Debain-12.9使用vllm部署内嵌模型/embedding
·
基础环境准备
下载模型
modelscope download --model 'BAAI/bge-m3' --local_dir 'BAAI/bge-m3'
部署模型
vllm serve ~/ollama/BAAI/bge-m3 --served-model-name bge-m3 --trust-remote-code --dtype float16 --cpu-offload-gb 4 --max-model-len 8192 --api-key vl-5bgrMOCJ5OSBKQV5XbHz --port 16144
注册dify模型
需要先安装插件OpenAI-API-compatible
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)