企业私有化 Ollama 部署实战:外网模型离线导出,内网隔离导入
·
背景
外网Ollama模型更新,删了一些,又下载了一些,不方便整体到内网替换,最好是能单独都出指定模型,内网再加载。
注意,下面的流程是ollama是运行在docker中的,做了目录映射。有遇到相同问题的朋友,需要理解具体步骤,不能直接copy。
流程
外网机器打包模型清单:
mkdir tmp_model
docker exec -it ollama ollama show --modelfile qwen3.5:9b > Modelfile
查看下Modelfile的数据,关键就是如下:
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen3.5:9b
FROM /root/.ollama/models/blobs/sha256-dec52a44569a2a25341c4e4d3fee25846eed4f6f0b936278e3a3c900bb99d37c
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER top_k 20
PARAMETER top_p 0.95
PARAMETER presence_penalty 1.5
PARAMETER temperature 1
......
通过清单,打包具体的模型:
cd
cp sha256-dec52a44569a2a25341c4e4d3fee25846eed4f6f0b936278e3a3c900bb99d37c /root/tmp_model
cd /root
zip -r tmp_model.zip tmp_model/
压缩完成后,拷贝到内网。
内网解压,修改Modelfile中的FROM。(需要是docker容器中的目录)
将sha256-dec52a44569a2a25341c4e4d3fee25846eed4f6f0b936278e3a3c900bb99d37c,拷贝.ollama/models/blobs/中
和其他模型放到一起:
最终完成加载:
ollama create qwen3.5:9b -f /root/Modelfile

更多推荐


所有评论(0)