ollama 模型离线加载的配置简单说明

ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量）下载的模型数据模型数据结构通过直接复制加载的模型参考服务配置systemd 服务配置注意对于OLLAMA_MO...

倦与暮

1192人浏览 · 2024-07-23 03:30:22

倦与暮 · 2024-07-23 03:30:22 发布

ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接
进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量）

下载的模型数据

模型数据结构

ollama 模型离线加载的配置简单说明_github

通过直接复制加载的模型

ollama 模型离线加载的配置简单说明_github_02

参考服务配置

systemd 服务配置

注意对于OLLAMA_MODELS 定义的文件夹的权限的配置

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/opt/models"
Environment="PATH=/root/.local/bin:/root/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"
 
[Install]
WantedBy=default.target

参考资料

https://github.com/ollama/ollama/blob/main/docs/import.md
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize

原创作者: rongfengliang 转载于: https://blog.51cto.com/rongfengliang/11530477

AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

如何卸载openclaw

OpenClaw（俗称"龙虾"）是一个本地 AI 智能体平台，用于在电脑上部署自主运行的 AI 代理。

AI Agent技术社区

（已解决）安装openclaw龙虾[特殊字符]npm权限问题EACCES

先安装升级完成node和homebrew后。安装就很快了。但是遇到EACCESS问题！！！发现报错了。问题错误：核心问题是sharp解决（90%人遇到的）安装 macOS 编译工具很多人缺少，导致sharp无法编译。运行：xcode-select --install安装完成后重新执行：sharp编译需要 C++ 编译器和 node-gyp，这些都来自 Xcode CLI。