ollama 离线下载和安装

在一个稳定 真互联网 环境的的 Linux 环境中从 Github 下载 最新版本 ollama:

wget https://github.com/ollama/ollama/releases/download/v0.12.0/ollama-linux-amd64.tgz

复制文件到离线环境的 Linux 环境, 解压安装. 需要留意解压后需要至少 5GB 的可用空间.

sudo mkdir -p /opt/ollama
sudo tar -zxvf ollama-linux-amd64.tgz -C /opt/ollama

创建 ollama 用户 (不建议直接用 root)

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

[可选] 创建 Model 默认存放文件夹

sudo mkdir -p /data/ollama_models
sudo chown ollama:ollama /data/ollama_models

创建 Systemd 服务 /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/data/ollama_models"

[Install]
WantedBy=default.target

注意:
Environment="OLLAMA_MODELS=/data/ollama_models" 这部分用来自定义 ollama 模型默认存放的路径, 如果前面没有创建这个文件夹, 就不要写这一行了. 默认模型存放路径: /usr/share/ollama/.ollama/models

配置服务自启动

sudo systemctl daemon-reload
sudo systemctl enable ollama --now

# 创建软连接
sudo ln -s /opt/ollama/bin/ollama /usr/bin/ollama

# 检查服务状态
systemctl status ollama

# 检查本地存在端口监听 (默认 127.0.0.1:11434)
sudo ss -lntp | grep ollama

Model 离线下载和安装

以 qwen3:32b 模型为例, 对于在国内互联网的环境, 前面用离线方式安装好 ollama 服务之后, 可以继续直接用 ollama pull 命令下载模型:

ollama pull qwen3:32b

# 检查模型
ollama list

# 手动启动模型测试
ollama run qwen3:32b

如果是在完全没有互联网的环境, 可以先在有网的环境中下载好模型, 然后将对应路径下的 blob 和 manifests 两个文件夹复制到离线环境中.

除此之外, 还有个雷锋自己搭建的了一套 Repo 能够直接下载常用模型: https://github.com/Pyenb/Ollama-models

Model 开机自动运行

前面配置的 ollama 服务并不会自动运行模型, 修改 /etc/systemd/system/ollama.service 如下:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/opt/ollama/bin/ollama serve
ExecStartPost=/opt/ollama/bin/ollama run qwen3:32b
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/data/ollama_models"

[Install]
WantedBy=default.target

修改后记得重启服务

sudo systemctl daemon-reload
sudo systemctl restart ollama