Ollama安装-运行模型-常用运维命令
·
方法1:官方命令行安装
安装:
curl -fsSL https://ollama.com/install.sh | sh
注:需要网络支持,可以安装的话就不需要执行手动安装的配置,官方脚本会把所有东西都配置好,如果要修改镜像源可查看后面修改镜像源的方法(2.4)。
启动
ollama serve
验证安装成功(显示版本号即成功)
ollama -v
方法2:手动安装Ollama二进制文件并配置
一、准备工作(安装依赖)
# 更新软件源
sudo apt update
# 安装 zst 解压工具(用于解压 .tar.zst 格式包)
sudo apt install zstd -y
下载Ollama二进制文件
window浏览器直接访问:https://ollama.com/download/ollama-linux-amd64.tar.zst
# 上传二进制文件到服务器
Linux物理服务器:直接远程连接上传文件。
WSL安装的Linux:sudo cp /mnt/c/Downloads/ollama-linux-amd64.tar.zst /home/commonsofts/
说明:WSL安装Linux会默认挂在本地磁盘,用mnt/(磁盘符)可以直接访问。
二、解压 Ollama 安装包
# 进入安装目录(示例:/home/commonsofts,可自定义)
cd /home/commonsofts
# 解压 ollama-linux-amd64.tar.zst(必须加 sudo,系统目录权限)
sudo tar -I zstd -xvf ollama-linux-amd64.tar.zst
# 将可执行文件复制到系统命令目录(全局可用)
sudo cp bin/ollama /usr/local/bin/
# 验证安装成功(显示版本号即成功)
ollama --version
三、注册系统服务 + 开机自启
# 创建 systemd 服务文件
sudo tee /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
[Install]
WantedBy=multi-user.target
EOF
# 重新加载服务配置
sudo systemctl daemon-reload
# 启动 Ollama 服务
sudo systemctl start ollama
# 设置开机自启
sudo systemctl enable ollama
# 查看服务状态(验证运行正常)
sudo systemctl status ollama
四、配置国内镜像加速(必配,解决下载慢)
# Ollama 默认模型镜像源:
- 官方 registry:https://registry.ollama.com
- 国内加速镜像:https://mirror.ollama.com
- 配置方式:设置环境变量 OLLAMA_MODEL_SERVER
# 国内可用镜像列表(任选一个)
• 阿里云(最快):https://mirrors.aliyun.com/ollama
• 清华镜像:https://ollama.tuna.tsinghua.edu.cn
• 华为云:https://mirrors.huaweicloud.com/ollama
# 编辑服务文件,添加镜像环境变量
sudo tee /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
# 国内阿里云镜像,如果不需要可以注释掉
Environment="OLLAMA_MODEL_SERVER=https://mirrors.aliyun.com/ollama"
[Install]
WantedBy=multi-user.target
EOF
# 重新加载配置并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
五、配置外部访问(可选,允许跨IP调用)
# 官方推荐修改配置文件方式
sudo systemctl edit ollama
# 在打开的编辑器中追加以下内容:
[Service] # 多个Environment往下追加就行
Environment="OLLAMA_HOST=0.0.0.0:11434" # 允许所有IP访问
Environment="OLLAMA_ORIGINS=*" # 允许跨域请求
# 保存退出后执行以下命令生效
sudo systemctl daemon-reload
sudo systemctl restart ollama
# 验证配置是否生效
sudo systemctl show --property=Environment ollama
# 正常输出应包含:
# Environment=OLLAMA_MODEL_SERVER=https://mirrors.aliyun.com/ollama OLLAMA_HOST=0.0.0.0:11434 OLLAMA_ORIGINS=*
# 配置文件相关说明,及临时文件说明与清理
# 执行systemctl edit命令后可能生成以下临时文件:
# .#override.conf* 临时锁文件,防止多用户并发编辑
# .#override.conf*.save 自动备份文件,用于配置恢复
# 清理方法:
cd /etc/systemd/system/ollama.service.d && sudo rm -f .#*
六、安装运行模型
模型名称可以从这里找:https://ollama.com/search,涉及命令如下:
sudo ollama pull 模型名称 # 下载/拉取模型(例:ollama pull qwen2.5:7b)
sudo ollama run 模型名称 # 运行模型并进入对话(未下载会自动下载)
类如:
sudo ollama pull qwen2.5:7b # 下载模型
sudo ollama run qwen2.5:7b # 运行模型,此时就可以在命令行窗口和大模型对话了。
或
sudo ollama run qwen2.5:7b # 会执行pull和run操作
七、Ollama 常用管理命令
# ==================== 一、Ollama 服务管理命令 ====================
sudo systemctl start ollama # 启动 Ollama 服务 (ollama serve)
sudo systemctl stop ollama # 停止 Ollama 服务
sudo systemctl restart ollama # 重启 Ollama 服务
sudo systemctl enable ollama # 设置 Ollama 开机自启
sudo systemctl disable ollama # 取消 Ollama 开机自启
sudo systemctl status ollama # 查看服务运行状态(是否正常启动)
# ==================== 二、Ollama 模型核心操作命令 ====================
sudo ollama list # 查看本地已安装的所有模型列表
sudo ollama pull 模型名称 # 下载/拉取模型(例:ollama pull qwen2.5:7b)
sudo ollama run 模型名称 # 运行模型并进入对话(未下载会自动下载)
sudo ollama rm 模型名称 # 删除本地指定模型(例:ollama rm qwen2.5:7b)
sudo ollama show 模型名称 # 查看模型的详细信息(配置、参数等)
sudo ollama ps # 查看当前正在运行中的模型进程
sudo ollama stop --all # 停止所有正在运行的模型
ollama run qwen2.5:7b "你好" # 验证ollama加载模型回答问题是否可行
# ==================== 三、Ollama 日志信息命令 ====================
journalctl -u ollama -f # 实时滚动日志(排查问题最常用)
journalctl -u ollama -n 100 # 查看最近 100 行日志
journalctl -u ollama --since "today" # 查看今天所有日志
journalctl -u ollama --since "1 hour ago" # 查看最近 1 小时日志
sudo journalctl --rotate && sudo journalctl --vacuum-time=1d # 清理旧日志(释放空间)
Window环境:
cat $env:LOCALAPPDATA\Ollama\server.log # 查看日志文件
Get-Content $env:LOCALAPPDATA\Ollama\server.log -Wait # 实时跟踪
# ==================== 四、Ollama 基础信息命令 ====================
sudo ollama --version # 查看 Ollama 版本号
sudo ollama help # 查看 Ollama 帮助文档
Ollama参数优化配置速查表
生产环境 → 一律禁止纯 CPU 推理。
环境变量配置表
| 参数名 | 核心作用 | 可配置范围/值 | 配置依据 | 生产环境建议 |
|---|---|---|---|---|
| OLLAMA_NUM_GPU | 启用几块显卡参与推理 | 0(禁用)/1/2/3… |
看 GPU 数量 1张卡=1,显存太小=0 |
1 (至少1张计算卡) |
| OLLAMA_GPU_LAYERS | 加载多少层模型到显存加速 | 0~40(随模型变化) |
看 专用GPU显存 ≤4G=0;4-8G=10-20;≥8G=35 |
35 (全量加载,满速) |
| OLLAMA_NUM_THREAD | CPU 参与推理的线程数 | 1~CPU逻辑处理器数 |
看 CPU 核心数 4核=4,8核=8,16核=16 |
8~16 (留余量给系统) |
| OLLAMA_BATCH_SIZE | 单次处理 Token 数量 | 32/64/128/256/512 |
看 系统内存 + 运行模式 纯CPU+16G=64~128 显卡跑+大显存=512 |
512 (大显存最优) 一报错/爆显存 → batch_size 减半 |
| OLLAMA_KEEP_ALIVE | 模型驻留超时(常驻/卸载) | 30s/5m/1h/24h/-1 |
看 使用频率 日常=30m~1h 服务=24h 永久=-1 |
24h (长期运行,低延迟) |
💡 配置口诀
- 显卡小(≤4G)→ num_gpu=0, gpu_layers=0
- CPU 几核 → num_thread=几
- 纯CPU+16G内存 → batch_size=64
- 模型常驻 → KEEP_ALIVE=30m~24h
- 一报错/爆显存 → batch_size 减半
更多推荐

所有评论(0)