方法1:官方命令行安装

安装:
curl -fsSL https://ollama.com/install.sh | sh
注:需要网络支持,可以安装的话就不需要执行手动安装的配置,官方脚本会把所有东西都配置好,如果要修改镜像源可查看后面修改镜像源的方法(2.4)。

启动
ollama serve

验证安装成功(显示版本号即成功)
ollama -v

方法2:手动安装Ollama二进制文件并配置

一、准备工作(安装依赖)
# 更新软件源
sudo apt update

# 安装 zst 解压工具(用于解压 .tar.zst 格式包)
sudo apt install zstd -y

下载Ollama二进制文件
window浏览器直接访问:https://ollama.com/download/ollama-linux-amd64.tar.zst

# 上传二进制文件到服务器
Linux物理服务器:直接远程连接上传文件。
WSL安装的Linux:sudo cp /mnt/c/Downloads/ollama-linux-amd64.tar.zst /home/commonsofts/
说明:WSL安装Linux会默认挂在本地磁盘,用mnt/(磁盘符)可以直接访问。
二、解压 Ollama 安装包
# 进入安装目录(示例:/home/commonsofts,可自定义)
cd /home/commonsofts

# 解压 ollama-linux-amd64.tar.zst(必须加 sudo,系统目录权限)
sudo tar -I zstd -xvf ollama-linux-amd64.tar.zst

# 将可执行文件复制到系统命令目录(全局可用)
sudo cp bin/ollama /usr/local/bin/

# 验证安装成功(显示版本号即成功)
ollama --version
三、注册系统服务 + 开机自启
# 创建 systemd 服务文件
sudo tee /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target
EOF

# 重新加载服务配置
sudo systemctl daemon-reload

# 启动 Ollama 服务
sudo systemctl start ollama

# 设置开机自启
sudo systemctl enable ollama

# 查看服务状态(验证运行正常)
sudo systemctl status ollama
四、配置国内镜像加速(必配,解决下载慢)
# Ollama 默认模型镜像源:
- 官方 registry:https://registry.ollama.com
- 国内加速镜像:https://mirror.ollama.com
- 配置方式:设置环境变量 OLLAMA_MODEL_SERVER

# 国内可用镜像列表(任选一个)
• 阿里云(最快):https://mirrors.aliyun.com/ollama
• 清华镜像:https://ollama.tuna.tsinghua.edu.cn
• 华为云:https://mirrors.huaweicloud.com/ollama

# 编辑服务文件,添加镜像环境变量
sudo tee /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
# 国内阿里云镜像,如果不需要可以注释掉
Environment="OLLAMA_MODEL_SERVER=https://mirrors.aliyun.com/ollama"

[Install]
WantedBy=multi-user.target
EOF

# 重新加载配置并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
五、配置外部访问(可选,允许跨IP调用)
# 官方推荐修改配置文件方式
sudo systemctl edit ollama
# 在打开的编辑器中追加以下内容:
[Service] # 多个Environment往下追加就行
Environment="OLLAMA_HOST=0.0.0.0:11434"  # 允许所有IP访问
Environment="OLLAMA_ORIGINS=*"          # 允许跨域请求

# 保存退出后执行以下命令生效
sudo systemctl daemon-reload
sudo systemctl restart ollama

# 验证配置是否生效
sudo systemctl show --property=Environment ollama
# 正常输出应包含:
# Environment=OLLAMA_MODEL_SERVER=https://mirrors.aliyun.com/ollama  OLLAMA_HOST=0.0.0.0:11434 OLLAMA_ORIGINS=*

# 配置文件相关说明,及临时文件说明与清理
# 执行systemctl edit命令后可能生成以下临时文件:
# .#override.conf*       临时锁文件,防止多用户并发编辑
# .#override.conf*.save  自动备份文件,用于配置恢复
# 清理方法:
cd /etc/systemd/system/ollama.service.d && sudo rm -f .#*
六、安装运行模型
模型名称可以从这里找:https://ollama.com/search,涉及命令如下:
sudo ollama pull 模型名称                     # 下载/拉取模型(例:ollama pull qwen2.5:7b)
sudo ollama run 模型名称                      # 运行模型并进入对话(未下载会自动下载)

类如:
sudo ollama pull qwen2.5:7b  # 下载模型
sudo ollama run qwen2.5:7b  # 运行模型,此时就可以在命令行窗口和大模型对话了。
或
sudo ollama run qwen2.5:7b  # 会执行pull和run操作
七、Ollama 常用管理命令
# ==================== 一、Ollama 服务管理命令 ====================
sudo systemctl start ollama              # 启动 Ollama 服务 (ollama serve)
sudo systemctl stop ollama               # 停止 Ollama 服务
sudo systemctl restart ollama            # 重启 Ollama 服务
sudo systemctl enable ollama             # 设置 Ollama 开机自启
sudo systemctl disable ollama            # 取消 Ollama 开机自启
sudo systemctl status ollama             # 查看服务运行状态(是否正常启动)

# ==================== 二、Ollama 模型核心操作命令 ====================
sudo ollama list                             # 查看本地已安装的所有模型列表
sudo ollama pull 模型名称                     # 下载/拉取模型(例:ollama pull qwen2.5:7b)
sudo ollama run 模型名称                      # 运行模型并进入对话(未下载会自动下载)
sudo ollama rm 模型名称                       # 删除本地指定模型(例:ollama rm qwen2.5:7b)
sudo ollama show 模型名称                     # 查看模型的详细信息(配置、参数等)
sudo ollama ps                               # 查看当前正在运行中的模型进程
sudo ollama stop --all                       # 停止所有正在运行的模型
ollama run qwen2.5:7b "你好"				 # 验证ollama加载模型回答问题是否可行

# ==================== 三、Ollama 日志信息命令 ====================
journalctl -u ollama -f						# 实时滚动日志(排查问题最常用)
journalctl -u ollama -n 100					# 查看最近 100 行日志
journalctl -u ollama --since "today"		# 查看今天所有日志
journalctl -u ollama --since "1 hour ago"	# 查看最近 1 小时日志
sudo journalctl --rotate && sudo journalctl --vacuum-time=1d 	# 清理旧日志(释放空间)

Window环境:
cat $env:LOCALAPPDATA\Ollama\server.log		# 查看日志文件
Get-Content $env:LOCALAPPDATA\Ollama\server.log -Wait		# 实时跟踪

# ==================== 四、Ollama 基础信息命令 ====================
sudo ollama --version                         # 查看 Ollama 版本号
sudo ollama help                              # 查看 Ollama 帮助文档

Ollama参数优化配置速查表

生产环境 → 一律禁止纯 CPU 推理。
环境变量配置表

参数名 核心作用 可配置范围/值 配置依据 生产环境建议
OLLAMA_NUM_GPU 启用几块显卡参与推理 0(禁用)/1/2/3 看 GPU 数量
1张卡=1,显存太小=0
1
(至少1张计算卡)
OLLAMA_GPU_LAYERS 加载多少层模型到显存加速 0~40(随模型变化) 看 专用GPU显存
≤4G=0;4-8G=10-20;≥8G=35
35
(全量加载,满速)
OLLAMA_NUM_THREAD CPU 参与推理的线程数 1~CPU逻辑处理器数 看 CPU 核心数
4核=4,8核=8,16核=16
8~16
(留余量给系统)
OLLAMA_BATCH_SIZE 单次处理 Token 数量 32/64/128/256/512 看 系统内存 + 运行模式
纯CPU+16G=64~128
显卡跑+大显存=512
512
(大显存最优)
一报错/爆显存 → batch_size 减半
OLLAMA_KEEP_ALIVE 模型驻留超时(常驻/卸载) 30s/5m/1h/24h/-1 看 使用频率
日常=30m~1h
服务=24h
永久=-1
24h
(长期运行,低延迟)

💡 配置口诀

  1. 显卡小(≤4G)→ num_gpu=0, gpu_layers=0
  2. CPU 几核 → num_thread=几
  3. 纯CPU+16G内存 → batch_size=64
  4. 模型常驻 → KEEP_ALIVE=30m~24h
  5. 一报错/爆显存 → batch_size 减半
Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐