在 Ubuntu 系统上如何安装 Ollama并安装部署大语言模型?
在 Ubuntu 系统上安装 Ollama 非常简单,官方提供了自动化的安装脚本。为了确保你能够顺利安装并运行,我为你整理了标准安装、运行模型以及图形界面配置的完整指南。
在 Ubuntu 系统上安装 Ollama 非常简单,官方提供了自动化的安装脚本。为了确保你能够顺利安装并运行,我为你整理了标准安装、运行模型以及图形界面配置的完整指南。
以下是基于最新信息的详细步骤:
🚀 第一步:安装 Ollama
打开 Ubuntu 的终端,执行以下命令即可完成安装:
curl -fsSL https://ollama.com/install.sh | sh
💡 提示: 如果提示权限不足,可以在命令前加上
sudo,即:curl -fsSL https://ollama.com/install.sh | sudo sh
⚙️ 第二步:配置用户权限(重要)
安装完成后,为了让当前用户能够调用 Ollama,需要将用户添加到 ollama 用户组:
sudo usermod -aG ollama $USER
注意: 执行完这一步后,你需要注销并重新登录,或者重启终端,让用户组权限生效。
▶️ 第三步:启动 Ollama 服务
Ollama 安装后会自动注册为系统服务。你可以使用以下命令管理它:
# 启动服务
sudo systemctl start ollama
# 设置开机自启
sudo systemctl enable ollama
# 查看服务状态(确认是否运行正常)
sudo systemctl status ollama
🤖 第四步:下载并运行模型
服务启动后,你就可以下载各种开源大模型了。例如,如果你想运行 DeepSeek 或 通义千问(Qwen),可以使用以下命令:
-
运行 DeepSeek(例如 deepseek-r1:7b):
ollama run deepseek-r1:7b -
运行 通义千问(Qwen):
ollama run qwen:7b -
运行 Llama 3:
ollama run llama3
首次运行时,Ollama 会自动从官方仓库下载模型文件(默认存储在 ~/.ollama/models 目录下),下载速度取决于你的网络带宽。
🎨 进阶:安装图形界面 (Open WebUI)
如果你不喜欢命令行界面,想要像使用 ChatGPT 那样通过浏览器与模型对话,可以安装 Open WebUI。这需要先安装 Docker。
1. 安装 Docker(如果尚未安装)
# 安装必要依赖
sudo apt update
sudo apt install docker.io docker-compose -y
# 启动并设置开机自启
sudo systemctl start docker
sudo systemctl enable docker
2. 部署 Open WebUI 容器
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3. 访问界面
打开浏览器,访问 http://localhost:3000。
首次访问会要求注册账号,登录后即可看到类似 ChatGPT 的聊天界面,你可以直接在输入框中选择已下载的模型进行对话。
🛠️ 常见问题与 GPU 加速
Q1: 如何让 Ollama 使用 GPU 加速?
如果你的 Ubuntu 服务器配备了 NVIDIA 显卡,Ollama 通常会自动检测 CUDA 环境并利用 GPU 进行推理,速度会比 CPU 快很多。
- 前提: 确保已安装好 NVIDIA 驱动和 CUDA Toolkit。
- 验证: 启动服务时查看日志,如果看到
NVIDIA GPU detected字样,说明 GPU 已启用。
Q2: 离线环境下如何安装?
如果你的服务器无法联网,可以采用离线安装包的方式:
- 在有网络的电脑上下载:
ollama-linux-amd64.tgz(可以从 CSDN 或其他镜像源获取)。 - 将文件拷贝到 Ubuntu 服务器的
/opt目录。 - 解压并安装:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz。 - 配置 systemd 服务文件(参考前文)并启动。
希望这些步骤能帮你顺利在 Ubuntu 上跑起 Ollama!
更多推荐

所有评论(0)