Ollama本地大模型安装指南：从零开始玩转AI
准备工作：确认电脑性能够不够
| 配置项 | 最低要求 | 推荐配置 | 说明 |
| 内存 (RAM) | 8GB | 16GB+ | 7B 模型至少要 8GB 内存，13B 模型要 16GB |
| 磁盘空间 | 空闲10GB | 空闲100GB+ | 模型文件很大，7B 模型 4-5GB，13B 8GB |
| 显卡 (可选) | 无 | NVIDIA/AMD 显卡 | 有显卡能提高推理速度，CPU 也能跑就是慢一点 |
| 系统 | Windows10+/macOS12+/Linux | 最新系统 | 太老的系统可能不兼容 |
2.1 Windows 系统安装（最常用）
Windows 用户安装最简单，跟着点下一步就行：
步骤 1：下载安装包
有两个下载地址，国内用户推荐用国内镜像站，速度更快：
-
国内镜像站（推荐）：https://ollama.org.cn/download/
-
运行代码（PowerShell 不建议）：
irm https://ollama.com/install.ps1 | iex
点击下载 OllamaSetup.exe或运行安装脚本，很快能下完。
步骤 2：运行安装程序（用安装脚本跳过）
双击下载好的 OllamaSetup.exe，会自动开始安装：
⚠️ 注意：Ollama 默认会安装到 C 盘，但是模型文件不会存在这里，后面我们会教你把模型存到其他盘，不用担心 C 盘满。
安装过程中会自动帮你配置好环境变量，你什么都不用管，等它走完就行。
步骤 3：验证安装是否成功
安装完成后，打开 CMD 或者 PowerShell（按 Win+R，输入 cmd 回车就能打开），输入下面的命令：
ollama --version如果输出类似下面的内容，就说明安装成功了：
ollama version is 0.5.72.2 macOS 系统安装
Mac 用户（不管是 Intel 还是 M 系列芯片）都可以用下面两种方法安装：
方法 1：一键脚本安装（推荐）
打开终端（Command + 空格，输入 terminal 回车），复制粘贴下面的命令，回车执行：
curl -fsSL https://ollama.com/install.sh | sh这个脚本会自动帮你下载安装最新版本，全程自动完成。
方法 2：Homebrew 安装
如果你用了 Homebrew，也可以用这个命令：
brew install ollama验证安装
同样在终端输入：
ollama --version能看到版本号就成功了。
2.3 Linux 系统安装
Linux 用户直接用一键脚本就行，支持 Ubuntu、CentOS、Debian 等主流发行版：
打开终端，执行：
curl -fsSL https://ollama.com/install.sh | sh脚本会自动配置 systemd 服务，安装完成后 Ollama 会自动在后台运行，开机自启。
验证安装：
ollama --version三、基础使用：第一次跑大模型
安装完之后，我们来跑一个中文模型试试手，推荐新手用通义千问的 Qwen2.5:7B，中文效果好，体积也不大。
步骤 1：拉取模型
打开终端 / CMD，输入下面的命令：
ollama pull qwen2.5:7b这个命令会自动下载模型，7B 版本约 4.4GB，耐心等它下载完就行。
💡 如果你下载速度很慢，别急，后面我们会教你配置国内镜像加速，能让速度飞起来。
步骤 2：启动对话
下载完成后，输入下面的命令启动模型：
ollama run qwen2.5:7b第一次启动会加载模型，等个十几秒，就会出现 >>> 提示符，这时候你就可以直接输入问题和 AI 聊天了！
比如你可以问：
>>> 你好，介绍一下你自己模型就会给你回答了，全程都是本地运行，断网也能用！
步骤 3：退出对话
聊完了想退出的话，输入 /bye 回车就行：
>>> /bye常用命令速查
| 命令 | 作用 |
|
| 下载模型 |
|
| 运行模型并进入对话 |
|
| 查看你已经下载的所有模型 |
|
| 删除不需要的模型，释放空间 |
|
| 手动启动 Ollama 服务（一般不用，它会自动跑） |
四、进阶配置：解决国内用户的痛点
4.1 国内镜像加速：解决下载慢、拉取失败
国内用户直接用官方源下载模型，经常会速度只有几 KB，甚至直接超时失败。这时候配置国内镜像源就能解决问题。
配置方法：
我们用魔搭社区的镜像，速度非常快：
Windows 系统：
-
右键点击「此电脑」→ 选择「属性」
-
点击「高级系统设置」→ 点击「环境变量」
-
在「系统变量」区域，点击「新建」
-
变量名填：
OLLAMA_HF_MIRROR -
变量值填：
https://modelscope.cn -
点击确定保存。
macOS/Linux 系统：
打开终端，编辑你的配置文件：
# 如果你用的是zsh（Mac默认）
echo 'export OLLAMA_HF_MIRROR=https://modelscope.cn' >> ~/.zshrc# 如果你用的是bash
echo 'export OLLAMA_HF_MIRROR=https://modelscope.cn' >> ~/.bashrc然后让配置生效：
# zsh用户 source ~/.zshrc # bash用户 source ~/.bashrc重启服务
配置完之后，需要重启一下 Ollama 服务才能生效：
-
Windows：打开 CMD，输入：
net stop ollama net start ollama -
Linux：
sudo systemctl restart ollama -
macOS：
brew services restart ollama
现在再去拉模型，速度就能跑到满带宽了！
4.2 修改模型存储路径：解决 C 盘爆满
Ollama 默认会把下载的模型存在系统盘：
-
Windows：
C:\Users\你的用户名.ollama\models -
macOS/Linux：
~/.ollama/models
如果你系统盘空间小，下几个模型就满了，这时候可以把模型存到其他盘。
Windows 系统配置：
-
同样打开「环境变量」设置（和上面镜像的步骤一样）
-
新建一个系统变量：
记得先在 D 盘建好这个文件夹哦！
-
变量名：
OLLAMA_MODELS -
变量值：你想存模型的路径，比如
D:\AI\Models\Ollama
-
-
重启 Ollama 服务：
net stop ollama net start ollama
macOS/Linux 系统配置：
-
打开终端，编辑配置文件：
# zsh用户 echo 'export OLLAMA_MODELS=/Volumes/ExternalDrive/Ollama/models' >> ~/.zshrc # bash用户 echo 'export OLLAMA_MODELS=/home/yourname/ai/models' >> ~/.bashrc把路径换成你自己的就行。
-
生效配置并重启服务：
source ~/.zshrc # 或者bash的那个 sudo systemctl restart ollama # Linux # Mac的话 brew services restart ollama
💡 如果你已经下载了模型，记得把旧路径的模型文件复制到新路径，不然要重新下载哦！
4.3 网络代理配置
如果你用了代理工具，想让 Ollama 也走代理，可以配置环境变量：
临时生效（当前窗口）：
Windows CMD：
set HTTP_PROXY=http://127.0.0.1:7890 set HTTPS_PROXY=http://127.0.0.1:7890PowerShell：
$env:HTTP_PROXY="http://127.0.0.1:7890" $env:HTTPS_PROXY="http://127.0.0.1:7890"macOS/Linux：
export HTTP_PROXY=http://127.0.0.1:7890 export HTTPS_PROXY=http://127.0.0.1:7890永久生效：
和上面的环境变量一样，把这两个变量加到系统环境变量里就行，代理地址换成你自己的。
4.4 开启局域网远程访问
默认情况下，Ollama 只能你自己的电脑访问，如果你想让家里的其他设备（比如手机、平板）也能用上，可以配置远程访问：
-
新建环境变量：
-
变量名：
OLLAMA_HOST -
变量值：
0.0.0.0:11434
-
-
重启 Ollama 服务。
然后你就可以用其他设备，通过你电脑的局域网 IP 访问了，比如 http://192.168.1.100:11434。
⚠️ 注意：这个配置不要在公网用！不然你的 Ollama 服务会暴露在互联网上，有安全风险！
五、常见问题排查：遇到坑别慌
5.1 端口被占用，服务启动失败
Ollama 默认用 11434 端口，如果这个端口被其他程序占用了，就会启动失败，提示 address already in use。
解决方法：
方法 1：杀掉占用端口的进程
Windows：
# 查找占用11434端口的进程PID netstat -ano | findstr :11434 # 杀掉这个进程（把<PID>换成你查到的数字） taskkill /PID <PID> /FmacOS/Linux：
# 查找占用进程 lsof -i :11434 # 杀掉进程 kill -9 <PID>方法 2：换个端口用
如果不想杀进程，可以给 Ollama 换个端口： 新建环境变量 OLLAMA_HOST，值设为 0.0.0.0:11435（用 11435 端口），重启服务就行。
5.2 模型拉取失败、下载中断
如果下载模型的时候卡住了，或者提示超时：
-
先配置我们上面说的国内镜像源，大部分情况都能解决
-
如果是网络波动中断了，重新执行
ollama pull命令就行，它支持断点续传，会接着之前的进度下 -
也可以手动下载 GGUF 模型文件，然后本地导入，这个我们后面单独讲。
5.3 GPU 不生效，还是用 CPU 跑
如果你有 NVIDIA 显卡，但是 Ollama 还是用 CPU 跑，速度很慢：
-
先确认你装了最新的显卡驱动
-
检查 CUDA 是否安装正确，运行
nvidia-smi能看到显卡信息就说明没问题 -
如果还是不行，试试更新 Ollama 到最新版本，旧版本可能有兼容问题。
5.4 内存不足，模型加载失败
如果提示内存不足，说明你的电脑内存不够跑这个模型：
-
换个更小的模型，比如 7B 换成 3B 的
-
关闭其他占用内存的程序，比如浏览器、视频软件
-
可以加个交换文件，不过会慢很多，不推荐。
六、安全提示：别把你的 AI 服务暴露在公网
很多同学配置了远程访问之后，不小心把端口暴露到了公网上，这会有很大的安全风险：
-
别人可以随便用你的 GPU 资源，让你电脑变卡
-
别人可以读取你和 AI 的聊天记录，泄露隐私
-
甚至可以攻击你的电脑
所以：
-
只在局域网用远程访问，不要把端口映射到公网
-
如果要公网访问，一定要加 IP 白名单、反向代理、密码认证
-
默认情况下，Ollama 只监听本地地址，是最安全的，不要乱改配置。
七、下一步：装个可视化界面，像 ChatGPT 一样用
Ollama 默认是命令行的，如果你想要像 ChatGPT 那样的可视化聊天界面，可以装个 OpenWebUI，一行命令就能搞定：
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main装完之后打开 http://localhost:3000 就能用了，支持多模型切换、历史记录、知识库，和官方 ChatGPT 一模一样！
到这里，你已经完全掌握了 Ollama 的安装和配置，现在就可以把各种大模型装到自己电脑里，离线使用，再也不用担心隐私泄露和 API 收费了！
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
11
0- 0
已为社区贡献1条内容
所有评论(0)