Ollama 安装教程:Windows 上 5 分钟跑起第一个本地 AI 模型
摘要
上一篇文章主要介绍了 Ollama 是什么,以及为什么它适合普通用户入门本地大模型。简单来说,Ollama 可以让我们在自己的电脑上运行大语言模型,并且可以利用本机 CPU、内存和显卡进行推理。
这一篇文章开始正式动手。本文会以 Windows 系统为例,从下载安装到运行第一个模型,完整记录 Ollama 的基础使用流程。
读完这篇文章后,你应该可以完成三件事:
-
在 Windows 上安装 Ollama
-
用命令行运行第一个本地大模型
-
掌握几个最常用的 Ollama 命令
一、安装前需要准备什么?
在安装 Ollama 之前,先简单确认一下电脑环境。
1. 系统要求
建议使用:
Windows 10 或 Windows 11
Windows 版本太老的话,可能会遇到兼容性问题。
2. 硬件要求
如果只是体验小模型,配置要求不算特别高。
但如果你想跑更大的模型,电脑配置就会明显影响体验。
建议配置:
内存:至少 8GB,推荐 16GB 或更高
显卡:有独立显卡更好
硬盘:至少预留 10GB 以上空间
网络:第一次下载模型需要联网
这里要注意:Ollama 软件本体不算特别大,但模型文件可能比较大。
一个 1B、3B 模型可能还比较轻,一个 7B 模型就可能占用几 GB 空间。如果后面下载多个模型,硬盘空间会消耗得很快。
3. 新手不要一开始就下载大模型
很多人第一次玩本地 AI,会直接下载一个特别大的模型,比如 14B、32B,甚至更大。
这样很容易出现几个问题:
-
下载时间很长
-
硬盘占用很大
-
显存不够
-
运行速度很慢
-
电脑明显卡顿
所以新手建议先从小模型开始,例如 1B、3B 或 7B 模型。
先跑通流程,比一上来追求大模型更重要。
二、下载并安装 Ollama
打开 Ollama 官网下载页面,选择 Windows 版本进行安装。
安装方式通常有两种:
方法一:下载安装包
直接下载 Windows 安装包,然后像普通软件一样安装。
安装完成后,Ollama 一般会在后台运行。你可能不会看到一个很明显的软件窗口,因为 Ollama 更偏向后台服务和命令行工具。
方法二:使用 PowerShell 命令安装
也可以打开 PowerShell,输入安装命令:
irm https://ollama.com/install.ps1 | iex
如果你不熟悉 PowerShell,建议直接使用安装包方式,比较直观。
三、确认 Ollama 是否安装成功
安装完成后,打开 PowerShell 或 Windows Terminal。
输入:
ollama
如果出现 Ollama 的命令提示信息,就说明安装成功。
也可以输入:
ollama --version
如果能显示版本号,说明 Ollama 已经可以正常使用。
如果提示:
'ollama' 不是内部或外部命令
可能是以下原因:
-
Ollama 没有安装成功
-
终端没有重新打开
-
环境变量还没有刷新
-
安装路径没有正确加入系统
可以先关闭 PowerShell,再重新打开一次。
如果还是不行,就重新安装 Ollama。
四、运行第一个本地模型
安装成功后,就可以运行第一个模型了。
新手可以先选择一个比较轻的模型,例如:
ollama run llama3.2
第一次运行时,如果本地没有这个模型,Ollama 会自动开始下载。
下载完成后,终端会进入对话模式。你可以直接输入问题,例如:
你好,请用一句话介绍 Ollama。
如果模型正常返回回答,就说明你已经成功在本地运行了一个 AI 模型。
这一步非常关键。
因为从这里开始,你的电脑就不只是“访问 AI 网页”,而是真的在本地运行模型了。
五、推荐新手尝试的几个模型
不同模型适合不同用途。新手可以先从下面这些方向尝试。
1. 通用聊天模型
ollama run llama3.2
适合普通问答、简单写作、概念解释。
2. 中文能力较好的模型
ollama run qwen2.5:7b
如果你主要使用中文,可以优先尝试 Qwen 系列。
3. 代码模型
ollama run qwen2.5-coder:7b
适合代码解释、代码生成、bug 分析等场景。
4. 更轻量的小模型
如果电脑配置一般,可以先尝试更小的模型,例如:
ollama run gemma3:1b
小模型的优点是速度快、占用低。
缺点是回答能力不如大模型,复杂任务容易出错。
六、常用 Ollama 命令
安装和运行只是第一步。后面真正使用 Ollama 时,最常用的是下面这些命令。
1. 查看本地已经下载的模型
ollama list
这个命令可以看到你电脑里已经安装了哪些模型。
输出内容通常包括:
模型名称
模型 ID
模型大小
更新时间
如果你下载了很多模型,可以用这个命令检查本地模型列表。
2. 下载模型但不运行
ollama pull qwen2.5:7b
pull 的意思是下载模型。
它和 run 的区别是:
ollama run:下载并运行
ollama pull:只下载,不进入对话
如果你只是想提前把模型下载好,可以用 pull。
3. 运行模型
ollama run qwen2.5:7b
这个命令会启动指定模型。
如果模型不存在,Ollama 会先下载。
如果模型已经存在,就会直接加载并运行。
4. 停止正在运行的模型
ollama stop qwen2.5:7b
有时候模型运行后会继续占用一部分资源。
如果你想手动停止,可以使用 stop 命令。
5. 删除模型
ollama rm qwen2.5:7b
本地模型比较占硬盘空间。
如果某个模型不常用了,可以删除它来释放空间。
删除前建议先用:
ollama list
确认模型名称,避免删错。
七、如何判断模型是不是在本地运行?
很多新手会有一个疑问:
我现在到底是在用本地模型,还是在偷偷调用云端?
可以从几个角度判断。
1. 看命令行
如果你是通过下面这种命令运行的:
ollama run 模型名
并且模型已经下载到本地,那么推理过程就是在你的电脑上完成的。
2. 看任务管理器
打开 Windows 任务管理器,观察:
CPU
内存
GPU
显存
当模型正在回答问题时,这些资源通常会有明显变化。
如果你有独立显卡,可能会看到 GPU 或显存占用上升。
3. 看本地服务地址
Ollama 默认会提供本地 API 服务,常见地址是:
http://localhost:11434
也就是说,Ollama 不只是一个命令行聊天工具,它还在本地启动了一个服务。后面我们可以让 Python、JavaScript 或网页项目调用这个本地服务。
八、第一次运行可能遇到的问题
下面是新手最常遇到的几个问题。
问题 1:模型下载很慢
可能原因:
网络不稳定
模型体积比较大
下载源连接速度慢
解决方法:
先下载小模型测试
不要一次下载多个模型
检查网络连接
预留足够硬盘空间
建议第一次不要直接下载特别大的模型,先用小模型确认流程能跑通。
问题 2:运行模型后回答很慢
可能原因:
模型太大
显存不足
内存不够
CPU 参与推理过多
后台程序占用资源
解决方法:
换更小的模型
关闭占用显存的软件
关闭大型游戏或剪辑软件
减少同时运行的程序
本地 AI 的速度和硬件关系非常大。
如果电脑配置一般,小模型可能比大模型体验更好。
问题 3:提示找不到 ollama 命令
如果终端显示:
'ollama' 不是内部或外部命令
可以尝试:
重新打开 PowerShell
重启电脑
重新安装 Ollama
检查环境变量
很多时候只是终端没有刷新,重新打开就可以解决。
问题 4:硬盘空间突然变少
这是正常现象。
因为模型文件会下载到本地,而且每个模型都可能占用几 GB 甚至更多空间。
可以用下面命令查看模型:
ollama list
如果不需要某个模型,可以删除:
ollama rm 模型名
九、第一次使用建议
如果你是第一次安装 Ollama,我建议按照这个顺序来:
第一步:安装 Ollama
第二步:打开 PowerShell
第三步:输入 ollama --version
第四步:运行一个小模型
第五步:观察 CPU、内存、GPU 占用
第六步:测试几个中文问题
第七步:尝试 ollama list 查看模型
这样可以一步一步确认环境是否正常。
不要一开始就做复杂项目,也不要马上接入网页或 Python。
先确认模型能正常运行,是最重要的一步。
十、完整入门命令汇总
最后把这篇文章用到的命令整理一下。
查看 Ollama 是否可用
ollama --version
运行模型
ollama run llama3.2
运行中文模型
ollama run qwen2.5:7b
运行代码模型
ollama run qwen2.5-coder:7b
下载模型
ollama pull qwen2.5:7b
查看本地模型
ollama list
停止模型
ollama stop qwen2.5:7b
删除模型
ollama rm qwen2.5:7b
十一、总结
这篇文章完成了 Ollama 的基础安装和第一次运行。
我们主要做了几件事:
-
了解安装前的系统和硬件准备
-
在 Windows 上安装 Ollama
-
用命令行运行第一个本地模型
-
学会查看、下载、运行、停止和删除模型
-
了解常见问题的解决思路
到这里,我们已经成功让自己的电脑跑起了本地 AI 模型。
不过,真正影响体验的关键还在后面:
你的电脑适合跑多大的模型?显卡和显存到底有什么影响?7B、14B、32B 应该怎么选?
下一篇文章,我会重点讲 Ollama 和电脑硬件之间的关系,尤其是显卡、显存、内存和模型大小之间的实际影响。
更多推荐



所有评论(0)