摘要

上一篇文章主要介绍了 Ollama 是什么,以及为什么它适合普通用户入门本地大模型。简单来说,Ollama 可以让我们在自己的电脑上运行大语言模型,并且可以利用本机 CPU、内存和显卡进行推理。

这一篇文章开始正式动手。本文会以 Windows 系统为例,从下载安装到运行第一个模型,完整记录 Ollama 的基础使用流程。

读完这篇文章后,你应该可以完成三件事:

  1. 在 Windows 上安装 Ollama

  2. 用命令行运行第一个本地大模型

  3. 掌握几个最常用的 Ollama 命令


一、安装前需要准备什么?

在安装 Ollama 之前,先简单确认一下电脑环境。

1. 系统要求

建议使用:

Windows 10 或 Windows 11

Windows 版本太老的话,可能会遇到兼容性问题。

2. 硬件要求

如果只是体验小模型,配置要求不算特别高。
但如果你想跑更大的模型,电脑配置就会明显影响体验。

建议配置:

内存:至少 8GB,推荐 16GB 或更高
显卡:有独立显卡更好
硬盘:至少预留 10GB 以上空间
网络:第一次下载模型需要联网

这里要注意:Ollama 软件本体不算特别大,但模型文件可能比较大。
一个 1B、3B 模型可能还比较轻,一个 7B 模型就可能占用几 GB 空间。如果后面下载多个模型,硬盘空间会消耗得很快。

3. 新手不要一开始就下载大模型

很多人第一次玩本地 AI,会直接下载一个特别大的模型,比如 14B、32B,甚至更大。

这样很容易出现几个问题:

  • 下载时间很长

  • 硬盘占用很大

  • 显存不够

  • 运行速度很慢

  • 电脑明显卡顿

所以新手建议先从小模型开始,例如 1B、3B 或 7B 模型。
先跑通流程,比一上来追求大模型更重要。


二、下载并安装 Ollama

打开 Ollama 官网下载页面,选择 Windows 版本进行安装。

安装方式通常有两种:

方法一:下载安装包

直接下载 Windows 安装包,然后像普通软件一样安装。

安装完成后,Ollama 一般会在后台运行。你可能不会看到一个很明显的软件窗口,因为 Ollama 更偏向后台服务和命令行工具。

方法二:使用 PowerShell 命令安装

也可以打开 PowerShell,输入安装命令:

irm https://ollama.com/install.ps1 | iex

如果你不熟悉 PowerShell,建议直接使用安装包方式,比较直观。


三、确认 Ollama 是否安装成功

安装完成后,打开 PowerShell 或 Windows Terminal。

输入:

ollama

如果出现 Ollama 的命令提示信息,就说明安装成功。

也可以输入:

ollama --version

如果能显示版本号,说明 Ollama 已经可以正常使用。

如果提示:

'ollama' 不是内部或外部命令

可能是以下原因:

  1. Ollama 没有安装成功

  2. 终端没有重新打开

  3. 环境变量还没有刷新

  4. 安装路径没有正确加入系统

可以先关闭 PowerShell,再重新打开一次。
如果还是不行,就重新安装 Ollama。


四、运行第一个本地模型

安装成功后,就可以运行第一个模型了。

新手可以先选择一个比较轻的模型,例如:

ollama run llama3.2

第一次运行时,如果本地没有这个模型,Ollama 会自动开始下载。

下载完成后,终端会进入对话模式。你可以直接输入问题,例如:

你好,请用一句话介绍 Ollama。

如果模型正常返回回答,就说明你已经成功在本地运行了一个 AI 模型。

这一步非常关键。
因为从这里开始,你的电脑就不只是“访问 AI 网页”,而是真的在本地运行模型了。


五、推荐新手尝试的几个模型

不同模型适合不同用途。新手可以先从下面这些方向尝试。

1. 通用聊天模型

ollama run llama3.2

适合普通问答、简单写作、概念解释。

2. 中文能力较好的模型

ollama run qwen2.5:7b

如果你主要使用中文,可以优先尝试 Qwen 系列。

3. 代码模型

ollama run qwen2.5-coder:7b

适合代码解释、代码生成、bug 分析等场景。

4. 更轻量的小模型

如果电脑配置一般,可以先尝试更小的模型,例如:

ollama run gemma3:1b

小模型的优点是速度快、占用低。
缺点是回答能力不如大模型,复杂任务容易出错。


六、常用 Ollama 命令

安装和运行只是第一步。后面真正使用 Ollama 时,最常用的是下面这些命令。


1. 查看本地已经下载的模型

ollama list

这个命令可以看到你电脑里已经安装了哪些模型。

输出内容通常包括:

模型名称
模型 ID
模型大小
更新时间

如果你下载了很多模型,可以用这个命令检查本地模型列表。


2. 下载模型但不运行

ollama pull qwen2.5:7b

pull 的意思是下载模型。

它和 run 的区别是:

ollama run:下载并运行
ollama pull:只下载,不进入对话

如果你只是想提前把模型下载好,可以用 pull


3. 运行模型

ollama run qwen2.5:7b

这个命令会启动指定模型。

如果模型不存在,Ollama 会先下载。
如果模型已经存在,就会直接加载并运行。


4. 停止正在运行的模型

ollama stop qwen2.5:7b

有时候模型运行后会继续占用一部分资源。
如果你想手动停止,可以使用 stop 命令。


5. 删除模型

ollama rm qwen2.5:7b

本地模型比较占硬盘空间。
如果某个模型不常用了,可以删除它来释放空间。

删除前建议先用:

ollama list

确认模型名称,避免删错。


七、如何判断模型是不是在本地运行?

很多新手会有一个疑问:

我现在到底是在用本地模型,还是在偷偷调用云端?

可以从几个角度判断。

1. 看命令行

如果你是通过下面这种命令运行的:

ollama run 模型名

并且模型已经下载到本地,那么推理过程就是在你的电脑上完成的。

2. 看任务管理器

打开 Windows 任务管理器,观察:

CPU
内存
GPU
显存

当模型正在回答问题时,这些资源通常会有明显变化。

如果你有独立显卡,可能会看到 GPU 或显存占用上升。

3. 看本地服务地址

Ollama 默认会提供本地 API 服务,常见地址是:

http://localhost:11434

也就是说,Ollama 不只是一个命令行聊天工具,它还在本地启动了一个服务。后面我们可以让 Python、JavaScript 或网页项目调用这个本地服务。


八、第一次运行可能遇到的问题

下面是新手最常遇到的几个问题。


问题 1:模型下载很慢

可能原因:

网络不稳定
模型体积比较大
下载源连接速度慢

解决方法:

先下载小模型测试
不要一次下载多个模型
检查网络连接
预留足够硬盘空间

建议第一次不要直接下载特别大的模型,先用小模型确认流程能跑通。


问题 2:运行模型后回答很慢

可能原因:

模型太大
显存不足
内存不够
CPU 参与推理过多
后台程序占用资源

解决方法:

换更小的模型
关闭占用显存的软件
关闭大型游戏或剪辑软件
减少同时运行的程序

本地 AI 的速度和硬件关系非常大。
如果电脑配置一般,小模型可能比大模型体验更好。


问题 3:提示找不到 ollama 命令

如果终端显示:

'ollama' 不是内部或外部命令

可以尝试:

重新打开 PowerShell
重启电脑
重新安装 Ollama
检查环境变量

很多时候只是终端没有刷新,重新打开就可以解决。


问题 4:硬盘空间突然变少

这是正常现象。
因为模型文件会下载到本地,而且每个模型都可能占用几 GB 甚至更多空间。

可以用下面命令查看模型:

ollama list

如果不需要某个模型,可以删除:

ollama rm 模型名

九、第一次使用建议

如果你是第一次安装 Ollama,我建议按照这个顺序来:

第一步:安装 Ollama
第二步:打开 PowerShell
第三步:输入 ollama --version
第四步:运行一个小模型
第五步:观察 CPU、内存、GPU 占用
第六步:测试几个中文问题
第七步:尝试 ollama list 查看模型

这样可以一步一步确认环境是否正常。

不要一开始就做复杂项目,也不要马上接入网页或 Python。
先确认模型能正常运行,是最重要的一步。


十、完整入门命令汇总

最后把这篇文章用到的命令整理一下。

查看 Ollama 是否可用

ollama --version

运行模型

ollama run llama3.2

运行中文模型

ollama run qwen2.5:7b

运行代码模型

ollama run qwen2.5-coder:7b

下载模型

ollama pull qwen2.5:7b

查看本地模型

ollama list

停止模型

ollama stop qwen2.5:7b

删除模型

ollama rm qwen2.5:7b

十一、总结

这篇文章完成了 Ollama 的基础安装和第一次运行。

我们主要做了几件事:

  1. 了解安装前的系统和硬件准备

  2. 在 Windows 上安装 Ollama

  3. 用命令行运行第一个本地模型

  4. 学会查看、下载、运行、停止和删除模型

  5. 了解常见问题的解决思路

到这里,我们已经成功让自己的电脑跑起了本地 AI 模型。

不过,真正影响体验的关键还在后面:
你的电脑适合跑多大的模型?显卡和显存到底有什么影响?7B、14B、32B 应该怎么选?

下一篇文章,我会重点讲 Ollama 和电脑硬件之间的关系,尤其是显卡、显存、内存和模型大小之间的实际影响。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐