适用系统:Windows 10 / Windows 11 预计耗时:10–20 分钟(取决于网速和模型大小) 难度:零门槛,全程鼠标+复制粘贴即可


第一步:安装 Ollama 本体

1.1 下载安装包

打开浏览器,访问官方下载页面:

👉 Download Ollama on Windows

点击 Download for Windows 按钮,会下载一个 OllamaSetup.exe 文件(约 700MB)。

1.2 运行安装程序

双击 OllamaSetup.exe,一路点 Next → Install → Finish,不需要任何特殊配置。

安装完成后,Ollama 会在后台启动一个托盘图标(任务栏右下角的羊驼图标 🦙)。你可以右键它查看状态或退出。

1.3 验证安装

Win + R,输入 cmd,回车打开命令提示符,输入:

ollama --version

如果显示版本号(如 ollama version 0.14.x),说明安装成功。


第二步:拉取并运行第一个模型

2.1 选一个模型

在命令行里输入以下任意一条:

命令 模型 大小 适合
ollama run llama3.2 Llama 3.2 (3B) ~2GB 轻量对话,低配首选
ollama run qwen2.5:7b 通义千问 2.5 (7B) ~4.4GB 中文能力强(推荐)
ollama run deepseek-r1:8b DeepSeek-R1 (8B) ~4.9GB 深度推理
ollama run llama3.2:1b Llama 3.2 (1B) ~600MB 极轻量,老爷机也能跑

如果你是中文用户,推荐第一条跑 qwen2.5:7b,中文效果最好。

2.2 运行

ollama run qwen2.5:7b

首次运行会自动下载模型(3–5 分钟),下载完直接进入聊天界面:

>>> 你好,请自我介绍一下

你就可以和本地的 AI 对话了!输入 /bye 退出。


第三步:进阶——让其他程序也能调用它

Ollama 默认已经在后台启动了 API 服务,监听 http://localhost:11434

3.1 快速验证 API 是否正常

在命令行输入:

curl http://localhost:11434/api/tags

如果返回一串 JSON 数据(你安装的模型列表),说明 API 已经在工作了。

3.2 搭配图形界面(推荐 Open WebUI)

纯命令行聊天不够爽?装个网页版 ChatGPT 界面:

docker run -d -p 3000:8080 --name open-webui -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main

(需要先安装 Docker Desktop,地址:Docker Desktop: The #1 Containerization Tool for Developers | Docker

装完后浏览器打开 http://localhost:3000,注册一个本地账号就能用,界面和 ChatGPT 几乎一样。

3.3 对接编程工具

  • VS Code:装 Continue 插件,配置里把 provider 改为 ollama,模型选 qwen2.5:7b

  • Pythonpip install openai,然后把 base_url 指向 http://localhost:11434/v1


常见问题排查

Q1:运行模型后回复很慢?

说明模型太大,你的硬件带不动。换一个小一点的模型试试(比如把 7b 换成 3b1b)。

Q2:提示显存不够?

Ollama 会自动用 CPU 代替 GPU(速度会慢一些),不会崩溃。如果实在太慢,换更小的模型。

Q3:模型下载到一半断了?

重新运行同一条 ollama run 命令,会自动断点续传。

Q4:中文回答乱码?

确保用 qwen2.5deepseek 这类中文友好的模型。Llama 的中文能力相对较弱。

Q5:Ollama 开机自启太占内存?

右键任务栏托盘图标 → 取消 "Launch on startup"。想用的时候手动打开 Ollama 即可。


硬件参考

配置 能跑的模型
8GB 内存 / 无独显 1B–3B 模型(llama3.2:1b, qwen2.5:3b)
16GB 内存 / 无独显 7B–8B 模型(qwen2.5:7b, deepseek-r1:8b)
16GB 内存 + 6GB 显存 7B–14B 模型,速度飞快
32GB 内存 + 12GB+ 显存 32B 模型也没问题

总结路线图

1. ollama.com 下载 → 安装(5分钟)
2. ollama run qwen2.5:7b → 对话(10分钟)
3. 装 Open WebUI → 有图形界面(可选,10分钟)
4. VS Code + Continue 插件 → AI 编程助手(可选,5分钟)

装好之后,你就有了一整套完全免费的、私密的、不依赖云端的本地 AI 环境。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐