ℹ️教程说明

Ollama 是一款轻量级本地大模型部署工具，使用广泛，且容易上手，适合作为AI技术的入门。

🧩教程各部分链接：

• 第一课：ollama运行原理介绍及同类工具对比
  • ollama运行原理介绍及同类工具对比，与选择建议
• 第二课：ollama安装（Windows）
  • 介绍了两种典型安装模式：普通安装方式和独立 CLI
• 第三课：ollama安装大模型的方式汇总
  • ollama安装大模型的五种典型方式的详细汇总
• 第四课：🐑 Ollama 命令汇总
  • 本文全面介绍了Ollama的相关命令的语法与示例，包括核心命令、模型管理命令、高级与系统命令
     
• 第五课：桌面模型管理应用调用ollama大模型
  • 本文介绍了如何通过桌面应用调用本地Ollama大模型，对比了11款主流工具，并重点介绍了几个常用工具的具体安装和配置。
• 第六课：Python 调用 Ollama 大模型方式汇总
  • 本文系统介绍了Python调用Ollama大模型的多种方式，包括官方SDK、REST API、OpenAI兼容接口、CLI调用及上层框架集成。

开始本课内容。。。

📚第二课：ollama安装（Windows）

一、安装概述

🎉好消息：ollama安装不再需要 WSL！也不再需要管理员权限。

🧩有两种安装方式：

• 普通安装方式：用 OllamaSetup.exe 安装，会在你的用户目录下部署 Ollama 应用、后台服务和自动更新机制，适合直接在本机使用，不再需要管理员权限。。

• 独立 CLI：将 Ollama 作为服务安装或集成，使用独立的 ollama-windows-amd64.zip 压缩文件，其中仅包含 Ollama CLI 和 Nvidia 及 AMD 的 GPU 库依赖项。这允许你将 Ollama 嵌入现有应用程序中，或通过 ollama serve 等工具将其作为系统服务运行。

二、系统条件

2.1 系统要求

💻对系统资源的要求：

• Windows 10 22H2 或更新版本，家庭版或专业版
• 如果你有 NVIDIA 显卡，需要安装 452.39 或更新版本的驱动程序
• 如果你有 Radeon 显卡，需要安装 AMD Radeon 驱动程序 https://www.amd.com/en/support

Ollama 使用 Unicode 字符来显示进度，这在 Windows 10 的一些旧终端字体中可能会显示为未知方块。如果你看到这种情况，尝试更改终端字体设置。

📌参考知识：Windows系统，查看当前用的什么显卡，以及驱动的版本：

• 图形化方式：

  • Ctrl + Shift + Esc 打开任务管理器。

  • 切换到 性能（Performance）标签。

  • 左侧选择 GPU 0 / GPU 1，右侧会显示显卡型号和部分驱动信息（版本信息不一定完整）

• 命令行方式：

  • 在 PowerShell 中直接获取：

    Get-WmiObject Win32_VideoController | Select-Object Name, DriverVersion
    

    或在较新版本 PowerShell 中：

    Get-CimInstance Win32_VideoController | Select-Object Name, DriverVersion
    

    这样可以直接输出显卡型号和驱动版本，方便做自动化检测，类似如下执行界面：

2.2 文件系统要求

Ollama 安装不需要管理员权限，安装需要的空间：

• 需要至少 4GB 的空间来安装二进制文件
• 安装 Ollama 后，需要额外的空间来存储大型语言模型，这些模型的大小可能从几十 GB 到几百 GB 不等

三、普通安装方式

Ollama 现在作为原生 Windows 应用程序运行，支持 NVIDIA 和 AMD Radeon GPU。 安装 Ollama for Windows 后，Ollama 将在后台运行， ollama 命令行工具将在 cmd、powershell 或你最喜欢的终端应用程序中可用。和往常一样，Ollama API 将在 http://localhost:11434 上提供服务。

3.1 下载安装包

官网下载 Windows 版本的 OllamaSetup.exe 安装程序：

1. 访问官网：https://ollama.com
2. 点击 Download for Windows下载

⚠️备选下载地址：

1.  github下载地址：https://github.com/ollama/ollama/releases

2.   国内下载镜像：ollama | newbe

3.2 安装

➡️ 3.2.1 直接安装

1. 如果不需要修改安装路径，直接双击安装包 OllamaSetup.exe，默认安装在 C:\Users\<你的用户名>\AppData\Local\Ollama，按提示安装

2. 安装完成后，系统会自动启动Ollama服务，并进入ollama桌面程序

➡️3.2.2 定制安装：更改安装位置

 OllamaSetup.exe 直接安装不能修改目录，若需要指定安装目录，使用命令行，用/DIR指定安装位置，命令格式如下：

OllamaSetup.exe /DIR="d:\some\location"

 例如，如果你想安装到 D:\AI\Ollama 目录，则在powershell或cmd中执行命令：

OllamaSetup.exe /DIR="D:\AI\Ollama"

执行界面如下，启动安装后，安装过程和直接安装相同。

3.3 安装校验

✅ 验证安装是否成功，可以通过查看版本命令：

ollama --version

显示版本信息，类似下面执行示例，则表示安装成功。

 3.4 ollama配置

ollama的配置参数，老版本，通过系统环境变量的方式，进行设置，新版本，部分配置参数支持图形化的配置方式。比如，大模型默认存放位置为C:\Users\<用户名>\.ollama\models，为避免C盘空间不足，需要修改大模型的存储位置，新版本支持图形化界面修改配置，比如11.8及以后的版本，老版本通过修改环境变量的方式，来修改。

➡️3.4.1 ollama新版本，图形化的配置

在ollama桌面程序界面，进入Settings设置界面，或者在运行的ollama图标菜单中，打开settings：

进入设置界面：

⚙️ 配置项作用：

1. Ollama account（账户）

• 作用：用于登录 Ollama 官方账号，方便同步模型、访问私有模型或使用云端功能。

• 不登录的影响：本地模型依然可用，但无法直接从 Ollama 官方库拉取需要授权的模型。

• 进阶建议：如果你只做本地部署且模型来源是离线文件或国内镜像，可以不登录，减少外网依赖。

2. Expose Ollama to the network（向网络暴露 Ollama）

• 作用：允许局域网或其他设备通过 HTTP API 访问你的 Ollama 服务。

• 关闭状态：仅本机 127.0.0.1 可访问，外部设备无法调用。

• 开启状态：会监听 0.0.0.0:<端口>，局域网内其他设备可通过 http://<你的IP>:11434 调用 API。

• 安全建议：

  • 如果开启，建议配合防火墙或反向代理（如 Nginx）限制来源 IP。

  • 可结合环境变量 OLLAMA_HOST=0.0.0.0 与 OLLAMA_ORIGINS 控制访问范围。

3. Model location（模型存储位置）

• 作用：指定本地模型文件的存放目录。

• 默认：通常在 C:\Users\<用户名>\.ollama\models。

• 修改理由：

  • 避免占用系统盘空间（尤其是模型文件动辄数 GB）。

  • 方便集中管理和备份模型。

• 进阶建议：

  • 在 Windows 环境变量中设置 OLLAMA_MODELS，可让 CLI 和服务端一致使用该路径。

  • powershell设置环境变量的命令如下：

    setx OLLAMA_MODELS "D:\AI\ollama\models" /M
    

4. Context length（上下文长度）

• 作用：决定本地 LLM 在生成回答时能“记住”的对话历史长度（token 数）。

• 范围：4k ~ 128k（具体取决于模型支持的最大上下文）。

• 影响：

  • 长上下文：能处理更长的对话或文档，但显存/内存占用更高，推理速度可能下降。

  • 短上下文：占用资源少，但可能遗忘较早的对话内容。

• 优化建议：

  • 在显存/内存有限的机器上，建议根据任务需求调节，比如 8k~16k 对话任务足够。

  • 对于长文档问答，可临时调高到 32k+。

5. Airplane mode（飞行模式）

• 作用：完全本地化运行，禁止 Ollama 访问外网。

• 开启效果：

  • 禁用 Turbo 模式（云端加速）

  • 禁用 Web 搜索功能

  • 仅能使用本地已有模型

• 适用场景：

  • 内网/离线环境

  • 数据安全要求高的场合

• 注意：开启后无法直接在线拉取模型，需要手动下载 .gguf 模型文件并放入模型目录。

➡️3.4.2 配置环境变量

💡3.4.2.1 需要配置系统环境的场景

通过系统环境变量，来配置ollama的系统参数，适用于以下情况：

• 老版本没有图形化配置项
• 图形化配置界面，未包含的参数项
• 桌面程序和CLI（Command Line Interface）模式保持一致

🧩3.4.2.2 系统环境变量设置方式：

• 🪐图形化配置方法：

  • 右键"此电脑" → 属性 → 高级系统设置 → 环境变量

  • 在"用户变量"或"系统变量"中新建上述变量

  • 重启Ollama

• 🗺️powershell命令方式：
  • 通过setx设置系统环境变量，命令格式示例如下：

setx OLLAMA_MODELS "D:\AI\ollama\models" /M

📜3.4.2.3 ollama环境变量列表

ollama支持的环境变量及作用见下表：

四、独立 CLI安装

“独立 CLI” 就是一个便携版的 Ollama 命令行工具，你可以把它放在任何目录运行，甚至打包进自己的应用，Ollama 作为服务安装或集成，而不必安装完整的 Ollama 桌面版。

• 独立 CLI：下载 ollama-windows-amd64.zip 压缩包，里面只包含：

  • ollama.exe 命令行工具

  • NVIDIA / AMD GPU 所需的运行库

  • 没有 GUI、没有自动更新器

• 用途：

  • 可以直接解压运行，不需要安装过程，也不需要管理员权限

  • 方便将 Ollama 嵌入到已有应用程序中（例如你的服务、脚本、容器环境）

  • 可以用 ollama serve 等命令将它作为系统服务运行（比如用 NSSM 注册）

  • 更适合服务器部署、自动化脚本调用、跨平台打包等场景

4.1. 下载

⏬ollama-windows-amd64.zip，下载渠道：

• 国内镜像：https://www.newbe.pro/Mirrors/Mirrors-ollama
• github官方地址

  • 打开 Ollama 官方 Release 页面：👉 https://github.com/ollama/ollama/releases

  • 找到最新版本，在 Assets 里下载：

    • ollama-windows-amd64.zip （大部分人用这个）

    • ollama-windows-amd64-rocm.zip （仅限 AMD GPU 用户，需要 ROCm 驱动）

    • 

4.2 文件结构

下载完成后，解压到你喜欢的目录，比如：C:\Ollama\

解压后目录结构大概是：

C:\Ollama\
 ├─ ollama.exe
 └─ lib\
 └─vc_redist.x64.exe

📜备注：

vc_redist.x64.exe 是 Microsoft Visual C++ 运行时库（Redistributable）64 位版本 的安装包。Ollama 的 ollama.exe 是用 C++ 编译的，并且依赖 VC++ 运行库。如果系统缺少这些运行库，直接运行 ollama.exe 可能会报错或无法启动。因此，ollama-windows-amd64.zip 里附带了 vc_redist.x64.exe，方便你在目标机器上先安装运行库，确保 Ollama 能正常工作。

4.3 配置环境变量

为了能在任何路径直接运行 ollama 命令，将ollama.exe路径加入系统path参数中：

1. 右键 “此电脑” → 属性 → 高级系统设置。

2. 点击 环境变量 → 在 “系统变量” 找到 Path → 编辑。

3. 添加 C:\Ollama\ 路径。

4. 打开新的 PowerShell 或 CMD，输入：

   ollama

        如果显示帮助信息，就说明配置成功。

4.4.其他环境变量修改

       和上一章《普通安装》中的配置环境变量的方式一致，不再重复。

4.5 运行服务

在 PowerShell 或 CMD 中执行，运行服务命令：

ollama serve

如果看到 Listening on 0.0.0.0:11434，说明服务已启动，也可以通过浏览器访问，显示类似下面界面：

4.6  注册为 Windows 系统服务

使用 sc 命令，注册为Windows系统服务，这样 Ollama 会随系统启动并在后台运行。

powershell或CMD执行命令：

sc create OllamaService binPath= "D:\Ollama\ollama.exe serve" start= auto
sc description OllamaService "Ollama LLM Service"
sc start OllamaService

📒参考知识：

sc（Service Control）命令是 Windows 系统自带的命令行工具，它的主要作用是通过命令行与 服务控制管理器（SCM） 交互，用来管理系统服务，包括：

• 创建服务（sc create）

• 启动/停止服务（sc start / sc stop）

• 配置服务启动类型（sc config）

• 查询服务状态（sc query）

• 删除服务（sc delete）

4.7 总结

独立CLI安装，处了没有图形化交换界面，其他功能和普通安装，没有区别。