前言

笔者本人PC的系统为windows 11，以下操作均是基于该系统。

电脑配置：CPU Intel i5 12600KF、内存 DDR5 32GB、显卡 NVIDIA GeForce RTX 4060 Ti 8GB。

部分内容由 AI 生成

简介

Ollama 本质就是开箱即用的大模型部署工具，我们可以利用他来部署各种大模型，操作简单方便。

Ollama 如同 Docker 将应用打包成“集装箱”，Ollama 将大型语言模型做成即插即用的模型容器。

同类型工具，如下表所示：

工具名称	核心优势	适用场景	是否开源	内存占用示例
Ollama	Docker化部署，一键启动	快速原型开发	✅	7B模型≈5GB
LM Studio	开箱即用GUI界面	非技术用户体验	❌	7B模型≈6GB
GPT4All	CPU模式性能优化	老旧设备救星	✅	7B模型≈4GB
text-generation-webui	超强自定义插件系统	极客玩家的实验室	✅	取决于加载方式
HuggingFace TGI	工业级推理性能	生产环境部署	✅	需要GPU显存支撑
vLLM	Attention算法优化大师	学术研究基准测试	✅	极致显存优化

Ollama 安装步骤

Step 1： 环境变量配置

为了不装 C 盘，必须在安装 Ollama 之前配置好环境变量。

Windows 的 系统环境变量增加如下配置即可：

# 环境变量名称
OLLAMA_MODELS
# 环境变量值，就是路径按照自己的实际情况配置即可
D:\ollama

Step 2：下载并安装

去 Ollama 官网 直接下载与系统匹配的安装包。同样放入 D:\ollama，然后执行下面的命令：

cd D:\ollama

.\OllamaSetup.exe /dir=d:\ollama

然后傻瓜式安装就行了，安装完之后会自动运行。

关闭之前的命令行窗口，重新开一个。

Step 3: 下载并运行模型

进入 Ollama 的 Models 页面，选择你想部署的大模型，比如：我想部署 deepseek，那么我就找到并选择想要的模型规模，我选择的是7b。我可以使用以下命令去下载和运行该模型。

# 下载
ollama pull deepseek-r1:7b
# 运行
ollama run deepseek-r1:7b

执行完，我们就可以在命令窗里面直接对话了，然后你就可以看到你的显存直接“起飞”了。

对话可以通过 Ctrl+D 或者输入 /bye 退出，再次执行运行命令可以重新进入窗口对话。

Open Webui 安装步骤

前面我们安装了 Ollama，但是目前只能是在命令行中去交互，这看上去就很不界面友好，所以我们可以安装一个 Ollama 配套的 Web 客户端，也就是 Open Webui。我用的是 docker 的方式安装。

Step 1：安装Docker

如果已经有 Docker 了，可以跳过这一步，如果没有直接 docker 官网下载安装包，几乎都是傻瓜式安装，略过。

Step 2：安装 Open Webui

直接运行如下命令就可以下载并运行了，下面的 3000 是我映射到我主机的端口，这个可以根据自己电脑的情况来配置。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后，访问 http://localhost:3000 就可以看到 Web 页面了。创建的第一个用户就是管理员。

如果不想安装 Open Webui 也可以安装一个 Cherry Studio、Page Assist、Anything LLM这样的工具来连接我们本地的 Ollama。

Ollama API

除了使用一些第三方提供的客户端，也可以使用 Ollama 的 API 去访问他，也可以去开发一些相关的应用。

Ollama 提供了两套 API，一套是他自己的 API，另一套是兼容 Open AI 标准的 API。

Ollama 自己的API

官方文档

Ollama 的默认端口是 11434，直接访问 http://localhost:11434 就会看到 Ollama is running。

这个默认端口是可以修改的，修改方法如下：

# 创建系统环境变量
OLLAMA_HOST
# 比如端口修改为11435
0.0.0.0:11435

然后重启 ollama 的服务即可。

兼容的 Open AI 的 API

官方文档

比如下面这段代码：

import OpenAI from "openai";
const openai = new OpenAI(
  {
    // 需要但是没有，可以忽略
    apiKey: 'ollama',
    baseURL: "http://localhost:11435/v1/",
  }
);

const completion = await openai.chat.completions.create({
  model: "deepseek-r1:7b",
  messages: [
    { role: "system", content: "You are a helpful assistant." },
    { role: "user", content: "你是谁？" }
  ],
});
console.log(completion.choices[0])

运行：

node example.mjs

运行结果：

{
  index: 0,
  message: {
    role: 'assistant',
    content: '<think>\n' +
      '我是DeepSeek-R1，一个由深度求索公司开发的智能助手，我会尽我所能为您提供帮助。\n' +
      '</think>\n' +
      '\n' +
      '我是DeepSeek-R1，一个由深度求索公司开发的智能助手，我会尽我所能为您提供帮助。'
  },
  finish_reason: 'stop'
}

   如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​