ChatGLM3-6B-128K新手教程：5分钟学会搭建你的第一个AI助手

你是不是也想过，不用写一行代码、不装复杂环境、不配GPU服务器，就能拥有一个属于自己的AI助手？
今天这篇教程，就是为你准备的。
我们用一个叫 Ollama 的轻量级工具，一键拉起 ChatGLM3-6B-128K 模型——它不仅能流畅对话，还能处理超长文本（最多128K字），相当于一口气读完一本《三体》全集再跟你聊细节。
整个过程，真的只要5分钟。连笔记本电脑都能跑起来。

下面咱们就从零开始，手把手带你完成部署、提问、调优三步走。全程不碰命令行黑窗（可选），不查报错日志，不改配置文件——小白友好度拉满。

1. 先搞懂：这个模型到底强在哪？

1.1 它不是普通版ChatGLM3，而是“长文本特化版”

你可能听说过 ChatGLM3-6B，它是智谱AI开源的60亿参数中文大模型，对话自然、响应快、部署简单。而今天我们要用的 ChatGLM3-6B-128K，是在它的基础上专门强化了“读长文”能力的升级版本。

什么叫128K？
就是它能同时理解最多 131,072个汉字 的上下文。
举个例子：

  • 你丢给它一份30页的产品需求文档（PDF转文字后约8万字）
  • 再附上一份20页的技术白皮书（约5万字）
  • 然后问：“对比这两份材料，列出三个核心差异点，并用表格呈现”
    它真能读懂、理清、组织、输出——而不是只盯着最后几句话瞎猜。

这背后有两个关键技术升级：

  • 重设计的位置编码：让模型能准确区分“第1000字”和“第100000字”的位置关系；
  • 128K长度的专项对话训练：不是简单喂长文本，而是在整段对话中持续使用超长上下文做训练，真正练出“长记忆”。

小贴士：如果你日常处理的文本基本在8K字以内（比如单篇公众号文章、会议纪要、客服对话记录），用标准版ChatGLM3-6B就完全够用；但一旦涉及法律合同、科研论文、产品全栈文档这类动辄数万字的材料，128K版本就是刚需。

1.2 它支持什么功能？一句话说清你能怎么用

别被“128K”吓住——它不只是“能读长”，更是“会干活”的智能体：

  • 多轮自然对话：像跟真人聊天一样，记得前5轮你说过什么，上下文不断连；
  • 原生工具调用（Function Call）：你问“查一下今天北京的天气”，它能自动触发天气API并返回结果（需后端配合）；
  • 代码解释器（Code Interpreter）：发一段Python代码，它能运行、调试、解释输出；
  • Agent任务编排：比如“帮我分析这份销售数据，先清洗缺失值，再画柱状图，最后总结增长趋势”，它能拆解步骤、调用工具、生成报告。

这些能力，不是靠插件或二次开发实现的，而是模型本身“出厂自带”。你拿到的就是开箱即用的完整能力包。

2. 零门槛部署：3步完成本地AI助手搭建

我们用 Ollama 这个工具来部署。它就像Docker之于应用，把大模型打包成“镜像”，一条命令就能拉取、运行、交互——完全屏蔽CUDA、PyTorch、transformers等底层细节。

2.1 第一步：安装Ollama（1分钟）

打开你的电脑（Windows/macOS/Linux都支持），访问官网：
https://ollama.com/download

下载对应系统的安装包，双击安装。

  • Windows用户：安装后会自动添加到右下角系统托盘，点击图标可快速打开Web界面；
  • macOS用户：安装后终端直接可用 ollama 命令；
  • Linux用户：终端执行以下命令即可（Ubuntu/Debian系）：
curl -fsSL https://ollama.com/install.sh | sh

安装完成后，终端输入 ollama --version，看到版本号（如 ollama version 0.3.10）即表示成功。

注意：Ollama默认使用CPU推理，速度稍慢但100%兼容；如果你有NVIDIA显卡（RTX 30/40系），它会自动启用GPU加速，体验更丝滑。

2.2 第二步：拉取并运行ChatGLM3-6B-128K镜像（2分钟）

Ollama生态里，这个模型的官方名称是：
entropy-yue/chatglm3:128k

在终端中执行这一条命令：

ollama run entropy-yue/chatglm3:128k

第一次运行时，Ollama会自动从远程仓库下载模型文件（约5.2GB）。网速正常的话，3–5分钟内完成。
下载过程中你会看到类似这样的提示：

pulling manifest
pulling 0e9a5c... 1.2 GB / 5.2 GB
...
success: downloaded and verified

下载完毕，模型自动加载进内存，终端会显示：

>>>

这就意味着——你的AI助手已上线！

小技巧：如果你不想用命令行，也可以直接打开浏览器，访问 http://localhost:11434，进入Ollama Web UI界面。在模型库搜索框输入 chatglm3，找到 EntropyYue/chatglm3，点击右侧【Pull】按钮拉取，再点【Run】启动。

2.3 第三步：开始对话——你的第一个问题（30秒）

模型加载完成后，直接在终端输入：

你好，你是谁？

回车。
几秒钟后，你会看到类似这样的回答：

我是ChatGLM3-6B-128K，由智谱AI与清华大学KEG实验室联合研发的大语言模型。我支持超长上下文理解（最长128K字符），擅长中文问答、逻辑推理、代码生成与多轮对话。请问有什么我可以帮您的？

恭喜！你已成功搭建第一个本地AI助手。
不需要服务器、不依赖网络（离线可用）、不暴露数据到云端——所有对话都在你自己的设备上完成。

3. 实战演示：用它解决真实工作场景问题

光会打招呼不够，我们来试试它在实际工作中的表现。下面三个例子，全部基于真实高频需求，你随时可以照着操作。

3.1 场景一：快速消化一份长技术文档

假设你刚收到一份《XX系统API接口规范V3.2》PDF，共48页，文字量约6.2万字。你不想逐页看，只想知道：

“这个系统支持哪些鉴权方式？OAuth2流程怎么走？有没有刷新Token的接口？”

操作方式：

  1. 用任意PDF转文字工具（如Adobe Acrobat、Smallpdf、甚至微信“文件传输助手”发送PDF后长按提取文字），把全文粘贴为纯文本；
  2. 把这段文字复制，粘贴到Ollama终端中（或Web UI输入框），开头加一句说明：
请基于以下API文档内容回答问题：
[此处粘贴6.2万字文档全文]
问题：这个系统支持哪些鉴权方式？OAuth2流程怎么走？有没有刷新Token的接口？

效果反馈：
模型会在20–40秒内（取决于CPU性能）给出结构化回答，例如：

支持两种鉴权方式：

  • API Key（Header中传 X-API-Key）
  • OAuth2.0（基于RFC 6749）

🔁 OAuth2流程如下：

  1. 客户端跳转至 /oauth/authorize?response_type=code&client_id=xxx
  2. 用户授权后重定向带回 code 参数
  3. 调用 /oauth/token 换取 access_token 和 refresh_token
  4. 后续请求携带 Authorization: Bearer <access_token>

刷新Token接口：POST /oauth/refresh，需传 refresh_token 和 client_id。

这就是128K上下文的真实价值——它没漏掉文档末尾“附录C：Token刷新策略”里的关键字段。

3.2 场景二：辅助写周报（带数据总结）

你有一段本周工作记录（约2800字），包含会议要点、开发进度、阻塞问题。你想让它帮你提炼成一封专业、简洁、重点突出的周报邮件。

操作方式：
把原始记录粘贴进去，提问：

请将以下工作记录整理成一封面向技术负责人的周报邮件，要求：  
- 开头用一句话总结整体进展  
- 分三点列出关键成果（每点不超过2行）  
- 单独一段说明当前最大风险及建议  
- 语气正式、简洁、无废话  
[此处粘贴你的2800字原始记录]

效果反馈：
它会输出一封格式规范、重点清晰的邮件草稿，比如：

主题：【周报】2024-W23 核心模块迭代进展与风险同步  

本周完成支付网关V2.1核心功能上线，整体进度符合预期。  

【关键成果】  
1. 完成支付宝/微信双通道异步回调验证，错误率降至0.02%以下；  
2. 上线交易流水实时监控看板，支持按商户ID、时间粒度下钻分析；  
3. 修复历史订单状态同步延迟问题，平均延迟从12s优化至<800ms。  

【当前风险】  
海外支付渠道PCI-DSS合规审计尚未通过，预计延迟2周上线。建议协调法务提前介入文档补全。

比你自己写得还像资深工程师。

3.3 场景三：调试一段报错的SQL

你写了条复杂JOIN查询，执行报错 ERROR 1054 (42S22): Unknown column 'u.nick_name' in 'field list'，但表结构你一时想不起来。

操作方式：
把建表语句+你的SQL一起发过去：

以下是用户表和订单表的建表语句：
CREATE TABLE users (id BIGINT, name VARCHAR(50), nickname VARCHAR(50));
CREATE TABLE orders (id BIGINT, user_id BIGINT, amount DECIMAL(10,2));

我的查询语句：
SELECT u.nick_name, o.amount FROM users u JOIN orders o ON u.id = o.user_id;

请指出错误原因，并给出修正后的SQL。

效果反馈：
它立刻定位问题：“nick_name 字段名错误，正确字段名为 nickname”，并返回修正SQL：

SELECT u.nickname, o.amount FROM users u JOIN orders o ON u.id = o.user_id;

甚至补充说明：“MySQL默认大小写不敏感，但字段名严格匹配定义时的大小写，建议统一使用小写命名避免歧义。”

4. 进阶技巧：让回答更准、更快、更可控

默认设置已经很好用，但如果你想进一步提升体验，这几个小设置值得了解。

4.1 控制回答长度与风格（无需改代码）

Ollama支持在提问时用自然语言指定要求。试试这些表达：

你想实现的效果可以这样提问
让回答更简短“用一句话回答”、“限50字内回复”、“只说结论，不要解释”
让回答更详细“请分三步说明原理”、“附上示例代码”、“用类比方式解释”
切换语气风格“用产品经理口吻解释”、“写成微信消息风格”、“用小学生能听懂的话说”
强制格式输出“用Markdown表格呈现”、“用JSON格式返回”、“按‘问题-原因-方案’三点列出”

这些指令模型都能理解并执行，本质是它内置了对Prompt工程的高度适配。

4.2 保存常用角色设定（告别每次重复描述）

你经常需要它扮演某个角色？比如“资深Java架构师”或“跨境电商运营顾问”。Ollama支持自定义Modelfile，但更简单的方法是：在首次对话时固定设定身份。

例如，第一次输入：

你是一名有10年经验的Java后端架构师，专注高并发、分布式系统设计。请用技术负责人视角回答问题，避免笼统说法，多提具体方案、中间件选型和落地风险。

之后的所有对话，它都会延续这个角色设定，直到你主动切换。

进阶提示：Web UI用户可在设置中开启“Keep context”，让多轮对话长期保留在上下文中，真正实现“连续思考”。

4.3 离线也能用：模型文件本地化管理

所有通过 ollama run 下载的模型，默认存在本地：

  • Windows：C:\Users\{用户名}\.ollama\models\
  • macOS：~/.ollama/models/
  • Linux：~/.ollama/models/

你可以随时备份整个 models 文件夹。下次重装系统，只需把文件夹放回原位，再执行 ollama list，所有模型即刻恢复，无需重新下载。

5. 常见问题解答（新手最常卡在这几个地方）

5.1 问：运行时报错“out of memory”怎么办？

答：这是最常见问题，但几乎100%可解决。

  • 首先确认你没开其他吃显存的程序（如Chrome开20个标签页、PyCharm、游戏）；
  • 如果用的是Mac M系列芯片，Ollama会自动启用Metal加速，无需额外操作；
  • Windows/Linux用户若用CPU运行仍卡顿，可在启动时加参数限制线程数：
OLLAMA_NUM_PARALLEL=2 ollama run entropy-yue/chatglm3:128k

表示只用2个CPU核心，降低内存峰值。

5.2 问：为什么我问长问题，它只答一半就停了？

答：这是Ollama默认的输出长度限制（一般设为2048 token）。你可以在提问末尾加上：
“请完整回答，不要截断” 或 “请输出全部内容，不限长度”。
模型会自动延长生成，只要你的设备内存足够（推荐16GB RAM起步）。

5.3 问：能连接自己的数据库或API吗？

答：Ollama本身是纯推理引擎，不内置联网能力。但你可以：

  • 用Python写个轻量Wrapper：接收用户问题 → 调用Ollama API获取结构化意图 → 自动查数据库/API → 拼接结果返回；
  • 或直接使用支持Function Calling的前端框架（如LlamaIndex + Ollama），已有成熟模板可复用。
    这不是本教程范围，但方向明确：它不是封闭玩具，而是可深度集成的AI底座。

5.4 问：模型更新了，怎么升级？

答：非常简单，两步：

  1. 终端执行 ollama rm entropy-yue/chatglm3:128k（删除旧版）；
  2. 再执行 ollama run entropy-yue/chatglm3:128k（拉取新版）。
    Ollama会自动识别远程是否有更新，有则下载，无则直接启动本地缓存。

6. 总结：你刚刚掌握了什么？

回顾这5分钟，你其实已经完成了三件关键事：

  • 理解了一个重要概念：128K上下文不是营销话术，而是真实解决“长文档理解难”的技术突破；
  • 掌握了一套极简工作流：安装Ollama → 一条命令拉模型 → 直接对话，全程无技术负债；
  • 获得了可立即复用的能力：读文档、写周报、查SQL、理逻辑——这些每天消耗你2小时的事，现在30秒出结果。

更重要的是，你拥有了一个完全私有、完全可控、完全离线的AI伙伴。你的数据不会上传、不会训练、不会泄露——它只是安静地待在你的硬盘里，等你召唤。

下一步，你可以：

  • 把它嵌入Notion或Obsidian，做成个人知识助理；
  • 搭配Zapier，让AI自动处理邮件/表单/Slack消息；
  • 或者，就单纯把它当做一个24小时在线的“技术搭子”，随时问“这个报错什么意思？”“这个算法怎么优化？”“这段正则怎么写？”

AI的价值，从来不在参数多大，而在是否真正融入你的工作流。
而今天，你已经迈出了最关键的一步。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

# AI助手
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

cover

22道AI Agent 工程师必会的面试题，别啥都不会就出去找工作

avatar AI Agent技术社区

写给 TypeScript 工程师的 OpenClaw.NET 上手指南：用你熟悉的 TS 思维，跑起一个生产级 AI Agent

读代码层：TS 和 C# 本来就是「远房亲戚」——asyncawait??、接口、泛型、严格空检查，你的心智模型几乎无缝平移。真正要适应的只有两件事：类型是具名而非结构化的（多一句显式声明），以及 NativeAOT 下的「禁反射」约束。写扩展层：你甚至可以不怎么碰 C#——Node.js 插件桥意味着你的 TypeScript 插件就是一等公民，而且能在生产 aot 车道跑。内核给你 .NET

avatar AI Agent技术社区
cover

AI Agent 自动化安全审计实战：基于 LangChain 打造智能化漏洞扫描助手

avatar AI Agent技术社区