开篇:那份让我警觉的数据

4月初,我在整理卷卷的调用日志。

翻到一条记录:

2026-04-03 14:23:11
任务:分析这份合同的风险条款
模型:claude-sonnet
Input:合同全文,8,200 tokens
成本:$0.025

我盯着这条记录看了很久。

合同全文。

发到了 Anthropic 的服务器。

我突然意识到:我把客户的合同发给了一个美国公司的 AI。

这不是我想要的。



第一课:哪些数据不应该上云

做了十年风控,我对数据分级很敏感。

三类:

绝对不上云

  • 客户合同、协议
  • 财务数据、账单
  • 内部系统的配置和密钥
  • 个人身份信息

谨慎上云

  • 内部技术方案(脱敏后可以)
  • 工作邮件(删除敏感信息后可以)
  • 代码(删除密钥和配置后可以)

可以上云

  • 公开信息的分析
  • 通用技术问题
  • 创作类任务

以前,我没有区分。所有任务全部发给云端模型。

这是个安全漏洞。


第二课:0412 的 LM Studio 接入

4月12日,OpenClaw 0412 上线了一个我等了很久的功能:

Models/providers: add a bundled LM Studio provider with onboarding, runtime model discovery, stream preload support, and memory-search embeddings for local/self-hosted OpenAI-compatible models.

LM Studio 本地模型,正式接入 OpenClaw。

LM Studio 是什么?

一个在你自己的电脑上跑 AI 模型的工具。模型跑在本地,数据不出你的电脑。

就这么简单。


第三课:本地模型 vs 云端模型

先说清楚差距在哪。

能力对比

维度

本地模型(LM Studio)

云端模型(GPT-4/Claude)

推理能力

中等

速度

取决于硬件

成本

电费(约 $0)

按 token 计费

隐私

数据不出本地

数据发到云端

可用性

离线可用

需要网络

上下文长度

受内存限制

通常更长

我的 Mac 实测

硬件:MacBook Pro M3 Max,128GB 内存

测试模型:Qwen2.5-14B-Instruct(约 9GB)

任务:分析一份 3000 字的合同
本地模型:45 秒,质量:够用
云端 Claude Sonnet:8 秒,质量:更好

任务:总结一份会议纪要
本地模型:12 秒,质量:很好
云端 GPT-4o mini:3 秒,质量:很好

任务:代码 Review(200 行)
本地模型:30 秒,质量:够用
云端 Claude Sonnet:10 秒,质量:更好

本地模型慢一些,但对于隐私敏感任务,这个代价值得。


第四课:配置步骤

第一步:安装 LM Studio

下载地址是 lmstudio.ai。

装完之后,下载你需要的模型。

我用的:

  • Qwen2.5-14B-Instruct(通用任务)
  • Qwen2.5-Coder-7B(代码任务)

第二步:启动本地服务器

打开 LM Studio,点 Local Server,点 Start Server。

默认端口:1234。

第三步:在 OpenClaw 配置

0412 版本有了官方 bundled provider,配置比以前简单多了。

在 OpenClaw 配置文件里加:

models:
  providers:
    lmstudio:
      enabled: true
      baseUrl: "http://localhost:1234/v1"
      embeddings:
        enabled: true

配置完运行 openclaw configure,会自动发现本地模型。

第四步:验证

openclaw models list

能看到本地模型出现了:

lmstudio/qwen2.5-14b-instruct  ← 本地
lmstudio/qwen2.5-coder-7b       ← 本地
openai/gpt-4o                   ← 云端
anthropic/claude-sonnet          ← 云端

第五课:我的混合模型策略

有了本地模型,我重新设计了路由规则。

def route_model(task_type, data_sensitivity):
    # 数据敏感性优先
    if data_sensitivity == "HIGH":
        return "lmstudio/qwen2.5-14b"  # 本地,数据不出门

    # 再看任务复杂度
    if task_type == "complex_reasoning":
        return "anthropic/claude-sonnet"
    elif task_type == "code_review":
        return "lmstudio/qwen2.5-coder-7b"
    elif task_type == "simple":
        return "openai/gpt-4o-mini"

    return "anthropic/claude-haiku"

## 模型路由规则

### 本地模型(lmstudio)
适用:客户信息、财务数据、内部配置、含业务逻辑的代码 Review

### 云端模型
适用:通用技术问题、创作、需要最新知识、对速度要求高的任务

第六课:0412 的另一个重要更新——插件加载优化

0412 除了 LM Studio,还做了一个我觉得很重要的优化:

Plugins/loading: narrow CLI, provider, and channel activation to manifest-declared needs, preserve explicit scope and trust boundaries

翻译成人话:插件现在只加载它声明需要的东西,不再全量加载。

以前,我只用了飞书插件,但 OpenClaw 启动时会把所有插件的运行时都加载进来。内存占用高,启动慢,还有安全隐患。

0412 之后,每个插件在 manifest 里声明自己需要什么,只加载声明的部分。

实测效果:

0411 版本启动时间:23 秒
0412 版本启动时间:11 秒
内存占用:减少约 30%

这个优化比很多新功能更实用。


第七课:本地模型的成本账

算一笔账。

硬件(MacBook Pro M3 Max,已有):$0

电费:

M3 Max 跑本地模型功耗约 40W,每天用 2 小时,每月电费大概 $0.3。

节省的云端成本:

我每月有约 $30 的任务适合本地处理(合同分析、代码 Review 等)。现在用本地模型:$0。

每月净节省:约 $29.7

但更重要的是:

那些合同、那些财务数据,不再发到云端了。

这个价值,没法用钱衡量。


第八课:什么时候不该用本地模型

本地模型不是万能的。

不适合的场景:

  1. 需要最新知识 本地模型的训练数据有截止日期,不知道最新的事情。
  2. 复杂推理任务 14B 的模型,推理能力比 GPT-4 差一个档次。技术方案设计、深度分析,还是用云端。
  3. 速度要求高 本地模型慢,快速响应需求用云端。
  4. 上下文很长 本地模型受内存限制,超长上下文处理不了。

我的原则:

隐私优先,能力够用就行。

够用的模型 + 数据安全 > 最好的模型 + 数据泄露风险。


第九课:风控人的数据安全思维

做风控,我们有一个基本原则:

最小权限原则。

给系统的权限,只给它完成任务所需的最小权限。不多给,不乱给。

这个原则,同样适用于 AI。

给 AI 的数据,只给它完成任务所需的最小数据。不需要上云的,不上云。不需要知道的,不告诉它。

数据安全不是偏执,是专业。


写在最后

从第一篇到第十五篇,我写了四个月。

这四个月,我对 AI 的理解变了很多。

最开始,我觉得 AI 就是一个聊天工具。

现在,我把它当成一个需要认真管理的系统:

  • 权限要管(第十四篇:记忆边界)
  • 成本要管(第十一篇:成本管控)
  • 数据要管(本篇:本地模型)
  • 工具链要管(第十二篇:工具链)

养虾,不只是喂食。

是水质、温度、光照、密度,每一个细节都要管。

养 AI,也一样。



本地模型配置检查清单

硬件准备

  • 确认内存(建议 16GB 以上)
  • 确认存储空间(每个模型 4-20GB)
  • 确认 GPU/NPU 支持(Apple Silicon 最佳)

LM Studio 配置

  • 安装 LM Studio
  • 下载适合硬件的模型
  • 启动本地服务器(默认端口 1234)
  • 测试本地服务器可访问

OpenClaw 配置

  • 在配置文件添加 lmstudio provider
  • 启用 memory-search embeddings(0412 新功能)
  • 运行 openclaw configure
  • 验证模型列表包含本地模型

路由规则配置

  • 定义数据敏感性分级
  • 配置敏感数据 → 本地模型
  • 配置复杂任务 → 云端模型
  • 测试路由规则是否生效

安全验证

  • 确认敏感任务不调用云端 API
  • 查看调用日志,验证路由正确
  • 每月 review 一次路由规则

下篇预告

《季度总结——从「养虾」到「养生态」》

  • 15 篇写下来,我学到了什么
  • 卷卷现在的完整配置
  • 我的 AI 工作流全貌
  • 给想开始的人的建议

不是所有人都需要走我走过的路。但如果你想开始,这篇会告诉你从哪里开始。


系列文章

  • 第01篇:养了10年风控,今年开始养「虾」了
  • 第02篇:SOUL.md 写作指南
  • 第03篇:USER.md 深度配置
  • 第04篇:MEMORY.md 深度配置
  • 第05篇:AGENTS.md 工作协议
  • 第06篇:Skills 技能扩展
  • 第07篇:Multi-Agent 协作
  • 第08篇:Memory 自动化
  • 第09篇:渠道配置完全指南
  • 第10篇:踩坑实录
  • 第11篇:成本管控
  • 第12篇:进阶工具链
  • 第13篇:Active Memory 深度玩法
  • 第14篇:记忆迁移
  • 第15篇:本地模型接入(本篇)
  • 第16篇:季度总结(下一篇)

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐