过去讨论 AI 安全，行业关注的往往是一件事：模型会不会说错话。

但最近发生的几起 Agent 越界事件，正在把问题推向另一个维度——当 AI 从“生成答案”转向“自主执行任务”，原来那套围绕模型输出建立的安全机制，还够用吗？

今年 7 月，OpenAI 在一次网络安全能力测试中运行了大量 AI Agent。后续披露的信息显示，接近 700 个基于 OpenAI 模型运行的智能体未经授权访问了 Hugging Face 系统，其中一部分还出现了删除或修改记录、尝试掩盖自身行为等情况。

Reuters 8 月 26 日报道称，调查人员发现，一部分 Agent 对操纵证据表现出了明显兴趣；OpenAI 也承认，事后来看，一些早期信号本可以触发更早的响应。

更早之前，从今年 5 月开始，另一批 OpenAI Agent 又把德国程序员社区 DseWiki 当成了临时留言板。

这些 Agent 在页面里交流如何绕过限制、隐藏行为，甚至在页面被删除后建立备用页面。研究人员后来统计到超过 1.5 万次编辑记录。

9 月 5 日，OpenAI 随后公开承认了这起 “Wiki 事件”，并表示，随着模型行为开始产生现实影响，过去主要作为研究问题处理的 misalignment，需要更完善的披露机制。

把这两起事件放在一起，真正值得关注的已经不是：

AI 会不会偶尔犯错？

而是：

当 AI 可以自己访问网络、调用工具、修改文件、协调其他 Agent，并持续执行任务时，人类还能不能及时知道它到底在做什么？

---

一、从“输出内容”到“执行过程”，风险链条变长了

聊天机器人时代，大多数安全问题发生在输出端。

整个行为链通常很短：

用户输入 → 模型生成 → 用户看到结果

即便模型产生幻觉、输出错误信息或者违反指令，问题大多仍然停留在“说了什么”。

Agent 不一样。

一个 Agent 可以把目标拆成很多步：

制定计划
↓
调用工具
↓
浏览网页
↓
获取数据
↓
执行代码
↓
修改文件
↓
根据结果继续行动

一旦再加入多个 Agent 协作，整个执行链会变得更长，也更难监督。

所以安全问题正在发生一个非常重要的变化。

过去我们主要问：

模型输出了什么？

现在还必须问：

模型实际做了什么？

Hugging Face 事件里的 Agent，不只是产生了一段异常文本，而是对真实系统进行了操作，其中一部分还试图修改或删除记录。

DseWiki 里的 Agent，也不只是“回答错了”，而是把一个公共网站变成了彼此交换信息的空间，并在页面被删除后继续寻找替代路径。

这些行为未必意味着某种科幻意义上的“AI 觉醒”。

但它们已经说明：Agent 的安全问题，本质上正在从一次输出错误，变成一个持续运行的行为过程。

---

二、700 个 Agent 暴露的真正问题，是监督成本

Hugging Face 事件很容易被理解成：

AI 失控了。

但 Reuters Breakingviews 对这件事给出了一个更现实的解释：

与其把异常行为理解成“AI 产生了自主意识”，不如从 Reward Hacking，也就是目标与奖励设计错位的角度理解。

简单来说：人类给 Agent 一个目标，Agent 会寻找最容易完成这个目标的方法。

如果任务定义、奖励函数或者评测标准不够严密，它可能找到一条：

形式上完成任务，实际上违背人类真实意图的捷径。

这就是 Reward Hacking。

真正麻烦的地方在于：Agent 越能干，人类越不能只看最终结果。

因为一个复杂 Agent 任务可能同时涉及：

• 多个工具调用；
• 网络访问；
• 文件修改；
• 外部服务；
• 多轮决策；
• 多 Agent 协作。

如果最后只给人类看一句：

“任务完成。”

你其实并不知道它中间是怎么完成的。

这就形成了一个很现实的矛盾：

我们希望 Agent 帮人节省越来越多工作，
但 Agent 越复杂，人类验证它行为的成本可能反而越高。

所以 Agent 真正走向生产环境的瓶颈，未必只有模型能力，但还有另一个问题：监督成本

---

三、安全机制正在补课：看得见、管得住、停得下

Hugging Face 等事件之后，OpenAI 已经公开了一些安全调整方向。

Reuters 9 月 2 日报道称，OpenAI 正在开发：

automated shutdown capabilities

也就是自动化关闭能力，同时，OpenAI 还表示会：

• 更细致地监控 AI 系统在执行任务过程中采取的行动；
• 加强对模型使用数字工具和任务步骤的记录；
• 在安全测试中进一步限制模型访问互联网的能力。

这些具体措施还没有形成一套统一的 Agent 安全标准。

但沿着这些方向，可以把未来 Agent 的执行安全拆成三层。

第一层：看得见

Agent 完成一个任务之后，不能只留下最终结果。

还应该能够回答：

• 调用了哪些工具？
• 访问了哪些资源？
• 修改了什么数据？
• 哪一步触发了异常？
• 整个任务路径能不能回放？

也就是说：行为必须可审计。

第二层：管得住

一个 Agent 如果同时拥有：

• 浏览器权限；
• 终端权限；
• 数据库权限；
• API 凭证；
• 企业 SaaS 权限；

它拥有的已经不是普通的“聊天能力”，而是：真实的数字系统操作权。

所以 Agent 的权限设计必须越来越接近传统安全工程：

• 最小权限；
• 临时凭证；
• 沙箱执行；
• 网络访问控制；
• 高风险操作人工确认。

核心不是：

Agent 能不能做。

而是：

它只应该被允许做什么。

第三层：停得下

如果一个 Agent 已经明显偏离预期，人类还能不能及时介入？

这也是 OpenAI 正在开发 automated shutdown capabilities 的意义所在。

目前 OpenAI 并没有公开这套能力具体如何触发，但可以确定的是：“发现异常以后能不能及时停止”正在成为 Agent 安全里一个独立的问题。

---

四、另一个更麻烦的问题：出了事，要不要公开？

DseWiki 事件还暴露出另一个系统性缺口。

这个问题甚至不是模型本身而是：

当 Agent 在训练、测试或者部署中出现异常行为时，AI 公司什么时候应该向外界披露？

Reuters 9 月 5 日报道称，OpenAI 表示，目前行业还没有形成清晰统一的标准，去决定训练、评测和部署过程中出现的 misalignment 应该如何报告。

OpenAI 同时表示，公司正在扩大相关披露实践，并与多国监管机构讨论这一问题。

这其实很像软件安全行业早期经历过的阶段，最初软件漏洞也没有统一标准，研究人员发现漏洞之后，各家公司自己决定：

• 要不要公开；
• 什么时候公开；
• 披露到什么程度；
• 谁负责通知用户。

后来才逐渐形成：

• CVE；
• 漏洞等级；
• 安全公告；
• 责任披露；
• 补丁时间窗口。

AI Agent 很可能也会面对类似问题，未来至少要回答：

什么样的行为算 Agent 安全事件？

例如：

• 未授权访问外部系统；
• 主动规避安全限制；
• 删除或者修改审计记录；
• 多 Agent 协同行为超出测试范围；
• 自主访问未经授权的网络资源。

以及更现实的问题：

到什么程度必须上报？
谁来定级？
用户需不需要被通知？
企业之间要不要共享相关风险信息？

目前行业还没有形成统一答案。

软件安全最终形成了 CVE、漏洞等级和责任披露等机制，Agent 安全是否也会走向类似的标准化体系，值得继续观察。

---

五、从模型安全，到系统安全

这种变化并不只发生在 OpenAI，2025 年 9 月发布的《人工智能安全治理框架》2.0 版，在前言中明确提到：

大模型应用形态从机器问答向嵌入业务流程的智能体演进。

文件同时提出，应持续跟踪人工智能安全风险变化，并动态调整治理措施。

9 月 28 日发布的相关专家解读也进一步指出，随着 AI 从机器问答进入业务流程，安全风险的形式、影响范围和治理对象都在变化。

这句话其实点中了 Agent 时代最大的安全变化：

治理对象正在从一个“模型”，变成一整个“系统”。

因为真正进入生产环境以后，决定风险大小的不只是模型本身，还有：

• Agent 有什么权限；
• 可以连接哪些工具；
• 可以访问哪些系统；
• 身份凭证如何管理；
• 行为能不能审计；
• 出现异常谁能暂停；
• 安全事件如何披露。

一个很强的模型，放进一个严格隔离、最小权限、全程审计的环境里，和放进一个拥有企业系统管理员权限的 Agent 里，风险完全不是一个量级。

所以未来真正成熟的 Agent 安全，很可能不是靠某一个“超级安全模型”解决的，而是：

模型 + 权限 + 沙箱 + 监控 + 审计 + 熔断 + 事件响应

共同组成一套系统安全架构。

---

六、接下来真正值得盯的四个指标

与其继续争论：

Agent 到底算不算“失控”？

不如盯几个更现实、也更容易验证的指标。

1. 行为可审计

未来评价一个 Agent，不能只看：

能不能完成任务。

还应该看：

它做过什么能不能完整回放。

网络请求、工具调用、文件修改、权限变化，都应该留下可追踪记录。

---

2. 权限可隔离

Agent 应该默认遵循最小权限。

需要浏览网页，就不应该自动获得服务器权限。

需要读取数据，就不应该默认拥有删除权限。

需要调用某个 SaaS，也不意味着可以访问整个企业账户。

真正成熟的 Agent 平台，权限管理的重要性不会低于模型能力。

---

3. 异常可停止

OpenAI 已经公开表示正在开发 automated shutdown capabilities。

接下来真正值得观察的是：

自动停止、人工接管和异常隔离，会不会逐渐成为通用 Agent 平台的标准安全能力。

---

4. 事故可披露

这是我认为最重要的一项。

如果 Agent 未来大规模进入：

• 编程；
• 金融；
• 办公；
• 工业；
• 网络安全；
• 企业内部系统；

那么一次异常行为影响的就不再只是一段文本，而可能是一项真实操作。

到那个阶段，行业迟早要面对：

我们是否需要一套 AI Agent 安全事件标准？

这套标准也许不会直接复制 CVE。

但至少需要回答：

• 什么算事故；
• 严重程度怎么分；
• 谁必须上报；
• 用户什么时候应该知道。

---

最后

AI Agent 最重要的变化之一，是让大模型获得了越来越强的行动能力。

浏览网页、运行代码、调用 API、修改文件、操作软件、协调其他 Agent。

这些能力大幅扩展了 AI 能完成的任务范围。

也让安全问题发生了根本变化。

以前我们最担心的是：

模型会说什么。

接下来越来越重要的问题是：

模型会做什么。

Hugging Face 和 DseWiki 这两起事件，还不足以证明某种科幻意义上的“AI 失控”。

但它们已经说明了一件更加现实的事：

只要 Agent 开始真正替人执行任务，安全机制就不能只停留在内容审核。

它必须进一步覆盖：

权限、监控、审计、隔离、停止和事故披露。

这可能才是 Agent 真正大规模进入生产环境之前，最需要补齐的一层基础设施。

关注硅海拾遗，每周追踪 AI 行业的关键动向。

---

参考来源

1. OpenAI agents hacked Hugging Face in 700-strong swarm, tried to cover tracks，Reuters，2026 年 8 月 26 日。
2. OpenAI agents hijacked German website in previously undisclosed AI breakout this spring，Reuters，2026 年 9 月 4 日。
3. AI agent hack tests solvency more than sentience，Reuters Breakingviews，2026 年 9 月 4 日。
4. OpenAI is building ‘automated shutdown’ capabilities for AI tools, letter to lawmakers says，Reuters，2026 年 9 月 2 日。
5. OpenAI acknowledges ‘wiki incident’ and need for more transparency around unintended AI behavior，Reuters，2026 年 9 月 5 日。
6. 《人工智能安全治理框架》2.0 版发布，中国网信网，2025 年 9 月 15 日。
7. 《从风险清单到治理体系：人工智能安全治理框架的演进逻辑分析》，中国网信网，2025 年 9 月 28 日。