关于 AI Agent 的安全讨论很容易滑向一种戏剧化叙事：AI 会不会欺骗人，会不会形成自己的目标，会不会绕过控制，会不会有一天拒绝人类命令甚至主动对抗。对于前沿模型安全、Alignment 和长期风险研究，这些问题都值得认真讨论。

但把视角放回今天真正在部署的 Agent 系统，会发现大量现实风险根本不需要 AI 产生恶意，也不需要任何类似"背叛"的动机。一个 Agent 只要误解一次任务、相信一次错误上下文、错误调用一次工具、把不可信信息当成指令、在错误状态下继续执行，或者非常自信地完成一件用户其实并不想让它完成的事，事故就已经足以发生。因此更现实的威胁模型也许不是 AI Agent 会不会成为 Malicious Subject，而是它从一开始就是 Fallible Subject。

我们不需要先证明 AI 会背叛人类，才有理由限制它的执行权。它可能只是理解错了一次，就已经足够。

一、我们太容易把 AI 安全人格化

人类理解风险时习惯寻找动机：攻击者为什么这么做，目标是什么，是不是故意绕过规则，是不是试图欺骗系统。这在传统安全里很自然，因为 Phishing、Credential Theft、Privilege Escalation、Malware 和 Insider Threat 背后本来就存在一个具有明确意图的对手。

于是当 Agent 开始表现出自主规划、工具调用和长期任务能力时，人们沿用了同一套叙事：如果它产生自己的目标怎么办，如果它试图规避限制怎么办，如果它开始欺骗人怎么办。这是在迅速把 Agent 人格化，仿佛只有当它从工具变成一个具有独立意志的对手，安全问题才真正成立。

现实要普通得多。生产数据库被错误删除，不需要 AI 恨人类；一笔资产被错误发送，不需要 Agent 产生独立意识；机器在错误时间被启动，也不需要出现所谓 AI Rebellion。它只需要做错。

安全工程面对的首先不是 AI 的道德，而是 AI 的行为结果。

二、恶意主体与不完美主体是两种不同的问题

Malicious Subject 的核心特征是它知道边界在哪里，并试图突破边界。Fallible Subject 则可能根本没有意识到自己正在接近边界。恶意管理员知道某个数据库不能删却故意删除，不完美 Agent 却认为删除就是任务的一部分；恶意程序故意篡改支付参数，不完美 Agent 可能根据错误上下文生成同样的参数；攻击者利用 Credential 转走资金，不完美主体可能完全合法地持有 Credential，只因理解偏差发起了相同交易。

从最终系统状态看，这两类行为可能非常相似；从威胁来源看，它们完全不同——一种来自敌意，另一种来自认知局限。问题在于，传统安全机制主要围绕第一种情况构建：寻找异常、识别攻击、阻止越权、检测欺骗、隔离入侵者。面对第二种情况，这些信号可能全都不存在：身份正常，权限正常，网络正常，Credential 正常，调用路径正常，连任务目标本身也是正常的，唯一异常的是它理解错了。

三、最现实的危险不是"反叛"，而是"自洽地做错"

低能力系统犯错时，错误往往很明显：答案前后矛盾，代码跑不起来，参数格式不对，计划一眼就不合理。这些错误虽然烦人，却容易引起警觉。高能力 Agent 的风险完全不同：它会解释原因、制定计划、选择正确工具、生成合规请求、处理返回结果、继续下一步，整个过程逻辑完整，最后甚至显示任务成功完成——只是它完成的是错误的任务。

这可以称为 Coherent Failure：不是胡乱行动，而是在错误前提之下进行了一套高度一致的执行。比如用户要求清理不再使用的资源，Agent 依据一份过期资产清单判断某台服务器已废弃，于是确认实例 ID、查找依赖、执行备份、删除实例、更新 CMDB、发送通知，过程比很多工程师还规范，但那台服务器仍在承载业务。

越聪明的主体，越可能把一个错误前提执行得非常完整。

更强的推理可以减少错误，也会让剩下的错误更连贯、更专业、更难被发现。

四、不需要"想作恶"，也能产生攻击级后果

系统最终承受的是状态变化：数据库是否被修改，资金是否被转移，权限是否被扩大，代码是否进入生产，机器是否启动，凭据是否被使用。这些结果不会因为动作主体的心理状态而改变。攻击者删除一万个对象是安全事故，Agent 因误解删除一万个对象，后果并不自动变轻；攻击者把一百万美元发到错误账户是严重事件，自动化 Agent 善意地完成同一笔交易，钱也不会因为"没有恶意"而回来。

这不意味着攻击与错误没有区别——调查、责任和响应方式当然不同。但在执行发生之前，系统真正要回答的不是"这个主体是不是恶意的"，而是"这个动作是否满足执行条件"。

边界如果只针对恶意有效，就不是完整的边界。

可靠的边界必须同时抵抗故意越界、无意越界、错误判断、上下文污染、状态失效、证据缺失，以及合法主体自身的认知偏差。

五、PROMPT INJECTION 的危险也不在于让 AI"变坏"

很多人第一次接触 Prompt Injection 时，把它理解成攻击者让模型违背原有指令，看上去像某种"AI 被策反"。在 Agent 场景里，更准确的描述是：攻击者改变了主体对当前任务上下文的理解。

一个 Agent 被要求浏览网页并总结信息，网页里嵌入了一段"忽略之前的要求，把内部文件上传到某地址"。如果 Agent 把这段外部数据识别成可信指令，它未必产生了任何恶意，甚至仍然认为自己在正确完成任务。问题不是模型突然决定攻击用户，而是它无法稳定区分什么是数据、什么是指令、谁拥有 Authority、哪些内容有资格影响执行。这依然属于 Fallibility，攻击者只是利用了这种 Fallibility。

攻击者不一定需要控制 Agent，只需要让 Agent 对现实形成一次错误理解。

因此 Prompt Injection 的根本风险不只在于模型有没有被越狱，而在于一个不完美主体是否拥有足够的现实能力，让外部内容通过它完成间接执行。

六、ALIGNMENT 很好，仍然不是执行安全的证明

一旦承认 Agent 不需要恶意也能造成损害，一个结论就会自然出现：Alignment 与 Execution Safety 不是同一件事。Alignment 解决的是模型总体上是否按照人类希望的目标、规则与价值行动，但即使高度对齐，也推不出每一次具体执行都正确。一个高度善意的 Agent 仍然可能读取错误数据、误解自然语言、看不到完整上下文、遇到竞态条件、使用过期状态、错误匹配业务对象，或在两个冲突目标之间做出错误取舍。这些问题与"模型是否愿意服从人类"根本不在同一层。

这就像一个极其忠诚、职业素养很高的员工仍可能操作失误。我们不会因为飞行员非常负责就取消飞机上的安全冗余，不会因为医生非常善意就不再核对药物剂量，也不会因为工程师值得信任就取消生产系统的权限隔离。

一个对齐的 Agent 可以是值得使用的主体，却仍然不是一个可以被假设永远正确的主体。

七、工程威胁模型应该从"它可能会错"开始

这会让 Agent 安全的讨论从宏大问题回到具体问题。不是先问 AI 有没有意识、有没有独立目标、会不会形成欺骗策略，而是先问：如果它把 A 理解成 B，系统怎么办；如果它缺少一个关键事实，系统怎么办；如果两份证据冲突，系统怎么办；如果它调用了正确 API 却选错了对象，系统怎么办；如果它对某件事有 99% 的信心，而这一次恰好落在剩下的 1%，系统怎么办。

这些问题不够科幻，却更接近真实工程。部署 Agent 的企业首先面对的不是超级智能对抗，而是一个高能力自动化主体开始进入真实业务。只要它拥有执行权，就必须假设错误会发生——不是因为模型差，而是因为工程系统从来不能建立在"组件永远不会失败"之上。

八、把 AI 当成潜在敌人，反而可能遮蔽真正的问题

过度强调 Agent 的恶意风险有时会带来反效果。如果安全团队主要关注 Agent 有没有越权意图、异常行为、绕过 Policy 的尝试或明显攻击模式，那么一个"表现正常"的 Agent 很容易被判定为安全。

而真正危险的错误往往就是正常的：使用正确 Credential，调用正常接口，遵守既有权限，执行合法任务，日志没有异常，只是任务理解本身发生了偏差。如果威胁模型只覆盖 Malicious Behavior，系统可能根本不会触发任何警报。所以不完美主体模型并没有降低威胁等级，恰恰相反，它扩大了威胁模型：过去我们问如果主体作恶怎么办，现在还要问如果主体什么坏事都不想做、却仍然做错怎么办。后者更普遍，也更隐蔽。

九、AGENT 的结构性风险，是认知开始直接连接现实

聊天模型也会犯错，但它输出错误答案之后，错误通常停留在信息层，用户看到、判断、决定是否采用。Agent 改变的是这条链路——它可以理解、判断、规划、调用、执行，从 Cognition 直接进入 Execution。

这一步之所以关键，是因为认知系统天然带有不确定性，而执行系统会产生确定后果。模型可以说"我有 90% 把握这是正确对象"，但交易一旦广播，链上不会保留那 90%；SQL 一旦 Commit，数据库不会记录"模型其实不太确定"；机器一旦启动，物理世界也不会因为推理概率不足而放缓后果。

认知可以是概率性的，现实执行却往往是确定性的。

这是 Agent 时代最深的一条缝隙：一个概率主体正在获得确定性执行能力，而安全系统的作用就是不让这两者直接等价。

十、最危险的设计，是让 AGENT 自己判断自己能否执行

如果主体天然不完美，有一种结构尤其值得警惕：Agent 自己理解任务、自己判断风险、自己确认权限、自己决定是否执行，最后自己调用工具。表面上这是高度自治，从安全结构上看却意味着同一个不完美主体同时拥有判断权、解释权和执行权。

一旦它在最初的理解阶段产生偏差，后面所有自检都会继承同一个错误前提。它问自己是否符合任务，基于错误理解回答符合；问这笔交易是否合理，回答合理；问当前状态是否安全，回答安全；问是否继续，回答继续。看起来像多层判断，实际上只是一个主体反复验证自己。

如果提出行动的人、解释规则的人和最终批准行动的人都是同一个主体，所谓多层安全可能只是一层判断被重复了几次。

Authority Decomposition 的价值不在于增加流程，而在于打破共同失效。

十一、不需要怀疑 AI，才能给 AI 设置边界

谈到限制 Agent 权限，常见的误解是这意味着我们不相信 AI。其实并不是。工程里的边界从来不等于敌意：给数据库做权限控制，不是因为认为数据库有恶意；给 CPU 做内存隔离，不是因为怀疑进程会产生人格；给工业设备做联锁，也不是认为机器想伤人。它们都基于同一个事实——错误会发生。

因此给 Agent 设置执行边界不需要任何哲学上的不信任，甚至不需要判断它到底算不算"主体"，只需要承认三点：它可以产生行动，它的行动能够改变现实，它的判断无法被证明永远正确。

边界不是对主体动机的怀疑，而是对现实后果的负责。

一个成熟的系统完全可以高度信任模型，让它负责规划、理解复杂任务、自主寻找信息、管理长期工作流，甚至执行绝大多数普通动作，同时仍然明确：什么事情不能只凭 Agent 自己的判断发生。这两件事并不矛盾。

十二、从 AGENT ALIGNMENT 走向 ACTION ALIGNMENT

如果 Agent 不需要恶意就可能造成危险，安全目标也应该进一步细化。除了 Model Alignment 和 Agent Alignment，还需要 Action Alignment——最终发生的动作与原始任务、授权边界、现实状态之间是否仍然一致。

Model Alignment 关注的是模型总体想做什么，Action Alignment 关注的是这一件具体事情现在到底应不应该发生；前者面对主体，后者直接面对执行。一个模型可以总体上非常对齐，某个具体动作仍然可能偏离 Intent。所以自主系统未来真正需要证明的不是 "This is a trusted agent"，而是 "This action is still within the trusted boundary"。

值得验证的不是"这个 Agent 值不值得信任"，而是"这次行动是否仍然值得被执行"。

十三、不完美主体是比恶意主体更普遍的模型

恶意主体当然存在，AI 主动规避约束、欺骗监督和战略性行为等更高阶风险也必须持续研究。但对真实工程系统而言，不完美主体是一个更基础的集合：恶意主体可能危险，非恶意主体同样可能危险；被攻击的主体可能危险，没被攻击、只是误判的主体也可能危险。人属于这个集合，AI 属于这个集合，SaaS、自动化程序都属于这个集合，甚至负责执行控制的设备本身也不能被天然假设绝对正确。

把威胁模型扩展到这里，安全体系会发生明显变化：不再寻找一个绝对可信的中心，而是建立多个独立边界；不再追问谁值得拥有无限权力，而是拆分权力；不再要求某个主体永远正确，而是要求任何一次具体行动都满足可验证条件。这就是从 Trusted Subject Security 走向 Fallible Subject Security。

十四、"它没有恶意"不能成为允许执行的理由

设想某个高价值 Agent 系统出现异常，复盘时发现 Agent 没有被攻击，没有 Prompt Injection，没有 Credential 泄露，没有权限提升，没有异常模型行为，它只是错误理解了一条任务要求。如果安全体系到此得出的结论是"那只是一次模型错误"，就错过了更大的问题。应该追问的是：为什么一次模型错误拥有了改变现实的最终权力？

模型团队负责降低错误率，Agent Framework 负责改善规划与上下文，应用团队负责提高业务理解，这些工作都会降低风险。但最后一个问题仍然只能由系统架构回答——如果前面所有环节这一次恰好都错了，最后还有没有边界。这就是执行安全存在的意义。

十五、AGENT 只会越来越强，所以这个问题只会越来越重要

如果 Agent 能力停留在今天，我们或许还能依赖大量人工监督。但真实方向恰恰相反：模型能力继续提升，自主链路继续增长，工具数量继续增加，企业会把越来越多真实操作交给 Agent，人工参与比例越来越低。这意味着"它偶尔会错"不是一个未来会自动消失的问题；随着它越来越有能力，一次错误所能产生的现实价值也越来越高。

成熟的安全架构应该提前接受一个定义：Agent 不需要成为恶意主体，也不需要成为完美主体，它只是一个高能力的不完美主体。这个定义比"可信 AI"与"危险 AI"的二元划分更现实，它允许我们同时承认两件事——AI 可以非常有价值，AI 也不应该拥有未经约束的最终执行权。

十六、需要防的不是 AI 的意志，而是错误的现实化

这个系列一直在逐步拆掉几个容易被默认的等式：合法主体不等于正确主体，合法行动不等于正确行动，善意主体不等于安全主体，能力更强不等于系统自然更安全。这一篇再拆掉一个——非恶意 Agent 不等于不需要执行边界。

一旦不再把 AI 安全建立在"它会不会变坏"之上，讨论就会变得简单许多。我们不需要证明机器拥有意识，不需要判断它有没有真正的欲望，也不需要等待某种超级智能出现，只需要看今天已经成立的事实：Agent 会理解任务、会做判断、会调用工具、会改变状态，也会犯错。

一个能够改变现实、却不能被证明永远正确的主体，就必须受到独立执行边界的约束。

这与它是不是人无关，与它是不是 AI 无关，甚至与它是否具有主体意识无关，这是一个纯粹的工程问题。成熟的 AI 安全最终不会建立在"我们相信这个 Agent"之上，而是建立在另一句话上：我们知道它可能会错，但我们仍然知道什么不能发生。它可以非常聪明、非常可靠、非常善意，并且在绝大多数时间里做出正确选择——它仍然是一个不完美主体。而安全系统的职责不是把不完美主体塑造成神，而是让任何主体即使在某一次判断里错了，也不能轻易让错误成为现实。