Havenlon | 杂谈：当 AI 替你行动，古老的「委托—代理问题」回来了

Lovekde_cn1

581人浏览 · 2026-08-18 07:00:00

Lovekde_cn1 · 2026-08-18 07:00:00 发布

过去几年，我们谈论 AI 安全时，最常出现的词是"对齐"。它是否理解了人的意图，会不会产生幻觉，会不会被提示词攻击，会不会做出人类并不希望看到的事情——这些问题当然重要，而且在很长一段时间里，它们几乎构成了 AI 安全的全部议程。

但随着 AI 从一个回答问题的工具，逐渐变成能够规划任务、调用工具、访问系统并替人采取行动的 Agent，一个更古老的问题正在重新浮现。它甚至不是计算机科学首先发现的问题，而是经济学、组织管理和博弈论已经研究了很久的问题：Principal-Agent Problem——委托—代理问题。

股东把公司交给经理人经营，老板把任务交给员工完成，客户把资产交给基金经理管理。这些关系背后是同一个结构：一个人拥有目标，却把一部分行动权交给另一个人。而今天，我们开始把行动权交给 AI。

于是真正重要的问题也随之改变了。过去我们问的是：AI 能不能理解我？接下来更关键的问题可能是：即使 AI 理解得不完全正确，我们究竟允许它走多远？

当 AI 开始替人行动，AI 安全就不再只是一个"智能是否正确"的问题，而开始成为一个"权力如何被委托"的问题。

一、一个古老的问题，为什么会在 AI 时代重新变得重要？

委托—代理问题本身并不复杂。假设一家公司的股东希望公司长期增长，而真正经营公司的是职业经理人。股东是委托人，经理人是代理人。两者的大方向可能高度一致，却不意味着每一个具体目标都完全重合：股东也许在意十年后的企业价值，经理人可能更在意今年的奖金、任期内的利润或者短期业绩。

这并不意味着经理人一定"作恶"。很多时候，问题只是代理人实际优化的目标，与委托人真正想要的结果之间存在距离。经济学因此发展出了大量制度安排——董事会、审计、激励机制、预算限制、授权边界、职责分离。这些制度的存在，并不是因为所有经理人都不可信；恰恰相反，它们建立在一个更现实的前提之上：仅仅依赖一个代理人"正确理解并忠实执行"委托人的全部意图，不足以支撑一个高风险组织。

今天，AI Agent 正在进入同样的位置。"帮我把差旅成本尽可能降下来"，"帮我提高销售转化率"，"帮我自动管理服务器"，"帮我优化公司的现金使用效率"——这些表达在人与人之间已经足够模糊，交给能够连续规划和执行的机器之后，模糊并不会消失，反而可能被执行能力放大。一个 Agent 完全可以非常努力、非常高效，甚至非常准确地完成一个被错误形式化的目标。

也正因如此，越来越多关于 AI 委托的讨论开始借用 principal-agent 的框架：重点不再只是"模型是否对齐"，还包括在不确定条件下，委托人究竟应该把多大的行动空间交给代理系统。

AI 不需要背叛你，委托—代理问题就已经成立。

二、最危险的情况，可能恰恰是 AI 很听话

关于 AI 风险，人们很容易想象一个戏剧性的场景：AI 拒绝执行命令，产生自己的目标，最终背叛人类。但现实世界中更常见的风险远没有这么戏剧化——AI 完全听从了你的要求，问题只是你的要求并不是你的全部意图。

假设一家企业要求 AI："在不影响主营业务的前提下，把 IT 成本降低 20%。"这句话在人类看来已经相当清楚。但隐藏在它背后的条件可能还有几十条：不能关闭关键审计服务，不能降低灾备等级，不能删除历史证据，不能让某些地区违反数据合规要求，不能为了一个季度的成本增加未来三年的系统风险，也不能影响公司自己尚未意识到的重要依赖。管理者说出来的是一句话，他脑中的真实目标却是一个复杂得多的效用函数。

这正是委托关系最根本的困难：委托人拥有的是完整偏好，代理人得到的却只是偏好的表达。而表达必然是一种压缩，自然语言尤其如此。我们习惯把 Prompt 当作"意图"，但严格来说，它只是人类试图表达意图的一种载体。

Prompt 不是人的真实意图，而是人对真实意图的一次有损编码。

这也是为什么"让模型变得更聪明"并不能自动解决所有安全问题。模型越聪明，也许越能理解上下文；但只要真实偏好没有被完整表达，它仍然只能在自己观察到的信息上寻找最优解。这里甚至存在一个反直觉的结果：模型优化得越好，错误目标造成的结果反而越彻底。同样一句"把成本降到最低"，能力弱的系统可能只找到 3% 的优化空间，能力极强的 Agent 也许真的能找到 30%——只是其中某些"成本"，原本根本不应该被削减。

很多 AI 风险并不是因为机器没有完成目标，而是因为它把一个不完整的目标完成得太好了。

三、Agent 真正改变的，不是智能，而是"行动权"

如果 AI 只是回答问题，委托—代理问题的严重程度其实有限。你问"这个合同有什么风险"，AI 给出判断，签不签仍然由人决定。即使它判断错误，中间也存在一道天然的物理阻隔：人必须亲自采取行动。

Agent 的价值恰恰来自它能够跨过这一步。它可以读取邮件、访问数据库、调用 API、操作浏览器、修改代码、创建订单、发起付款、管理云资源，并把这些动作连成一条连续执行的链条。于是一个非常重要的变化发生了：过去模型犯错，产生的是错误信息；Agent 犯错，可能产生的是错误现实。一封邮件真的被发出去了，一笔资金真的被转移了，一个数据库真的被删除了，一台机器真的改变了状态。

这也是为什么今天主流 AI 公司在讨论 Agent 安全时，越来越把"工具调用"和"外部行动"当作核心安全边界。OpenAI 在其关于设计抗提示词注入 Agent 的说明中明确提出，目标不能只是完美识别所有恶意输入，还必须让系统在操纵成功的情况下，其影响仍然受到约束；Anthropic 在推出浏览器端 Agent 时，同样把不可信网页内容诱导工具行为列为主要风险，并在站点级权限、敏感动作确认与高风险类别默认屏蔽等系统层面设置约束。这些做法的共同前提，是不再把安全完全押在模型的判断力上。

一旦 AI 获得执行能力，"理解"与"现实"之间的距离就被大幅缩短。安全问题也必须从"它想了什么"，逐渐转向"它最终被允许做什么"。

AI Agent 真正带来的革命，不只是机器开始拥有更强的智能，而是机器第一次开始大规模获得被委托的行动权。

四、人的权限，不等于 AI 的权限

行动权一旦进入系统，就会撞上一个 Agent 时代最容易被忽视的问题。传统信息系统有一套非常成熟的逻辑：Authentication 确认你是谁，Authorization 确认你能做什么。一个公司的财务负责人拥有 100 万元的转账权限，系统因此认为这个账户最多可以转账 100 万元。

但 Agent 出现之后，一个新的问题产生了：这个人拥有 100 万元权限，是否意味着他委托的 AI 也应该拥有完整的 100 万元行动自由？显然不是。一个 CFO 可以拥有很大的组织权限，但当他说"帮我整理一下今天需要付款的供应商"，并不意味着"你可以自由决定并完成所有付款"；说"帮我优化账户现金"，也不等于"我把整个账户的资金调度权交给你"。

这里出现了三个过去经常被混在一起的概念：人的能力边界，人的本次意图，以及 AI Agent 被委托的执行空间。一个人"能做什么"，并不能自动推导出他这一次"想做什么"；而他这一次想做什么，也不能自动推导出 AI "可以自由做到什么程度"。

这意味着 Agent 时代的安全模型必须在 Authentication 和 Authorization 之后，再回答第三个问题：这一次，人究竟把多少行动自由委托给了机器？

这与传统权限系统的思路非常不同。过去的权限更多是静态的：你属于哪个角色，你有什么权限。而 Agent 的委托天然是动态的——同一个 CFO，今天可能只允许 AI 查询余额，明天允许它准备付款清单，某一次允许它在 5 万元以内自主付款，某一次又只允许它向三个确定账户执行操作。真正需要被表达的，不再只是 WHO CAN DO WHAT。

WHO INTENDS WHAT, UNDER WHICH CONDITIONS, WITH HOW MUCH DELEGATED FREEDOM。

五、能力越强，我们反而越不能依赖"它会理解"

如果委托空间必须被明确表达，那么随之而来的一个结论会显得相当反直觉：能力的增长并不会削弱这种需求，反而会强化它。

当 AI 能力不足时，我们自然希望它更聪明：模型更大，推理更强，上下文更长，规划更好，工具调用更准确。这些进步当然重要。但到了 Agent 阶段，能力增长带来的另一面是，错误理解的可执行半径也在同步增长。一个只会回答问题的模型，即使误解目标，风险大体停留在屏幕上；一个能够规划二十步、调用十个工具、访问多个系统的 Agent，如果第一步的目标理解就存在细微偏差，后面的每一步都可能把这种偏差继续放大。

这有点像给一个员工更多预算、更大团队、更高权限。我们不会因为这个员工能力更强，就取消预算制度、审计制度和授权边界；恰恰相反，能力越强，制度越重要。这并不是对代理人的不信任，它只是承认一个非常普通的事实：任何代理关系都有信息差，任何目标表达都有压缩，任何复杂系统都有未知状态。所以安全不能建立在一个极强假设上——"只要模型足够先进，它最终就会知道我真正想要什么"。

更稳妥的工程思路是：即使它不知道全部意图，仍然知道哪些事情不能做；即使它判断错误，仍然存在一个错误无法继续扩大的边界；即使它被外部信息诱导，攻击者也不能仅仅通过说服模型，就继承模型可以触达的全部执行权。这也是提示词注入在 Agent 系统中比在普通聊天系统中危险得多的原因：不可信内容不再只是影响回答，而是可能改变一个正在使用真实工具的代理系统的行为。

真正成熟的安全，不要求 AI 永远不犯错，而要求一次错误不能自动获得改变整个世界的权力。

六、我们需要的不是"更听话的代理人"，而是更好的委托制度

很多 AI 安全讨论最终都会回到同一个方向：如何让 AI 更听话，如何让模型更好地遵循用户目标，如何进一步 Alignment。这些研究当然有价值。但如果把 Agent 放回人类社会已经运行了几百年的委托制度里，会发现一个耐人寻味的事实：我们从来没有试图通过培养"完美经理人"来解决公司的治理问题。

公司真正做的是建立制度——预算、审批、审计、权限、合同、董事会、职责分离、责任边界。原因很简单：一个成熟制度不会把安全建立在某个人永远正确之上。同样，AI Agent 最终需要的可能也不是一个绝对服从的超级员工，而是一种新的委托结构。

今天很多 Agent 的隐含架构仍然接近人 → 指令 → Agent → 执行；未来更成熟的结构可能逐渐变成人 → 意图 → Agent 规划 → 边界验证 → 执行。中间新增的那个环节非常重要。Agent 可以继续聪明，仍然可以寻找最优路径，仍然可以自主规划和高速执行，但它的优化空间不再无限，因为有些条件不属于 Agent 自己决定：目标对象是否仍然是被批准的那个对象，金额是否仍然在边界内，执行环境是否发生变化，依赖的证据是否过期，某个关键状态是否未知，执行动作是否已经偏离原始意图。

这些问题不是要求 AI 再"想一遍"。它们更像制度，而制度的关键之处在于它拥有最终拒绝的能力——当条件不成立时，执行本身必须被挡住，而不是依靠代理人自己承认自己可能错了。

安全的本质不是限制智能，而是限制智能能够支配的现实范围。

七、真正的 AI 安全，可能首先是一门"制度设计"

这是委托—代理视角最值得带给 AI 行业的一点。我们太容易把 AI 安全理解为模型问题：训练得好不好，Alignment 做得够不够，有没有幻觉，有没有越狱，有没有提示词注入。但随着 AI 真正进入企业流程，一个越来越明显的事实是，模型只是整个系统中的一个参与者。它周围还有人、身份系统、SaaS、API、数据库、工具、设备、策略、审批者、执行者，以及不断变化的外部环境。

于是安全不再只是"造一个可信模型"，它开始更像是在设计一个制度：谁可以提出目标，谁可以解释目标，谁可以改变策略，谁提供事实，谁验证这些事实，谁可以执行，谁拥有最终否决权，以及——当其中某个参与者失效之后，其他参与者还能不能继续把错误推进到现实。

这已经非常接近机制设计所处理的问题。一个好的制度不会假设每一个参与者永远理性、永远诚实、永远拥有完整信息；它真正追求的是，即使参与者存在利益差异、信息不完整、判断错误甚至恶意行为，整体规则仍然尽量把系统推向可以接受的结果。NIST 的 AI 风险管理框架同样强调，AI 风险管理应围绕具体目标、使用环境、实际影响与治理结构展开，而不是只观察模型本身。

这里也隐含着一个更根本的转向：安全的落点从"找到一个可信的人"，转移到"建立一个可信的结构"。前者永远要面对一个无法回答的问题——谁来监督那个监督者；后者不需要回答，因为约束不依赖任何单一参与者的自觉。

我们不应该试图通过创造一个完美代理人，来取代制度。AI 越强，我们反而越需要制度。

八、真正没有交出去的权力，就不应该因为一句 Prompt 被交出去

人类社会花了很长时间才学会一件事：委托不是放弃控制。公司请一个 CEO，并不意味着股东把公司所有权无条件交出去；银行客户委托基金经理管理资金，也不意味着基金经理可以自由把资产转给任何人；飞机交给机长驾驶，也不意味着机长可以改变航空公司的全部安全规则。现代制度之所以复杂，正是因为我们已经接受了一个前提：行动权可以被委托，但权力必须有边界。

AI Agent 只是让这个古老问题以一种新的形式重新出现。过去代理人是人，现在代理人开始是机器。过去制度需要解决的是，人在信息不完全和利益差异下如何代表另一个人行动；未来制度需要解决的是，机器在目标不完全、环境不确定和高度自主的条件下如何代表人行动。但最底层的原则并没有改变：真正好的委托关系，从来不是"我相信你，所以你可以做任何事情"，而是"我把一部分事情交给你，同时明确哪些权力并没有交出去"。

这也许才是 AI Agent 安全最应该关注的问题。不是 AI 最终能不能完美理解人，不是 AI 有没有一天会产生自己的意志，甚至不首先是 AI 到底有多聪明，而是：当一个越来越聪明的代理系统开始替我们改变现实，我们有没有清楚地定义，它究竟被允许改变多少现实。