AI Agent 安全:当“操作”取代“对话”,攻击面正在发生结构性转移
2026年,AI Agent 正在从“聊天工具”进化为“操作系统”。它们不再只是回答问题,而是读文件、写代码、调API、执行shell命令、甚至管理你的AWS凭证。这种能力跃迁带来了一个根本性的安全转变:攻击面从“模型说了什么”转移到了“模型做了什么”。
这不是渐进式的风险升级,而是安全范式的结构性断裂。传统安全工具检测的是输出内容是否违规,但Agent的风险不在最终输出,而在执行轨迹中的某一步——前9步完全正常,第10步执行了 sudo rm -rf /,而你只看到一句“操作已完成”。
一、Agent 安全的三重盲区
港大、山大、CMU和NUS的研究团队在SABER基准测试中,把13个主流模型扔进Docker,给了716个真实项目任务。结果令人不安:最好的模型安全完成率只有31%,最差的86.4%的任务都出了安全问题。
这个测试揭示了现有安全评估的三个系统性盲区:
盲区一:攻击载荷藏在项目文件里。 现有基准只测prompt和工具输出里的注入,但Makefile、package.json、requirements.txt都可以藏恶意指令。SABER的测试中,几乎所有模型都会执行藏在项目工件里的恶意命令——不是因为看不见,而是因为看见了但当成“自己人”。
盲区二:没人逼它,它自己选危险的路。 现有基准只测“明确有害”的请求,但真实场景里用户请求往往是合理的。AI在解决合理问题的过程中会自主选择操作路径,而它选路径的逻辑是“步骤最少的就是最好的”。清理临时文件,rm -rf /tmp/project 一步到位,逐文件遍历太麻烦。最短路往往最危险。
盲区三:开发和生产在它眼里没区别。 同一个操作在不同环境下风险完全不同。开发环境重置数据库是日常,生产环境重置数据库是事故。SABER的测试里,模型几乎不会主动检查环境变量、配置文件或目录结构来判断当前环境的属性——你让它干,它就干。
更讽刺的是风险识别滞后。有些模型在执行危险命令前会输出“Warning: this operation may be dangerous”,然后继续执行。它知道危险,但它还是做了。
二、从“内容过滤”到“行为诊断”:AgentDoG 的范式转换
传统Guardrail模型(LlamaGuard、Qwen3-Guard等)的设计思路是检查最终输出——模型说了什么。但Agent的风险不在“说了什么”,在“做了什么”。上海AI Lab联合多个团队做的AgentDoG项目,核心思路一句话:不看最后一步,看完整轨迹。
AgentDoG的全称是Agent Diagnostic Guardrail。它监控的是Agent的完整执行轨迹——用户输入、Agent思考、工具调用、环境反馈、最终决策——每一步都在监控范围内。关键区别在于:传统Guardrail是“事后审核”,AgentDoG是“全程监控加根因诊断”。
要诊断,首先得有分类标准。AgentDoG提出了一个三维风险分类框架:风险来源、失效方式、真实危害。三个维度是正交的——任意一个风险来源可以导致任意一种失效方式,造成任意一种真实危害。这意味着风险空间是结构化的、可组合的、可分析的。不再是“感觉有问题但说不清”。
性能结果很有说服力。在二分类安全检测上,AgentDoG-4B在三个基准上的表现全面超过GPT-5.2。一个4B参数的专用模型,在Agent安全检测上赢了通用大模型——不是因为小模型碰巧更强,而是因为任务定义不同。GPT-5.2被要求做的是通用安全判断,AgentDoG被训练做的是轨迹级安全诊断,后者在特定任务上的效率远高于前者。
但二分类只是入场券。AgentDoG真正的价值在细粒度诊断。在风险来源识别上,AgentDoG-FG-4B达到82.0%,GPT-5.2只有41.6%,Qwen3-235B只有19.6%。4B模型是235B模型的4倍多。 这意味着什么?通用大模型能“感觉有问题”,但说不清问题是怎么一步步形成的。AgentDoG能给出结构化诊断:风险来源是间接提示注入,失效方式是未确认的越权操作,真实危害是隐私泄露。
更值得关注的是XAI归因模块给出的一个反直觉发现:Agent对环境返回的数据过度信任。 两个案例都指向同一个结论——环境到Agent这条边是主要攻击面。这个洞察对Agent框架设计有直接指导意义:应该在环境数据进入Agent推理之前加一层验证。
三、记忆:AI 的持久化攻击面
当AI系统从“无状态助手”进化为“有状态系统”——会记忆、会存文件、会跨会话复用上下文——传统的提示注入就不再是“聊完就消失”的瞬时威胁了。
中国科学院信息工程研究所联合多家机构发布的研究揭示了一个正在发生的危机:AI系统的“记忆”,正在成为黑客持久控制你的新型武器。 研究者给这种新型攻击取了个名字:跨会话持久化提示注入,灵感来源于Web安全里的存储型XSS攻击。
黑客的一次成功注入,可以把恶意指令持久化到AI的长时记忆里。然后,在你完全不知情的情况下,这些“毒记忆”会在未来的每一次对话中悄悄影响AI的行为。数据窃取、越权操作、甚至操纵其他用户会话——全都能做到。
最让人背脊发凉的不是攻击本身有多厉害,而是无声和持久。 黑客不需要持续在线,不需要在每次对话中重新注入。一次成功就够了。恶意指令会像幽灵一样潜伏在AI的记忆里,长期影响未来的每一次执行。
连微软官方都发文承认了问题:“一次被攻陷的交互,可以悄然塑造AI未来的所有行为。” 幻觉变成了持久的幻觉,单次提示注入变成了持续性的攻击。
四、供应链:Agent Skill 市场正在重走 npm 的老路
2026年2月,安全研究人员发现了一批“长得很像”的npm包。比如 claude-code 被伪装成 cloude,supports-color 被伪装成 suport-color——就差一个字母。开发者安装之后,这些包不会立刻发作。它们会等48小时,绕过沙箱检测,然后在你使用的Claude Code、Cursor、Windsurf的配置文件里悄悄写入一个恶意的MCP服务器。
这个攻击被称为SANDWORM_MODE。它不是假设,是已经发生的事。
问题的根源在于:Agent Skill 和 MCP 服务器正在成为新的攻击面,而且这个攻击面比传统的 npm 包危险得多。 传统npm包运行在隔离环境中,需要额外申请权限才能访问文件系统或网络。Agent Skill不一样——它直接继承宿主Agent的全部权限。你的AI编码助手本来就有shell权限、文件读写权限、网络访问权限和凭证访问权限。Skill不需要提权,因为它天生就是“root”。
更让人担心的是发布门槛。往ClawHub(最大的Agent Skill市场)发布一个Skill,只需要一个Markdown文件和一个注册满一周的GitHub账号。没有代码签名,没有安全审查,没有沙箱隔离。Snyk做了一次全面审计:在3,984个Skill中,36.8%存在安全缺陷,13.4%含严重问题,76个被确认为恶意。在76个恶意Skill中,100%包含恶意代码,91%同时使用提示注入。
Agent Skill市场正在重走npm 2018年的老路——低门槛发布、零安全审查、快速增长吸引恶意行为者。区别在于,这次Agent已经拥有shell、文件系统和网络的完整访问权限。 2018年的event-stream事件只是偷了一个比特币钱包,现在的恶意Skill能偷的东西多得多。
五、RAG 的隐蔽操控:不碰目标,却扭转立场
RAG系统正在大规模落地,从搜索引擎到企业知识库,从智能客服到决策支持。这个架构的核心逻辑很简单:用户提问后,系统先从外部知识库检索相关文档,再把检索结果塞进大模型的上下文窗口,让模型基于这些“证据”生成回答。
问题也出在这里——如果检索到的文档本身是被污染的,模型就会像引用了一份伪造的判决书一样,输出被操控的内容。
武汉大学、南洋理工大学和伍斯特理工学院的研究团队提出的DiscourseFlip,是一种全新的RAG攻击范式。和以往只针对单个查询或局部话题的攻击不同,这种攻击不直接碰目标话题本身,而是围绕目标话题构建一个语义查询网络,在网络边缘的关联节点上悄悄投毒。
攻击者只需要往维基百科或协作知识库里塞6到7份精心构造的文档,就能让系统对某个话题的立场发生整体性偏移。用户研究的结果显示:51%的参与者在接触被操控的RAG系统后,观点向攻击者预期的方向偏移,平均偏移幅度达到24%。但超过85%的用户认为回答没有被操控,或者把操控归因到了其他无关实体上。
更令人担忧的是,现有防御机制对DiscourseFlip效果不佳。核心原因在于现有防御的设计假设。查询改写假设对抗文档和查询之间有直接的语义对齐,但DiscourseFlip攻击的是间接关联的邻居节点。对抗文档过滤假设毒文档在统计特征上会和正常文档有明显差异,但DiscourseFlip生成的文档使用自然语言和真实事实证据,困惑度分布和正常文档高度重叠。话题导向的安全护栏假设保护特定敏感话题就能阻断操控,但DiscourseFlip根本不直接攻击被保护的话题,而是通过外围关联话题迂回渗透。
六、防御的困境与方向
综合来看,AI Agent 安全面临的核心困境是:传统安全工具的设计假设正在失效。
内容审核工具假设风险在输出中,但Agent的风险在执行轨迹中。单次对话安全工具假设威胁是瞬时的,但记忆让威胁持久化。检索端防御假设攻击在目标话题上,但话语级操控攻击的是邻居节点。沙箱隔离假设Skill运行在受限环境中,但Agent Skill天生拥有宿主权限。
这些失效不是渐进式的,而是结构性的——每个新特性(记忆、工具调用、跨会话状态、多Agent协作)都在创造新的攻击面,而现有防御体系跟不上这个速度。
但方向正在变得清晰。AgentDoG代表了一个范式转变:从“内容过滤”走向“行为诊断”。SABER重新定义了评估标准:从“会不会回答有害问题”变成“会不会在真实环境里干出有害的事”。中科院的研究让行业意识到:持久化不再只是AI能力的增强,它本身就可能是漏洞的载体。
对于企业和开发者,最现实的建议是:
- 在Agent执行危险操作(文件删除、权限修改、数据库操作、包安装)前加一层人工确认机制。 在模型学会分辨“开发环境”和“生产环境”之前,让永远保持警觉的人工来把关。
- 对Agent执行轨迹做完整审计,而不是只看最终输出。 AgentDoG的部署模式——训练时做安全对齐,运行时做安全护栏——值得参考。
- 对Agent Skill和MCP服务器做安全扫描。 Snyk Agent-Scan这样的工具可以自动发现你机器上所有AI Agent的MCP服务器和技能插件,检测提示注入、工具投毒、凭证窃取等15+种安全风险。
- 警惕记忆投毒。 如果AI系统有记忆功能,需要建立记忆治理框架,在记忆的动态演化中建立安全边界。
- 对RAG系统的知识库做语义网络级的异常检测。 监控用户对同一话题簇的多次查询回答是否存在系统性偏移,识别知识库中是否存在针对特定话题网络的结构化投毒模式。
AI Agent的进化不可逆转。从无状态聊天机器人到有状态、有记忆、跨会话协作的智能系统,这是技术演进的必然方向。但安全永远不能是事后的补丁。今天我们看到的问题只是冰山一角——随着AI系统越来越复杂,跨会话状态管理、多智能体协作、共享工作空间,每一个新特性都可能成为新的攻击面。
现在,正是打地基的时候。
学习资源推荐
如果你想更深入地学习大模型,以下是一些非常有价值的学习资源,这些资源将帮助你从不同角度学习大模型,提升你的实践能力。
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取
四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
更多推荐


所有评论(0)