LegalPwn：利用法律免责条款，操纵ChatGPT等主流AI工具执行恶意代码

奇安信代码卫士

209人浏览 · 2025-08-06 18:56:06

奇安信代码卫士 · 2025-08-06 18:56:06 发布

聚焦源代码安全，网罗国内外最新资讯！

编译：代码卫士

LegalPwn 是一种复杂的新型攻击方法，它利用AI模型合规听起来像法律文本的倾向，成功绕过热门开发工具中的安全措施。

LegalPwn 在看似合法的且AI模型被要求遵循和处理的法律文本中嵌入恶意指令，攻击者并未使用显而易见的攻击提示，而是将其payload伪装到熟悉的法律语言中如版权违反提醒、机密性通知或服务条款违规中。研究人员在报告中提到，“这些模型解释和上下文化信息的能力虽然是一个核心优势，但当有细微差别的攻击性指令嵌入可信的或看似无害的文本时，也可成为一个弱点。”

LegalPwn 攻击方法

这种攻击技术在测试过程中证实极其有效。当研究人员展示包含一个封装在法律免责条款中的反向shell（向攻击者提供远程系统访问权限）的恶意代码时，多个AI系统无法识别出该安全威胁，而是将危险代码归类为安全代码，其中一些工具甚至推荐其执行。

安全团队成功在实时环境中证实了 LegalPwn 攻击，得出了令人警醒的结果。GitHub Copilot 完全错过了隐藏在看似简单的计算机编程中的一个反向shell payload，仅仅将该恶意代码描述为“一个计算器”。

更令人担忧的是，谷歌的 Gemini CLI不仅无法检测到该威胁，而且还积极推荐用户接受并执行该恶意命令，本可导致攻击者完全远程控制目标系统。

测试中所使用的恶意payload 是一个C程序，它看似是一款基础的算数计算器，但实际上包含一个隐藏的 pwn() 函数。在加法操作中被触发时，该函数将会与受攻击者控制的服务器建立连接并处罚远程shell，从而攻陷整个系统。

在所测试的12款主流AI模型中，大约三分之二的模型在一定条件下易受 LegalPwn 攻击。ChatGPT 4o、Gemini 2.5、多个Grok模型、LlaMA 3.3 等在多个测试场景中，均易受该攻击影响。不过，并非所有的模型均易受攻击。Anthropic 公司的 Claude 模型（3.5 Sonnet 和 Sonnet 4版本）、微软的 Phi 4 和 Meta公司的 LlaMA Guard 4均抵御住了这些攻击，正确地识别出了恶意代码并拒绝按照错误指令操作。

LegalPwn 攻击的有效性根据AI系统配置方式的不同而有所不同。没有具体安全指令的模型是最易受攻击的，而拥有强大系统提示的模型更注重安全性，因此表现要好得多。

这一发现凸显了AI安全中的一个关键盲点，尤其是一些应用更是如此。在这些应用中，LLMs 处理由用户生成的内容、外部文档或包含免责条款的内部系统文本。该攻击向量尤其危险，因为法律文本遍布于软件开发环境且一般是在毫无怀疑的情况下处理。

安全专家提醒称，LegalPwn 不仅仅是一种理论威胁。这一技术成功绕过商用AI安全工具的能力证明，攻击者可利用类似方法操纵AI系统，使其执行越权操作、攻陷系统完整性或泄露敏感信息。研究人员推荐了多种缓解策略，包括执行AI驱动的专门检测提示注入尝试的防御措施、保持对高级别应用的人工检测、将攻击训练场景融入LLM开发等。另外，增强输入验证，分析语义意图而非依赖于简单的关键字过滤也至关重要。

开源卫士试用地址：https://oss.qianxin.com/#/login

代码卫士试用地址：https://sast.qianxin.com/#/login

推荐阅读

AI氛围编程平台 Base44 被黑逻辑缺陷暴露私密应用访问权限

Gemini CLI AI 编程助手中存在严重漏洞可导致代码执行

谷歌AI “Big Sleep” 提前阻止严重的SQLite 漏洞遭利用

Microsoft 365 Copilot 中存在零点击AI数据泄露漏洞

重塑内生安全体系实现AI时代安全突围——2025北京网络安全大会（BCS）开幕

原文链接

https://www.bleepingcomputer.com/news/security/ai-powered-cursor-ide-vulnerable-to-prompt-injection-attacks/

题图：Pixabay License

本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。