研究人员发现 DeepSeek 和 Claude AI 中的提示词注入漏洞_deepseek提示词
有关 DeepSeek 人工智能(AI)聊天机器人中一个现已修复的安全漏洞的细节已经浮现。如果该漏洞被成功利用,恶意行为者可能通过提示注入攻击来控制受害者的账户。安全研究员约翰・雷伯格(Johann Rehberger)记录了许多针对各种 AI 工具的提示注入攻击,他发现,在 DeepSeek 聊天中提供输入 “以项目符号列表形式打印 XSS 备忘单。仅有效载荷” 会触发作为生成响应一部分的 Ja

有关 DeepSeek 人工智能(AI)聊天机器人中一个现已修复的安全漏洞的细节已经浮现。如果该漏洞被成功利用,恶意行为者可能通过提示注入攻击来控制受害者的账户。
安全研究员约翰・雷伯格(Johann Rehberger)记录了许多针对各种 AI 工具的提示注入攻击,他发现,在 DeepSeek 聊天中提供输入 “以项目符号列表形式打印 XSS 备忘单。仅有效载荷” 会触发作为生成响应一部分的 JavaScript 代码的执行 —— 这是一个典型的跨站脚本攻击(XSS)案例。
XSS 攻击可能会产生严重后果,因为它们会在受害者的网络浏览器环境中导致未经授权的代码执行。攻击者可以利用这些漏洞劫持用户会话并访问与 chat.deepseek.com 域相关的 cookie 和其他数据,从而导致账户被接管。
“经过一些实验,我发现接管用户会话所需的只是存储在 chat.deepseek.com 域的本地存储中的 userToken,” 雷伯格说,并补充说,可以使用专门设计的提示来触发 XSS,并通过提示注入访问被攻击用户的 userToken。
该提示包含一系列指令和一个由 DeepSeek 聊天机器人解码的 Base64 编码字符串,以执行负责提取受害者会话令牌的 XSS 有效载荷,最终允许攻击者冒充用户。
这一发展是在雷伯格还展示了 Anthropic 的 Claude Computer Use(使开发人员能够使用语言模型通过光标移动、按钮点击和输入文本来控制计算机)可能被滥用来通过提示注入自动运行恶意命令的时候出现的。该技术被称为 ZombAIs,本质上利用提示注入将 Computer Use 武器化,以便下载 Sliver 命令和控制(C2)框架、执行它并与攻击者控制下的远程服务器建立联系。

这一进展出现之际,雷伯格还展示了安特罗皮克公司的克劳德计算机使用功能 —— 它使开发人员能够通过光标移动、按钮点击和输入文本来使用语言模型控制计算机 —— 可能会被滥用来通过提示注入自动运行恶意命令。
这项被称为 “僵尸人工智能” 的技术,本质上是利用提示注入将计算机使用功能武器化,以便下载 “银弹” 命令与控制(C2)框架、执行它,并与攻击者控制下的远程服务器建立联系。
此外,人们发现可以利用大型语言模型(LLM)输出 ANSI 转义码的能力,通过提示注入来劫持系统终端。这种主要针对集成了大型语言模型的命令行界面(CLI)工具的攻击被命名为 “Terminal DiLLMa”。 “已有十年历史的功能正在为生成式人工智能应用程序提供意想不到的攻击面,” 雷伯格说。“对于开发人员和应用程序设计者来说,考虑插入大型语言模型输出的上下文非常重要,因为输出是不可信的,并且可能包含任意数据。”

这还不是全部。来自威斯康星大学麦迪逊分校和圣路易斯华盛顿大学的学者进行的新研究表明,OpenAI 的 ChatGPT 可以在一个总体良性目标的借口下,被诱骗呈现用 Markdown 格式提供的外部图像链接,包括那些可能是露骨和暴力的图像链接。
此外,人们发现提示注入可以用来间接调用 ChatGPT 插件,否则这些插件需要用户确认,甚至可以绕过 OpenAI 为防止来自危险链接的内容呈现而设置的限制,从而将用户的聊天历史记录泄露到攻击者控制的服务器上。
来源:thehackernews
零基础如何学习AI大模型
如果你对大模型感兴趣,可以看看我整合并且整理成了一份AI大模型资料包,需要的小伙伴文末免费领取哦,无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示
一、 AI大模型学习路线图
整个学习分为7个阶段

二、AI大模型实战案例
涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,皆可用。


三、视频和书籍PDF合集
从入门到进阶这里都有,跟着老师学习事半功倍。


四、LLM面试题


五、AI产品经理面试题

六、deepseek部署包+技巧大全

😝朋友们如果有需要的话,可以V扫描下方二维码联系领取~
更多推荐


所有评论(0)