敏感信息泄露

• 资料来源：genai.owasp.org
• 资料整理：韦胖

是什么意思？

AI 大模型在回答问题时，可能无意中说出它"不应该说"的内容——比如用户的个人信息、公司的商业机密、系统的内部配置，甚至是其他用户的私密数据。

这类泄露可能来自：

• 模型的训练数据（如果训练集里包含了隐私信息）
• 用户自己无意间输入的敏感内容
• 系统配置不当，把不该暴露的信息放进了 AI 的上下文

可能泄露的信息包括：

• 个人身份信息（姓名、身份证号、联系方式等）
• 财务数据、健康记录
• 商业机密、内部算法
• 系统凭据（密码、API 密钥等）
• 法律文件

对于企业自有的专有模型，训练方式和模型架构本身也属于需要保护的敏感信息。

常见问题示例

1. 个人信息泄露：用户在对话中提到了自己的隐私信息，AI 后续可能在回答其他用户时不经意间引用这些数据。

2. 专有算法外泄：配置不当的模型可能将内部算法或训练数据暴露出来。历史上曾有"Proof Pudding"漏洞（CVE-2019-20634），通过训练数据泄露逆向出了机器学习模型，攻击者得以绕过安全控制。

3. 商业机密泄露：模型在生成回答时，可能无意中包含内部业务数据或客户信息。

如何防范

数据清理

1. 训练数据要脱敏：在用数据训练模型之前，对其中的姓名、联系方式、密码等敏感内容进行清理或替换为占位符。

2. 严格验证输入：对用户输入进行检查，过滤掉可能被模型记忆或泄露的敏感信息。

访问控制

1. 最小权限原则：严格控制谁能访问哪些数据，不需要的权限一概不开放。

2. 限制外部数据来源：控制模型在运行时能访问哪些外部数据源，防止意外读取到不该看到的内容。

隐私保护技术

1. 联邦学习：不把数据集中到一处，而是让模型在各自的设备或服务器上独立训练，减少数据集中带来的泄露风险。

2. 差分隐私：在训练数据或模型输出中加入适量"噪声"，让攻击者即使得到数据也无法还原出具体的个人信息。

用户教育

1. 告诉用户不要输入敏感信息：在产品界面或文档中明确提示，不要把密码、身份证号等隐私内容发给 AI。

2. 数据处理要透明：公开说明用户数据如何被保存、使用和删除，并允许用户选择"不让我的数据参与模型训练"。

系统安全配置

1. 隐藏系统初始配置：限制用户查看或覆盖系统提示，减少内部配置被意外暴露的风险。

2. 遵循安全配置规范：参考 OWASP API8:2023 的指南，避免通过错误提示或配置细节泄露内部信息。

高级技术

1. 同态加密：让数据在加密状态下就能被模型处理，全程无需解密，进一步保护隐私。

2. 令牌化与数据遮掩：在数据进入模型之前，先用占位符替换敏感字段（如把手机号变成 [PHONE]），处理结束后再还原。

真实攻击场景

场景 1：无意数据泄露

由于平台缺乏有效的数据隔离，某用户在查询时收到了另一个用户留下的个人信息。

场景 2：目标性提示词注入

攻击者通过精心设计的输入绕过过滤机制，诱导模型输出系统内部的敏感数据。

场景 3：训练数据里的"遗留信息"

模型训练时使用了包含真实用户数据的数据集，即使数据"理论上被清理过"，攻击者仍可通过构造特定查询把原始数据"问"出来。