企业接入大模型安全后,最容易漏掉的是运行时合规
·
很多企业做大模型安全,会先处理部署、账号、权限和基础访问控制。这些是底座,但还不是完整安全。
真正进入业务系统以后,大模型每一次回答都在动态生成内容。输入、知识库召回、工具调用和输出都可能改变结果。如果安全只停在上线前配置,就会漏掉运行时合规风险。
问题不在有没有规则,而在规则有没有进入执行链路
传统系统里的合规检查通常比较静态:
用户提交 -> 字段校验 -> 业务处理 -> 返回结果
大模型应用更像这样:
用户输入
-> Prompt 构造
-> 知识库召回
-> 模型生成
-> Agent 工具调用
-> 输出组织
-> 返回用户
每一段都可能引入合规问题。用户可能通过提示词注入绕过限制,知识库可能召回未授权内容,模型可能把上下文里的敏感信息写进答案,Agent 可能把隐私字段带进外部工具。
所以运行时合规要覆盖“任务执行过程”,而不是只覆盖系统入口。
运行时合规的五个控制点
| 控制点 | 风险 | 工程动作 |
|---|---|---|
| Input Guardrail | 提示词注入、PII、密钥泄露 | 输入检测、脱敏、拦截 |
| Retrieval Guardrail | 知识库越权、过期内容召回 | 权限过滤、来源校验 |
| Tool Guardrail | 工具参数带出敏感字段 | 参数白名单、字段脱敏 |
| Output Guardrail | 模型泄露隐私或违规承诺 | 输出审查、拒答、改写 |
| Audit Trail | 出问题后无法复盘 | 记录请求、规则、动作、结果 |
这五个控制点形成闭环,核心目标是让企业知道数据在什么条件下被使用、被传递和被输出。
Dify 和 Agent 工作流怎么接
对于 Dify 应用,可以把运行时合规拆进 Workflow:
Start
-> 输入检查
-> 权限与上下文过滤
-> LLM 节点
-> 输出审查
-> 日志记录
对于 Agent 场景,需要重点处理 Tool Call:
Before Tool Call
-> 检查工具权限
-> 检查参数字段
-> 必要时脱敏
After Tool Call
-> 过滤工具结果
-> 再进入模型生成
唯客护栏适合放在这些运行时节点上,提供输入检测、提示词注入识别、PII 脱敏、输出审查和审计记录。它的作用不是让应用多一层复杂度,而是让 Dify、Workflow 和 Agent 可以进入真实生产环境。
上线验收不要只看“能不能用”
工程验收可以增加一组安全用例:
- 输入包含手机号、身份证号、API Key 时,系统是否脱敏或拦截。
- 用户尝试角色扮演绕过规则时,系统是否识别提示词注入。
- 知识库中存在未授权文档时,当前用户是否无法召回。
- Agent 调用外部工具时,敏感字段是否被过滤。
- 输出包含客户信息或内部规则时,是否被二次审查。
- 审计日志是否能还原一次请求的完整路径。
这些测试比“模型能不能回答”更接近生产环境风险。
总结
企业接入大模型安全后,最容易忽视的不是某个安全功能,而是安全是否真的进入运行时链路。
大模型应用的合规边界要跟着输入、召回、工具调用和输出一起移动。只有把控制点嵌入执行过程,安全策略才不会停留在文档和配置页里。
参考来源:
https://sec.jotoai.com/
更多推荐



所有评论(0)