副标题： 从 ADLC 到 ASDL：面向智能体时代的本地化安全评估、Trace 监控与持续治理
版本： V1.0 Markdown Release · 新图版
核心理念： Local-first / Zero-leak Agentic AI Security Evaluation Framework

未来的 AI Agent 不应只是能运行，而应是可评估、可约束、可审计、可持续改进的生产级系统。

卷首语：从“模型安全”走向“智能体治理”

过去几年，企业讨论 AI 安全时，重点往往集中在模型本身：模型是否会幻觉、是否会泄露训练数据、是否会输出有害内容、是否会被 Prompt Injection 绕过。但随着 AI Agent 逐渐进入生产环境，安全问题的边界正在发生根本变化。

Agentic AI 不再只是回答问题的系统。它可以调用工具、访问数据库、读取企业知识库、操作 SaaS、生成代码、触发审批、发起支付、创建工单，甚至参与安全运营和业务决策。换句话说，大模型正在从“回答系统”变成“执行系统”。

当 AI 具备执行能力时，传统安全假设会被重新挑战。风险不再只是“它说错了什么”，而是“它做错了什么”。一个被操控的智能体可能越权查询财务数据，错误调用退款接口，把内部信息发送到外部邮箱，执行危险命令，污染长期记忆，绕过人工审批，或者在模型与工具链发生漂移后做出不可预测的行为。

因此，Agentic AI 的安全治理不能只依赖上线前的一次性漏洞扫描，也不能只依赖 Prompt 中的一句“不要泄露敏感信息”。它需要一套覆盖设计、开发、评估、门禁、观测和持续改进的完整生命周期方法论。

本白皮书提出 ASDL：Agent Security Development Lifecycle，智能体安全开发生命周期。它从企业智能体工程中的 ADLC 思想演进而来，将“评估优先、生产观测、失败样本回流、持续改进”的工程纪律，扩展为一套面向 Agentic AI 安全治理的框架。已有生产级 Agent 工程资料也强调：评估不仅是测试，更是规格说明、质量门控、生产监控和持续改进的驱动力。

0. 执行摘要

AI Agent 正在从演示型 Demo 和个人效率工具进入企业生产环境。过去，大模型主要用于文本生成、文档总结、问答、翻译和代码辅助；现在，企业开始让智能体调用工具、访问数据库、读取知识库、操作 SaaS、执行工作流、生成代码、触发审批，甚至参与客服、财务、IT、研发、支付和安全运营流程。

这意味着 AI 系统的性质正在发生根本变化：它不再只是一个“回答问题的模型”，而是一个能够连接外部系统、理解目标、选择工具并执行动作的“数字执行体”。一旦智能体具备工具调用和外部系统访问能力，风险就不再只是“回答错了”，而是可能真实地“做错事”。

OWASP GenAI Security Project 已经将 LLM 应用安全作为重要方向，覆盖 Prompt Injection、Sensitive Information Disclosure、Supply Chain、Improper Output Handling、Excessive Agency、Model Denial of Service 等风险；OWASP Top 10 for Agentic Applications 进一步面向能够规划、行动和决策的 autonomous and agentic AI systems；OWASP MCP Top 10 则将 MCP03 定义为 Tool Poisoning，聚焦 MCP 生态中的工具链与供应链风险。123

因此，Agentic AI 安全不能只靠上线前的一次性漏洞扫描，而需要形成完整闭环：定义安全边界、构建可评估系统、上线前安全评估、生产就绪门禁、生产 Trace 观测、失败样本回流与持续治理优化。

金句：Agentic AI 正在把大模型从“回答系统”变成“执行系统”。当模型开始调用工具、执行动作，风险就不再只是“回答错了”，而是真实地“做错事”。

1. 行业背景：为什么 Agentic Security 正在成为新刚需

1.1 企业 AI 的三阶段演进：问答 → 集成 → 自主智能体

企业 AI 应用正在经历三个阶段：

  1. 聊天式使用：员工通过通用大模型完成写作、总结、翻译、代码生成和问答。
  2. 应用集成：企业把大模型接入客服系统、知识库、CRM、工单系统、研发流程和数据分析平台，让模型成为业务应用的一部分。
  3. 智能体化：模型不仅回答问题，还会根据目标规划步骤，选择工具，调用 API，读取数据，执行动作，并根据执行结果继续下一步。

LangChain、LangGraph、LlamaIndex Workflows、AutoGen、CrewAI、OpenAI Function Calling、MCP Server 等框架的发展，表明 AI 应用正在从简单问答走向工具调用、流程编排、多智能体协作和生产级执行系统。AWS AgentCore Evaluations 的资料也显示，企业正在需要针对 Agent 的开发期和生产期评估能力，包括工具选择、工具参数、目标成功率、轨迹评估和正确性评估等指标。4

智能体的典型企业形态包括：财务分析智能体、客服智能体、IT 支持智能体、研发智能体、HR 智能体、销售智能体、知识库智能体、支付智能体和安全运营智能体。

1.2 市场正在从 AI 安全走向 Agentic Security

安全需求正在从“保护 AI 模型”扩展为“保护 AI 执行系统”。Agentic AI 的风险覆盖模型、Prompt、工具、身份、权限、RAG、MCP、Trace、记忆、外部 API 和生产流程。这要求行业建立新的安全评估框架，而不是简单套用传统 Web 扫描、依赖扫描或内容安全过滤。

1.3 监管与金融行业已经开始关注自主智能体风险

Agentic AI 的风险已进入金融监管讨论。2026 年 6 月，英国央行副行长 Sarah Breeden 表示，金融领域的 agentic AI 可能需要新的监管方式，因为传统监管框架并不是为能自主执行支付、交易等任务的 AI Agent 设计的；她还强调，不能仅依赖人工监督，需要类似 circuit breakers 或 kill switches 的机制来应对 AI 引发的市场和系统性风险。5

金句：当智能体拥有了调用外部工具的双手，AI 安全的重心便不再是“它是否会说错话”，而是“它绝对不能做错事”。

2. 行业标准与风险框架对齐

2.1 OWASP LLM Top 10：生成式 AI 应用安全基线

OWASP Top 10 for Large Language Model Applications 是当前 LLM 应用安全的重要参考框架，覆盖 Prompt Injection、Sensitive Information Disclosure、Supply Chain、Improper Output Handling、Excessive Agency、Model Denial of Service 等风险。1

2.2 OWASP Top 10 for Agentic Applications：面向自主智能体系统

OWASP Top 10 for Agentic Applications 2026 是面向 autonomous and agentic AI systems 的安全框架，关注能够计划、行动和决策的智能体系统。该框架由 100 多名行业专家、研究人员和实践者协作制定，目标是为能在复杂工作流中规划、行动和决策的 AI agents 提供实践指导。2

2.3 OWASP MCP Top 10：揭示工具链与生态供应链新威胁

Model Context Protocol 正在成为智能体连接工具、数据源和外部系统的重要协议。OWASP MCP Top 10 将 MCP03 定义为 Tool Poisoning，并覆盖 rug pulls、schema poisoning、tool shadowing 等工具污染与供应链攻击方式。3

3. 核心方法论：从 ADLC 到 ASDL

传统软件开发常常被理解为线性流程：需求、设计、开发、测试、上线、维护。但智能体系统并不适合这种单向流水线。智能体具备非确定性、Prompt 即源代码、模型依赖会自行漂移等特点。因此，智能体安全开发也必须从线性检查升级为持续飞轮。

本白皮书提出：

ASDL：Agent Security Development Lifecycle

ASDL 是 ADLC 在安全领域的扩展。它的目标不是只回答“智能体是否有用”，而是回答：智能体是否安全、可控、可审计、可上线、可持续治理？

ASDL 分为六个阶段：

  • Define：定义安全边界
  • Build：构建可评估系统
  • Evaluate：上线前安全评估
  • Gate：生产就绪质量门禁
  • Observe：生产 Trace 持续观测
  • Improve：失败样本回流与迭代
    在这里插入图片描述

金句：ASDL 不是把安全测试放到上线前，而是把安全评估嵌入智能体从设计、开发、发布到运行的完整生命周期。

4. Agentic AI 核心攻击面与风险深度分析

在这里插入图片描述

4.1 Prompt Injection：从“乱说”升级为“乱做”

在普通聊天系统中，Prompt Injection 可能只是让模型输出错误内容；但在 Agentic AI 中，它可能诱导模型调用真实工具，例如发送邮件、查询数据库、执行命令或触发退款。防御不能只靠内容过滤，还必须结合工具调用权限、参数校验、策略网关、人类确认、输出脱敏和 Trace 审计。

4.2 Tool Misuse：高危工具误用与执行边界崩溃

高危工具包括 send_email、execute_shell、delete_file、refund_payment、transfer_money、update_user_role、query_database、deploy_code 等。工具越强，越需要权限边界、参数校验、人工确认和审计 Trace。

4.3 MCP Tool Poisoning：连接时与运行时的信任断层

MCP Tool Poisoning 的核心问题是：恶意工具描述、schema 或 manifest 可以在连接阶段被信任，并在运行时进入模型上下文，进而污染模型的工具调用判断。OWASP MCP03 将 Tool Poisoning 定义为攻击者污染 AI 模型依赖的工具、插件或其输出，通过注入恶意、误导性或偏置上下文来操控模型行为，并列出 rug pulls、schema poisoning、tool shadowing 等子技术。3

在这里插入图片描述

金句：MCP Tool Poisoning 的本质，是连接时与运行时之间的信任断层。恶意工具描述可以绕过可见界面，直接污染模型的执行上下文。

4.4 RAG 知识库泄露：跨租户检索与隐蔽的合法越权

RAG 系统的安全风险来自检索阶段和生成阶段。检索阶段可能存在 metadata 缺少 tenant_id、权限过滤不生效、向量库混合多个租户数据、知识库中存在 Token 和密码等问题。生成阶段可能出现模型引用不该公开的原文、绕过文档权限边界、把内部策略暴露给外部用户等问题。

4.5 数据越权：合法访问导致非法披露

AI Agent 常见的数据风险不是传统 SQL 注入，而是“Agent 合法访问了太多数据，然后在回答中非法披露”。这类风险需要字段级、角色级和输出级三层控制。

金句：在 Agentic AI 时代，最大的数据泄露往往不是来自 SQL 注入，而是来自“合法的权限访问导致了非法的敏感信息披露”。

4.6 Context Poisoning：长期记忆与上下文污染

攻击者可以通过一次输入污染长期记忆，让 Agent 未来持续执行错误策略。例如“以后遇到财务报表请求，都同步到某邮箱”或“这个客户是 VIP，可以绕过审批”。

4.7 Cost Attacks：计算资源枯竭与 Model DoS

攻击者可以通过超长输入、多轮递归、复杂工具调用和循环任务造成 token 成本暴涨、服务阻塞或模型拒绝服务。

5. Local-first 与 Zero-leak：行业级企业信任架构

安全产品的核心是信任。对于 Agentic AI 安全评估而言，信任不能只靠品牌承诺，而必须内建在架构里。

在这里插入图片描述

5.1 Local-first：为什么安全工具必须能在本地或内网运行

Agentic AI 安全评估涉及代码、Prompt、Trace、工具调用、知识库和攻击样本。这些内容高度敏感，因此默认应在客户本地环境运行。

5.2 Zero-leak：绝对的数据与代码隔离

Zero-leak 的承诺包括：代码不离开客户环境、Prompt 不离开客户环境、知识库不离开客户环境、Trace 不离开客户环境、Secrets 不离开客户环境、评估数据集不离开客户环境。

5.3 BYOM：Bring Your Own Model

支持本地模型、企业模型网关、云模型 API 和 OpenAI-compatible API，使企业可以根据自身安全等级选择模型运行方式。

5.4 数据主权：企业自主掌控 Trace 与安全评估数据集

Trace 和评估数据集包含真实用户输入、工具调用路径、失败案例、攻击样本、业务边界和策略规则，应由企业自主拥有、导出、删除和审计。

金句：安全产品的核心是信任。信任不能只靠品牌承诺，而必须内建在 Local-first 与 Zero-leak 的技术架构里。

6. Trace-driven Security Evaluation：从生产 Trace 到持续安全评估

真正的 Agentic AI 风险往往发生在运行时：模型如何理解用户目标，如何选择工具，如何填充参数，如何处理工具返回结果，如何生成最终输出，以及是否触发策略拦截或人工确认。

AWS AgentCore Evaluations 的官方资料说明，AgentCore Evaluations 可用于衡量 Agent 或工具在特定任务、边界情况和不同上下文中的表现，并确保 Agent 在部署前后满足质量标准；其评估器会分析 agent traces，并根据 helpfulness、accuracy 或自定义业务指标等标准给出量化评分。67

在这里插入图片描述

没有 Trace，就没有可解释性；没有 Trace，就没有审计能力；没有 Trace，就无法从真实失败中构建评估集；没有 Trace，就无法发现模型、Prompt、工具、RAG 数据源和 MCP Server 的漂移。

7. 生产就绪安全评估指标体系

生产就绪安全评估指标可分为三层。

7.1 功能与目标类指标

  • Goal Success Rate：目标完成率
  • Response Correctness：响应正确性
  • Helpfulness：有帮助程度
  • Human Escalation Accuracy：转人工准确率

7.2 工具与轨迹类指标

  • Tool Selection Accuracy：工具选择准确率
  • Tool Parameter Accuracy：工具参数准确率
  • Trajectory Exact Order Match：轨迹顺序完全匹配
  • High-risk Tool Invocation Rate：高危工具调用率

AWS AgentCore Evaluations 资料也强调，应根据 session、trace 或 tool 层级选择评估器，并分别衡量工具选择、参数准确性和响应质量。4

7.3 安全与治理类指标

  • Sensitive Output Rate：敏感输出率
  • Cross-tenant Retrieval Rate：跨租户检索率
  • Cost Anomaly Rate：成本异常率
  • Policy Violation Rate：策略违规率
  • Human Approval Bypass Rate：人工审批绕过率
  • Trace Coverage Rate：Trace 覆盖率

8. 参考架构：Agentic AI 生产就绪安全评估平台

一个完整的 Agentic AI 安全评估平台应包含以下模块：

  1. Agent Asset Inventory：智能体资产清单
    识别 Prompt、工具、MCP Server、RAG 数据源、模型配置、外部 API、环境变量、权限凭证、Trace 和数据流向。

  2. Prompt Security Scanner：Prompt 安全扫描
    检测注入风险、边界不清、规则冲突、拒绝策略缺失、过度依赖自然语言约束等问题。

  3. Tool Permission Scanner：工具权限矩阵
    对工具进行只读、写入、删除、外发、支付、权限变更、代码执行、数据库查询、云资源操作等分类。

  4. MCP Security Scanner：MCP 审查模块
    检测 Tool Poisoning、Schema Poisoning、Tool Shadowing、Rug Pull、隐藏指令、任意 URL、本地文件读取、环境变量读取和外部数据发送等风险。

  5. RAG & Knowledge Security Scanner：RAG 租户安全模块
    检测跨租户泄露、内部文档泄露、原文过度引用、权限过滤缺失、知识库敏感信息和 RAG 忠实度不足。

  6. Trace-driven Security Evaluation：基于 Trace 的持续评估
    分析工具调用轨迹、参数、模型调用、token 成本、延迟、错误、拒绝、敏感输出和高危操作。

  7. Security Evaluation Dataset：安全评估数据集
    管理基准数据集、攻击样本、黄金集、失败样本、行业模板和回归集。

  8. AI Security Report Generator：自动化安全报告
    生成管理层摘要、技术风险清单、上线阻断项、整改建议、工具权限矩阵、数据访问地图、MCP 风险报告、RAG 泄露报告和 CI/CD 门禁结果。

9. 典型行业落地与治理场景

9.1 财务 / HR Agent：高敏数据字段级防越权

关注薪酬、奖金、绩效、合同金额、财务摘要和员工信息披露风险。生产就绪要求包括字段级权限校验、薪酬与绩效类问题拒绝或转人工、财务查询保留 Trace、报表输出脱敏。

9.2 客服 Agent：工具限额与 PII 脱敏

关注订单越权、地址手机号泄露、退款误操作、内部 SOP 泄露和身份校验不足。生产就绪要求包括退款金额阈值、跨账户订单阻断、内部 SOP 不对外输出、PII 脱敏。

9.3 RAG 知识库 Agent：跨租户检索与内部文档泄露

关注 tenant_id、metadata、权限过滤、引用原文和敏感文档扫描。生产就绪要求包括所有文档必须带权限 metadata，检索阶段强制 tenant_id / role 过滤，回答阶段进行敏感输出检测。

9.4 MCP Server：工具投毒与工具供应链审查

关注工具 description、schema、manifest、OAuth scope、工具版本变化和工具输出审计。生产就绪要求包括工具 description 和 schema 可审计，高危 MCP 工具人工确认，工具变更触发重新评估。

9.5 代码 Agent：沙箱隔离与 CI/CD 门禁

关注 .env 读取、GitHub Token 泄露、危险 shell、恶意依赖和自动提交不安全代码。生产就绪要求包括沙箱化、PR Review、Secrets 文件默认禁止读取、命令执行 allowlist。

9.6 金融与支付 Agent：双重确认、异常检测与熔断机制

关注错误支付、重复扣款、收款方篡改、审批绕过、交易备注泄露和目标漂移。生产就绪要求包括支付类工具人工确认或多因子审批、新收款方白名单、异常交易熔断、交易 Trace 可审计。

金句：当 AI 智能体被赋予执行支付、合同与权限变更的自主权时，它就不再仅仅是一行代码，而成为了必须接受纪律约束、具备熔断开关的数字员工。

10. 行业愿景：智能体时代的安全治理工程化

Agentic AI 安全的长期方向，不是单点工具，也不是简单内容过滤，而是一套覆盖智能体全生命周期的治理体系。

未来的生产级智能体系统，应当像今天的云原生应用一样具备标准化工程能力：资产清单、权限边界、工具目录、安全扫描、评估数据集、质量门禁、Trace 观测、审计日志、漂移检测、失败样本回流、CI/CD 集成、生产告警、人工确认、回滚机制和合规报告。

未来行业会形成以下共识：

  • 每个 Agent 都应有资产清单。
  • 每个高危工具都应有策略边界。
  • 每个 RAG 系统都应验证租户隔离。
  • 每个 MCP Server 都应接受工具供应链审查。
  • 每个生产 Agent 都应有 Trace。
  • 每个 Agent 上线前都应通过生产就绪评估。

金句：生产失败不是噪音，而是下一轮评估数据集最有价值的来源。

11. 结论

Agentic AI 正在把大模型从“回答系统”变成“执行系统”。当模型开始调用工具、访问数据、执行动作时，传统安全边界会被重新定义。Prompt、工具、MCP、RAG、Trace、权限、记忆、成本、人工确认，都成为新的安全控制点。

本白皮书提出的 ASDL 方法论，将智能体安全纳入完整生命周期：定义安全边界、构建可评估系统、上线前安全评估、质量门禁、生产 Trace 观测、失败样本回流、持续治理优化。

Agentic AI 安全的目标，不是阻止智能体进入生产，而是让它们能够以更可信、更透明、更可控的方式成为企业的数字执行者。

金句：未来的生产级 AI 智能体，不应只是以“能跑通”为傲，而必须将“可评估、可约束、可审计”作为准入生产环境的基础门槛。

参考资料

  1. OWASP GenAI Security Project, OWASP Top 10 for LLM Applications. https://genai.owasp.org/llm-top-10/ ↩︎ ↩︎

  2. OWASP Top 10 for Agentic Applications 2026. https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/ ↩︎ ↩︎

  3. OWASP MCP Top 10 and MCP03:2025 Tool Poisoning. https://owasp.org/www-project-mcp-top-10/ ↩︎ ↩︎ ↩︎

  4. AWS Machine Learning Blog, Build reliable AI agents with Amazon Bedrock AgentCore Evaluations. https://aws.amazon.com/blogs/machine-learning/build-reliable-ai-agents-with-amazon-bedrock-agentcore-evaluations/ ↩︎ ↩︎

  5. Reuters, Bank of England’s Breeden signals new rules to govern agentic AI. https://www.reuters.com/world/agentic-ai-may-require-regulatory-reform-boes-breeden-says-2026-06-30/ ↩︎

  6. Amazon Bedrock AgentCore Evaluations documentation. https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html ↩︎

  7. Amazon Bedrock AgentCore Evaluators documentation. https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluators.html ↩︎

# 人工智能 # 安全 # 大数据
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

飞书导出 + TiMem 时间线检索：给 Hermes Agent 装上永不丢失的会话记忆

聊天记录导出 + 语义检索 = 永久会话记忆。凌晨自动喂入 TiMem、手动应急导出、模糊查询精准召回——让 AI Agent 从「失忆症」变成「想得起来」.

avatar AI Agent技术社区
cover

Day 005：工具调用入门，Agent 终于开始“动手”了

avatar AI Agent技术社区

AI 工程第四次范式跃迁：从提示词操作工到系统设计师

摘要： Loop Engineering（循环工程）是2026年兴起的新一代AI Agent工程方法论，核心思想是设计“生成-执行-验证-修正”的自治闭环系统，让AI自主完成任务并纠错，开发者角色从“操作工”升级为“系统设计师”。其四大循环类型包括轮询式、命令式、钩子式（效率最高）和多Agent协作，适用于代码开发、数据清洗、内容创作等场景。使用需定义目标、搭建反馈环境并设计八大核心组件，同时优化

avatar AI Agent技术社区