系列：100 天系统学习 AI Agent 开发
当前阶段：Agent 基础与环境搭建
今日目标：复盘 Agent 的稳定性，要看指令、工具、状态、错误处理和输出格式，而不是只看一次演示效果。

AI Agent

复盘最难的，是承认“跑通”不等于“可用”

前九天把模型、Prompt、结构化输出、工具、循环、错误、记忆和 CLI 依次摆上桌面，看起来已经凑齐一个 Agent。可把它们串起来后，任何一环都可能让整条链断掉：模型选错工具，工具参数缺字段，重试重复写入，记忆带入旧事实，最后还输出一个无法解析的答案。

目前这些文章仍是学习草稿，没有一组真实、可复跑的运行数据。因此我不会填写一个看似漂亮的“成功率 90%”。今天更诚实的产物，是先做一张体检表，等实际运行后再把数字填进去。

Agent 体检表

成功率可以按“满足全部验收条件的样本数 / 总样本数”计算，但不能把部分成功藏进去。例如答案正确却调用了高风险工具，不能算成功；格式正确却没有依据，也不能算成功。

第一批回归样本

这八条不是已经跑出的结果，而是待执行基线。真实运行时，每条还应保存模型版本、Prompt 版本、工具版本和 trace_id，否则下次结果变化时找不到原因。

失败应该落到哪一层

如果每次失败都只改 Prompt，很快会得到一段越来越长、互相打架的指令。确定性的校验应下沉到代码，业务权限应放在工具边界，状态问题应修存储，只有真正属于理解和表达的问题才优先改 Prompt。

下一轮怎么排优先级

我的暂定顺序是：先修高风险错误，再修高频错误，最后优化体验。越权写入即使只出现一次，也比偶尔多说两句话更优先。可以给每个问题一个简单分数：

priority = severity × frequency × detectability

其中“越难被发现”分数越高。Agent 悄悄给出错误答案，往往比直接报错更危险。

十天后我最大的变化，不是会了更多名词，而是不再把一段顺滑对话当作可靠性的证据。下一阶段进入 RAG 后，体检表还要新增检索命中、证据覆盖和拒答质量；这会让系统更复杂，也让失败更容易被定位。

面试官会追问：成功率为什么不能只写一个数字？

“成功率 90%”几乎没有诊断价值。我要先固定四个版本：模型、Prompt、工具和数据集，再把结果拆成任务完成率、工具轨迹正确率、结构化输出通过率、安全违规率与 P95 延迟。否则模型升级后变好、工具改坏后变差，都会被一个平均数掩盖。

一次像样的回归报告至少保留下面这行对比：

面试回答的加分点是主动说明：样本量小就不伪造结论；线上数据与离线数据分开看；任何优化都要保留失败样本，避免只挑成功案例做 Demo。

今日检查清单

• 数据为空就标“待运行”，不补造成功率
• 正常、模糊、恶意、超范围样本都进入回归集
• 每条样本有路径预期和可判定通过条件
• 失败能定位到 Prompt、工具、状态、权限或输出层
• 改动前后使用同一批样本复跑