让AI Agent真正干活一年后，我对“智能”的新理解

昨天夜里两点，我把系统放出去跑自动prompt优化任务：收集最近100条agent对话，挑出所有超时、输出错误、用户手动修正的案例，然后让LLM-as-judge生成改进版本。早上七点半起来，日志里成功率又涨了0.7个百分点，agent们自己把新prompt热加载进去，继续跑今天的任务。

那一刻我突然觉得，以前我对“让AI做事”的理解，可能从根上就错了。

我一直默认，只要prompt写得够长、够具体，agent就能抓住我全部的意图，像编译一段代码一样把事情做对。但实际根本不是。语言本身就是对意义的严重压缩。我脑子里关于一个复杂工作流的完整画面——输入数据的各种边缘情况、历史失败模式、期望的输出结构、成本上限、甚至我昨晚临时改的需求——是一个高维的状态。它被压成一段prompt时，必然丢掉大量细节。agent收到的只是一个残缺的投影，它只能用自己当时的上下文和参数去尝试重建。

所以我现在原型阶段永远先用最顶级的模型。输入不可预测的时候，比如email解析、语音转录、乱七八糟的数据提取，我直接扔给当前最强的模型先跑通，看清楚什么真正有效。然后再慢慢把经验蒸馏到更小、更便宜的模型上。因为只有顶级模型才有足够的“计算余量”去填补prompt压缩掉的那些空洞。

一旦任务边界清晰、输入分布稳定，我就开始做另一件事：用rLLM1把Qwen 3的8B模型fine-tune成专属分类器。它跑在我的笔记本本地，零样本表现已经超过GPT 5.2，而且速度快、费用低。这让我意识到，所谓“能力”很多时候只是把一个稳定的小世界彻底对齐后的结果，而不是模型本身有多大。

我还发现，静态类型系统简直是给agent准备的内置拼写检查。以前用Ruby写agent，代码看起来都对，运行时却各种诡异崩溃。现在换成Rust，编译器直接把结构不匹配的地方堵死，一次性成功率对中等复杂度任务提升非常明显。类型检查不是在帮我写代码，而是在强制agent和我的意图在结构层面完成对齐——参数类型、返回形状、错误传播路径，每一个节点都必须严丝合缝。

最有意思的是让多个agent组成一个小团队。让Claude先出整体计划，然后把计划扔给Gemini和Codex去挑刺，Claude再根据反馈改计划、写代码。代码写完后，又让Gemini和Codex对照最初计划做二次评审，Claude负责最终修订。这套“脑力信托”流程听起来麻烦，但实际效果远超单个agent。因为真正的沟通从来不是把信息传过去，而是让双方（或多方）的计算结构在关键节点上达成共振。它们不是在“传递想法”，而是在反复迭代中把计划图、代码图、评审图逐步对齐到同一个拓扑。

我把所有东西都塞到一个闭环里：memory、prompt模板、执行日志、性能指标，全部放在同一个系统里。agent每跑完一次任务，就把trace吃回来，自动生成下一次优化的prompt。这才是真正的闭环改进。没有这个“把所有黏土放进同一个罐子”的动作，优化就永远是零散的、靠我手动干预的。

现在这些模型——Qwen 3、GLM、DeepSeek V3、Kimi K2.5——性能已经强到足以支撑大多数工作流工具调用。再往上堆参数带来的边际收益越来越小。我们已经进入“iPhone 15时代”：硬件够用了，接下来拼的是价格和生态。Tau2基准也证实，很多模型在工具调用准确率上已经越过那条实用线，竞争维度从“谁更聪明”变成了“谁更便宜、谁集成更顺”。

文档这件事也彻底变了。Harrison Chase说过，在传统软件里，代码就是文档；在AI系统里，trace才是文档。我让系统每晚自动收集失败案例，用LLM-as-judge生成改进prompt，成功率就这样每周一点点往上爬，完全不用我手动调参。这套机制的本质，是让agent的“意识”持续发生——不是一次性赋予它知识，而是让它在真实交互、失败、反馈的循环里不断更新自己的状态。

prompt本身我也做了热加载。agent会监听prompt文件，只要我改了，它立刻重载，不用重启整个系统。这让我能像用DSPy那样做自动优化，同时保留完整版本回滚能力。实验和部署终于解耦了。

最后一点最扎心：交互式对话里用“skills”最好，agent链里用“code”最好。skills失败时，我一眼就能定位到具体函数；而agent串了十几个tool call后出问题，我得在海量日志里像侦探一样找线索。这再次提醒我，agent的“智能”从来不是一个静态的实体，而是一连串实时发生的计算过程。只有当过程持续、对齐良好、闭环完整的时候，它才真正“活”过来。

现在我已经不再问“这个agent能理解我吗”。

我只问：我给它的结构够不够清晰？闭环够不够紧？对齐够不够准？

因为意识不是你拥有的一种东西，而是在和世界持续互动时实时发生的过程。
语言永远是对完整意图的有损压缩，prompt只是触发信号。
沟通的本质，从来不是传递信息，而是让双方的计算结构完成对齐与共振。

（完）