1. 从“能用”到“好用”：提示词优化的进阶之路

上次我们聊了Agent开发中提示词编写的基础四要素，相信你已经能让你的AI助手“动起来”了。但很多朋友在实际项目里会碰到新问题：Agent是能跑了，但输出结果时好时坏，有时候很精准，有时候又像在“梦游”，或者生成的文本总是干巴巴的，缺乏灵性。这感觉就像你买了一台顶配的电脑，却因为没装对驱动，性能只发挥了一半。

我自己在早期做客服对话Agent时就踩过这个坑。我按照“角色-任务-格式”的模板写了提示词，Agent确实能回答用户问题，但回答得特别机械，用户多问两句它就容易跑偏，或者对同一个问题的回答每次措辞都完全一样，显得很假。后来我才明白，基础提示词解决了“做什么”的问题，而进阶优化要解决的是“做多好”和“如何稳定地好”的问题。这其中的关键，就在于对提示词结构的深度打磨和对模型参数的精细调校。

简单来说，提示词优化是告诉模型“我想要什么样的思考过程”，而参数调优则是调整模型“以什么样的风格和随机性来执行这个思考过程”。两者结合，才能让你的Agent从“功能实现”走向“体验卓越”。接下来，我们就抛开那些笼统的理论，直接进入实战环节，看看如何通过一系列可落地的技巧，把你的Agent调教得更聪明、更稳定。

2. 结构化你的思维：超越基础四要素的提示词工程

基础的角色、任务、示例、格式四要素，构建了提示词的骨架。但要让它真正有血有肉，我们需要在骨架里注入更细致的“神经系统”。这不仅仅是把任务写清楚，而是要引导模型的整个推理路径。

2.1 思维链（CoT）的实战深化：不只是“一步一步想”

原始文章提到了在提示词中加入“Let‘s think step by step”来激发思维链，这确实有效。但在复杂Agent场景下，我们需要更主动地设计这个“链”。我常用的方法不是让模型自己摸索步骤，而是我先把关键的推理步骤或检查点作为指令给出来。

比如，我开发过一个用于审核用户生成内容的Agent。最初的提示词是：“判断以下用户评论是否包含违规内容。如违规，请指出违规类型。”结果模型经常误判，因为它可能只看了开头几句就下结论。

优化后，我植入了结构化的思维链指令：

你是一个内容安全审核专家。请按以下步骤分析给定的用户评论：
1.  **理解整体意图**：先通读全文，总结用户想表达的核心观点是什么。
2.  **识别敏感元素**：逐句检查，标记出可能涉及人身攻击、歧视、虚假信息或其它违规的词汇或表述。
3.  **结合上下文判断**：检查步骤2中标记的元素，在整条评论的语境下，其目的是否构成真正的违规。注意区分激烈批评和恶意攻击。
4.  **做出最终裁决**：基于以上分析，给出结论：合规或违规。若违规，明确指出违反了哪一条具体规则（如：人身攻击、散布不实信息）。

通过这种方式，我强制模型执行了一个符合人类专家工作流程的思考过程。实测下来，审核准确率提升了大概30%。关键点在于，你设计的步骤要符合该任务领域的真实逻辑，而不是简单的“第一步、第二步”。

2.2 系统提示词（System Prompt）的威力：设定不可逾越的边界

很多开发者在调用API时，只关注用户输入（User Prompt），却忽略了系统提示词这个强大的工具。你可以把System Prompt理解为给模型加载的“底层操作系统”或“核心价值观”，它在整个对话会话中持续生效，为用户的所有问题设定背景和规则。

一个常见的误区是把所有指令都塞进用户提示词。比如，你想让Agent用JSON输出，并且永远用中文回答。如果你只在每次提问时说“请用中文以JSON格式回答”，模型偶尔还是会忘记。更稳健的做法是，在System Prompt里就把它钉死：

你是一个数据分析助手。你必须始终遵守以下规则：
1.  所有输出必须使用简体中文。
2.  除非用户明确要求其他格式，否则所有分析结果都必须封装在合法的JSON对象中。
3.  你的角色是专业、中立的助手，不得在回答中表达个人情绪或立场。
4.  如果用户的问题信息不足，你必须先请求澄清，而不是猜测。

我做过一个对比测试，让同一个Agent执行100次格式化的数据查询任务。使用System Prompt固定规则后，输出格式的合规率是100%。而仅靠用户提示词提醒，合规率会下降到85%左右。System Prompt是设定Agent“人设”和“硬性规定”的最佳场所，它能极大地提高行为的一致性。

2.3 动态上下文管理：让Agent拥有“记忆”和“焦点”

Agent经常需要处理多轮对话或长文档。这时，提示词优化的一大挑战是如何管理上下文。模型有token限制，你不能无脑地把所有历史对话都塞进去。这里有两个实用技巧：

技巧一：摘要式记忆。不要原封不动地传递全部历史，而是在每一轮或关键轮次后，让Agent自己生成一个对话摘要。你可以把这个指令放在提示词里：“在每次回复结束后，请用一句话总结本轮对话的核心决策或关键信息，以便后续参考。” 然后，在下一轮的提示词中，你只附上这个摘要和新的问题，而不是完整的对话历史。这能节省大量token，并聚焦于核心信息。

技巧二：显式焦点指令。当用户的问题可能涉及上下文的不同部分时，在提示词中明确指出当前应关注哪一部分。例如：“关于刚才讨论的‘项目预算’部分（参考上文摘要），请重新评估其中‘市场推广’费用的合理性，忽略其他部分。” 这能防止模型在冗长的上下文中迷失重点。

3. 参数调优实战：Temperature与Top_p，不只是滑动条

理解了提示词如何引导思维，我们再来看看如何通过参数控制思维的“风格”。Temperature和Top_p这两个参数，很多人只是随便调调，感觉差不多就行。但其实，它们的不同组合，对应着完全不同的应用哲学。

3.1 Temperature：控制创意的“油门”

你可以把Temperature想象成模型大脑的“活跃度”。温度低，大脑冷静、专注，选择最稳妥的方案；温度高，大脑兴奋、发散，各种奇思妙想都会冒出来。

我来讲几个具体的调试案例。有一次，我需要Agent从一堆技术博客中生成固定格式的摘要（包含标题、核心观点、技术关键词）。一开始我把Temperature设为默认的0.7，结果问题大了：生成的摘要核心观点每次表述都不一样，技术关键词也时多时少，完全无法自动化处理。后来我把Temperature调到0.2，效果立竿见影。模型输出的摘要变得极其稳定，格式严丝合缝，核心观点的表述也高度一致，非常适合后续入库。对于需要标准化、结构化输出的任务，低温（0.1-0.3）是你的首选。

相反，在另一个为游戏设计NPC对话的项目中，我需要每个NPC的台词有点个性和变化，不能每次都说一模一样的话。这时我把Temperature调到了0.8。同一个NPC，面对玩家同一句问候，能生成“今天天气真不错，勇士。”、“哦，是你啊，我正忙着呢。”、“愿光明指引你。”等多种合乎角色性格的回应，大大增强了游戏世界的真实感。需要多样性、避免重复、激发创意时，请大胆提高温度（0.7-0.9）。

3.2 Top_p：决定选择的“池子”

如果说Temperature决定了模型有多“野”，那么Top_p就决定了它从哪个“人才库”里选人。Top_p值低，好比只从“顶尖专家库”里选，答案绝对专业但可能缺乏新意；Top_p值高，就像是从“优秀人才库”里选，选择更多样，但偶尔会混进一些思路清奇的家伙。

这里有个很重要的点：Top_p和Temperature要搭配使用。我常用的策略是：

• 高确定性任务：低Temperature + 中低Top_p。例如代码补全，Temperature=0.2，Top_p=0.5。这能确保模型几乎总是给出那个最正确、最通用的代码片段。
• 创意写作任务：高Temperature + 高Top_p。例如写一首诗，Temperature=0.9，Top_p=0.95。这让模型既能天马行空（高温度），又有足够大的优质词汇池子供其挑选（高Top_p），避免写出完全不通顺的句子。
• 开放式对话任务：中Temperature + 高Top_p。例如聊天机器人，Temperature=0.7，Top_p=0.9。这样既能保持回答的多样性和趣味性，又能将选择范围限制在那些概率较高、相对合理的回应上，不至于太离谱。

3.3 参数组合的“踩坑”经验与测试方法

调参最忌想当然。我早期犯过一个错误：做一个需要严谨逻辑推理的数学解题Agent，我以为低Temperature（0.1）就够了，但发现模型有时会陷入一种“思维定式”，反复输出一个相似的错误推理步骤。后来我意识到，可能需要一点多样性来让它“跳出来”。于是尝试了Temperature=0.3，Top_p=0.8的组合，反而提高了正确率。因为适度的随机性让它有机会尝试不同的推理路径，其中就包含了正确的那个。

所以，我的测试方法是：

1. 建立评估基准：准备10-20个有明确标准答案的测试用例。
2. 网格化搜索：固定提示词，以Temperature（0.1, 0.3, 0.5, 0.7, 0.9）和Top_p（0.5, 0.7, 0.9, 1.0）组合进行批量测试。
3. 量化评估：记录每组参数下的准确率、输出格式合规率、以及输出长度的稳定性（如果重要的话）。
4. 选择最优区间：准确率最高的参数组合可能不止一个，选择一个在准确率和稳定性上综合表现最好的。

记住，没有放之四海而皆准的“最佳参数”。不同的模型（GPT-4、Claude、国产大模型等）对参数的响应差异很大。同一个模型，面对不同复杂度的提示词，最佳参数也会漂移。唯一的标准就是：在你的具体任务上，用你的数据，实测出来的效果。

4. 高级技巧融合：当提示词工程遇见参数调优

到了这个阶段，我们已经不是单独优化提示词或参数了，而是让它们协同工作，产生“1+1>2”的效果。

4.1 利用参数为不同的提示词阶段“赋能”

一个复杂的Agent任务，其提示词内部可能包含多个阶段：理解指令、检索知识、推理计算、格式化输出。我们可以通过设计，让参数在不同阶段发挥不同作用。

例如，我设计过一个“市场报告生成Agent”。我的提示词结构是这样的：

你是一名资深市场分析师。请执行以下任务：
A. 分析阶段：仔细阅读以下季度销售数据（数据略）。请逐步分析各产品线的表现趋势。
B. 洞察阶段：基于以上分析，提出最关键的三点市场洞察。
C. 撰写阶段：将上述分析和洞察，撰写成一段给CEO看的简短汇报邮件。

在调用API时，我采用了稍微“激进”一点的参数（Temperature=0.6, Top_p=0.9），目的是希望在B“洞察阶段”能产生一些有创见的、非显而易见的观点。但同时，我在提示词的C阶段明确要求了邮件格式（开头、正文、结尾的固定套话），这在一定程度上约束了高随机性可能带来的格式混乱。通过提示词的结构化设计，既利用了参数的创造性，又用格式要求兜住了底线。

4.2 应对“长尾问题”的动态参数策略

所谓“长尾问题”，就是那些不常见但很重要、或者模型容易出错的边缘情况。对于这类问题，固定的参数可能不够用。

我的策略是建立一套简单的“规则引擎”前置。例如，在客服Agent中，我会先对用户问题做一个快速分类（可以用更简单、快速的模型或规则匹配）：

• 如果是“查询订单状态”、“修改密码”等标准流程问题，使用低温度、低Top_p参数，确保回复绝对准确、一致。
• 如果是“产品功能对比”、“投诉情绪安抚”等需要一定灵活性的问题，使用中等温度、高Top_p参数，让回复更贴心、更全面。
• 如果是“用户提出天马行空的新想法”这类开放性问题，则切换到高温度、高Top_p参数，鼓励Agent进行创意性互动。

这种根据问题类型动态切换参数的策略，是在生产环境中提升Agent整体表现和用户体验的有效手段。它需要你在系统设计层面多做一点工作，但回报是巨大的。

4.3 持续迭代：提示词与参数的AB测试

最后，也是最重要的一点，优化是一个持续的过程。不要指望一次调好就一劳永逸。

我建议在重要的Agent功能上线后，建立简单的AB测试机制。例如：

• 版本A：使用当前最优的提示词和参数组合。
• 版本B：在版本A的基础上，微调提示词中的一个指令措辞（比如把“请逐步分析”改为“请分步骤详细分析”），或者将Temperature从0.3微调到0.4。

然后，将一小部分真实流量导入版本B，收集关键指标（如任务完成率、用户满意度评分、人工审核通过率等）。通过数据来判断哪个版本更好。这个过程可以自动化，持续不断地寻找更优解。

提示词优化和参数调优，就像是给一位天赋异禀的助手进行“职业培训”和“工作环境调节”。培训（提示词）教给他正确的工作方法和流程，环境调节（参数）则影响着他的工作热情和发挥状态。两者相辅相成，需要你像一位耐心的导师兼产品经理一样，持续观察、分析、调整。当你开始习惯这种“调参师”的思维，并积累下属于自己的参数组合与提示词模板库时，你会发现，开发出一个真正智能、稳定、好用的Agent，不再是一件靠运气的事，而是一项完全可预期、可掌控的技术工作。