提升Agent系统与AI推理性能

计算扩展与为训练和运行AI模型提供更多资源，如处理能力和内存有关。简而言之，训练时间计算扩展适用于预训练，模型学习一般模式，以及后训练，其中基模型经过额外的训练，如强化学习（RL）或监督微调（SFT）以学习更具体的额外行为。相比之下，测试时间计算扩展在推理时应用，即在做出预测时，为模型提供更多计算能力，通过探索多种潜在解决方案来“思考”，在生成最终答案之前。重要的是要理解，测试时间计算扩展和训练后

再不会python就不礼貌了

938人浏览 · 2025-02-05 11:39:51

再不会python就不礼貌了 · 2025-02-05 11:39:51 发布

引言

在过去的一年里，生成式AI的采用和AI代理的开发飞速增长。LangChain的报告显示，51%的受访者正在生产中使用AI代理，而德勤的报告预测，到2025年，至少25%使用生成式AI的公司将推出AI代理试点或概念验证。尽管AI代理框架的流行和增长，但任何构建这些系统的人很快就会遇到与大型语言模型（LLMs）合作的局限性，其中模型推理能力通常是首要问题。为了克服推理局限性，研究人员和开发者已经探索了各种不同的技术，从ReAct或思维链（CoT）等不同的提示方法，到构建具有单独代理的多代理系统，这些代理专门负责规划和评估，现在公司正在发布专门训练以改进模型内置推理过程的全新模型。

DeepSeek的R1和OpenAI的o1和o3的发布正在颠覆行业，它们提供的推理能力比传统的LLMs更强大。这些模型被训练在回答之前“思考”，并具有自包含的推理过程，允许它们将任务分解成更简单的步骤，对步骤进行迭代工作，在返回最终答案之前识别和纠正错误。这与早期模型如GPT-4o不同，GPT-4o要求用户通过提示模型逐步思考，并为模型创建循环以迭代地规划、工作并评估其在任务上的进度。在训练推理语言模型（RLM）如o1、o3和R1时，一个关键的区别在于对训练后和测试时计算扩展的关注。

在本文中，我们将介绍训练时间和测试时间计算扩展、训练后以及如何训练像DeepSeek的R1这样的RLM，以及RLM对AI代理开发的影响。

训练时间计算与测试时间计算

概述

重要的是要理解，测试时间计算扩展和训练后都可以帮助模型在产生最终响应之前“思考”，但这些方法以不同的方式实现。

虽然训练后涉及更新或创建一个新模型，但测试时间计算扩展可以在不改变模型本身的情况下，在推理时探索多种解决方案。这些方法可以一起使用；理论上，你可以将经过训练后以改善推理的模型，如DeepSeek-R1，通过在推理时通过测试时间计算扩展进行额外的搜索来进一步增强其推理能力。

训练时间计算：预训练与后训练
今天，大多数大型语言模型和基础模型都是在大量数据上预训练的，这些数据来自像Common Crawl这样的来源，它们广泛且多样化地代表了人类编写的文本。这个预训练阶段教会模型在给定上下文中预测下一个最有可能的词或标记。一旦预训练完成，大多数模型都会经历一种形式的有监督微调（SFT），以优化它们用于指令跟随或基于聊天的用例。有关这些训练过程的更多信息，请参阅我之前的一篇文章。

总的来说，这个训练过程非常消耗资源，需要很多次训练运行，每次的成本高达数百万美元，才能生产出Claude 3.5 Sonnet、GPT-4o、Llama 3.1–405B等模型。这些模型在各种基准测试中表现出色，涵盖了逻辑推理、数学、编码、阅读理解等多个主题。

然而，尽管它们在各种问题类型上表现出令人信服的性能，但要让典型的LLM在回答之前“思考”，需要用户进行大量的工程工作。从本质上讲，这些模型接收输入并返回输出作为它们的最终答案。你可以把它想象成模型根据预训练中学习到的信息或通过用户提示中的指令和信息在上下文中学习，一次性生成最佳猜测。这种行为是为什么Agent框架、思维链（CoT）提示和工具调用都受到青睐。这些模式允许人们围绕LLM构建系统，从而为LLM的应用开发提供更迭代、结构化和成功的流程。

最近，像DeepSeek-R1这样的模型已经偏离了典型的预训练和后训练模式，这些模式优化了模型以适应聊天或指令跟随。相反，DeepSeek-R1使用多阶段后训练管道来教会模型更具体的行为，比如如何生成思维链序列，这反过来又提高了模型“思考”和推理的整体能力。我们将在下一节中详细介绍这一点，以DeepSeek-R1的训练过程为例。

测试时间计算扩展：在推理时实现“思考”
测试时间计算扩展和后训练令人兴奋的地方在于，推理和迭代问题解决可以构建到模型本身或其推理管道中。而不是依赖开发者来指导整个推理和迭代过程，有机会让模型探索多个解决方案路径，反思其进度，对最佳解决方案路径进行排序，并在向用户发送响应之前，通常细化整体推理生命周期。

测试时间计算扩展与优化推理性能有关，并不涉及修改模型的参数。这意味着较小的模型，如Llama 3.2–8b，可以通过在推理时间花费更多时间“思考”和解决众多可能的解决方案，与更大的模型竞争。

一些常见的测试时间扩展策略包括自我完善，其中模型迭代地完善自己的输出，以及针对验证器进行搜索，其中生成多个可能的答案，验证器选择最佳路径继续前进。常见的针对验证器搜索策略包括：

N中最佳：为每个问题生成多个响应，每个答案都会评分，得分最高的答案获胜。
束搜索：通常使用过程奖励模型（PRM）来评分多步推理过程。这允许你首先生成多个解决方案路径（束），确定哪些路径是最好的继续搜索的，然后生成一组新的子路径并评估这些路径，直到找到解决方案。
多样性验证器树搜索（DVTS）与束搜索相关，但为每个初始路径（束）创建一个单独的树。然后，每个树都会扩展，树的分支会使用PRM进行评分。

确定哪种搜索策略最好仍然是研究活跃的领域，但在HuggingFace上有很多优秀的资源，这些资源提供了如何将这些搜索策略应用于您用例的示例。

训练推理语言模型（RLM）
2024年9月宣布的OpenAI的o1模型是首批旨在在回应用户之前“思考”的模型之一。虽然与GPT-4o等模型相比，从o1获得回应需要更长的时间，但o1的回应在更高级的任务中通常更好，因为它生成了一系列的思维序列，有助于它分解和解决问题。

与o1和o3一起工作需要与早期模型不同的提示工程风格，因为这些新的推理重点模型与它们的 predecessors 相比运作方式完全不同。例如，告诉o1或o3“逐步思考”将不如向GPT-4o给出同样的指令那么有价值。

鉴于OpenAI的o1和o3模型的闭源性质，我们无法确切知道模型是如何开发的；这正是DeepSeek-R1引起广泛关注的一个大原因。DeepSeek-R1是第一个演示出与OpenAI的o1相当的行为和性能的开源模型。这对开源社区来说是个奇迹，因为它意味着开发者可以根据自己的需求修改R1，如果计算能力允许，还可以复制R1的训练方法。

DeepSeek-R1训练过程：
DeepSeek-R1-Zero：首先，DeepSeek对其基础模型DeepSeek-V3进行了强化学习（RL）（训练后）。这产生了DeepSeek-R1-Zero，一个学会了如何推理、创建思维序列并展示了自我验证和反思等能力的模型。一个模型仅通过RL就能学会所有这些行为对整个AI行业来说意义重大。然而，尽管DeepSeek-R1-Zero的学习能力令人印象深刻，但该模型存在一些重大问题，如语言混合和可读性差。这导致团队探索其他途径来稳定模型性能并创建一个更适用于生产的模型。
DeepSeek-R1：创建DeepSeek-R1涉及一个多阶段的训练后管道，交替进行SFT和RL步骤。研究人员首先使用成千上万的示例CoT序列的冷启动数据在DeepSeek-V3上进行了SFT，目的是为RL创建一个更稳定的起点并克服DeepSeek-R1-Zero中发现的问题。其次，研究人员进行了RL，并包括奖励以促进语言一致性并增强在科学、编码和数学等任务上的推理。第三，再次进行SFT，这次包括非推理重点的训练示例，以帮助模型保留更多通用能力，如写作和角色扮演。最后，再次进行RL，以帮助改进与人类偏好的对齐。这产生了一个具有671B参数的高度强大的模型。
精炼的DeepSeek-R1模型：DeepSeek团队进一步证明，DeepSeek-R1的推理可以通过SFT（仅使用SFT，无需RL）蒸馏到开源的小型模型中。他们基于Qwen和Llama架构对从1.5B到70B参数范围的小型模型进行了微调，从而产生了一组更轻、更高效且推理能力更强的模型。这显著提高了开发者的可访问性，因为许多这些精炼模型可以在他们的设备上快速运行。
结论：改进推理模型对AI代理的影响
随着以推理为先导的模型和测试时间计算扩展技术的持续进步，与AI代理交互的系统设计、功能和用户体验将发生显著变化。

展望未来，我相信我们将看到更多精简的代理团队。我们不太可能看到有单独的代理和针对特定超用例的提示和工具，我们可能会看到单一代理管理整个工作流程的设计模式。这也可能改变用户需要提供给代理的背景信息量，如果代理更擅长探索各种不同的解决方案路径。

与代理的交互也将发生变化。如今，许多代理界面仍然是基于聊天的，用户期待几乎立即的回应。鉴于RLM的响应时间较长，我认为用户期望和体验将发生变化，我们将看到更多用户将任务委托给代理团队在后台执行的情况。这种执行时间可能需要几分钟或几小时，具体取决于任务的复杂性，但理想情况下将产生彻底且高度可追溯的输出。这可以使人们一次将许多任务委托给多个代理团队，并将时间专注于以人为中心的任务。

尽管推理重点模型的表现有前景，但许多模型仍然缺乏工具调用能力。OpenAI最近发布的o3-mini是第一个原生支持工具调用、结构化输出和开发者提示（系统提示的新版本）的推理重点模型。工具调用对代理至关重要，因为它允许它们与世界互动、收集信息并在我们代表下执行任务。然而，鉴于该领域的创新步伐如此之快，我预计我们很快将看到更多具有集成工具调用的RLM。