AI Agent 即将实现全天自主工作 | Anthropic 顶尖研究员万字对话实录

人机与认知实验室

127人浏览 · 2025-10-24 20:43:01

人机与认知实验室 · 2025-10-24 20:43:01 发布

10月23日，Anthropic 关键研究员、前 DeepMind 传奇项目 AlphaGo Zero 和 MuZero 的核心贡献者 Julian Schrittwieser 接受了海外播客The Mad的访谈。

本次对话深入探讨了 AI 发展轨迹的“指数级”本质、对 2026 年和 2027 年 AI 能力进行预测、强化学习与 AI Agents 的最新进展，AI 是否会带来“突变”式奇点、当前技术范式（预训练+强化学习）的潜力，以及 AI 在科学发现和未来工作中的角色等话题。

Julian Schrittwieser 指出，关于“AI泡沫”的讨论与前沿实验室的真实进展完全脱节。可能存在一种“分化”：更广泛的生态系统确实存在泡沫，但与此同时，前沿实验室（如 Anthropic, OpenAI, Google）的发展和收入极其稳固。

Julian指出，AI 正以每3-4个月将“独立任务长度”翻倍的速度发展，他预测到2026-2027年，AI Agent 将能全天自主工作。此外，AI 已在发现新颖科学，大模型在2027年或将具备“独自”获诺奖的能力。

Julian 认为 AI 带来的将是平稳的生产力提升。AI 的进步会与科学探索（包括 AI 研究本身）难度日益增加的趋势相抵消，因此不太可能出现突然的“10倍性能”飞跃。

针对“未来模型是否会完全从头用强化学习训练”的争论，Julian 明确表示“不太可能”。他认为，利用海量数据进行预训练不仅是出于效率考虑，更是实现 AI 对齐和安全的宝贵途径，因为它隐式地创造了与人类价值观相似的 Agent。他指出，预训练（被动文本）无法教授“行动”和“自我纠错”，而 RL 正在“释放 AI Agent 的巨大潜能”，并建议开发者与其自研 RL，不如专注于设计好的工具和任务描述。

AI泡沫的讨论与实验室的进展完全脱节

几周前，你写了一篇引爆互联网的博客文章“再次，未能理解指数级”，你认为这么多人对 AI 当前的发展轨迹究竟错过了什么？

Julian Schrittwieser: 你提到那篇博客文章很有趣。我真的没想到它会那么火。实际上，这个想法是我几周前在吉尔吉斯斯坦度假时，在一次漫长的车程中产生的。我开始思考这个问题，以及我在 X 上看到的各种关于 AI 泡沫的讨论。这些讨论似乎与前沿实验室里正在发生的事情以及我们所看到的完全脱节。

这让我开始思考：是不是因为事情发展得太快，导致人们很难去外推和直观理解？也许现在感觉还很遥远，但它每隔几个月就翻一番，这意味着一旦它接近我们，它就会迅速超越并变得非常出色。

如果你查看我们手头的许多基准和评估，会发现在过去很多年里，我们都看到了非常一致的进步。例如，每隔三四个月，模型就能独立完成一个比以前长两倍的任务。由此我们可以推断，一年后，也许两年后，顶级的模型将能够完全自主地工作一整天甚至更长时间。

经济中存在大量基于知识的工作和任务；同时，前沿实验室的进展丝毫没有放缓。将这些因素结合起来看，仅仅在半年或一年的短时间内进行外推，就足以预见到即将发生的巨大经济影响。这意味着，如果你看看 OpenAI、Anthropic、Google 目前的估值和收入数字，这些数字实际上是相当保守的。

我最近还有一些更深入的思考，情况可能实际上更有趣也更复杂：虽然那些前沿实验室和前沿模型显然能力极强，并处在一个迅猛的发展轨道上，但还有许多其他公司试图挤入同一个 AI 赛道。它们可能也有很高的估值，但未必有相应的收入来支撑。因此，有可能在更广泛的生态系统中确实存在某种泡沫，而与此同时，前沿实验室却处在非常稳固的轨道上，拥有大量收入，赚取丰厚利润。

这可能是一种非常不寻常的情况。在过去，比如互联网泡沫时期，或者人们谈论的“铁路热”之类的，我们并没有看到这种分化。我一直在深入思考这个问题，而且我认为情况正变得越来越有趣。

2026-2027年预测与趋势

你提到了对 2026 年和 2027 年的一些预测或外推，能详细展开说说吗？你提了三个具体节点：2026年中 agents 可以全天自主工作，2026年底模型在许多职业中能匹敌行业专家，到 2027 年模型在许多任务上经常超越专家。你还提到了 OpenAI 的 GDP-Val 指标。一个显而易见的问题是，GDP-Val 和 MTR 这样的基准都是精心设计的，一旦加入了合规性、责任、混乱的数据和工具摩擦等现实因素，它们还能在多大程度上预测实际的生产价值？另外，有没有什么信号，无论是真实世界的采用情况还是基准表现，会让你对这种指数级趋势更加谨慎？

Julian Schrittwieser: 也许称之为我的预测有点言过其实了。我只是说，如果你去看 MTR 或 Eval 这样的基准，然后非常简单地进行线性拟合外推，那就是你预期会发生的事情。所以我要谦虚一点：大多数时候，我并不比统计模型更聪明，这些模型只是对过去非常一致的趋势进行统计外推。因此，尽管我可能了解所有关于研究和正在发生的事情，但我能做出的最有可能、最好的预测，实际上就是遵循那些数据和外推，看看它会带我们走向何方。在这种情况下，如果我们顺着这个趋势推演下去，再看看其他基准，我想明年我们可能会看到类似这样的情况：模型将能够独立完成一整天的工作任务。

如果你从软件的角度想，这可能意味着：“实现这整个功能，构建这整个应用程序的某个部分。”如果你从知识工作的角度想，也许是完成一份完整的研究报告，达到这种规模。我认为任务长度之所以特别有趣，是因为它决定了你可以将多少工作委托给大语言模型和 agents。即使你有一个非常聪明的模型，但如果它需要你非常频繁地提供反馈或进行互动，那么你能委托给它的工作就非常有限。你是需要每 10 分钟和它对话一次？还是拥有一个可以一次性工作数小时的系统？显然，在后一种情况下，你不仅能拥有它的一个实例，你还可以拥有一整个团队，你给它们分配任务并管理它们。所以我认为，模型足够聪明，agents 足够聪明，能够独立工作、纠正自身错误、进行迭代，这一点至关重要。因为这才是真正实现任务委托的关键。

(关于 GDP-Val 指标) GDP-Val 是 OpenAI 推出的一项非常酷的评估。他们从真正的领域专家那里收集了大量真实世界的任务，以确保它能真实代表你在经济活动中可能从事的工作。然后他们评估了许多模型在这些任务上的表现，并将它们与真实专家的表现进行比较，这为我们提供了一个非常好的参考，即：我们距离产生重大经济影响还有多近，或多远。总之，这是一项非常酷的评估。

(关于现实世界的“混乱性”) 现实世界的“混乱性”和“任务长度” (即你能够独立工作的时间) 这两者是非常相似或高度相关的。因此 MTR 试图衡量模型能自主运行多久是很有趣的。因为如果你想设计一个需要人类花费 8 小时或 16 小时的任务，你将不得不把所有这些混乱性和现实世界的复杂因素都包含进去，否则你甚至无法进行测量。

但最终要走得更远，我们真正需要的是来自实际用户的基准和评估，无论他们是来自行业还是个人用户。因为这才是最终重要的：这个模型对你有用吗？你从中获益了吗？它是否处理了你的文书工作？是否帮你写了东西？修复了你的代码？帮助你学习？这才是真正的试金石。如果你发布一个新模型，人们会开始更多地使用它吗？他们真的喜欢它吗？

(关于哪些信号会改变我的看法) 很多事情都会。很多这类信号只是内部的。我可能会看我们模型的预训练，看我们的微调，看我们强化学习方面的工作：新的运行批次和过去的相比表现如何？它们符合我们的预期吗？Scaling Law 是否仍在持续？

然后，我可能会看更多公开的信号：人们是否真的能够使用这些模型来提高生产力？例如，一开始总会有一段适应期：“你有了一个像 Claude Code 这样的新工具。”你需要花一些时间摸索如何使用它。但从中期和长期来看，人们是否在持续使用它？他们在使用过程中是否变得越来越高效？这是我关注的事情之一。信号有很多。

当你在做强化学习或做研究时，你会养成一种习惯，总是去寻找能证明自己错误的信号。因为你经常会产生一些自己难以割舍的想法，但这不是做研究的好方法。你的大多数想法都不怎么样，也行不通。所以你真的想尽快弄清楚这个想法是否可行，或者它是否根本就是错的。因此，你会真正养成这种习惯，去寻找能最快证明“不，这实际上是错的”的证据。

AI正处在发现新颖科学的过程中，2027年或具备获诺奖能力

到 2026-2027 年，AI 变得和人类一样出色。那么它能在多大程度上变得比人类更出色？近来围绕“第 37 手” (Move 37) 有一些讨论，关于 AI 是否能创造出“闻所未闻”的新路径。你能否提醒听众什么是“第 37 手”，以及你认为 AI 目前是否有能力提供这种思维？进一步推演，就有了创造新颖科学的概念。AlphaCode 和 AlphaTensor 已经证明了 AI 可以发现新算法，最近 Google DeepMind 和耶鲁大学在生物医学领域也取得了新发现。你认为这个进程在加速吗？AI 是否正处在发现新颖科学的过程中？我们距离 AI 赢得诺贝尔奖有多远？

Julian Schrittwieser: 我先介绍一下背景，“第 37 手”发生在我们构建 AlphaGo (一个围棋 AI 程序) 的时候。那是在 2016 年。我们当时在和一位世界顶尖的棋手对弈。因为在那个时代，还没有任何 AI 程序或计算机程序在围棋上击败过顶尖的人类棋手。围棋被认为是最困难的棋盘游戏之一，是对智力的真正考验。

“第 37 手”发生在五番棋比赛的第二局，当时 AlphaGo 下出了一步非常出乎意料、非传统的棋，震惊了许多职业围棋棋手。我记得解说员说那一步棋真的很有创造性，完全出乎意料。最终，AlphaGo 赢得了那场比赛。因此，对许多人来说，这是一个早期的信号，表明 AI 不仅仅是在纯粹地计算、遵循最优路径，它也能做出一些真正新颖和富有创造性的事情，这是你无法仅通过模仿其训练数据就预料到的。

这在当今的背景下也非常有意义。因为正如你提到的，现在有很多讨论：“大语言模型是不是只是在鹦G鹉学舌地复述训练数据？它们真的能创造新东西吗？”对我这个做了很长时间研究的人来说，很明显这些模型可以创造新颖的东西。这就是为什么它们对这么多人如此有用，无论是帮你写代码——很明显，你不是在写已有的代码，那没什么意思——还是帮你写论文。这些模型的训练方式，决定了它们实际上是在学习生成一个完整的概率分布，这意味着当我们从它们那里采样时，我们可以生成无限多的新颖序列。

至于像“第 37 手”那样的问题，这真的归结为：它所创造的东西是否足够有创意、足够令人震撼，以至于我们能轻易地识别出来？

在围棋这个场景下，条件非常理想，因为它非常纯粹、非常抽象。每一步棋的影响力都很大，所以你可以看得很清楚。要为我们当代的模型找到类似的“第 37 手”，你需要一个足够困难和有趣的任务，还需要一个既能创造出足够多样化和有创意的想法，又能准确评估这些想法有多好的模型。这样，它才能沿着日益新颖的路径前进，同时确保这条新路径确实是有趣和有用的。用语言模型创造新颖的东西其实非常容易，困难的部分是创造出那些既新颖又有用、有趣的东西。

(关于新颖科学的发现) 我们绝对处在 AI 正在发现新颖事物的阶段，我们只是在不断提升它能独立发现的事物的“级别”，让这些发现变得越来越令人印象深刻、越来越有趣。因此，极有可能在明年的某个时候，我们将会看到一些 AI 的发现，届时人们会相当一致地认为“这极其令人震撼”。目前我们更多地处在“它想出了点东西，但大家对此还有争议”的阶段。但我并不担心，因为我看到这个过程在持续，一旦它变得足够清晰明了，就不太需要争论了。

(关于AI赢得诺贝尔奖) 这是一个非常有趣的问题。因为我们已经有了一个授予 AI (AlphaFold) 的诺贝尔奖。因此，下一个非常有趣的时间点将是：AI 什么时候能独自取得一个突破，这个突破是如此重大，以至于它本身能赢得诺贝尔奖？我猜测达到那种级别的能力可能是在 2027 年。不过，考虑到奖项授予的延迟，我们可能在之后相当长一段时间内都不会知道结果。但我认为到 2027-2028 年，模型极有可能已经足够聪明、能力足够强，能够真正拥有那种水平的洞察力和发现能力。

这不仅仅是诺贝尔奖，还包括像数学界的菲尔兹奖以及所有这类进步。这实际上才是我真正兴奋的地方：AI 能帮助我们推动科学进步，真正解开宇宙的所有奥秘，并帮助我们提升生活水平、增强自身能力——如果我们能更好地理解这个世界，这一切都是可能实现的。

发生真正的非连续性是极不可能的

“AI 2027”这个话题讨论的是 AI 能创造 AI 研究人员，导致一个“突变时刻”。作为一个深入该领域的人，这对你来说是短期内可能发生的事情吗？还是存在制衡力量，使得这条通往“突变”的道路在接近时反而变得更困难？另外，您认为当前“预训练 + 强化学习”的研发范式，能带我们抵达期望的终点（无论是否称之为 AGI）吗？还是我们根本上需要一种完全不同的新架构？

Julian Schrittwieser: 我认为发生真正的非连续性是极不可能的。显而易见，AI 研究人员已经在利用 AI 加速自身的研究进程。因此，一个正在发生并且很可能持续的趋势是，我们看到生产力在平稳提升。接下来的主要悬而未决的问题是，随着 AI 的进步，提升 AI 本身的难度会如何变化？因为在许多科学领域，一个非常普遍的现象是，我们总是先解决所有简单的问题，而随着我们不断深入探索该领域，取得新的进展会变得越来越困难。

所以在我看来，主要问题在于这两种趋势能否相互抵消？一方面 AI 使我们的生产力日益提高，另一方面取得进展的难度也越来越大，我们能否因此正好保持现有的发展趋势，继续保持大致线性的增长？还是说，难度增长得太快，最终在一段时间后，我们仍然会看到发展速度放缓？

但在我看来，我们的生产力提高到足以让我们真正实现加速，似乎是不太可能的。这在任何其他科学领域都极为罕见。在许多科学领域，常态是我们需要以指数级增加研究投入，才能勉强维持进步并获得新的见解。例如，在药理学领域，发现新药的成本如今已高达数十亿美元，而大约 100 年前，一位科学家可能仅凭偶然就发现了第一种抗生素。

我们并不会因为进展的突然飞跃而感到惊讶，比如“哦，我们只是在做研究，突然间我们的模型性能就提升了 10 倍。” 相反，我们会看到一些预兆，比如“哦，我们每周取得进展的速度都在加快。我们能察觉到有些事情正在发生。如果我们不理解到底发生了什么，也许我们会决定暂停。”

(关于当前范式能否抵达终点) 我认为这是个非常好的问题，而答案在很大程度上取决于您所说的“期望的终点”到底是什么？如果您想的是：“我们想要一种系统，在生产力方面，能够在我们关心的几乎所有任务上都达到大致与人类相当的水平，” 那么我认为，当前的方法——预训练、强化学习、Transformers，极有可能帮助我们实现这一目标。

但如果您关心的是：“我们想要一个像我们人类一样具有意识的智能模型，” 或者是更多此类抽象特质，那么我认为这可能就更不确定了。而且我认为，许多困惑和分歧正是源于此处。正如您提到的 AGI、ASI，当人们在谈论“哦，当前的范式能实现目标”或“实现不了目标”时，他们谈论的其实是截然不同的事物，脑海中想的也是截然不同的概念。我通常倾向于不使用 AGI 或 ASI 这样的术语，而是非常具体地讨论：我们正在解决什么问题？我们正在执行什么任务？我们感兴趣的是哪种品质？因为我发现这样做往往能让实际的分歧点变得更加清晰。

但如果您只是从这个角度思考：“这能帮助我们极大地提高生产力吗？这能极大地加速科学进步吗？” 那么我坚信，当前的方法绝对能实现目标。

放弃预训练不仅效率低，更有安全隐患

鉴于您在强化学习 (RL) 领域的深厚造诣，我想问一个时下最热门的问题：您认为未来的模型会完全从头开始用强化学习训练吗？在强化学习之外再加入预训练，这是否反而是错误的做法？

Julian Schrittwieser: 我个人认为这不太可能。倒不是因为预训练是绝对必要的。我认为我们完全有能力像在其他领域那样，从头开始训练某个东西。更关键的原因在于，利用我们现有的海量数据集进行预训练能带来巨大的价值，从实用角度来看，我们没理由放弃它。因此，我们或许会出于科学兴趣去训练一些从头开始的 AI Agent。例如，探索一下非人类智能可能是什么样子，这会非常有趣。

但从工程应用的角度来看，我坚信我们会继续使用预训练数据。这不仅是出于效率考虑，我认为这里面还有值得注意的安全角度。因为通过在所有这些人类知识上进行预训练，我们实际上是在隐式地创造一个与我们拥有相似价值观的 AI Agent。我认为这对于对齐 (aligning) 一个高度智能的 AI Agent 来说是极其宝贵的。如果它从一开始就关心与我们大致相同的价值观体系，那么（对齐）工作会比面对一个可能拥有完全不同价值观的、任意的“外星智能”要容易得多。尽管我过去做过很多从头开始的强化学习研究，但我在这方面通常还是非常务实的。

DeepMind AlphaGo到MuZero

请给我们讲讲 AlphaGo、AlphaGo Zero、AlphaZero 和 MuZero 的故事。它们分别是什么？这似乎是 AI 领域的基础知识，尤其是它们之间的演进脉络。从 AlphaGo 的诞生开始，它具体做了什么？如何训练的？后续版本如何演进？“搜索”在这里具体指什么？AlphaGo 用了什么数据？你们当时有预感 AlphaGo 会完胜 Lee Sedol 吗？AlphaGo Zero 有何不同？你们给它输入规则了吗？AlphaZero 呢？然后是 MuZero，作为主要作者，它的不同之处又在哪里？

Julian Schrittwieser: AlphaGo，我想在那个时间点，围棋在机器学习社区是一个非常重大的目标，所有人都觉得：“这是一个尚未被攻克的巨大挑战。ImageNet 的突破刚发生不久，很明显，深度模型已经开始在图像处理上有所作为，能够识别和预测图像了。” 而如果你用正确的视角观察围棋棋盘，它看起来非常像一张等待分类的图像。

所以，当时有很强的势头要用神经网络来下围棋。那时，DeepMind 的 David Silver 和 Aja Huang 已经在研究围棋了。他们两人研究围棋都有相当长一段时间了，也发表过一些非常有趣的论文。就在那时，将蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS) 与深度网络相结合的想法应运而生。这个想法就是训练一个深度神经网络来预测对手可能会走哪些棋步以及当前局势是赢是输，然后利用树搜索来制定一个庞大的推演计划，涵盖游戏中所有可能的走向：如果你选择某一步棋，局势会如何发展？对手会如何应对？

(关于“搜索”的定义) 这和你下象棋或任何棋盘游戏时的思考过程完全一样。它就是在思考：“我下一步要走哪里？我的对手会如何回应？” 然后基于此推演未来多种可能的棋步，并勾画出未来所有可能的发展路径。

(关于 AlphaGo 的训练数据) 如果我没记错的话，AlphaGo 的初始训练阶段用的是一些人类业余棋局数据。基本上就是，当人类下了很多盘围棋后，我们尝试在棋局的每一回合预测他们实际下了哪一步。事实证明，如果你训练一个深度网络来做这件事，你可以得到一个相当不错的模型，能达到业余围棋水平，但还不足以真正击败顶尖的职业棋手。

(关于是否预感会赢) 我们当时觉得胜算很大，但心里也非常紧张：“我们到底会赢还是会输？” 我们事先还打了赌，猜“我们会赢几局还是输几局？”

我认为，把比赛安排在我们实际比赛的那个时间点，是相当激进的。如果我们想更稳妥一点，也许会推迟几个月。而且我认为，如果我们提前几个月比赛，我们很可能会输。所以，那真是一场胜负难料的对决。当然，我猜这也让比赛对我们来说更加刺激，因为这真的意味着每一局都扣人心弦：“哦，会发生什么？我们会赢吗？我们会不会走一步臭棋？到底会怎样？” 所以那个过程非常激动人心。

(关于 AlphaGo Zero) AlphaGo 和 AlphaGo Zero 之间的主要变化是，我们移除了所有的人类围棋知识。我们不再从模仿人类围棋棋局开始，而是让它完全从头开始训练，只与自己对弈，并在此过程中基本上重新发现了所有的围棋知识，完全自主地弄明白了围棋该怎么下。

我们没有把游戏规则本身输入给网络，但我们用游戏规则来判定结果。基本上就是，它下棋，然后我们告诉它：“谁赢了，谁输了，” 或者 “你不能这么走。”

(关于 AlphaZero) AlphaZero 的想法是，很显然，围棋是一种非常优美的游戏，但我们的最终目标是做一些更通用的事情。所以，我们能否移除所有围棋特定的元素，并验证该算法确实能解决更多问题？我们当时的做法是，尝试用同一个算法、同一个网络结构，仅仅通过在不同游戏中运行，去解决国际象棋、围棋和日本象棋。同时，我们还让算法变得更简单、更优雅、运行更快。所以，那项工作基本上是为未来将算法应用于解决实际问题奠定了基础。

(关于 MuZero) 我开发 MuZero 的主要动机是，当你想解决许多真实世界任务时，你根本无法完美地模拟即将发生的情况。在棋盘游戏里，很明显，你走一步棋，你就知道会发生什么——棋子会移动到那里，会吃掉一个子，诸如此类。但如果你真的想解决像机器人任务或任何更复杂的问题时，你不可能准确地模拟出将会发生什么。

而且，我们人类也不是这样靠完美模拟做决策的。我们只是在脑海中想象：“如果我这么说，他大概会那样回应。” 这就意味着，AlphaZero 原有的形态无法应用于这类问题，因为它需要一个模拟器来模拟游戏、评估结果。而 MuZero 的想法是：“好吧，我们已经有了一个深度神经网络。这些网络可以学习很多东西。那么为什么不教它去预测环境的未来，预测世界的未来呢？为什么不让模型自己学会预测它在采取每一步行动后将会发生什么？”

(关于从游戏到编程和数学) 你还把这项研究应用到了编程和数学领域，也就是 AlphaCode 和 AlphaTensor。从游戏中的强化学习，再到编程，再到数学，经历了这样的演进。关于搜索和学习的泛化能力，您学到了哪些在当今的 AI Agent 系统中仍然至关重要的东西？

游戏是一个非常理想的沙盒，它让我们能非常迅速地学到大量关于强化学习科学的知识。比如，哪些算法效果好，我们会遇到哪些典型问题，甚至从技术角度看，我们如何构建一个跨越多个数据中心、使用数万台机器的学习系统？因为游戏是极其“干净”的沙盒，是定义清晰的环境，所以我们可以做很多高质量的实验。

而现在，我们拥有了更通用的模型——语言模型几乎可以执行任何任务，但它们也更复杂，用它们做实验的速度要慢得多——此时我们就可以应用从游戏中获得的同样经验了，比如：“我们知道如何构建一个真正稳健的强化学习基础设施。” 那么现在我们就可以为语言模型构建一套相同的基础设施。再比如：“我们知道如果采用这种强化学习方式，模型就会学会利用奖励机制的漏洞。” 于是我们就可以将同样的经验和缓解技术应用到语言模型上。

强化学习正在释放AI Agent的巨大潜能

MuZero 有一个学习到的世界模型，现代的大语言模型 AI Agent 是否有类似机制？它们是否拥有某种内部世界模型？预训练和强化学习 (RL) 的结合是否因为预训练提供了这种隐式世界模型？为什么花了这么长时间才将两者结合？扩展 RL 的计算密集度有多高，它是否存在 Scaling Law？在奖励和训练数据方面，目前最新的理念是什么？质量、数量和时效性哪个更重要？RL 和 AI Agent 的交集是什么？如果我是一个开发者，我需要自己做 RL 吗？要实现 AI Agent 的宏大梦想，目前还缺失什么？

Julian Schrittwieser: (关于LLM的隐式世界模型) 我认为是有的。我会说语言模型拥有一个并非显式的，但确实是隐式的世界模型。因为模型要能预测出“这个句子下一个最可能的词是什么”以及“这一段接下来会如何发展”，它就必须在内部建模分析：究竟是怎样的世界状态，才会让这个人说出这样的话。

所以，这其实和 MuZero 有点像，MuZero 拥有的也只是一个隐式的世界模型。它从来不会被训练去预测“如果你执行某个动作，屏幕实际上会显示什么”。它也只是被训练去隐式地预测：“如果我执行这个动作，我下一步该怎么做？”或者“这个动作对我有利还是有弊？”。因此，在这两种情况下，你的模型中都有一个对世界的隐式表征，你可以用它来做预测，但你并不是在真正地重建世界的完整状态。因为重建完整的世界状态，成本可能极其高昂且异常复杂。想象一下超高分辨率的视频和音频信号，那是极其庞大的数据量，而你很可能并不真的需要所有这些信息。

想想我们人类的注意力。我们始终只能意识到周遭正在发生的极小一部分事情，因为那才是我们做决策时真正需要的最相关信息。

(关于预训练的世界模型与风险) 关于这场争论，不同的人有不同的看法，所以我不想代表任何人发言。但是，没错，在这些丰富的知识上进行预训练，确实能让你对世界建立某种表征。这样，当你真正开始行动、与世界互动时，你就能非常迅速地做出有意义的决策和行动。

我喜欢用一个类比来思考：你观察很多动物，比如大草原上的瞪羚，它们一出生就很快知道怎么移动，甚至怎么奔跑。这显然不是它们从头学来的，毕竟它们出生才几分钟或几小时。它们虽然没有经历预训练，但它们的大脑中拥有某种进化编码的结构。因为很显然，掌握某种先验知识对于提升学习效率是极其有益的。

我认为主要的挑战，或者说你需要警惕的是，不要过度编码，也不要过多地限制你的搜索空间。如果你的预训练或先验知识，反而阻碍了你去探索某条可能是正确的行动路线，那情况就很糟了。所以这里面存在一些你必须意识到的风险。

(关于为何现在才融合预训练和RL) 把语言模型扩展到我们今天所见的这种巨大规模，这件事本身就耗费了巨大的努力。而且从科学和工程的角度来看，预训练和监督训练更加稳定，也更容易调试，因为它没有反馈循环。你基本是面对一个固定的目标，然后你努力学习去拟合这个目标。这样你就可以专注于：我的训练是否有效？我的基础设施是否在正常工作？只要系统不崩溃，它就能扩展。

相比之下，在 RL 中，你有一个反馈循环：“我学习到一些东西，然后用它来生成新的训练数据，我再从这些新数据中学习。”在这种情况下，一旦出了问题，你很难搞清楚问题到底出在循环的哪个环节。也许是你的训练更新出了问题，导致模型行为突然变差了；又或许是你选择动作的方式 (即你的行为策略) 不正确，导致你生成了糟糕的训练数据，进而搞砸了整个系统。

所以，要让 RL 系统正确运转起来，复杂度要高得多。因此，我认为一个合理的路径是：首先大规模扩展预训练和架构，找到一些效果相当不错的方案——尤其是当你已经能通过一些微调或提示取得很大进展时。然后，当你明确了这些模型确实具有通用性、确实非常有用，并且系统已经处于非常稳定的状态时，你再去大力投入 RL，推动模型能力更上一层楼。即使在我们自己的工作中，比如 AlphaGo 和 AlphaZero，我们也总是遵循类似的分离策略：我们首先使用固定的监督数据来设置网络架构和训练流程。只有当这一步工作得非常可靠之后，我们才会去执行完整的 RL 循环和全面训练。因为如果你试图同时调试所有东西，那简直是注定要失败。能够隔离组件是非常有用的，你可以说：“我这边有已知有效的数据，那边有已知明确的目标。如果中间环节出了问题，我就能把它单独拎出来排查。”这样我们就能隔离排查系统的所有部分。

(关于RL的Scaling Law) 关于这方面公开发表的文献还比较少。但我认为，纵观 RL 的所有文献，我们发现在计算投入的回报上，预训练和 RL 非常相似。我们可以在 RL 上投入指数级增长的算力，并持续获得收益。未来会有一些有趣的研究来搞清楚预训练算力和 RL 算力之间的权衡。比如，对于一个大模型，这两者的算力分配应该是怎样的？50/50？还是 1:10？如果是 1:10，又是哪边占 1 哪边占 10？我认为这些问题都将非常有趣。但到目前为止，我们确实看到两者都有很好的回报。

(关于奖励机制) 我个人在奖励建模方面做的工作不多。我主要研究推理、规划和搜索时计算，这些都是旨在通过投入更多计算来让模型变得更智能的方法。至于奖励，我认为强化学习过程本身其实并不关心奖励来自何处。我们的算法很乐于使用任何来源的奖励，无论它是来自人类的反馈信号，还是来自游戏输赢、测试通过与否的自动信号，或者是更多由模型生成的信号。例如，在 Anthropic，我们有一篇关于宪法 AI (Constitutional AI) 的论文，就是让模型自己来评估 (输出) 是否遵循了某些准则。所以，系统在遵循何种奖励信号方面可以非常灵活。

我认为我们正目睹着奖励机制和环境设置的巨大融合，而且人们正在非常努力地探索什么是最佳的奖励来源，以及我们该如何扩展它、如何获得更多、更可靠的奖励。这将是推动 RL 进一步规模化的关键要素之一。

(关于RL的训练数据) RL 的一大妙处在于，数据是由模型自身生成的。所以，我们的模型变得越智能，我们就能生成越优质的 RL 数据；模型能解决的任务越有趣、越复杂，我们就能获得越多可用于训练的数据。因为任务越复杂，解决它所需的时间就越长，这个过程本身就会生成更多可用于训练的数据。

我觉得挑战之一在于，要找到那些真正能代表用户实际需求的任务。因为现在的大语言模型太通用了，人们用它们来做各种各样的事情，这就带来一个日益严峻的挑战：我们必须在 RL 训练中尽可能多地覆盖这些应用场景，以确保模型真的能胜任如此多样化的任务。

(关于数据质量vs数量) 我认为这是个非常有趣的问题，也许目前还没有非常明确的答案，或者说这方面还有很多有价值的研究有待完成。我们看到有论文支持不同论点，也看到了不同因素带来的好处。很明显，在预训练中，随着数据规模的扩大，模型性能可以持续提升。但我们也看到了一些非常有趣的微调结果，有论文表明，仅用极少量的样本，你就能教会模型掌握一项有用的技能。我认为我们目前还没有很好的 Scaling Law 来揭示这种权衡关系，特别是因为“数据质量”这个东西很难衡量。比如，你怎么评判这个样本比那个样本质量高？如果无法衡量这一点，就很难以任何方式来量化这种权衡。

不过，直觉上来说，如果你用的是糟糕的数据，RL 的效果肯定好不了。而如果你有非常高质量的数据，训练过程就会变得稳定得多。例如，在 AlphaZero 时代这一点就非常清晰。AlphaZero 会投入大量计算，进行大量的规划和搜索，来决定下一步棋怎么走。这个过程本身就生成了质量极高的数据用于训练，从而使得 RL 训练过程极其稳定。因此，你可以跨大洲 (分布式) 运行它，花很长时间去生成数据，然后再用这些数据来训练，整个系统非常鲁棒。

相比之下，在当下语言模型的 RL 训练中，模型本身的能力水平与它所生成的 (用于训练的) 数据质量之间的差距并没有那么大，因为我们更倾向于直接从模型采样，然后用这些采样来训练它。这导致了强化学习过程不那么稳定。因此，要扩展 RL 并使其更稳定，一个方向就是改进这一点。例如，通过让你的语言模型进行更多推理，来生成质量高得多的训练数据，这反过来能让我们的训练过程更加稳定，从而也更容易规模化。

(关于RL与Agents的交集) 我想，我们也许应该先明确一下，和通用的大语言模型相比，我们所说的“AI Agent”究竟指什么？

我想，为了便于讨论，我们姑且把 AI Agent 定义为一个能够自主行动的 AI。比如它可以在电脑上执行某些操作，保存文件、编辑文件、发送邮件，诸如此类。它的主要特征是，它不必时刻与用户交互，它可以自己独立完成任务。

RL 对 AI Agent 之所以如此重要，原因其实要追溯到预训练。因为我们的预训练数据，其形态和 AI Agent 的行为相去甚远。你想想预训练数据里有什么？网站、书籍，各种各样的书面文本。这些文本蕴含了海量信息，但并不包含多少“行动”。它们并没有真正捕捉到人类是如何与世界互动的。因此，如果我们拿一个原始的预训练模型，它并不能成为一个好的 AI Agent。也许你可以通过提示引诱它朝某个方向走，但它不会擅长与环境互动，尤其不擅长纠正自己的错误，因为预训练数据里根本就没有任何关于“AI Agent 会如何失败”的案例。

而这恰恰是强化学习大显身手的地方。在 RL 中，我们可以让 AI Agent 去和环境互动，然后直接利用这些互动数据进行训练。举个例子，如果 AI Agent 做得好，我们就强化那些导向好结果的行动；如果它做得差，我们就把它推离那些导向坏结果的行动。如果 AI Agent 一开始搞砸了，但后来它设法“自救”成功了，我们同样可以强化这种“挽救错误”的行为。这一点至关重要，因为它让 AI Agent 真正有机会从它自身的行为分布中学习。这使得 AI Agent 变得更加鲁棒，因为它不再需要去泛化到那些它从未见过的情况。它现在可以直接在它试图解决的真实问题上进行学习。这就是为什么 RL 正在真正释放如此多 AI Agent 潜能的原因。

(关于开发者是否需要自己做RL) 我认为在今天，凭借 Anthropic 顶级的 Claude 模型或 OpenAI 顶级的 GPT 模型的能力，你作为应用开发者根本不需要做任何微调。你可以直接使用这些模型，编写你自己的工具和你自己的任务框架，就能从它们内置的 AI Agent 学习能力中获益。因为要做好 AI Agent 的微调其实非常困难。你自己微调的效果，很难超越你从我们这里拿到的顶级前沿模型。

但反过来说，设计好的工具，以及为你的任务找到一种好的表述方式，却能带来天壤之别。你向模型描述问题的方式，决定了任务的难易程度。所以，你在这方面是大有可为的。

(关于Agent还缺失什么) 我认为我们在整个领域都需要全方位的、基础性的改进。比如，让模型更善于纠正自己的错误；让模型能够长时间保持专注、不“分心”；让模型变得更智能；也许还要让模型速度更快。我们有一整套待办事项，我们清楚地知道这些方面都亟待改进。

并不存在某一个单一的障碍。因此，我们将看到模型在迭代发布中持续取得平稳的、渐进式的进展。鉴于我们已知还有很多事情可以做得更好、可以改进，我对模型最终的发展方向充满期待。AI 之所以成为一个如此有趣的领域，原因之一就在于：目前有太多显而易见的改进点，人们知道能在这些方面做得更好，但同时现有的模型又已经很出色了，这使得投身其中充满乐趣。这就好比：“我能修复这个问题，它会变得更棒。” 相反，如果你所处的领域所有问题都已解决，那么要弄清楚如何让它变得更好就很难了。那是完全不同的情况。

评估、安全与未来

我们来谈谈评估。你的博客文章提到了“古德哈特定律”。它是什么？实验室如何避免“排行榜作秀”？Anthropic 内部如何评估？关于机制可解释性，目前进展如何？RL 是让它变难了还是变容易了？最后，关于 AI 的影响，Anthropic 如何实践安全与对齐？对齐本质上是一个 RL 问题吗？AlphaGo 的经验是否能让我们预见 AI 对工作的影响？这会加剧不平等吗？

Julian Schrittwieser: (关于古德哈特定律) 古德哈特定律的核心观点是：任何一个被用作目标的衡量标准，都不再是一个好的衡量标准。人们可以凭直觉理解这一点：比如，如果开始根据程序员编写的代码行数支付报酬，那么他们很快就会发现各种方法来添加大量完全无用的注释行。这是一个普遍的效应，如果你给人们一个明确的激励目标去优化，他们自然会拼尽全力去达成。

我们在大语言模型基准上也看到了这种情况。人们希望获得晋升，希望发布自己的模型。因此，任何一个太容易衡量或备受关注的基准，都会被人们极力地针对性优化。这意味着模型在该基准上可能表现出色，但当用户把它用于自己的实际任务时，可能会得到截然不同的性能。

你问我们该如何应对？要阻止人们针对基准进行优化很困难。因此，一种可能性是周期性地创建全新的、之前没有人见过的留出基准 (held-out benchmarks)。这能让评估者对模型的性能有一个比较好的评估。例如，很多研究人员都有自己私有的测试用例，他们用这些问题来测试所有模型，正是出于这个原因——这是一组没人见过的问题，评估者很有把握能得到一个无偏的估计。对于正在决定使用哪个模型的个人开发者或公司而言，情况可能也类似。建立自己的内部基准，这个基准要能切实代表你所关心的问题，然后用它来进行衡量。这可能是最客观、最准确的衡量方式。

(关于内部评估) 大约五年前，我们做的那些任务，要做好评估比现在容易。那时衡量模型性能要简单一些。如今，情况变得困难很多，我们也尽量不过度依赖评估。例如，要衡量一个模型编写代码的能力究竟有多好，很困难。制造出优秀的评估——既要运行成本低廉、又要可靠且准确——这是本领域尚未解决的重大问题之一。因为要做出只满足其中一项的评估相对容易，但要三者兼得就很难了。例如，我们一开始谈到的 OpenAI 的 GDP-Val，它准确且无偏，但运行成本极其高昂。因为它实际需要邀请人类专家来执行任务，然后将模型的表现与专家的表现进行对比，并由多人进行评级。所以它很准确，但成本极高。

(关于可解释性与RL) 我之前的意思是，调试 RL 本身通常更困难，这和可解释性并无直接关系，只是因为它涉及的变量更多。但情况也确实如此：如果在运用 RL 时处理不当，是可能让可解释性变得更难。例如，现代模型普遍会使用思维链进行推理。人们可以查看思维链来了解模型的内部思考过程。这时人们可能会想：“也许我应该把这个思维链用作 RL 的奖励信号，如果模型想错了就惩罚它。” 但一旦这么做了，就彻底摧毁了可解释性这条路径。因此，必须非常小心，不能把那些人们本想用来解释模型思想或行为的信号，当作 RL 的目标来进行训练。

话虽如此，目前在可解释性领域，包括机制可解释性，正发生一些令人兴奋的进展。去年，在我加入 Anthropic 之前，出现了一个很酷的“Golden Gate Claude”模型。研究人员在 Claude 模型中找到了负责“金门”这个概念的神经元，然后修改了它们，创造出了一个“热衷于”旧金山金门大桥的 Claude 版本。这是一个生动的例子，表明“人们理解了模型内部发生了什么”。还有什么比实际改变模型的行为更能验证这种理解呢？

因此，这对安全而言是一个至关重要的方向。随着模型变得越来越智能，我们迫切需要能够理解：模型内部在想什么？它持有什么样的价值观？它在对我们撒谎吗？它是否在真正遵循指示？这一个需要投入和攻关的极为重要的领域。特别是如果有人对从事 AI 工作或 AI 研究感兴趣，可解释性是一个很好的切入领域。

(关于Anthropic的安全实践) 对安全和对齐的重视贯穿了 Anthropic 的所有工作。当我们训练模型或准备发布模型时，都有严格的流程：既要分析模型的能力，也要验证模型的对齐性，确保它不会自主做出有害行为，并确保它不会被恶意用户利用来做有害的事情。

严格到什么程度呢？如果我们对一个模型的安全性没有把握，我们就会推迟发布，直到我们有充分的把握确认它是无害的，否则我们绝不会上线或发布这个模型。这足以表明，大家对安全的重视远远超过了任何财务回报或收入。同时，在研究和资源投入方面，致力于安全和可解释性的团队也是公司的重点。这让我很有信心，我们是在关心这件事，并为此付出了很多努力。

(关于对齐是否是RL问题) 我们可以使用 RL 来塑造模型的行为，确保它在面对例如对抗性输入或不良输入时，能安全地应对，或者知道应该拒绝，并且对于试图进行提示词破解的行为具有鲁棒性。但我不会把对齐仅仅视为一个 RL 问题。它贯穿了整个技术栈。例如，人们可能需要以某种方式过滤预训练数据；在训练之后，可能需要用分类器来审视和监控模型的行为，确保它是对齐的；当为模型编写系统提示时，人们可能也会在其中加入安全指南。因此，安全与对齐这个问题，渗透在研究、产品和部署的每一个环节，它绝不局限于某一个特定部分。

(关于AI对工作的影响) 我们目前还没谈到的第一点是：人工智能 ——这听起来可能有点过于简单——但它与人类智能截然不同。这一点显而易见，模型在某些任务上 (比如计算) 比我们强得多，但在另一些任务上则比我们差得多。因此，我不认为这会是某种一对一的替代。它更多的是一种互补关系：模型擅长某些我可能不喜欢、不感兴趣或者不擅长的事情；而我在其他方面则比模型强得多。因此，这将是一个渐进的过程，我们所有人都会逐渐地、越来越多地开始使用模型来提高自己的生产力，而不是突然出现一个模型，能一对一地复制我们能做的所有事情。

举个例子，我一直使用 Claude 来帮我重构代码，或者写一些我不想写的前端代码。但与此同时，在编码的其他方面，我仍然比 Claude 强得多。因此，这里存在一种协同效应——发挥各自最好、最高效的技能。经济学家称之为比较优势。我们将经历一个漫长的过程，人类和 AI的生产力都会逐步提升。这个过程会给我们一些时间，去从政治和经济层面弄清楚，我们希望如何从这场生产力提升中获益。

即使不谈 AI，长久以来，技术给我们的承诺一直是：我们将变得非常高效、非常富有，以至于我们不再需要工作那么长时间。但不知为何，几十年来我们依然维持着每周 40 小时的工作制。因此，这更多的是一个政治和社会问题——我们如何才能从所有这些进步中获益，并将财富和生产力的增长带给每一个人。这在很大程度上不是一个技术问题。这也意味着我们无法单纯用技术来解决它。必须在民主和政治的层面上来解决——我们该如何分配这些收益？

(关于不平等与棋手) 至少在国际象棋和围棋领域，人们的兴趣反而更浓厚了，而且大家学习下棋也变得容易得多。因为现在人们不需要去找专家导师，任何人都可以在自己的设备上练习，花大量时间，国际象棋主播在 Twitch 上就非常受欢迎。同样，现在也有很多学生在用大语言模型来辅助学习。

编码领域也是如此。Claude Code 这类 AI Agent，它们确实提高了任何一个有想法的人凭一己之力所能达到的成就下限。至于宏观上它究竟是加剧还是减少了不平等，这很难预测。一方面，它提高了普通人能达到的水平下限；另一方面，它也让那些本就高效的人有机会变得更加高效。很可能我们会看到，不同的国家，根据其税收和社会再分配体系的不同，在不平等的增减上呈现出显著差异。但总的来说，令人兴奋的一点是，这本质上是一个非零和 (non-zero-sum) 游戏。它极大地增加了社会可用的总财富。

如果我们思考进步和繁荣，这才是最重要的事情。仅仅是重新分配蛋糕，是一种消极的做法。要想变得更富裕，必须把蛋糕做大。回想农业革命和工业革命，我们今天能过上更好的生活，根本原因在于生产力极大地提高了，我们拥有了多得多的财富。这才是我们希望解锁的关键一步。

如果我们能让社会上每个人的生产力都提高 10 倍，我们将能实现怎样的富足？这才是关键问题。这能在医学上解锁怎样的进步？比如治愈疾病、延缓衰老。这能在能源领域解锁什么？我们正面临气候危机，需要更多能源来维持现有的生活方式。人们能在材料科学上取得什么突破？所有这些进步，其瓶颈都在于人们能调用多少智能以及如何应用这些智能。因此，我对我们未来五年所能解锁的成就感到非常乐观。我们可以走得非常远。

| 文章来源：数字开物