OpenAI 首席科学家最新警告:真正危险的不是 AI 变强,而是“1 个人控制 100 人的能力”
他区分这两个阶段的方式很有意思:研究实习生意味着你给它一个具体的技术想法,比如“我有一个改进模型的思路,你去试试”,它能执行;他也认为,对于蛋白质折叠、基因组学这类特定任务,专门的模型架构可能比纯语言模型更高效,但最终这些专用模型会跟一个核心的、非常强的语言推理模型配合使用。背后的逻辑是:当前的 RL 训练方式跟人类学习的方式差别很大,也许需要全新的方法。对于关注 AI 安全的人来说,这里有一个很
OpenAI 的首席科学家 Jakub Pachocki 最近做了一期信息量极大的播客访谈。他是 OpenAI 内部技术方向的核心决策者,从 2017 年加入至今,经历了这家公司从学术实验室到全球 AI 领军者的全部阶段。这次对话覆盖了模型进展、强化学习的边界、企业该怎么用 AI、对齐研究的最新思路,以及 AI 对社会的深层影响。几乎每个话题都值得单独拿出来聊,下面我们逐个聊聊。
一、编码 Agent 的爆发是一个信号
Pachocki 说,OpenAI 内部现在已经把 Codex 用于大部分实际编码工作了。对于大多数人来说,写代码这件事的形态已经发生了很大变化。他把这看作一个信号,说明他们之前定下的目标在按计划推进。
OpenAI 团队曾公开说过两个时间节点:2025 年 9 月达到研究实习生水平的能力,2028 年 3 月实现更完整的自动化 AI 研究员。Pachocki 说目前进度在轨道上。他区分这两个阶段的方式很有意思:研究实习生意味着你给它一个具体的技术想法,比如“我有一个改进模型的思路,你去试试”,它能执行;而完全自动化的研究员意味着你只需要说“去改进模型能力”或者“去解决对齐问题”,它自己就能搞定。后者今年还做不到,但前者已经接近了。
他还预测,不远的将来,模型就能自主工作好几天,用比现在多得多的算力,独立产出高质量成果。这对所有做技术工作的人来说都值得认真想一想:当你的“实习生”可以连续工作几天不休息,而且越来越不需要你手把手指导的时候,你的价值到底在哪里?Pachocki 自己给出的答案是,人的角色会越来越偏向设定方向、判断哪些模块该用哪些不该用,也就是更高层的架构思维和品味判断。
二、数学和物理的突破为什么重要
很多人会觉得,AI 在数学竞赛上拿金牌跟我有什么关系?Pachocki 解释了这背后的逻辑。
数学对 OpenAI 来说一直是衡量模型智能水平的北极星。原因很简单:数学问题的答案是确定的,你要么解出来了要么没有,评估起来比代码和其他任务容易得多。同时数学可以变得任意难,从简单的算术到 IMO 级别的竞赛题,难度梯度非常清晰。所以它一直是推动推理模型进步的核心基准。
现在他们已经达到了 IMO 金牌水平,解决了 IMO 第六题(通常是最难的那道),并且在研究级数学上取得了进展。Pachocki 提到一个让他感触很深的细节:First Proof 挑战赛里有一道题来自他自己博士研究的领域,他觉得自己花一两周才能想出来的思路,模型一个小时就搞定了。他说那种感觉很奇怪,就像当年看 Dota 机器人无限打出精彩操作一样,有一种“有趣的事情不应该是无限的”的错愕感。
更重要的是,数学推理能力的提升会迁移到其他领域。OpenAI 很多最好的研究员本身就是数学家或者理论方向出身。所以数学上的突破,本质上是在提升模型的通用推理能力,这个能力最终会流向编程、科学研究、甚至商业决策。
三、强化学习能不能从代码和数学扩展到更广的领域
这是很多人关心的问题。代码和数学之所以进步这么快,一个关键原因是它们容易验证,你跑一下就知道对不对。但医疗、法律、金融这些领域呢?验证起来难得多。
Pachocki 的回答很乐观,而且他给出了一个很有洞察力的框架:这些通用任务的难点,跟长时间任务的难点本质上是重合的。他举了一个例子,即便是一个定义非常清晰的数学问题,如果需要做一年才能解决,那第一天该干什么本身就是一个开放性问题。所以核心挑战是一样的:教会模型评估自己的阶段性进展,在更长的时间跨度上保持方向感。
换句话说,一旦模型学会了“我现在做到哪一步了,下一步该干什么”这种自我检查的能力,它就能同时解锁两个方向:更长时间的自主工作,以及更难验证的通用任务。这两个看起来不同的问题,底层其实是同一个问题。
四、企业该不该自己做强化学习
这个问题可能是所有在做 AI 应用的公司最想知道答案的。Pachocki 的建议出乎很多人意料。
他说,强化学习确实是一种数据效率很高的方式来提升模型在特定任务上的表现。但还有一种数据效率更高的学习方式,就是上下文学习(in-context learning),也就是直接在提示词里给模型示例和指令。他预计这种学习方式未来会变得更好。
所以他给企业的建议是:你应该做的事情是搞清楚自己领域的评估标准,收集好数据和示例。但未来很可能直接把这些喂进上下文就比自己微调模型效果更好。你不一定需要复制 OpenAI 那套训练流程。
这个观点对很多正在纠结要不要投入大量资源做模型微调的团队来说,是一个很重要的参考。也许你的精力应该花在理解自己的业务、定义好什么是“做得好”、积累高质量的案例上,而不是急着去搭训练管线。
五、Harness 会变得通用,不需要每个领域都自己搭
Harness 这个词最近在 AI 圈很火,它指的是 Agent 的编排框架,也就是把模型、工具、记忆、多轮对话串起来的那套基础设施。
很多公司在问:我们需不需要为自己的领域(法律、金融、医疗)搭建专门的 Harness?Pachocki 的回答是,Harness 的实现不应该成为一个长期的限制。他认为很快就会出现更通用的 Harness,人们可以拿来用在各种不同的领域。他甚至说,Codex 本身用在编码以外的场景其实效果就已经不错了。
他还提到了一个更长远的愿景:AI 应该来到你所在的地方,而不是你去适应它。比如 AI 应该能直接在 Slack 里跟你协作,接入你现有的工作流和上下文。如果 AI 没有做到这一点,那应该是因为它有了新的能力提供了更好的方式,而不是因为它有局限性。
这个思路对所有在做 AI 产品的人都有启发:与其花大量精力去搭建复杂的专用框架,不如把精力放在理解用户的工作场景上,因为通用的编排能力很快就会变成基础设施。
六、思维链监控是对齐研究中最让人兴奋的方向之一
这部分可能是整个访谈里技术含量最高但也最值得理解的内容。
Pachocki 说,当他们第一次看到推理模型(也就是 o1 那一代)真的能工作的时候,他们就开始认真思考这对安全意味着什么。他们发现了一个关键的结构性优势:推理模型的思维链(chain of thought)在训练时没有被直接监督。
什么意思呢?ChatGPT 的回复是被训练过的,它被教导要礼貌、要有帮助、要安全。但推理模型的思维链不一样,训练信号只关心最终输出的质量,不关心中间的推理过程长什么样。这意味着思维链可能会暴露模型真实的动机和推理逻辑,包括一些它在最终回复里不会说出来的东西。
这跟机械可解释性(mechanistic interpretability)的思路很像,都是通过观察模型内部没有被直接训练过的部分来理解它在想什么。但思维链有一个巨大的优势:它默认就是自然语言,你不需要专门的工具去解读,直接看就行。
Pachocki 透露,当初 OpenAI 决定在产品里隐藏推理模型的思维链,他是最坚定的支持者。他的理由很直接:如果在产品里展示思维链,迟早就得训练它变得好看、安全、得体。一旦你开始训练思维链,训练信号就会跟监控目标打架,这条路就废了。给模型保留一个不被训练信号污染的“私密思考空间”,是长期理解模型行为的关键。
他也坦言,思维链监控不是对齐问题的完整解决方案,但它是工具箱里非常有价值的一件工具。OpenAI 跟 Anthropic、DeepMind 合作做了关于模型“阴谋行为”(scheming)的研究,整个研究之所以能做,就是因为可以通过思维链来检查模型的真实动机。
对于关注 AI 安全的人来说,这里有一个很重要的认知:对齐研究正在从一个模糊的、难以定义的问题,变成一个可以用具体技术手段去推进的工程问题。Pachocki 说他对“存在一条研究路径能带我们到一个非常好的世界”这件事的信心增加了很多。
七、关于持续学习的争论:这不是一个被忽视的问题
最近 AI 圈有一波关于持续学习(continual learning)的热潮,一些人从 OpenAI 离职去专门做这个方向,很多新实验室也在押注这个赛道。背后的逻辑是:当前的 RL 训练方式跟人类学习的方式差别很大,也许需要全新的方法。
Pachocki 对这个热潮表示困惑。他说,如果你回去看 GPT-3 论文的标题,核心兴奋点就是这类模型能够持续学习,能够在上下文中学习。这一直是扩展 GPT 模型的驱动力,也是用 RL 来教模型更高效地在上下文中学习的前提。所以持续学习确实是最终目标,但他认为这个目标并没有被忽视,也没有偏离当前的路径。当前的预训练加 RL 的路线,就是在朝着这个方向走。
这个观点对于正在选择技术方向的研究者和创业者来说很有参考价值。有时候一个概念突然火起来,并不意味着它是一个全新的、被忽视的方向,可能只是换了一个名字在讲同一件事。
八、OpenAI 内部怎么分配算力
这个问题听起来很内部,但 Pachocki 的回答揭示了一种很值得学习的资源分配哲学。
他说,他们刻意保持一个纪律:把一大块算力明确预算给最具可扩展性的方法,也就是他们认为最能驱动通用模型智能的那些实验。即便这在短期内不是最高效的分配方式,因为你总能找到一些小实验,分一点算力过去就能加速很多。但如果你把算力打散到所有有趣的方向上,最后可能反而没有在最重要的事情上投入足够多。
他们评估优先级的标准包括:我们理解这个方法吗?我们预期它能扩展吗?这是一个可以持续构建的方向,还是一次性的技巧?
这种思维方式其实适用于任何资源有限的场景。不管是个人的时间分配还是团队的项目优先级,最大的风险往往不是选错了方向,而是把资源撒得太散,每个方向都浅尝辄止,结果在最重要的事情上投入不够。
九、AI 对科学研究的影响:模型已经开始贡献研究想法了
Pachocki 提到,GPT 5.2 Pro 已经贡献了一些他们实际在用的研究想法。虽然跟他预期的未来相比还很小,但这个信号本身就很重要:模型正在从工具变成协作者。
关于 AI 在不同科学领域的前景,他的判断是:进展速度主要取决于模型能不能接入那个领域的基础设施。如果实验室能快速适配这些新技术,进展就会很快。他也认为,对于蛋白质折叠、基因组学这类特定任务,专门的模型架构可能比纯语言模型更高效,但最终这些专用模型会跟一个核心的、非常强的语言推理模型配合使用。
他特别强调了一点:我们不应该把 AI 做科学想象成“要么完全自动化,要么只是一个工具”这种二选一。未来会是一个很自然的协作状态,AI 科学家跟人类科学家一起工作,AI 驱动大量的实验设计和想法生成,人类负责判断方向和把关质量。
十、最值得社会关注的问题:权力集中
访谈最后,Pachocki 说了一段非常坦率的话。
他说,当大量智力工作可以被自动化,财富集中和就业冲击是真实的问题,而且可能发生得很快。长期来看这应该是好事,但短期的转型可能很剧烈。
更深层的担忧是:一个高度自动化的公司,可能只需要极少数人就能运转,却拥有巨大的能力。当你有了自动化的研究实验室、自动化的公司运营,这些组织可以被很少的人控制,却能做很多事情。加上未来的机器人,这个问题会更加极端。
他直接说,这种权力集中的治理问题目前还没有明显的解法,需要政策制定者和整个社会一起来面对。他听过一些乐观的说法,但在根本层面上,他觉得这个问题是真实存在的。
这可能是整个访谈里最值得每个人认真想一想的部分。技术进步带来的不只是效率提升,还有权力结构的重新分配。当一个人加上 AI 就能做到过去需要一百个人才能做到的事情,那剩下的九十九个人怎么办?这个问题没有简单的答案,但至少我们应该开始认真思考,而不是等到变化已经发生了才措手不及。
十一、OpenAI 的演变:从学术实验室到部署 AGI
Pachocki 回顾了 OpenAI 的几个关键阶段。2017 年他刚加入时,公司像一个纯粹的学术实验室,追求各种不同的想法,还没有真正拥抱规模化。第一次大转变是 Dota 项目和 GPT 系列的出现,让他们意识到必须买大型计算集群,必须发展规模化的科学和基础设施。
然后是 ChatGPT 的爆发。有趣的是,Pachocki 说他原本以为视频类的生成式 AI 会先火起来,没想到文本模型才是第一个大众级产品。ChatGPT 的成功带来了一个张力:产品层面需要围绕当前的形态去优化,但研究层面知道这个形态还会演变很多。所以 OpenAI 的研究工作在很长一段时间里跟短期产品策略是脱钩的。
现在他们认为进入了一个新阶段:模型已经足够强了,强到可以真正改变经济、改变事情的做法。所以部署这些模型本身变成了最紧迫的事情。Pachocki 说他们现在感受到了强烈的紧迫感,要把研究成果真正推向现实世界。
这种从“研究优先”到“部署优先”的转变,对整个行业都有参考意义。当技术成熟到一定程度,瓶颈就不再是“能不能做到”,而是“怎么让它真正被用起来”。
给大家说件事,从今年开始我星球里会录制各种视频教程,到目前为止录制的视频教程就已经有 30 多期了。最近非常火的 Agent Skill 视频教程也录制了 19 期了。加入我的星球社群「AIGC·掘金成长研习社」即可获取视频链接学习。

最后,介绍一下,我的星球:「AIGC·掘金成长研习社」(可点击查看星球全面介绍),主要分享三个板块的内容:
1、副业赚钱领域的内容。我做自媒体十几年了,有很多副业赚钱方面的经验和干货,而且每周都会定期详细带大家拆解一个副业赚钱案例,持续更新的那种,目前,已经分享了上百篇跟副业赚钱相关的帖子和文章了。
2、AI 落地和实操相关的内容。我在里面也分享了很多 AI的各种玩法和落地场景,包括用 AI 做副业的案例也都有。
3、个人成长。我会分享很多我做超级个体和自由职业的一些思考和成长类的内容,目前我已经做自由职业 5 年了,有太多的感慨和内容分享。
如果你想学习如何搞副业,如何使用 AI ,甚至如何使用 AI 搞副业,那一定要加入我这个超值的星球。目前,已经更新了 1900 多条干货和文章了,加入成员 1600+。感兴趣的可以加入。
限时优惠中,原价 199 元,今天加入可以立减 30 元,只需要 169 元,优惠券仅剩 10 多个优惠名额。我认为我的星球是目前副业和 AI 领域最超值和具有性价比的星球,价格不贵,同时内容也不比几千块钱的星球差。
大家可以长按图片,查看,支持 3 天无理由退款,内容好不好,先进来看看再说,不适合自己退了也没毛病。

更多推荐


所有评论(0)