对话核心内容总结

一、个人成长轨迹

1. 早期经历

• 数学天赋:小学开始学奥数，做题速度快但学习新知识慢，需要更长时间构建知识树
• 提前学习:初二开始学高中数学，初三学微积分，投资未来的意识很早就形成
• 竞赛经历:高中参加信息学竞赛(OI)，省队倒数第一只拿铜牌，最终选择清华降60分录取

2. 清华本科(2016-2020)

• 打破信息差:将所有作业和资料开源到GitHub，认为"每个人都应该平等地拥有这个信息"
• 科研启蒙:大二加入朱军老师组，选择强化学习方向(误打误撞)
• 开源贡献:
  • 开发天授(Tianshou)强化学习框架
  • 开发退学online签证查询系统
  • 核心动机:做慈善，impact导向

3. CMU硕士(2020-2022)

• 申请结果:只拿到Master,当时认为是挫败，后来觉得"还好"
• 疫情影响:在家上网课一年，专注做开源项目
• 就业选择:拒绝读PhD，认为"如果想进工业界，读PhD就是浪费生命"

二、OpenAI核心贡献

1. 加入时间点(2022年7月)

• 第280号员工左右(现在3000+人)
• 加入时ChatGPT还未发布,内部在用3.5做实验
• 张书文面试招入,看中GitHub和工程能力

2. 核心工作:RL Infra

地位:

• 搭建整个post-training的RL基础设施
• 从ChatGPT、GPT-4、GPT-4V到GPT-5,所有模型release都有他的名字
• 定位:最面向客户的铲子提供者

关键洞察:

每家的Infra都有不同程度的bug
谁修bug修得越多,谁的模型训得就越好

3. 工作强度与压力

• 早期:早上醒来一直写代码到晚上睡觉,一周平均6天
• 曾因过度加班进急诊室
• 后期调整:每周两次跑3000米锻炼身体

三、核心技术观点

1. 关于强化学习

为什么不享受RL科研:

• 环境太单一,需要疯狂overfit
• 调参难度比CV高10倍、100倍,都是玄学
• 需要用heuristic方法避免corner case

RL的本质:

如果有反馈,如果你可以把环境建模
然后在环境中得到反馈
那这个循环就是强化学习

2. 关于Infra的重要性

toy task vs 大模型RL:

• toy task:瓶颈在环境,模型很简单
• 大模型RL:模型很大但环境简单(就是prompt),瓶颈在高效采样和训练

DeepSeek的警示:

• 真正引起OpenAI警觉的不是模型性能
• 而是DeepSeek声称的迭代速度非常快
• 这触及了OpenAI的生死线

生死线判断:

对于基座模型公司来说
生死线是Infra的cycle time
不是算法创新,不是researcher数量

3. 关于AGI路径

当前状态:

• 还没有完全scale up
• 现有方法和compute还没榨干
• 很多Infra还有bug

瓶颈在哪:

• 修Infra bug的吞吐量
• 单位时间内能迭代多少次,能修多少bug
• “剩下的都不重要”

4. 关于AI取代工作

取代顺序:

1. Researcher先被取代:生成idea可以建模
2. Infra engineer后被取代:需要更多context
3. Sales最难取代:需要人与人沟通

AI Infra难被取代的原因:

• 占数据集比例几乎为零
• 验证反馈链太长
• 成本太高

四、组织与管理洞见

1. 关于OpenAI的成功

Sam Altman的观点:

在人才密度极高的小团队里
任何平庸的表现都是不能被容忍的

信息流通的重要性:

• 上面的决策要无损传达到下面
• 下面的进展要无损传达到上面
• consistency(一致性)至关重要

2. 关于组织架构

健康组织的标准:

• 所有人都是可替代的
• 能持续培养新人,有造血能力
• “换任何一个人,如果他有我的context,应该也完全可以胜任”

大公司的必然问题:

• 难以维持高度人才密度
• 难以保持context sharing的一致性
• Infra开始臃肿,组织结构开始臃肿

3. Sam被开除事件(2023年11月)

内部视角:

• 董事会不信任Sam,投票赶走他
• 底层员工非常surprise和震惊
• 董事会对员工缺乏透明度
• 最终伊利亚离开,Sam回归

五、价值观与人生哲学

1. 评价体系的反思

拒绝官方评价体系:

• 不以GPA、PhD、论文数量为唯一标准
• 导师推荐的三个指标:论文、比赛、GitHub三位数star
• 创造自己的评价体系

职业目标:

最大化我在OpenAI blog上出现名字的次数
→ 做Infra,因为能scale up
→ 擅长且能产生impact

2. 关于Impact

高三的顿悟:

如果人生是一场游戏
结算分数是记住你名字数量的人
那意味着你需要被更多人认识

开源即慈善:

• 天授、退学online都是non-profit
• “代码工具视作一种慈善”
• 想要的认同不是既有评价体系,是共识

3. 关于Open vs Closed

为什么OpenAI要闭源:

• 如果开源,其他人马上变第一,然后继续闭源
• 导致OpenAI融不到资,没法持续输血
• “这是trade-off,现实问题”

但个人仍热爱开源:

• 如果有无限资源,会很开心开源RL Infra
• 张书文曾问过是否开源,他觉得"不太好,为了公司考虑"

4. 宿命论的世界观

核心信念:

这个世界是确定论
所有东西都可以被预测
所有东西理论上都可以用AI解决

时间观:

• 三维生物的时间是线性单向流动
• 但在四维空间,时间可能可以任意跳跃
• “未来的我帮助过去的我完成某些决策”

态度:

• “最好的方式是忘掉这一切,假装不知道,去体验当前的经历”
• “虽然不愿意接受,但这确实是事实”
• 想做的事:如何预测未来

六、深层思考

1. 关于idea vs execution

idea is cheap
重要的是单位时间内能验证多少有效idea

Google的先进生产力:
单位时间的迭代次数 × 成功率 = 正比关系

2. 关于PhD vs Industry

明确观点:

• “如果想进工业界,读PhD就是浪费生命”
• “教一个researcher如何做好engineering,要远比教一个engineer如何做好research来得难”
• 当前AI lab最需要的是Infra人才

3. 关于consistency

代码管理哲学:

如果一个项目从头到尾都是一致性的
那它就是个好项目

多人协作会腐化:
- 不同人有不同context
- 假设无法及时传递  
- 不断复制粘贴和堆积

适用于公司管理:

• “管公司跟管代码其实也很类似”
• 需要context sharing的一致性
• 这是人多之后的必然问题

4. 关于未来10年

当前状态:

• “已经看到头了,剩下都是很确定性的事情”
• “钉在AGI roadmap上的事了”
• 处于"迷茫期"

期望:

• 提前退休,有足够资本做自己想做的事
• 花时间找到自己真正想做的事
• “这个问题值得一生去思考”

七、金句摘录

1. 关于信息平权:“我觉得每个人都应该平等地拥有这个信息”

2. 关于impact:“让自己与众不同的事情,而不是花很多时间刷GPA”

3. 关于infra:“毫不夸张地说,每家的Infra都有不同程度的bug,谁修的bug越多,谁的模型训得就越好”

4. 关于生死线:“单位时间内你能迭代多少次,这直接决定了生产效率”

5. 关于PhD:“如果你想进工业界,那么读PhD就是浪费生命”

6. 关于替代性:“换任何一个正常的人类,如果他有我的context,他应该也可以做”

7. 关于宿命:“所有东西都是可以被预测的,所以理论上它是可以用AI解决的”

8. 关于慈善:“我觉得做天授跟做退学online都是做慈善,完全non-profit的”

总结

这是一位极度务实、impact导向、工程能力超强的AI infra builder的深度访谈。他的核心观点可以概括为:

1. Infra > Algorithm:在当前阶段,基础设施的质量和迭代速度决定生死
2. Execution > Idea:想法廉价,执行力和验证速度才是关键
3. Consistency > Scale:一致性比规模更重要,组织大了必然臃肿
4. Impact > Credential:创造价值比获得证书更重要
5. Determinism > Free Will:相信宿命论,但选择"忘掉"继续前行

他代表了一类在AI浪潮中极其关键但常被忽视的角色:不是提出breakthrough idea的researcher,而是让idea能够被高效验证的infra builder。这或许揭示了AI竞赛的真相:不是谁的算法最聪明,而是谁的迭代最快。