这是论文精读系列之deepseek专题，今天分享deepseek上个月在国际权威期刊《Nature》杂志发表的封面文章《DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning》，中文**《DeepSeek-R1：通过强化学习提升大型语言模型的推理能力》。**

这篇论文是全球首个通过权威学术期刊同行评审的大语言模型论文，《Nature》杂志给了极高的赞誉，认为这填补了行业空白，是行业朝着透明化迈出的重要一步。

我还专门研究了下为什么Deepseek在《Nature》发表论文引起了这么大的轰动，原来像OpenAI、Google、Anthropic等公司发布其顶尖大模型（如GPT-4、Claude、Gemini）时，通常采用发布技术报告、博客文章或新闻发布会等形式来说明技术细节和性能指标，这种方式与学术论文有本质区别，即缺乏同行评审、细节不透明，基本上它说啥就是啥，不给别人反驳的机会。

但DeepSeek-R1的论文在《Nature》杂志的发表过程，完全遵循了顶级科学研究的标准流程，即：有严格的三方评审、有大量技术细节、正面回复外界质疑。

简单来说，主流大模型的研究成果主要在“商业赛场”上通过新闻稿和技术报告比拼，而DeepSeek-R1是第一个主动进入“科学赛场”，接受并通过了全球顶尖科学家依据最严格的学术规则进行的检验。它为整个AI行业树立了一个新标杆，即真正具有影响力的技术创新，应当并且能够经受住公开、严谨的科学审视。

言归正传。

该篇论文基于一个大胆的假设：“如果不再“手把手教”模型推理，而是让它靠强化学习自己摸索，只根据答案是否正确给奖励，模型能不能自己学会‘思考’？”

他们的实验回答是：能，而且效果惊人。

• 在数学推理任务 AIME 2024 上，模型从 15.6% → 77.9%（RL 结束）→ 86.7%（自一致性评估）。
• 在编程平台 Codeforces 上，模型达到了 96.3 百分位、rating 2029，超过多数人类程序员。

所以这篇论文最核心的结论是：

在大规模、纯强化学习（RL）训练下，仅靠最终正确性奖励，语言模型能自发形成复杂推理能力。（敲重点 🧑🏫 ）

当前大模型的训练方法有什么不足？

当前主流的训练范式是：Pretrain → SFT → RLHF (PPO-based)，虽然造出了 GPT-4、Claude、Gemini 这些神级模型，但也有三大问题：

• 人类教学太贵、太慢：高质量推理样本（尤其长 chain-of-thought）极其昂贵，动辄上亿 token，且不同任务领域可迁移性差。
• 模型在模仿人类而非真正的“思考”：SFT 用人类写的 CoT 数据教模型“怎么回答”，但模型学的是分布模式，不是推理机制。它生成出“像推理的句子”，但并不真正推理。
• RLHF 奖励太粗糙：人类偏好模型在多轮对话上主要通过“Helpfulness（有帮助）、Harmlessness（无害）、Honesty（诚实）”来打分，缺乏对“推理”正确性、答案正确性的关注，导致模型可能语言优雅、逻辑流畅，却给错答案。

DeepSeek 为了解决该问题用了什么创新的方法？

DeepSeek 团队用一条极端路线回答了这个问题：他们完全放弃了人工标注推理过程，让模型**自己通过强化学习（RL）探索推理策略；**奖励只有“答案对不对”、“输出格式正确不正确”、“是否用纯英文”等简单维度。

第一阶段：从 DeepSeek-V3 Base 模型出发，直接用规则式奖励做纯 RL，无 SFT，观察推理自发形成，最终训练出DeepSeek-R1-Zero；

第二阶段：在 Zero 基础上，补充人工风格样本、rejection sampling、SFT、再 RL，优化输出可读性与安全性，最终训练出DeepSeek-R1。

核心技术细节

核心技术是 GRPO（Group Relative Policy Optimization），一种比 PPO 更高效的 RL 算法：

• 同一个问题生成多个答案组；
• 奖励正确的那一个，惩罚错误的；
• 不需要额外的 value 网络，训练更稳定。

此外，还有三类关键奖励：

• 规则奖励（rule-based）：答案正确性、格式、语言。
• 模型奖励（model-based）：在无法验证正确性的任务上，用偏好模型打分。
• 语言一致性奖励：防止中英混杂，保证输出统一。

训练是多阶段的：

• R1-Zero 阶段：从零开始 RL 训练（没有人工样本），观察模型自然演化的推理模式；
• R1 阶段：加上人类长 CoT 样本、拒绝采样、再 SFT、再 RL，让输出更流畅、更安全。

模型训练过程中的“aha”时刻

1.反思式语句频繁出现****模型自发出现 “Wait, this might be wrong…”、“Let’s recheck the previous step.” 等词。

（是不是很接近人类的“思考”过程？🤔）。

2.CoT 长度自发增长****在 RL 训练初期，平均输出长度 < 200 token；到后期，模型自动延长至 800–1000 token，并且推理链条更有层次。

3.正确率提升伴随 token 爆炸每提升 10% 准确率，生成 token 平均长度几乎翻倍，RL 在以 token 为代价换“思考力”。

实验结果

不多说了，都在图里了👍

局限与未来方向

论文末尾很坦诚地说了R1当前的局限性：

• 过度思考：模型在简单任务上也写长长的 CoT，浪费算力。
• 语言风格不稳定：Zero 阶段输出可读性差，中英混杂。
• 奖励风险：模型会学“投机取巧”，输出看似对但其实是骗分。
• 工具能力不足：暂未结合外部工具（计算器、检索器）。

他们认为未来要重点探索“如何让 RL 推理和工具使用结合”，也就是“self-play + tool-use”的方向。

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓