这篇论文是 DeepSeek 团队发布的重磅技术报告：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》（通过强化学习激励大语言模型的推理能力）。

https://arxiv.org/pdf/2501.12948

这篇论文在 AI 社区引起了巨大轰动，因为它详细揭示了如何通过**纯强化学习（RL）**让模型自发产生“思考”和“自我反思”能力，达到了媲美 OpenAI o1 的推理水平。

以下是对该论文核心内容的深度分析：

1. 核心贡献：两大模型的诞生

论文介绍了两个主要的推理模型：

• DeepSeek-R1-Zero：这是探索性的“纯血”推理模型。它直接在基础模型（Base Model）上进行大规模强化学习，完全没有使用人工标注的 SFT（监督微调）数据。
• DeepSeek-R1：这是更具实用性的版本。它在 R1-Zero 的基础上，引入了少量的“冷启动”数据和多阶段训练流程，解决了 R1-Zero 存在的语言混杂、可读性差等问题。

2. 技术突破：强化学习驱动的“进化”

• 纯 RL 产生推理（Aha Moment）：论文证明了即使没有人类示教，模型在只有奖励信号（如数学对错、代码通过率）的情况下，也能自发学会：

• 自我验证：在给出答案前反复检查。

• 反思与修正：意识到思路不对时，自动说出“等一下，我再想想”，并切换策略。

• 测试时计算量扩展：模型学会了通过生成更长的思考过程（Chain-of-Thought）来解决难题。

• GRPO 算法：为了降低强化学习的成本，DeepSeek 采用了 Group Relative Policy Optimization。它不再需要一个昂贵的批评者（Critic）模型，而是通过一组输出的相对得分来优化，极大地节省了显存和计算资源。

3. 训练流程：四个关键阶段

为了得到最终的 DeepSeek-R1，团队设计了一个精妙的四阶段流水线：

1. 冷启动 SFT：用少量高质量推理样本引导模型，使其有基本的思考格式。
2. 推理强化学习（Reasoning RL）：重点提升数学、逻辑、编程能力。
3. 拒绝采样与二次 SFT：收集 RL 产生的优秀样本，结合通用能力数据（创意写作、问答等）再次微调，提升模型的通用感官。
4. 全场景强化学习：最后进行一次对齐 RL，确保模型既有强大推理能力，又符合人类价值观且易于交流。

4. 知识蒸馏：让小模型也拥有“大智慧”

这是该论文对开源界最大的贡献之一。DeepSeek 发现：

• 直接在小模型上做 RL 效果有限。
• 但将 DeepSeek-R1 的思考过程（Traces）蒸馏给小模型（如 Qwen 或 Llama 的 1.5B/7B/14B/32B/70B 版本），效果出奇地好。
• 这证明了“推理能力”是可以从大模型迁移到小模型的，DeepSeek 开源了这些蒸馏后的模型，性能远超同尺寸的其他模型。

5. 论文的意义与影响

• 打破闭源神话：DeepSeek 证明了通过公开的技术手段（RL + 蒸馏），开源模型完全可以达到顶级闭源模型（如 o1）的逻辑推理水平。
• 高效率与低成本：DeepSeek 再次展示了极致的算力利用率，用远低于硅谷巨头的成本实现了同等甚至更强的效果。
• 透明化：这篇论文（从初版 20 多页更新到最终 80 多页）提供了极其详尽的技术细节，被社区誉为“推理模型训练教科书”。