EvoLM研究系统分析了大语言模型在不同训练阶段（预训练、持续预训练、监督微调、强化学习）中，数据规模与训练策略对模型性能的影响。研究发现：预训练规模达到模型参数量80-160倍后收益递减；领域训练需通过数据回放缓解灾难性遗忘；SFT和RL各有最佳配置，过度训练损害泛化能力；模型规模优势需在预训练接近饱和时体现。该研究为优化大模型训练提供了系统性指导。

---

大语言模型（LLM）的性能突破依赖于规模化训练，其流程通常被拆解为多阶段：预训练（Pretrain） 持续预训练（CPT） 监督微调（SFT） 强化学习（RL）。

然而，对于下游开发者和研究者而言，一个关键问题始终未解： 在不同训练阶段中，数据、策略和成本如何系统性地影响模型的最终推理能力？

传统的扩展法则（Scaling Laws）侧重于预训练阶段，其局限性在于：

• 指标单一： 仅关注语言建模损失（上游指标），无法刻画模型在真实下游任务（如复杂推理）中的性能。
• 阶段割裂： 难以覆盖 SFT 和 RL 等后训练阶段复杂且非线性的训练动态。
• 透明度不足： 大多数后训练研究依赖于不透明的检查点（check point），导致实验缺乏严格的可比性和复现性。

EvoLM 正是为了填补这一空白而提出，EvoLM 的目标是通过端到端、完全透明的训练流程，系统性地研究语言模型从预训练到 RL 阶段的能力演化过程。

EvoLM 试图回答的本质问题是：

• 大模型的核心能力究竟是在哪个阶段形成的？
• 它又如何在后续的 SFT 和 RL 阶段中被放大、削弱或重塑？

训练配置

为了系统分析不同训练阶段、数据规模与训练策略对下游任务能力的影响，构建了一套端到端、可控且可复现的训练与评估流程**。所有实验均围绕统一的模型架构展开，并严格控制各阶段变量，仅对关注因素进行调整，从而尽可能减少混杂因素对结论的干扰。**

统一的模型架构与分阶段训练设计

所有模型均基于 LLaMA-2 架构 初始化，并分别采用 1B 和 4B 参数规模。在此基础上，将模型训练过程明确划分为四个连续阶段：预训练（PT）、持续预训练（CPT）、监督式微调（SFT）以及强化学习微调（RL）。

1. 预训练阶段
预训练全部在 FineWeb-Edu 数据集上完成，并遵循 Chinchilla 缩放定律所提出的“计算最优比例”作为基准。具体而言，以“每个模型参数约 20 个 token”为计算成本最优点，在此基础上系统性地扩展 token 计算成本，从接近最优配置逐步增加到 320B tokens。通过这种方式，可以方便的区分和研究：

• 轻度过度预训练（超过 Chinchilla 建议，但不超过 16 倍）
• 严重过度预训练（超过 16 倍 Chinchilla）

这一设置方便直接观察：持续增加预训练数据，是否还能稳定带来下游能力提升，还是会出现明显的边际收益递减。

2. 持续预训练阶段
在完成通用预训练后，模型会在 FineMath 数据集上进行持续预训练，token 规模从 2B 到 42B 不等，用以注入更强的数学与推理领域知识。为了缓解持续预训练中常见的“灾难性遗忘”问题，还引入了预训练数据回放策略，即在训练过程中混合一定比例的通用语料（FineWeb-Edu），以维持模型对通用语言和知识的覆盖能力。

这一阶段的核心目标，是研究持续预训练在连接“通用能力”与“任务导向能力”之间所扮演的角色，而不仅仅将其视为简单的数据补充。

3. 监督式微调阶段
监督微调阶段聚焦于结构化的数学问答能力。训练数据来自 GSM8K 和 MATH 的扩展版本，并融合了 MetaMathQA、OpenMathInstruct2 与 NuminaMath 等多个高质量数据源。为缓解噪声数据的影响，还引入了基于模型一致性的过滤策略，剔除不同模型间预测完全不一致的样本，从而提升训练信号的稳定性。

通过控制样本数量与训练轮数，可以分析：在已有较强预训练与持续预训练基础上，SFT 对能力提升的真实贡献有多大。

4. 强化学习阶段

强化学习阶段采用 PPO 算法，并使用可验证的二元奖励信号。RL 使用的数据源与 SFT 相同，但确保样本之间不存在重叠，以避免信息泄漏。该阶段主要用于研究强化学习在提升解题质量、稳定性以及多样性方面的作用，以及其与 SFT 之间的协同与替代关系。

模型配置的统一表示方式

为了清晰描述不同模型在各训练阶段的配置，还采用了一种紧凑的模型签名表示方法。例如：

1B-160BT-8+42BT-100Kep1-100Kep16

该签名依次表示模型规模、预训练 token 数、持续预训练的通用与领域数据规模、监督微调设置以及强化学习设置。这种表示方式使得不同实验配置可以被快速对比，也便于分析单一变量变化所带来的性能差异。

评估方法

1. 上游完形填空任务
上游评估主要关注模型的基础语言建模与常识推理能力，采用零样本设置，在 HellaSwag、Winogrande、PIQA、OBQA 以及 ARC 系列任务上进行测试。这类任务不涉及对话或指令遵循，能够更纯粹地反映模型在预训练与持续预训练阶段所习得的通用能力。

2. 下游生成式任务
下游评估聚焦真实的“问题解决”能力，测试对象为经过 SFT 与 RL 微调的模型。评估任务覆盖：

• 领域内任务（ID）：以 GSM8K-Platinum 和 MATH 为代表的数学推理
• 领域外任务（OOD）：包括代码推理、逻辑推理、表格推理和常识推理等多种类型

所有下游任务均采用零样本评估，要求模型生成完整解题过程，而非仅输出最终答案。

在指标设计上，不仅报告传统的 Pass@1，还引入多种基于采样的评估方式（Maj@16、Pass@16、RM@16），以更全面地反映模型在稳定性、探索能力和最优解生成能力方面的表现。

方案名称	采样设置	评估逻辑	衡量目标
1. Pass@1 (确定性)	Temperature=0。生成一个单一的确定性响应。	如果此响应正确，则该问题被标记为正确。	模型在零随机性下的最高置信度。
2. Maj@16 (多数投票)	Temperature=1。采样十六个响应。	评估这十六个响应中多数答案的正确性。	模型在多样性采样下通过共识机制达到的性能。
3. RM@16 (基于评分)	Temperature=1。采样十六个响应。	评估其中具有最高ORM分数（ORM 指某种外部排序/奖励模型）的那个响应的正确性。	模型在外部奖励信号指导下选取的最优响应。
4. Pass@16 (解决率)	Temperature=1。采样十六个响应。	如果这十六个响应中有任何一个是正确的，则该问题被标记为已解决。	模型在给定尝试次数下的潜在解决能力。

预训练规模扩展，对下游能力到底有没有用？

在大模型训练中，一个最常见、也最昂贵的问题是：预训练数据是不是越多越好？
这一次只做一件事—系统地扩展预训练 token 数，观察它对上游语言建模能力，以及对 SFT / RL 之后下游任务能力的真实影响。

1. 预训练数据越多，收益一定越大吗？

在 10B 到 320B tokens 的范围内，对 0.5B、1B 和 4B 模型进行了预训练。

在上游完形填空任务中，结论非常清晰：

• 当预训练 token 从较小规模增加时，模型性能会稳定提升；
• 但当预训练规模达到模型参数量的 约 80 倍到 160 倍 后，性能提升迅速放缓，进入明显的收益递减区间。

以 1B 模型为例：

• 从 20B 增加到 80B tokens，平均准确率提升了 约 6 个百分点；
• 但从 80B 增加到 160B tokens，提升已经不到 1 个百分点。

4B 模型的趋势类似，只是饱和点略晚，在 320B tokens 左右也趋于平稳。

2. 上游收益，能否传递到下游任务？

更关键的问题是：这些额外的预训练，是否真的让模型“更会解题”？

答案是：在一定范围内可以，但很快就会饱和。

无论是只做 SFT，还是在 SFT 基础上再加 RL：

• 当预训练规模 小于约 80B tokens 时，下游性能提升非常明显；
• 超过这一范围后，性能增长几乎停滞。

例如，1B 模型在领域内（ID）任务上的 Maj@16 准确率：

• 从 20B tokens 的 8%，快速提升到 80B tokens 的 15%；
• 但在 320B tokens 时，仅提升到 17%。

强化学习依然能带来额外提升，但无法抵消过度预训练带来的收益枯竭。

更值得注意的是，在 领域外（OOD）任务 上，当预训练超过 160B tokens 后，多项指标不仅没有继续提升，反而开始下降，ORM 评分也同步降低，说明模型生成解的整体质量在变差。

➠ 要点一
通用领域预训练并不是越多越好；
当预训练规模达到模型大小的 80–160 倍 后，下游收益明显减弱，甚至可能在 OOD 任务中出现性能下降。

3. 模型更大，一定更强吗？

在预训练预算受限时：

• 小模型（1B）往往不比大模型（4B）差，
• 在 SFT 和 SFT+RL 设置下，1B 模型甚至可以超过 4B 模型。

例如，在相同的 80B tokens 预训练预算下：

• 1B 和 4B 模型在下游任务上的表现非常接近，小模型略微领先。

但当预训练规模进一步增加到 160B tokens 以上：

• 4B 模型开始真正发挥规模优势；
• 在领域内推理和 OOD 泛化能力上，明显拉开与 1B 模型的差距。

这说明：模型规模的优势，只有在预训练接近饱和时才会被“解锁”。

➠ 要点二
在预训练预算有限的情况下，小模型 + 合理后训练可以胜过大模型；
但一旦预训练 tokens 达到饱和区间，增大模型规模会显著提升下游性能和泛化能力。

持续预训练与灾难性遗忘

通过逐步增加持续预训练（CPT）的 token 数量（从 0 到 50B tokens），并全部使用 FineMath 领域数据，来观察模型能力的变化。

一个直观但重要的现象是：随着 CPT 规模增加，上游任务性能反而持续下降。
这清楚地表明，在单一领域数据上进行持续预训练，会导致模型逐渐遗忘此前在通用语料中学到的知识，即经典的灾难性遗忘问题。

为缓解这一现象，还引入了一种简单但有效的数据回放策略：在 CPT 过程中，随机穿插少量通用预训练数据（FineWeb-Edu）。实验结果显示，只要引入适量回放（replay），在所有 CPT 预算下，上游准确率都能显著高于“纯领域 CPT”的基线。

1. 回放（replay）比例如何影响下游效果？

仅仅保持上游能力还不够，更关键的是：回放策略是否真的能帮助下游任务？

为此，对不同 CPT 配置的模型统一进行 SFT（10 万样本，1 个 epoch），并在 GSM8K-Platinum 上评估 Pass@1 准确率。

结果非常清晰：

• 仅使用 FineMath 进行 50B tokens 的 CPT，Pass@1 为 19.27%；
• 引入 8B 通用数据回放 + 42B 领域数据 的组合，准确率提升至 21.01%；
• 回放比例过低（1.6 + 48.4B）或过高（16 + 34B）都会导致性能下降。

这表明：适度的通用数据回放（约 5% 左右）可以在“保留通用能力”和“强化领域适应”之间取得最佳平衡。

2. CPT 规模如何影响 SFT 与 RL 的效果？

在固定 8B 通用回放 的前提下，还进一步分析了不同 CPT 规模下，SFT 与 SFT+RL 的下游性能变化。

整体趋势非常一致：

• 随着领域 CPT tokens 从 2B 增加到约 32B，无论是 SFT 还是 SFT+RL，领域内（ID）和领域外（OOD）任务性能都稳步提升；
• 当 CPT 达到 42B 后，性能基本趋于稳定，继续增加收益有限。

以 SFT 模型为例，其 ID 贪婪准确率从 2B CPT 时的约 5%，提升至 32B 时的 12%，之后基本持平。

强化学习在整个 CPT 范围内都优于纯 SFT，但这里有一个关键细节：
在没有 CPT 的情况下，RL 甚至可能劣于 SFT。
只有当模型已经通过足够的领域 CPT 建立起稳定的领域表示后，RL 的优势才会逐步显现，并且随着 CPT 数据增加而进一步放大。

➠ 要点三

在特定领域数据上进行持续预训练（CPT）容易引发对通用预训练知识的灾难性遗忘，从而同时损害上游与下游性能；

引入少量预训练数据重放（约 5% 的重放预算）即可在领域适配与通用能力保留之间取得有效平衡，显著缓解性能退化问题。

➠ 要点四
领域特定的后训练必须建立在充分的领域 CPT 之上；
如果缺乏 CPT，SFT 效果有限，RL 甚至可能拉低性能。

➠ 要点五
随着领域特定 CPT 数据的增加，领域内下游性能稳步提升，同时 SFT 模型能从 RL 微调中获得更大的增益。

➠ 要点六
当领域 CPT 数据充足时，后训练带来的能力提升不仅体现在领域内任务上，也能够有效泛化到 OOD 任务。

SFT 计算规模扩展——“多训几轮，真的更好吗？”

1. 增加 SFT 训练epoch的影响

以 1B-160BT-8+42BT 模型作为基础，在保持 SFT 样本数量固定为 10 万 的前提下，分别使用 1、2、4、8、16 和 32 个 epoch 进行微调。

实验结果呈现出非常清晰的趋势：

• 领域内（ID）性能 会随着训练轮数的增加持续提升，并在 约 8 个 epoch 左右趋于饱和。这表明，增加训练轮数可以显著增强模型对领域内问题的记忆与匹配能力。
• 领域外（OOD）性能 则呈现相反趋势：在 2–4 个 epoch 达到峰值后开始下降，说明模型逐渐发生过度专业化，泛化能力受到抑制。

这一结果很好地解释了实践中常用的 “SFT 训练 2–3 轮” 的经验做法：在该区间内，模型在 ID 与 OOD 能力之间通常能够取得相对平衡。

此外，还观察到一个重要现象：当 SFT 训练过度时，后续 RL 微调所能带来的增量收益会明显减少。 一旦模型已经对监督数据形成强记忆，强化学习的优化空间将被显著压缩。

2. 扩大 SFT 数据集规模的影响

除了训练轮数，还进一步考察了 SFT 数据规模 本身的作用。与此前研究仅在最多 1 万样本规模上观察到的幂律关系不同，还将 SFT 样本数量扩展至 5 万到 40 万，并统一固定为 1 个 epoch 进行训练，以尽量避免显式记忆效应。

实验结果同样呈现出分化趋势：

• 领域内（ID）性能 随着 SFT 样本数量的增加而持续提升，验证了更多高质量监督数据确实能够增强模型在目标领域中的解题能力。
• 领域外（OOD）性能 则表现不稳定，部分指标甚至会随着数据集规模的扩大而下降，说明更多的领域监督并不一定带来更强的泛化能力。

与增加 epoch 的结论一致，当模型在 SFT 阶段“学得越充分”，强化学习所能带来的额外改进空间就越有限。

➠ 要点七
过度的 SFT 可以提升领域内性能，但收益递减，并不一定提升 OOD 能力，甚至可能导致 OOD 性能下降。

➠ 要点八
SFT 计算过多，尤其是训练轮数过大，会限制后续 RL 微调的效果。

强化学习规模扩展——RL 提升的到底是什么能力？

1. 增加强化学习训练epoch的影响

在额外 10 万个样本（与 SFT 数据集不重叠）上进行强化学习，训练轮数从 0（即仅 SFT） 逐步增加到 32 个 epoch。

整体趋势非常清晰：

• 在 领域内（ID）和领域外（OOD）任务 上，greedy、Maj@16 和 RM@16 等指标随着 RL 轮数的增加持续提升，并在 8–16 个 epoch 左右达到饱和。
• 与之形成对比的是，Pass@16 在超过 4 个 epoch 后明显下降，即模型“至少给出一个正确回复”的能力没有增强，反而减弱。

这一现象揭示了 RL 的核心作用：
强化学习并没有显著扩大模型“能解决的问题集合”，而是提高了模型对已有高质量回复的置信度与稳定性。

这一点在统计结果中也得到了验证：对于仅经过 SFT 的模型，Maj@16 的准确率有时甚至低于 greedy，说明多数采样结果仍然是低质量回复；而在经过 RL 之后，Maj@16 在所有设置中都超过了 greedy，表明 RL 有效压制了低质量回复的概率。

2. 扩大强化学习数据规模的影响

在固定 8 个 RL epoch 的前提下，还将强化学习数据集规模从 0 逐步扩大到 40 万个样本。

结果与增加训练轮数高度一致：

• greedy、Maj@16 和 RM@16 的准确率随着数据规模增加而持续提升，直到 约 15 万到 20 万样本 后趋于平缓；
• Pass@K 更早达到饱和，并随后下降，而正确率仍然持续上升。

值得注意的是，当数据规模扩大到 35 万和 40 万样本 时，模型性能出现明显崩溃。进一步分析发现，此时模型学会了显著拉长输出长度，生成内容频繁超过上下文窗口限制，反而导致整体性能下降。

相比之下，增加 RL 训练轮数比单纯扩大数据规模更加稳定，并未观察到类似的响应长度失控问题。

➠ 要点九

使用过多的 epoch 或数据集进行 RL 训练，可以提高 ID 和 OOD 任务的下游性能，但收益递减（根据评估发现，饱和发生在 4-8 个 epoch 或 50-100K 样本时）。

➠ 要点十
在性能趋于饱和后，强化学习主要提升高质量解的采样概率，而不一定增强模型的基础推理能力。

3. 在数据受限场景下如何分配 SFT 与 RL？

在真实场景中，下游标注数据往往是有限的。为此，还从 50 万条数据 中抽取 10 万条，并在这一固定预算下，对 SFT / RL 数据分配比例 进行系统分析。

评估了五种配置：（10/90、30/70、50/50、70/30、90/10）K，并对 SFT 和 RL 分别训练 4 个 epoch。

结果呈现出明确的分工关系：

• 领域内（ID）性能 随着 SFT 数据占比的增加而稳步提升，并在 约 70K SFT 时趋于饱和；
• 领域外（OOD）性能 则主要由 RL 数据驱动，在 10K SFT / 90K RL 的配置下达到峰值。

这一趋势在 1B 和 4B 模型 中均一致。

➠ 要点十一
在下游数据预算受限的情况下：

• 增加 SFT 数据有利于最大化领域内性能；
• 增加 RL 数据则更有助于提升 OOD 泛化能力；
  二者之间需要根据应用目标进行权衡。

中间检查点（check point）并非可靠的模型替代方案

1. 中间检查点与专用训练模型的对比

对比了两类模型：

• 专用模型：从头开始训练，分别完整训练到 20B 和 40B tokens；
• 中间检查点模型：从一次 160B tokens 的长周期预训练中，在模型看到 20B 或 40B tokens 时直接截取。

在两种情况下，模型都会进一步进行 100K 样本、1 个 epoch 的 SFT，然后在 MATH 数据集的简单子集上评估性能。

实验结果显示，无论是在上游任务准确率，还是在数学推理能力上，中间检查点模型都明显落后于专门训练的 20B / 40B 模型。

原因在于：
中间检查点处于训练的早期阶段，尚未经历完整的学习率衰减和后期收敛过程，而这些阶段对模型性能至关重要。简单地“在长训练中截一刀”，无法复现小规模模型完整训练所带来的优化效果。

➠ 要点十二
中间检查点不能作为完整训练模型的可靠替代品。如果没有走完整的训练与优化过程，即使 token 数相同，模型能力也会被系统性低估。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​