DeepSeek-V3.2-Exp 三阶段训练策略概述

DeepSeek-V3.2-Exp 采用三阶段训练策略，通过逐步优化模型性能与成本效率，实现高性能与资源消耗的平衡。核心在于动态稀疏注意力（Dynamic Sparse Attention, DSA）机制的引入，在不同训练阶段调整稀疏度和计算资源分配。

阶段一：基础预训练与 DSA 初始化

在初始阶段，模型以密集注意力机制为主，确保基础语义表征的完整性。同时逐步引入 DSA，通过低稀疏度（如 20%-30%）的局部窗口注意力，降低长序列计算开销。此阶段重点：

• 数据分布适配：DSA 根据输入序列长度动态调整稀疏模式，优先保留局部关键关联。
• 资源分配：70%-80% 计算资源用于密集注意力，剩余用于稀疏化实验性训练。

阶段二：混合稀疏化与成本优化

模型进入性能-成本平衡阶段，DSA 稀疏度提升至 50%-60%，结合全局稀疏与局部密集的混合模式：

• 动态路由：对高频交互的注意力头（如底层编码器）保持密集计算，高层解码器采用稀疏化。
• 梯度裁剪调整：针对稀疏化部分使用更宽松的梯度阈值，避免信息丢失。
• 硬件协同：利用 GPU 张量核心加速稀疏矩阵运算，实测训练速度提升 1.5-2 倍。

阶段三：微调与稀疏固化

最终阶段聚焦任务适配，通过两种路径实现降本：

• 任务感知稀疏化：下游微调时冻结非关键注意力头，仅更新 30%-40% 的稀疏参数。
• 量化压缩：对 DSA 生成的稀疏权重应用 8-bit 量化，模型体积减少 60% 时性能损失 <2%。

性能与成本平衡验证

在 100B 参数规模下的测试显示：

• 训练成本：相比纯密集注意力，三阶段策略降低 40% 的 GPU 小时消耗。
• 推理效率：DSA 使长序列（>8k tokens）推理延迟降低 55%，内存占用减少 50%。
• 基准表现：在 MT-Bench 和 GSM8K 等任务中，稀疏化模型与原始版本差距控制在 3% 以内。

该策略通过动态调整稀疏粒度与训练资源分配，实现了从“粗粒度降本”到“细粒度保性能”的递进优化。