三阶段训练架构概述

DeepSeek-V3.2-Exp 采用的三阶段训练框架（预训练、监督微调、强化学习）结合 DSA（Dynamic Sparse Attention）机制，旨在提升模型效率与性能。DSA 通过动态稀疏化注意力计算，减少冗余计算开销，同时保障关键语义捕捉能力。

预训练阶段的 DSA 优化

动态稀疏掩码生成
每层注意力头自动计算token重要性得分，保留Top-k个连接。得分函数采用归一化后的点积注意力值：
Score(q,k) = softmax(QK^T/√d)
仅对得分高于阈值 τ 的边保留计算，显著降低 O(n²) 复杂度。

渐进式稀疏调度
训练初期保留较高稀疏度（如50%连接），后期逐步收紧至目标稀疏度（如15%）。平衡早期稳定性与后期精度，避免信息丢失。

监督微调阶段的适配策略

任务感知稀疏调整
下游任务数据驱动DSA阈值动态调整：分类任务倾向局部稀疏（关注关键词），生成任务保持全局稀疏（维持长程依赖）。通过损失函数梯度反馈自动调节 τ。

显存优化技术
采用块稀疏存储格式（Block-CSR），将稀疏矩阵切分为固定大小块（如32×32），压缩存储非零块索引。相比稠密矩阵减少40%~60%显存占用。

强化学习阶段的稳定性保障

重要性采样修正
RL训练中引入稀疏注意力重要性权重 w=1/(p+ϵ)，其中 p 为边保留概率。低概率边在策略梯度计算时获得更高权重，缓解稀疏化带来的偏差。

多粒度奖励建模
结合token级（生成连贯性）和序列级（任务指标）双重奖励，约束DSA的稀疏模式选择。实验显示可降低15%的冗余生成错误。

性能验证指标

• 吞吐量：DSA使推理速度提升1.8~2.3倍（A100实测）
• 稀疏效率：有效计算FLOPs占比达92%以上（vs 经典稀疏方案的78%）
• 任务指标：在LCSTS文本摘要任务上ROUGE-L仅下降0.4%，但训练成本降低37%

该方案通过动态稀疏性与训练阶段的协同优化，实现效率与精度的平衡。具体超参数需根据硬件条件和任务需求调整。