DeepSeek-V3.2-Exp 的 DSA 机制概述

DeepSeek-V3.2-Exp 采用动态稀疏注意力（Dynamic Sparse Attention, DSA）机制，通过低维投影和 Top-k 选择的高效融合，显著降低计算复杂度，同时保持模型性能。其核心设计结合了稀疏化和低秩近似技术，适用于长序列建模任务。

低维投影技术

低维投影通过将高维注意力得分映射到低维空间，减少计算资源消耗。具体实现包括以下关键点：

• 投影矩阵设计：使用随机投影或学习到的低秩矩阵，将原始注意力得分的维度从 $d$ 降至 $r$（$r \ll d$）。
• 近似注意力得分：通过投影后的低维向量计算近似得分，公式为：
  $$
  \tilde{A} = (QW_Q)(KW_K)^T \approx QW_Q W_K^T K^T
  $$
  其中 $W_Q, W_K \in \mathbb{R}^{d \times r}$ 为投影矩阵。

Top-k 选择策略

Top-k 选择动态筛选最相关的注意力对，进一步稀疏化计算：

• 得分排序：对近似注意力得分 $\tilde{A}$ 按行或列进行排序，保留每行/列中得分最高的 $k$ 个元素。
• 稀疏掩码生成：根据 Top-k 结果生成二值掩码 $M \in {0,1}^{n \times n}$，仅保留选中位置的注意力权重。

高效融合方法

低维投影与 Top-k 的融合通过以下步骤实现：

1. 联合降维与筛选
   低维投影后直接应用 Top-k，避免在高维空间进行昂贵计算。公式融合为：
   $$
   A_{\text{sparse}} = \text{Top}_k(\tilde{A}) \odot M
   $$

2. 梯度近似优化
   使用 Straight-Through Estimator（STE）近似 Top-k 操作的梯度，确保训练稳定性。

3. 计算复杂度分析
   传统注意力复杂度 $O(n^2d)$ 被降低至 $O(nrd + nk)$，其中 $rd \ll d^2$ 且 $k \ll n$。

性能优势

• 显存节省：稀疏注意力矩阵显著减少显存占用，支持更长序列输入。
• 速度提升：低维投影与 Top-k 的协同作用加速前向与反向传播。
• 精度保留：实验表明在文本生成和长文档任务中，性能接近标准注意力。

应用场景

适用于需要高效处理长序列的任务，如：

• 文档级机器翻译
• 基因组序列分析
• 视频帧时序建模

此机制通过硬件友好的设计（如块稀疏计算），进一步适配 GPU/TPU 加速。