1. 扩散大语言模型（DLLM）的推理效率挑战

扩散大语言模型（Diffusion Large Language Models, DLLMs）近年来成为自回归语言模型（Auto-Regressive LLMs）的重要替代方案。与传统的逐令牌生成方式不同，DLLMs采用扩散过程并行生成多个令牌，理论上能够突破序列生成的瓶颈。然而在实际应用中，DLLMs面临一个根本性的效率问题： 计算冗余 。

1.1 计算冗余的本质

在标准DLLM推理过程中，模型需要为整个令牌块（通常包含32-64个令牌）并行计算注意力机制和后续的前馈网络（FFN）。然而，每个扩散步骤实际能够成功解码的令牌数量通常只占块大小的10%左右。这意味着：

• 90%的计算资源被浪费 ：大部分FLOPs消耗在那些最终不会被解码的令牌上
• 计算与生成的严重失衡 ：自回归模型的计算与生成比例是1:1，而DLLMs可能达到10:1
• 硬件利用率低下 ：GPU计算单元被大量无效计算占用，无法充分发挥并行优势

这种计算冗余使得DLLM推理从传统LLM的内存瓶颈（memory-bound）转变为计算瓶颈（compute-bound），严重限制了模型的实际部署效率。

1.2 现有优化方案的局限

当前主流的优化方法主要关注两个方面：

1. KV缓存复用 ：类似Fast-dLLM等方案尝试重用部分KV状态
2. 块扩散范式 （Block-Diffusion）：将长序列分割为固定大小的块进行处理

然而这些方法存在根本性缺陷：

• 仍需定期重新计算整个块的KV状态
• 无法减少每步实际处理的令牌数量
• 在大批量（batch size）场景下很快达到计算饱和

关键观察：在B=32的典型配置下，平均每步仅解码2-4个令牌，意味着约90%的FLOPs被浪费在非解码令牌上。这种结构性冗余是传统优化方法无法解决的。

2. FOCUS系统的核心洞察

2.1 注意力机制与解码概率的关联

FOCUS系统的突破性发现在于： 早期层（特别是第1层）的注意力模式与令牌最终解码概率存在强相关性 。具体表现为：

1. 第0层（输入层） ：注意力分布主要由静态先验或随机噪声主导，缺乏判别性
2. 第1层 ：可解码令牌会获得显著的注意力质量提升，形成语义锚点
3. 后续层 ：这种差异会持续放大，但判别信号在第1层已经足够明显

通过分析SDAR-8B和LLaDA2.0等模型在GSM8K、HumanEval等基准上的表现，我们发现：

• 可解码令牌在第1层的注意力增量（∆I）显著高于非解码令牌
• 这种差异在数学推理（+52.6%）和代码生成（+57.4%）任务中尤为明显
• 仅使用前两层的注意力信号就能达到85%以上的解码预测准确率

2.2 重要性增量（∆I）指标

基于上述发现，FOCUS定义了 重要性增量 指标：

∆Ij = I(Layer1)j - I(Layer0)j

其中I的计算采用改进的注意力聚合方法：

def compute_importance(attention_scores):
    # 对每个头应用max-pooling平滑
    smoothed = [max_pool1d(head_scores, k=3) for head_scores in attention_scores]
    # 跨头softmax聚合
    aggregated = sum([softmax(s) for s in smoothed])
    return aggregated

该指标具有三个关键优势：

1. 噪声抑制 ：通过差分消除第0层的静态噪声
2. 早期信号 ：在第1层即可获得可靠预测
3. 计算高效 ：仅需前两层的Q/K投影结果

3. FOCUS系统架构设计

3.1 动态预算机制

FOCUS采用双因素动态预算策略确定每步保留的令牌数K：

K = min(B, max(⌈α×N̄decoded⌉, Nσ))

其中：

• α：扩张因子（默认1.5），基于历史解码统计
• N̄decoded：滑动平均解码令牌数
• Nσ：∆I超过标准差σ的令牌数

这种设计实现了：

• 历史感知 ：适应不同步骤的解码难度变化
• 瞬时响应 ：检测当前步骤的高置信度令牌
• 安全下限 ：确保至少保留关键令牌

3.2 令牌驱逐策略

FOCUS在完成第1层计算后执行驱逐操作：

1. 候选选择 ：按∆I排序选择Top-K令牌
2. 结构约束 ：
   • AR上下文保留：强制包含每个候选的左邻令牌
   • 占位符完整性：保留候选前的所有未处理掩码令牌
3. 状态压缩 ：使用Gather操作生成精简的隐藏状态

// Triton内核示例：令牌选择和压缩
__global__ void focus_compact(
    float* hidden_states, 
    int* selected_indices,
    float* output,
    int num_selected) {
    
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < num_selected) {
        int src_idx = selected_indices[idx];
        #pragma unroll
        for (int dim = 0; dim < hidden_dim; dim++) {
            output[idx*hidden_dim + dim] = 
                hidden_states[src_idx*hidden_dim + dim];
        }
    }
}

3.3 块内KV缓存优化

FOCUS引入 邻居感知稳定性准则 改进KV缓存：

1. 延迟提交 ：令牌的KV状态仅在满足以下条件时缓存：
   • 令牌本身已解码
   • 其右侧邻居也已解码
2. 状态冻结 ：满足条件的令牌不再参与后续重计算

这种设计解决了传统延迟缓存（Delayed Cache）的两个问题：

• 避免破坏ti←ti+1的局部依赖链
• 防止错误传播到后续生成步骤

4. 实现细节与性能优化

4.1 混合执行模式

FOCUS采用独特的执行流程设计：

阶段	执行模式	操作内容	动态性处理
阶段0	Eager	Embedding+Layer0	全块处理
阶段1	Eager	Layer1投影+∆I计算	动态选择
阶段2	CUDA Graph	Layer2+后续层	静态优化

4.2 内存管理创新

1. 非连续注意力 ：改造PagedAttention支持稀疏查询
2. 双缓冲状态跟踪 ：
   • Host端：维护逻辑块进度
   • Device端：物理内存池管理
3. 异步缓存更新 ：使用CUDA事件流实现无阻塞同步

4.3 计算内核优化

关键技术包括：

• 重要性计算融合内核 ：将max-pooling、softmax和归约合并
• 稀疏KV填充 ：针对驱逐后的不规则访问模式优化
• 混合分桶策略 ：
  • 小令牌数（<256）：2的幂次对齐
  • 大令牌数：256为步长的线性分桶

5. 实验验证与性能分析

5.1 生成质量保持

在Conf=0.8的严格测试下，FOCUS不仅保持基线质量，还在多个场景有所提升：

基准测试	基线准确率	FOCUS准确率	相对提升
GSM8K	87.57	90.33	+3.15%
HumanEval	65.85	69.21	+5.10%
MBPP	50.78	59.73	+17.6%

这种反直觉的提升源于FOCUS的 主动噪声过滤 效应：系统会剔除那些虽然置信度高但实际错误的令牌，防止错误在扩散过程中积累。

5.2 吞吐量提升

在A100 GPU上的实测结果显示：

1. 单卡吞吐量 ：

   • ShareGPT：2272 tokens/s (vs 基线979)
   • WildChat：2324 tokens/s (vs 基线1001)
   • 最高达3.52倍加速（B=64时）

2. 批量扩展性 ：

   • 传统方法在batch=64时即饱和
   • FOCUS保持线性增长直至batch=256

3. 架构通用性 ：

   • 密集模型（SDAR）：2.32×
   • MoE模型（LLaDA2.0）：1.89×

5.3 计算效率分析

FOCUS将计算冗余比（处理令牌数/解码令牌数）从15.02降至3.12，实现79.2%的FLOPs节省。具体收益来自：

1. 注意力层 ：减少QK^T计算的平方项
2. FFN层 ：降低矩阵乘的序列维度
3. 内存带宽 ：精简的KV缓存访问

6. 生产部署建议

6.1 参数调优指南

1. 块大小选择 ：

   • 数学推理：B=16-32
   • 代码生成：B=32-64
   • 对话任务：B=64-128

2. 超参数设置 ：

   • α：1.2-1.8（过高会导致质量下降）
   • 置信阈值：0.7-0.9（任务相关）
   • 最小保留数：≥2（保证并行性）

6.2 硬件适配

1. GPU架构 ：
   • Ampere（A100）：启用TF32
   • Hopper（H100）：利用FP8加速
2. 内存配置 ：
   • 每卡≥40GB显存（用于大batch）
   • HBM2e以上带宽（缓解计算瓶颈）

6.3 实际部署中的经验

1. 预热策略 ：
   • 前1-2个块全量处理
   • 逐步引入动态驱逐
2. 异常处理 ：
   • 监控∆I分布异常
   • 实现fallback机制
3. 批处理技巧 ：
   • 相似长度请求分组
   • 动态padding最小化

7. 扩展应用与未来方向

FOCUS的核心思想可推广到：

1. 多模态扩散模型 ：如图文生成中的区域聚焦
2. 持续学习场景 ：动态调整计算资源分配
3. 边缘设备部署 ：通过计算压缩实现端侧运行

我在实际部署中发现，将FOCUS与现有优化技术（如FlashAttention、量化）结合时，能产生叠加效应。一个典型的实践案例是在代码补全场景，通过组合：

• FOCUS：减少70%计算量
• 4-bit量化：压缩50%内存
• 推测解码：提升2倍吞吐 最终实现端到端5.8倍的加速，同时保持生成质量。这证明FOCUS代表的"智能计算分配"思路将成为下一代高效LLM系统的关键设计范式。