点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用！发论文/搞科研/涨薪，强烈推荐！

AdaKD: 自适应token聚焦 × 逆难度温度缩放——大语言模型的高效知识蒸馏

AAAI 2026

LLM-Oriented Token-Adaptive Knowledge Distillation

Xurong Xie¹, Zhucun Xue¹, Jiafu Wu², Jian Li², Yabiao Wang², Xiaobin Hu³, Yong Liu¹, Jiangning Zhang¹’²¹ Zhejiang University ² Tencent Youtu Lab ³ National University of Singapore

代码链接:https://github.com/SassyRong/AdaKD

代码链接:https://arxiv.org/abs/2510.11615

亮点总结

1. 动态高效的知识蒸馏框架——AdaKD：本文提出了一个新颖的、面向大语言模型的自适应知识蒸馏框架（AdaKD）。它能够根据学生模型的实时学习状态，动态调整蒸馏过程的重点和强度，克服了传统静态方法的局限性。

2. 两大核心协同模块：AdaKD由两大创新模块构成：

• 损失驱动的自适应令牌聚焦（LATF）：动态识别并聚焦于对学生模型最有价值的困难token，从而提升蒸馏效率。

• 逆难度温度缩放（IDTS）：对困难token使用低温以进行精确纠错，对简单token使用高温以促进泛化。

• 即插即用的通用增强件：作为一个即插即用的框架，AdaKD可以轻松地与各种现有的知识蒸馏方法结合，在多个模型架构和基准测试中持续、显著地提升它们的性能。

• 1. 研究动机

  • 训练焦点不加区分

  • • 目前主流的基于logit的知识蒸馏方法普遍采用静态策略，对所有令牌一视同仁。这种方法无法适应学生模型动态的学习过程，可能导致知识转移效率低下，甚至有可能因为在已掌握的简单令牌上过度训练而引入噪声。

  • 蒸馏温度的固定处理

  • • 蒸馏温度是影响知识蒸馏效果的关键超参数。然而，现有方法通常为整个过程设定一个固定的温度值。这种静态策略无法为不同难度的令牌提供最优的学习信号，限制了知识转移的深度与质量。

  2. 关键的发现

  

  图1: token难度与梯度动态分析。 (a)展示了在不同训练阶段，各token难度的演变过程。(b)展示了不同难度分组的token梯度与SFT梯度的余弦相似度。(c)展示了各组token的梯度范数百分比及其与总批次梯度的余弦相似度。

  1. token的学习难度是动态演化的

  • 如图1(a)所示，我们跟踪了训练过程中不同token的难度变化。发现有些token（如"2007"）始终是难点，而有些（如"NBA"）则很快被掌握。这种复杂的动态性表明，我们可以尝试针对不同token的学习难度变化设计不同的策略，例如温度缩放策略。

  2. 简单的token在后期学习价值极低

  • 如图1(b)和图1(c)所示，我们分析了梯度的动态特性。结果显示，对于模型已掌握的简单token（Easy），其梯度贡献微乎其微，且方向不稳定（以SFT梯度方向为参考，方向波动大且出现负余弦相似度，以总体梯度为参考，方向近乎正交）。这不仅意味着简单令牌在训练后期价值十分有限，还有可能引入干扰信号，影响知识传递的效率和稳定性。

  3. 方法

  1. 解耦与自适应——AdaKD框架总览

  

  图2：AdaKD框架图解。 条形图可视化了简化的教师（蓝色）和学生（紫色）概率分布。上方图表描绘了模型对“困难”和“中等”token的初始学习差距。经过LATF模块过滤后，下方的IDTS模块对困难token应用低温（提供尖锐的纠错信号），对较容易的token应用高温（提供平滑的分布以增强泛化）

  • 如图2所示 ，AdaKD通过一个统一的token难度指标驱动两大模块协同工作：LATF模块首先根据难度过滤掉低价值的简单token，IDTS模块随后为留下的高价值token分配定制化的温度，从而在降低计算开销的同时提升蒸馏效果。这里难度指标 使用对称的Hellinger距离，其平方运算对低概率候选token上的差异更敏感，且数学范围界定在 ，便于后续运算。

  2. 损失驱动的自适应令牌聚焦 (LATF)

  LATF通过监控蒸馏损失的指数移动平均（EMA）  来判断学习状态。

  当损失下降稳定时，自动收紧采样比例（ ），聚焦于最难的token；当损失上升时，适当放宽比例以稳定训练。具体地，我们使用一种简单的调整策略，在短暂的warmup阶段后，我们记录 为当前的  ，当  的变化超过预设的 限制时我们就调整  相应变化。

  3. 逆难度温度缩放 (IDTS)

  • 动机： 传统观点认为应使用高温来软化分布，但我们实验发现，对困难token使用低温使教师分布更尖锐，提供明确的标准答案，进行强力纠错。对简单token使用高温使分布更平滑，鼓励学生学习教师分布的整体形态，增强泛化能力，能得到更好的效果。

  • IDTS的实现分为两步。首先，我们将原始的Hellinger难度分   转化为一个范围在 [-1, 1] 内的归一化学习状态  ：

    随后，该学习状态通过一个指数函数来动态调节基准温度  ，从而得到每个token专属的温度  ：

    指数中的负号实现了我们的逆向策略：高难度（ 为正）导致低温，而低难度（ 为负）则导致高温。超参数   则控制着调节的强度。

  

  图3: 不同阶段的指标分布直方图。上下两行对比了“训练前”与“训练后期”的模型状态。列从左至右分别展示了：分配的温度、IDTS处理前的学生模型输出熵、以及IDTS处理后的学生模型输出熵。

  • 如图3所示，左侧的温度分布图清晰地验证了我们的逆向策略：无论在训练初期还是后期，困难token始终被赋予较低的温度，而简单token则被赋予较高的温度。右侧两列图表表面经过IDTS施加的不同温度调节后，原本差异较大的两组token的信息熵被成功地对齐到了一个相似的水平。这表明IDTS为不同难度的token动态地创造了一个信息量更均衡的学习目标：它降低了困难token学习目标的复杂度，让模型集中精力纠错；同时增加了简单token学习目标的丰富度，鼓励模型学习泛化知识。

  4. 实验结果

  • 在Qwen2-7B到1.5B，以及OpenLLaMA2-7B到3B的蒸馏任务上，我们将AdaKD应用于FKD、RKD、ABKD、GKD等多种基线方法，使用rouge-l指标评判。实验结果表明，AdaKD在Dolly、Self-Instruct等五个基准上均实现了一致且显著的性能提升。

  
  

  

  • LLM-as-a-Judge的评测中，集成AdaKD的模型在生成质量的成对比较中显著优于原始基线模型，此外FKD中我们的方法表现较差，这可能是FKD的mean-seeking与IDTS在高难度token上的温度缩放策略存在概念冲突。

  
  

  

  • 如图4(a)，(b)所示，我们的自适应LATF机制能够根据训练损失实时调整采样率，实现更稳定的损失下降。如图4(c)和(d)所示，我们对IDTS的调制强度 进行了消融实验，发现 时在所有数据集上均能取得最佳的平均性能，验证了逆向温度缩放策略的鲁棒性。

  

  图4: 自适应机制效果分析。(a)展示了自适应LATF在训练过程中的损失和采样率变化曲线。(c)展示了IDTS调制强度c对不同数据集上归一化得分的影响。(d)展示了平均ROUGE-L分数随c的变化，c=0.5为最优选择。

  • 更多关于超参数选择、各组件有效性的分析以及其他消融实验的详细结果，请参阅我们的论文原文。

  5. 未来工作

  • 从信息熵视角探索更具理论性的温度缩放策略：如图4所示，我们的算法在温度缩放后，能在一定程度上对齐不同难度token的信息熵。这启发我们，通过合理设置蒸馏温度来主动控制蒸馏token的信息熵，从而为不同难度的token分配最优的学习信息量，是提升蒸馏效果的关键。未来，我们可以尝试直接从信息熵理论出发，探索数学形式更严谨、更具理论支撑的温度缩放新范式。

  • 更平滑、更智能的自适应聚焦机制： 目前LATF采用离散的反馈机制调整采样率，这可能导致训练过程中出现振荡。为实现更平滑、更稳定的收敛，未来的工作将探索更精细的连续自适应机制。例如，可以研究基于PID控制器思想的调整策略，或引入轻量级的强化学习代理来动态学习最优的采样率曲线，而不仅仅是步进式调整。这样的设计有望进一步抑制训练噪声，带来更快的收敛速度和更高的模型性能上限。

  • 向更具挑战性的任务扩展： 目前的验证主要集中在指令遵循任务上。未来，我们会将AdaKD框架的有效性扩展并验证到更复杂、更具挑战性的场景，例如长文本的代码生成、数学推理等。

  本文系学术转载，如有侵权，请联系CVer小助手删文

  何恺明在MIT授课的课件PPT下载
  

  在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
  ICCV 2025 论文和代码下载
  在CVer公众号后台回复：ICCV2025，即可下载ICCV 2025论文和代码开源的论文合
  CVPR 2025 论文和代码下载
  在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

  CV垂直方向和论文投稿交流群成立

  扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
  一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

  ▲扫码或加微信号: CVer2233，进交流群
  CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！
  
  ▲扫码加入星球学习

  ▲点击上方卡片，关注CVer公众号
  整理不易，请点赞和在看