在多模态大语言模型（MLLMs）中，视觉token消耗了大量的计算资源，严重影响模型效率。近期的研究工作尝试通过在训练过程中压缩视觉token来提高效率，其方法包括修改模型组件或引入额外参数。然而，直接压缩token会改变输入分布，引发特征空间剧烈扰动并迁移参数空间最优点，导致模型学习难度的增加。

针对上述挑战，上海交通大学联合上海人工智能实验室等高校研究者提出了一种专为视觉token压缩设计的渐进一致性蒸馏学习框架EPIC。其中，研究团队从token-wise和layer-wise分解由视觉token压缩引发的特征空间扰动，**分别引入token一致性蒸馏（TCD）和层一致性蒸馏（LCD），旨在利用教师模型的指导并遵循渐进式学习路径，以降低训练难度。**该框架无需改动模型结构，兼容FastV、DART、Random等多种Token压缩方法。大量实验表明，研究团队提出的EPIC框架在有效性、鲁棒性和泛化能力方面均表现出优越性能。

• 论文标题：
  Efficient Multi-modal Large Language Models viaProgressive Consistency Distillation

• 论文链接：

  https://arxiv.org/pdf/2510.00515

• 项目链接：

  https://github.com/ZichenWen1/EPIC

一、方法

图1：渐进式一致性蒸馏与直接训练对比。每个子图展示了对应token压缩率下的损失曲面情况，其中标明了最优解位置。EPIC通过渐进式学习路径达到目标，而直接训练则面临较大挑战。

为达成更优的性能-效率平衡，近期基于训练感知（training-aware ）的token压缩方法受到广泛关注。尽管这些方法（MQT-LLaVA、TokenPacker、VoCo-LLaMA和LLaVA-Mini等）在基本保持性能的同时提升了模型效率，但其改进主要源于架构增强或新引入的模块，往往忽视了token压缩在训练过程中带来的学习挑战。

如图1所示，当在训练中应用token压缩时，压缩后token序列的分布不可避免地与完整token集存在差异。这种差异可视为特征空间的扰动，会导致模型参数空间的最优点发生偏移。压缩率越高引入的扰动越大，相应导致最优点偏移越远。基于训练过程的token压缩其核心目标，是引导模型从原始最优点（完整token状态下）逐步适应至压缩token分布对应的新最优点。图1(d)表明，直接使用压缩token训练模型往往导致次优解，优化过程容易陷入不良局部极小值，难以在强压缩条件下抵达目标最优点。

图3：渐进一致性蒸馏概述。（i）token一致性蒸馏随时间逐步提高token压缩率。（ii）层一致性蒸馏将token压缩从深层逐步转移至浅层，促进训练过程中的layer-wise一致性。

研究团队提出的EPIC框架如图3所示，该框架通过权重共享使单个MLLM同时担任教师与学生角色。

• 在****token-wise方面：研究团队引入了token一致性蒸馏（TCD），在训练的早期阶段，教师和学生模型均采用极低的token压缩率，此时学习任务相对简单且最优参数点偏移较小。**随着训练的进行，压缩率逐渐增强，形成一条渐进式学习轨迹。尽管强压缩下的最终最优点与初始最优点相距甚远，但轨迹中每个中间最优点均与前一个最优点保持邻近，使得每一次过渡更易于管理且更易优化。此外，教师模型始终采用比学生模型略低的压缩率，在两者之间形成一个压缩率差距。**研究团队认为，当差距过大时学生模型难以有效吸收教师指导，因此该压缩率差距同样遵循渐进学习策略，随时间逐步扩大以降低学习难度。
• 在layer-wise方面：研究团队引入了层一致性蒸馏（LCD）。基于先前研究的观察，视觉token在深层中的重要性显著降低，表明在这些layer进行token压缩对模型的特征空间和输出影响极小。因此，在LCD中，随着训练的推进token压缩逐渐从深层向浅层转移，隐式地遵循一种由易到难的学习范式。同时，教师与学生之间保持压缩差距，以促进教师的有效指导。

二、评估

表1展示了在10个代表性视觉基准上的实验结果。

• 当保留128个视觉token时，EPIC框架性能与原始的LLaVAv1.5-7B相当；

• 在使用192个及****以上视觉token时，性能甚至超越原始模型，这表明视觉token存在冗余。

• 与其它需要修改模型结构的训练感知方法（如MQT-LLaVA、TokenPacker）相比，EPIC框架实现了更优的平均性能，尤其在MME、MMBench和VQA V2上表现突出。这表明，对于token压缩而言，有效的训练策略与模型结构的修改同等重要。

实验结果还展示了EPIC框架在不同压缩比率下的鲁棒性：使用64个视觉token时，性能仅下降2%；而在128～256个视觉token范围内，性能波动极小。

在推理效率方面，EPIC框架主要受推理过程中所采用的token压缩策略影响。表2展示了在使用TCD训练的模型上，应用三种不同的token压缩方法进行推理时获得的KV缓存占用、CUDA运行时间以及FLOPs。可以看出，在保留64个token的情况下，所有方法在减少KV缓存内存、FLOPs和延迟方面均取得了改进。特别是在Random方法上，因其不引入额外的计算开销，实现了近1.6倍的实际加速效果。

如表6所示，与其他需要调整模型架构的token压缩方法相比，EPIC仅需进行监督微调，在8张A100 GPU上约12小时即可完成训练。大多数需要修改模型架构的token压缩方法需要两个甚至三个训练阶段，且新增或替换的模型组件需要更多训练轮次才能正确调整参数，导致计算开销显著增加（例如，在8张A100上需要30～48小时），大幅度增加了整体训练成本。

为验证权重共享教师模型的指导作用以及渐进式学习策略在训练感知型token压缩中的重要性，研究团队针对这两个核心组件进行了消融实验。如表3和表4所示：在没有教师指导的情况下，TCD和LCD在多个基准测试中的平均性能均出现显著下降，尤其在以视觉为中心的MME和MMBench等基准上下降表现尤为明显。

研究团队进一步探究了EPIC框架对不同token压缩策略的适应性。如图4所示，EPIC在所有基准测试和压缩方法中均能持续提升模型性能。值得注意的是，即使仅使用基于DART的压缩进行训练，该模型仍能良好地泛化至FastV和随机压缩方法，并产生稳定的性能增益。此外，经过EPIC训练后，不同token压缩策略之间的性能差距显著缩小。

图5展示了FLOPs与保留视觉token数量之间的关系。当token数量从完整集（576个token）减少至128个时，FLOPs从9.3T显著下降至约2T。但在更极端的压缩条件下，FLOPs的降低幅度明显收窄。

在token数量与实际延迟的关系中也观察到类似甚至更显著的趋势。在某些情况下，保留64个token的性能表现优于更少token（如36或18个）。一个可能的假设是：过度碎片化的特征切片会增加内存访问时间。此外，**将token压缩至64个仍能保持原始模型性能。研究团队将此范围称为高投资回报率区域。**若进一步压缩至64个以下，仅能获得有限的延迟收益，却会导致性能急剧下降，即低投资回报率区域。

模型效率实际取决于其受计算瓶颈还是内存瓶颈制约。当token数量过度削减时，GPU计算资源无法得到充分利用，延迟主要受限于内存访问，使系统处于内存瓶颈状态，此时进一步压缩难以带来加速收益。总体而言，研究团队认为极端压缩并无必要，而应将重点置于延迟与性能的平衡优化上。

三、如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓