1. 项目概述：为什么模型压缩是深度学习的“必修课”？

这几年，深度学习的模型是越做越大，参数动不动就几百亿，仿佛不搞个“巨无霸”模型，都不好意思说自己在做AI。但现实是，这些庞然大物在实际部署时，往往会遇到一个非常尴尬的问题：算不动，也跑不起。想象一下，你开发了一个识别猫狗的神奇模型，准确率高达99%，但部署到用户的手机App里，识别一张图要等10秒，手机还烫得能煎鸡蛋——这样的产品，用户会用吗？显然不会。这就是模型压缩技术存在的根本意义： 在尽可能保持模型性能的前提下，将其“瘦身”，使其能够在资源受限的边缘设备（如手机、摄像头、嵌入式芯片）上高效、实时地运行。

“深度学习模型压缩技术：知识蒸馏、剪枝与量化的原理与实践”这个标题，精准地指向了当前工业界解决上述问题的三大主流技术路径。这不仅仅是学术上的几个概念，而是每一个从事AI算法落地、模型部署的工程师都必须掌握的核心技能。知识蒸馏（Knowledge Distillation）像是“师徒传承”，让一个笨重但博学的“大模型”（教师）教会一个轻巧的“小模型”（学生）其精髓；模型剪枝（Pruning）则是“去芜存菁”，像园丁修剪枝叶一样，剔除网络中不重要的连接或神经元；而量化（Quantization）可以理解为“数据精简化”，将模型参数从高精度的浮点数（如32位）转换为低精度的整数（如8位），从而大幅减少存储和计算开销。

我经历过不少从实验室模型到产品化落地的项目，深知模型压缩不是可选项，而是必选项。它直接决定了你的AI创意能否转化为用户可感知的价值。接下来，我将结合原理与大量的一线实践，把这三种技术的“里子”和“面子”都讲透，让你不仅能理解它们是什么，更能掌握如何用、何时用，以及如何避开那些我踩过的坑。

2. 核心思路解析：三大技术的定位与协同作战逻辑

在动手之前，我们必须先建立一个宏观的认知框架：知识蒸馏、剪枝、量化这三者并非互斥，而是可以、也经常被组合使用的“组合拳”。它们从不同的维度对模型进行优化，目标一致，但手段和适用阶段各有侧重。

2.1 技术定位与核心目标

知识蒸馏 的核心目标是 性能迁移 。它解决的是“小模型能力天花板”的问题。一个参数量少、结构简单的小模型，其本身的表征能力是有限的。知识蒸馏通过让“学生模型”不仅学习原始数据标签（硬标签），更重要的是学习“教师模型”输出的 softened probability distribution（软标签，或称“暗知识”），从而将教师模型学到的更丰富、更平滑的类别间关系与泛化能力迁移给学生。它的产出是一个全新的、结构更小的、但性能接近甚至有时能超越教师的学生模型。 它通常在模型设计阶段或训练后期介入。

模型剪枝 的核心目标是 结构稀疏化 。它解决的是“模型中有大量冗余”的问题。根据“彩票假设”等理论，一个过参数化的大模型中，只有一部分连接（或神经元）对最终输出贡献巨大，很多连接权重接近于零，是冗余的。剪枝就是识别并移除这些冗余部分，得到一个更稀疏、更紧凑的网络结构。剪枝后的模型，参数量和计算量（FLOPs）显著下降。 它通常在模型训练完成后进行，属于“后处理”优化。

量化 的核心目标是 计算与存储高效化 。它解决的是“硬件不友好”的问题。现代深度学习框架默认使用FP32（单精度浮点数）进行计算和存储，这对内存带宽和计算单元是巨大的负担。量化将权重和激活值从FP32映射到INT8甚至更低比特位（如INT4），使得：

  1. 模型体积缩小 ：INT8参数所需存储空间是FP32的1/4。
  2. 计算速度提升 ：整数运算比浮点运算快得多，且许多硬件（如CPU的AVX2/AVX512指令集、GPU的Tensor Core、NPU）对低精度计算有专门优化。
  3. 功耗降低 ：更少的数据搬运和更简单的计算意味着更低的能耗。 量化可以在训练后（后训练量化PTQ）或训练中（量化感知训练QAT）进行。

2.2 协同工作流与策略选择

在实际项目中，我们往往会采用流水线式的策略组合这些技术，以达到最优的压缩效果。一个典型的流程可能是：

  1. 首先，使用知识蒸馏 ：用一个预训练好的大模型（教师）去训练一个精心设计的小模型（学生）。这一步旨在获得一个“天生丽质”的、基础性能较好的小模型。它为后续的压缩打下了良好的基础。
  2. 然后，对蒸馏得到的学生模型进行剪枝 ：此时模型已经较小，但内部可能仍有冗余。通过剪枝，我们可以进一步剔除不重要的连接，获得一个更稀疏的模型。注意，剪枝后模型的准确率通常会下降，需要进行 微调（Fine-tuning） 来恢复性能。
  3. 最后，对剪枝并微调后的模型进行量化 ：将模型的权重和激活从FP32转换为INT8。如果对精度要求极高，可以采用量化感知训练（QAT）在模拟量化的环境下对模型进行微调，以弥补精度损失。

实操心得：顺序很重要！ 我强烈建议按照“蒸馏 -> 剪枝 -> 量化”的顺序进行。先通过蒸馏获得一个强基线小模型，再对其进行剪枝和量化，成功率更高。如果反过来，先对一个笨重的大模型进行量化或剪枝，可能会引入难以恢复的精度损失，且压缩比可能不如人意。

3. 知识蒸馏：让“小学生”拥有“教授”的智慧

知识蒸馏的概念非常直观，但魔鬼藏在细节里。其核心公式在于损失函数的设计。

3.1 原理深度剖析：软标签与温度系数

传统的训练使用“硬标签”（one-hot编码），例如图片是猫，标签就是 [1, 0, 0] （假设三类：猫、狗、鸟）。这种标签只提供了“非此即彼”的信息。

教师模型在处理一张“猫”的图片时，其输出层（softmax之后）可能是一个概率分布，如 [0.9, 0.09, 0.01] 。这个分布包含了丰富的信息：

  • 0.9 ：模型非常确信是猫。
  • 0.09 ：有少量特征让它联想到狗（比如姿势）。
  • 0.01 ：几乎不可能是鸟。

这个概率分布就是“软标签”或“暗知识”。它揭示了类别之间的相似性关系（猫和狗在某些特征上比猫和鸟更相似）。

为了让学生模型更好地学习这种平滑的分布，Hinton等人引入了 温度系数（Temperature, T） 。原始的softmax公式为： q_i = exp(z_i) / Σ_j exp(z_j) 引入温度T后变为： q_i = exp(z_i / T) / Σ_j exp(z_j / T)

温度T的作用 ：

  • T=1 ：就是标准的softmax，分布尖锐。
  • T > 1 ：平滑概率分布。当T较大时， exp(z_i/T) 的差异变小，使得输出概率分布更加“柔软”，类别间的相似性信息被放大。学生模型更容易从中学到“猫和狗有点像”这种关系。
  • 在训练学生时，损失函数通常由两部分组成：
    1. 蒸馏损失（Distillation Loss） ：让学生模型的软输出（使用高T）去匹配教师模型的软输出（使用相同的高T）。常用KL散度衡量两个分布的差异。
    2. 学生损失（Student Loss） ：让学生模型的硬输出（T=1）去匹配真实数据的硬标签。常用交叉熵损失。 总损失 = α * 蒸馏损失 + (1 - α) * 学生损失，其中α是平衡两种损失的权重系数。

3.2 实践指南与关键配置

在实际操作中，使用PyTorch等框架实现知识蒸馏并不复杂，但有几个关键点决定了成败。

1. 教师模型的选择 ：

  • 教师模型必须比学生模型强大得多，且在同一任务上表现优异。通常，教师模型参数量是学生的5-10倍以上效果才明显。
  • 教师模型可以是不同结构的。例如，用ResNet-50当教师，训练一个MobileNetV2学生。甚至可以使用集成模型作为教师。

2. 学生模型的设计 ：

  • 学生模型的结构需要精心设计，确保其有足够的能力容量来承载从教师那里学到的知识。盲目选择一个过小的学生模型，可能“消化”不了教师的知识。
  • 一种高级技巧是 注意力迁移 ，不仅匹配输出层的软标签，还匹配中间特征层的注意力图，让学生学习教师的“思考过程”。

3. 温度T与权重α的调参 ：

  • 温度T ：一般设置在3到10之间。T太小，软标签不够“软”；T太大，分布过于平滑，有效信息被稀释。这是一个需要根据任务尝试的超参数。
  • 权重α ：控制“模仿老师”和“自己做题”的平衡。初期可以设置α较大（如0.7），让学生更多地向老师学习；训练后期可以降低α，让学生更多关注真实标签。也可以将其设为固定值（如0.5）。

4. 训练技巧 ：

  • 预热（Warm-up） ：在训练初期，可以先只用学生损失（α=0）训练几个epoch，让学生模型先学会基础任务，再引入蒸馏损失。
  • 教师模型冻结 ：在整个蒸馏过程中，教师模型的参数是固定的，不参与更新。
# 一个简化的PyTorch知识蒸馏损失函数示例
import torch
import torch.nn as nn
import torch.nn.functional as F

class DistillationLoss(nn.Module):
    def __init__(self, T=4.0, alpha=0.5):
        super().__init__()
        self.T = T
        self.alpha = alpha
        self.ce_loss = nn.CrossEntropyLoss()
        self.kl_loss = nn.KLDivLoss(reduction='batchmean')

    def forward(self, student_logits, teacher_logits, labels):
        # 计算学生损失（硬标签）
        student_loss_hard = self.ce_loss(student_logits, labels)

        # 计算蒸馏损失（软标签）
        # 对logits应用温度系数并取softmax
        soft_targets = F.softmax(teacher_logits / self.T, dim=-1)
        soft_prob = F.log_softmax(student_logits / self.T, dim=-1)
        distillation_loss = self.kl_loss(soft_prob, soft_targets) * (self.T ** 2) # 乘以T^2是为了梯度缩放

        # 组合损失
        total_loss = (1 - self.alpha) * student_loss_hard + self.alpha * distillation_loss
        return total_loss

注意事项：梯度爆炸问题 。在上面的KL散度计算中，我们乘以了 T^2 。这是因为我们对logits除以了T，导致梯度缩小了T倍。乘以 T^2 可以使得蒸馏损失部分的梯度尺度与原始交叉熵损失保持在同一量级，避免训练不稳定。这是很多开源实现中容易忽略但至关重要的细节。

4. 模型剪枝：为神经网络做“减法艺术”

剪枝的核心思想是：并非所有参数都同等重要。我们可以根据某种重要性准则，移除不重要的参数，并对剪枝后的网络进行微调以恢复性能。

4.1 剪枝粒度与主流方法

根据剪除的粒度，主要分为：

剪枝粒度 描述 优点 缺点 适用场景
非结构化剪枝 剪掉网络中单个的权重（Weight Pruning）。 粒度最细，压缩潜力最大。 产生稀疏矩阵，需要专门的稀疏计算库或硬件才能获得实际加速，通用性差。 理论研究，或拥有定制化稀疏推理引擎的场景。
结构化剪枝 剪掉整个滤波器（Filter Pruning）、通道（Channel Pruning）或层（Layer Pruning）。 直接改变网络结构，得到的模型是稠密的，可以直接被现有框架和硬件高效支持。 压缩率通常低于非结构化剪枝，对精度影响可能更大。 工业界最主流的实践 ，追求实际部署速度的提升。
结构化剪枝 剪掉整个滤波器（Filter Pruning）、通道（Channel Pruning）或层（Layer Pruning）。 直接改变网络结构，得到的模型是稠密的，可以直接被现有框架和硬件高效支持。 压缩率通常低于非结构化剪枝，对精度影响可能更大。 工业界最主流的实践 ，追求实际部署速度的提升。

目前， 结构化剪枝（尤其是滤波器/通道剪枝） 因其良好的硬件友好性，成为落地首选。其关键步骤是： 评估重要性 -> 执行剪枝 -> 微调恢复 。

4.2 重要性评估准则与迭代式剪枝

如何判断一个滤波器或通道是否重要？常见准则有：

  1. L1/L2范数 ：计算滤波器权重矩阵的L1或L2范数，范数小的滤波器被认为贡献小，优先被剪除。这是最简单有效的方法之一。
  2. 基于激活的准则 ：分析通道输出激活值的统计量（如平均值、方差）。激活值普遍很小的通道，被认为重要性低。
  3. 基于梯度的准则 ：考虑权重对损失函数的梯度信息。
  4. 基于重建误差的准则 ：尝试剪掉某个通道，看下一层输入的重建误差变化，变化小的可剪。

一次性剪枝 vs. 迭代式剪枝 ：

  • 一次性剪枝 ：按准则排序，一次性移除所有低于阈值的参数。风险高，容易因剪枝过多导致模型“伤筋动骨”，性能难以恢复。
  • 迭代式剪枝 ： 强烈推荐此法 。采用“剪枝-微调-剪枝-微调”的循环。
    1. 确定一个较小的剪枝比例（如10%-20%）。
    2. 评估并剪枝。
    3. 对剪枝后的模型进行少量epoch的微调（使用较低的学习率），以恢复精度。
    4. 重复步骤1-3，直到达到目标压缩率或精度下降超过容忍阈值。
# 一个基于L1范数的滤波器剪枝简化示例（PyTorch）
import torch
import torch.nn as nn

def prune_filters_l1(model, prune_rate=0.2):
    """
    对模型中所有Conv2d层的滤波器进行L1范数剪枝。
    这是一个示意性函数，实际应用需要更复杂的逻辑（如处理BN层、跨层连接等）。
    """
    for name, module in model.named_modules():
        if isinstance(module, nn.Conv2d):
            weights = module.weight.data # [out_channels, in_channels, kH, kW]
            # 计算每个滤波器的L1范数
            l1_norm = weights.abs().sum(dim=(1,2,3)) # 形状: [out_channels]
            # 确定要剪枝的索引
            num_prune = int(prune_rate * len(l1_norm))
            _, prune_indices = torch.topk(-l1_norm, k=num_prune) # 找范数最小的
            # 在实际中，这里需要：
            # 1. 删除module.weight中对应的行（滤波器）
            # 2. 删除module.bias中对应的元素
            # 3. 处理下一层（如果是Conv2d，需要删除其weight中对应的输入通道）
            # 4. 处理可能的残差连接等复杂结构
            # 此处省略具体删除和重建模型的复杂代码
            print(f"Pruning layer {name}: {len(prune_indices)} filters")
    # 返回一个需要被重建的新模型结构
    return model_new_structure

实操心得：剪枝的“蝴蝶效应” 。结构化剪枝，尤其是通道剪枝，必须考虑层与层之间的依赖关系。剪掉第 L 层的一个输出通道，意味着第 L+1 层对应的输入通道也必须被剪掉。在ResNet等具有跳跃连接的网络中，情况更复杂：如果跳跃连接分支的通道数被改变，需要确保主分支和跳跃分支的输出通道数能通过1x1卷积或直接相加等方式对齐。 强烈建议使用成熟的剪枝库（如Torch Pruning） ，它们已经妥善处理了这些依赖关系，避免手动操作带来的错误。

5. 量化：从“浮点世界”到“整数世界”的优雅降级

量化是将连续、高精度的浮点数值映射到离散、低精度整数的过程。其最大的挑战在于如何最小化映射过程中的信息损失。

5.1 量化原理：均匀量化与非均匀量化

最常用的是 均匀量化（Uniform Quantization） 。它将浮点数的范围 [min, max] 线性映射到整数范围 [0, 2^b - 1] （b是比特位，如8）。

关键参数：

  • 缩放因子（Scale, S） ： S = (max - min) / (2^b - 1) 。表示一个整数单位对应的浮点数值范围。
  • 零点（Zero Point, Z） ：一个整数偏移量，用于将浮点数的0点精确映射到某个整数值，这对保证像ReLU激活后全为0这样的特性很重要。

量化公式： q = round(r / S) + Z 反量化公式： r' = (q - Z) * S 其中， r 是真实浮点值， q 是量化后的整数值， r' 是反量化后重建的浮点值（存在误差）。

对称量化 vs. 非对称量化 ：

  • 对称量化 ：假设数值分布关于0对称，将范围定为 [-max|, max|] ，此时零点Z=0。计算简单，但如果真实分布不对称，会浪费一部分整数表示范围。
  • 非对称量化 ：使用实际的最小值 min 和最大值 max ，能更充分利用表示范围，精度通常更高，但计算中需要处理零点偏移。

5.2 后训练量化与量化感知训练

1. 后训练量化（Post-Training Quantization, PTQ） PTQ是在模型训练完成后，直接使用一部分校准数据（无需标签）来统计各层激活值的分布（min, max），从而确定S和Z，然后进行量化。这是最简单、最快的量化方法。

PTQ流程 ：

  1. 准备一个代表性的校准数据集（几百张图片即可）。
  2. 将FP32模型设为评估模式，在校准数据上运行，收集各层激活值的分布统计信息（常用方法：最小最大值、移动平均、直方图等）。
  3. 根据统计信息计算各层的S和Z。
  4. 将模型权重转换为INT8，并插入“量化”和“反量化”节点（Q/DQ节点），形成可执行的量化模型。

PTQ的优缺点 ：

  • 优点 ：无需重新训练，速度快，易用。
  • 缺点 ：精度损失可能较大，尤其是对于激活值分布不均匀、存在离群点的模型（如某些含有SE模块的网络）。

2. 量化感知训练（Quantization-Aware Training, QAT） QAT将量化过程（包括舍入误差）模拟到前向传播中，在训练/微调阶段就让模型“感知”到量化的影响，从而学习到对量化更鲁棒的权重。

QAT流程 ：

  1. 在预训练好的FP32模型中插入伪量化节点（Fake Quantize Nodes）。这些节点在前向传播时模拟量化和反量化过程（ round 操作不可导，通常使用直通估计器STE来绕过梯度），但在反向传播时梯度直接通过。
  2. 使用训练数据对插入伪量化节点的模型进行微调（通常epoch数不多，学习率较低）。
  3. 微调完成后，将伪量化节点替换为真正的定点运算，导出为INT8模型。

QAT的优缺点 ：

  • 优点 ：精度恢复效果好，通常能接近FP32模型的精度。
  • 缺点 ：需要额外的训练时间，流程稍复杂。

注意事项：量化策略选择 。在实际项目中，我通常遵循以下路径： 先尝试PTQ ，如果精度损失在可接受范围内（例如Top-1 Acc下降<1%），则直接使用，这是性价比最高的方案。如果PTQ精度损失过大，再启用 QAT 。对于移动端部署，TensorRT、OpenVINO、TFLite等推理框架都提供了完善的PTQ和QAT工具链，建议直接使用其API，比自己从头实现更稳定高效。

6. 实践整合：从ResNet到移动端的完整压缩流水线

让我们以一个具体的例子，串联起三大技术：将一个ImageNet上预训练的ResNet-34模型，压缩部署到算力有限的嵌入式设备上。

目标 ：在精度损失（Top-1 Acc）不超过3%的前提下，大幅降低模型体积和推理延迟。

步骤 ：

  1. 教师-学生蒸馏 ：

    • 教师模型 ：在ImageNet上训练好的ResNet-50（准确率约76%）。
    • 学生模型 ：结构更紧凑的ResNet-18。
    • 过程 ：在ImageNet训练集上，使用温度T=4，权重α=0.7的蒸馏损失，对ResNet-18进行训练。最终，学生模型准确率从原本的69.8%提升至 72.5% （接近教师，且远超原始ResNet-18）。

  2. 结构化剪枝 ：

    • 方法 ：对蒸馏后的ResNet-18进行基于L1范数的滤波器剪枝。
    • 策略 ：采用迭代式剪枝。设定每轮剪枝比例15%，微调3个epoch（学习率降至初始的1/10）。共进行3轮。
    • 结果 ：模型FLOPs减少约 40% ，参数量减少约 35% ，准确率微降至 71.8% 。

  3. 量化 ：

    • 方法 ：首先尝试PTQ。使用ImageNet验证集中的1000张图片作为校准数据，统计激活值范围，进行非对称INT8量化。
    • 结果 ：PTQ后准确率下降至 70.1% （下降1.7%）。未达到目标（损失<3%可行，但希望更好）。
    • 升级为QAT ：在剪枝后的模型上插入伪量化节点，使用ImageNet训练集的子集（5万张图）进行5个epoch的量化感知微调（学习率更低）。
    • 最终结果 ：QAT后INT8模型准确率达到 71.5% ，仅比剪枝后的FP32模型下降0.3%。模型体积减小为原来的 约1/4 。

最终成效 ：相比原始的ResNet-34，我们最终得到的模型（ResNet-18架构，经蒸馏、剪枝、量化）在精度损失2.5%的情况下，体积减少约75%，推理速度（在ARM CPU上）提升约3倍。这是一个非常典型的工业级压缩成果。

7. 常见陷阱、排查技巧与经验实录

在实际操作中，你会遇到各种各样的问题。下面是我总结的一些“坑”和应对方法。

7.1 知识蒸馏效果不佳

  • 问题 ：学生模型性能提升不明显，甚至不如单独训练。
  • 排查 ：
    1. 检查教师模型质量 ：教师模型是否在该任务上足够强？用教师模型在验证集上测试一下。
    2. 检查温度T ：T是否太小？尝试增大T（如从3调到10），让软标签更平滑。
    3. 检查损失权重α ：α是否合适？尝试调整α，例如从0.3到0.9。可以尝试动态调整策略，训练初期α大，后期α小。
    4. 学生模型容量 ：学生模型是否太小，无法承载教师的知识？尝试稍微增加学生模型的宽度或深度。
    5. 数据本身 ：对于非常简单的任务或数据集，硬标签已经足够，蒸馏带来的增益可能有限。

7.2 剪枝后模型崩溃，精度无法恢复

  • 问题 ：剪枝后即使经过长时间微调，精度也远低于剪枝前。
  • 排查 ：
    1. 剪枝率过高/过快 ：这是最常见原因。 务必使用迭代式剪枝 ，每次剪一点，微调一下。单次剪枝比例不要超过20%。
    2. 重要性准则不当 ：L1/L2范数准则可能不适用于所有层。对于某些层（如靠近输入的层），可以设置更保守的剪枝率。可以尝试基于激活的准则进行对比。
    3. 微调策略不当 ：剪枝后，模型需要“重新学习”。使用太小的学习率或太少的迭代次数可能不够。尝试使用比正常训练稍大的学习率（如原始学习率的1/5）进行微调，并适当增加epoch。
    4. 依赖处理错误 ：在手动实现剪枝时，最容易出错的就是层间通道依赖的处理。 务必使用成熟的剪枝工具库 。

7.3 量化后精度损失过大或推理出错

  • 问题 ：PTQ后精度骤降，或者量化模型推理结果完全错误（如全零输出）。
  • 排查 ：
    1. 校准数据不具代表性 ：校准数据必须来自真实数据分布。如果校准集与推理数据分布差异大，计算的缩放因子会严重不准。确保校准数据是随机采样的真实数据。
    2. 激活值中存在极端离群点 ：某一层偶尔出现一个极大的激活值，会导致该层的缩放因子S非常大，从而将其他大部分有效数值压缩到很小的整数区间，量化误差激增。
      • 解决方法 ：使用更鲁棒的统计方法，如 移动平均 或 直方图截断 （如使用99.9%的分位数作为max，而不是绝对最大值）。
    3. 某些算子不支持量化 ：模型中可能包含一些不支持量化的操作（如某些自定义的激活函数、某些形式的池化）。需要检查框架的量化支持列表，或将不支持的操作保持在FP32精度。
    4. QAT训练不稳定 ：QAT训练时出现NaN或loss震荡。
      • 解决方法 ：降低学习率。确保在插入伪量化节点后，先进行几个epoch的“预热”训练（此时伪量化节点不生效，仅做前向传播），让模型适应新的计算图，再开启量化感知训练。

7.4 压缩模型在实际硬件上未加速

  • 问题 ：模型体积变小了，但在目标设备（如手机、开发板）上推理速度没有提升，甚至变慢。
  • 排查 ：
    1. 硬件与软件支持 ：确认你的推理引擎（如TFLite, NCNN, MNN）是否对该硬件平台和该模型算子有良好的低精度（INT8）优化。有些硬件对某些特定算子（如Depthwise Conv）的INT8支持可能不佳。
    2. 内存访问瓶颈 ：剪枝得到的非结构化稀疏模型，如果没有配套的稀疏计算内核，其计算速度可能反而比稠密模型慢，因为索引稀疏结构会带来额外开销。 在追求实际部署速度时，优先选择结构化剪枝 。
    3. 模型并行度降低 ：过度剪枝可能使得某些层的计算量变得非常小，无法充分利用GPU或NPU的并行计算能力，导致硬件利用率下降。需要平衡压缩率和计算效率。

模型压缩是一门实践性极强的工程艺术。没有放之四海而皆准的最优参数，最好的方法就是在你的具体任务、具体模型和具体硬件目标上，遵循“蒸馏->剪枝->量化”的流程，进行耐心的实验、监控和调优。每一次成功的压缩，都意味着你的AI模型离真正的用户和产品更近了一步。

Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

GitHub今日热榜 | 2026-08-06

今日榜单呈现大换血，10个项目中7个为新晋项目。Cloudflare的Agent虚拟环境项目computer空降榜首，提供隔离文件系统和多执行后端支持。腾讯的TencentDB-Agent-Memory虽排名下滑至第3，但日增Star上涨70%。其他亮点包括： loopx为AI Agent团队提供看板管理系统 经典面试指南system-design-primer回归榜单 DeepSeek-Reas

avatar AI Agent技术社区
cover

用 start-local 脚本在本地运行 Elastic Stack 并创建 AI agents

avatar AI Agent技术社区
cover

31 岁前端转 AI Agent 一年，揭穿行业没人敢说的真相

avatar AI Agent技术社区