1. 初识timm：PyTorch图像模型的瑞士军刀

第一次接触timm库是在一个图像分类项目里，当时需要快速验证多个模型的效果。手动实现每个模型不仅耗时，还要处理各种预训练权重加载问题。直到发现了timm这个宝藏库，我的工作效率直接翻倍——592个预训练模型直接调用，从经典的ResNet到最新的ViT、EfficientNet全都有。

这个由Ross Wightman维护的项目堪称PyTorch生态中最全面的图像模型库。我特别喜欢它的设计哲学：既保持顶层API的简洁性，又为深度定制留足了空间。比如创建一个带预训练的ResNet-50，只需要一行代码：

model = timm.create_model('resnet50', pretrained=True)

更棒的是，timm对所有模型进行了标准化处理。无论什么架构，统一支持forward_features()方法提取中间特征，这对做特征比对和模型微调太友好了。实测下来，相同的ResNet实现，timm版本在推理速度上往往比原生PyTorch实现快5-10%，这得益于作者对底层算子的持续优化。

安装也简单到离谱：

pip install timm
# 或者尝鲜最新开发版
pip install git+https://github.com/rwightman/pytorch-image-models.git

2. 基础实战：五分钟搞定迁移学习

2.1 快速模型适配

做图像分类时，最常见的就是用预训练模型做迁移学习。传统做法要手动修改全连接层，而用timm只需要一个参数：

# 将1000类分类头改为10类
model = timm.create_model('efficientnet_b3', pretrained=True, num_classes=10)

最近帮客户做花卉分类时，这个特性派上大用场。我们测试了不同模型在小型数据集上的表现，快速迭代了20多种架构，代码量却减少了70%。特别提醒：当num_classes=0时，模型会移除分类层，只返回特征，这在特征提取任务中非常实用。

2.2 灵活的特征提取

除了常规的前向传播，timm提供了更细粒度的特征控制：

# 获取全局平均池化前的特征
features = model.forward_features(input_img)
# 获取特定层的输出
model = timm.create_model('resnet50', features_only=True, out_indices=(2,3,4))
layer2, layer3, layer4 = model(input_img)

在目标检测项目中，我们就是用out_indices参数提取了多尺度特征，直接喂给FPN网络。相比自己重写backbone，这种方式既保证了灵活性，又避免了底层实现错误。

3. 模型手术：深度定制技巧

3.1 修改模型结构

timm的模型就像乐高积木，可以随意拆解重组。比如想替换ResNet的池化层：

model = timm.create_model('resnet50', global_pool='max')  # 改为最大池化
# 或者更动态的方式
model.reset_classifier(num_classes=0, global_pool='avgmax')

去年复现一篇论文时，需要将ViT的cls token分类改为全局池化。通过继承timm的VisionTransformer类，我只用了20行代码就完成了改造：

class MyViT(timm.models.VisionTransformer):
    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        del self.head  # 移除原分类头
        
    def forward_features(self, x):
        x = super().forward_features(x)
        return x.mean(dim=1)  # 全局平均池化

3.2 多阶段特征输出

做语义分割时，经常需要中间层的特征图。timm的features_only模式可以一键获取：

model = timm.create_model('mobilenetv3_large', 
                         features_only=True,
                         out_indices=(1,2,3,4),
                         output_stride=16)
features = model(input_img)  # 返回四个层级的特征图

参数output_stride控制着特征图的下采样率，这对实时分割系统至关重要。我们团队在车道线检测项目中，就是通过调整这个参数平衡了精度和速度。

4. 高级玩法：复用模块构建新模型

4.1 直接调用内置模块

timm最强大的地方在于所有组件都是可插拔的。比如想构建一个混合CNN-Transformer模型：

from timm.models.layers import PatchEmbed, DropPath

class HybridModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn_backbone = timm.create_model('resnet50', features_only=True)
        self.patch_embed = PatchEmbed(img_size=224, patch_size=16)
        self.transformer_blocks = nn.Sequential(*[
            timm.models.vision_transformer.Block(embed_dim=768)
            for _ in range(12)])

这种设计让原型开发变得极其高效。何凯明的MAE实现中就大量复用了timm的ViT模块，包括PatchEmbed、Attention等核心组件。

4.2 自定义训练逻辑

虽然timm提供了完整的训练脚本，但集成到自定义pipeline也很简单。这里分享一个我在用的微调模板：

model = timm.create_model('convnext_base', pretrained=True)
optimizer = timm.optim.create_optimizer_v2(model, opt='adamw', lr=1e-4)

# 自定义学习率衰减
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
    optimizer, T_max=100)

for epoch in range(epochs):
    for inputs, targets in loader:
        outputs = model(inputs)
        loss = F.cross_entropy(outputs, targets)
        loss.backward()
        optimizer.step()
        scheduler.step()

特别推荐使用timm的优化器工厂函数create_optimizer_v2，它统一了不同优化器的参数配置，支持AdamW、LAMB等现代优化器。

5. 性能优化实战经验

5.1 推理加速技巧

在部署模型时，我发现这些trick特别有效：

1. 启用torch.compile加速：

model = timm.create_model('efficientnetv2_rw_s').cuda()
model = torch.compile(model)

2. 使用exportable模式去除条件分支：

model = timm.create_model('mobilenetv3_large', exportable=True)

3. 混合精度推理：

with torch.cuda.amp.autocast():
    output = model(input_img.half())

实测在A100上，这些优化能让ViT的推理速度提升3倍以上。对于边缘设备，建议导出ONNX时加上动态轴：

torch.onnx.export(model, 
                 dummy_input,
                 "model.onnx",
                 dynamic_axes={'input': [0], 'output': [0]})

5.2 内存优化方案

当遇到显存不足时，可以尝试：

1. 使用梯度检查点：

model = timm.create_model('vit_base_patch16', checkpoint_path=True)

2. 激活features_only模式减少中间缓存：

model = timm.create_model('resnet152', features_only=True)

3. 调整BN层的动量：

model = timm.create_model('resnet50', bn_tf=True, bn_momentum=0.1)

在Kaggle比赛中，我们就是靠这些方法在单卡上训练了更大的batch size，最终成绩提升了2个点。

6. 避坑指南：那些年踩过的坑

1. 预训练权重加载问题：当修改模型结构后，建议用strict=False加载：

model.load_state_dict(torch.load('pretrained.pth'), strict=False)

2. 输入尺寸不匹配：有些模型对输入尺寸有严格要求，比如ViT通常需要224x224。可以通过dynamic_img_size参数放宽限制：

model = timm.create_model('vit_base_patch16', dynamic_img_size=True)

3. 特征对齐问题：当使用features_only模式时，不同层级的特征图尺寸可能不符合预期。这时候需要检查feature_info：

model = timm.create_model('resnet50', features_only=True)
print(model.feature_info)  # 查看各层通道数和下采样率

4. 自定义模块的陷阱：复用timm模块时要注意初始化问题。比如自己实现Transformer Block时，记得继承timm的初始化逻辑：

from timm.models.layers import trunc_normal_
trunc_normal_(my_module.weight, std=0.02)  # 保持与预训练一致

最近在医疗影像项目里，就因为没有正确初始化导致微调效果不佳。后来对比了官方实现才发现问题所在。