1. RT-DETR模型初探与环境搭建

第一次接触RT-DETR时，我被它的"实时检测Transformer"特性吸引。作为百度基于DETR改进的目标检测模型，它完美结合了Transformer的全局建模能力和实时检测需求。相比传统CNN-based检测器，RT-DETR在保持精度的同时，推理速度提升了30%以上，这对需要实时处理的场景（如智能监控、自动驾驶）简直是福音。

搭建环境时我踩过几个坑，分享下最稳妥的方案。首先确保你的机器有NVIDIA显卡（建议RTX 3060以上），然后按这个顺序操作：

conda create -n rtdetr python=3.8
conda activate rtdetr
git clone https://github.com/lyuwenyu/RT-DETR.git
cd RT-DETR
pip install -r requirements.txt

特别提醒：PyTorch版本建议用1.12.0+cu113组合，太高版本可能遇到兼容性问题。我有次偷懒直接装了最新版PyTorch，结果训练时各种报错，折腾半天才发现是版本冲突。安装完成后别急着跑代码，先用nvidia-smi确认CUDA能被正常调用，这个检查能避免90%的环境问题。

2. 项目结构深度解析

解压后的项目目录看着有点复杂，但其实核心就三个文件夹：

• tools/：藏着训练和模型转换的入口文件
  • train.py：主训练脚本，后面会重点讲参数配置
  • export_onnx.py：模型转换工具，部署时要用到
• src/：模型的核心实现
  • optimizers/：优化器实现，默认用的AdamW
  • models/：主干网络代码，包括ResNet、HGNet等
  • data/：数据加载模块，支持COCO/VOC格式
• configs/：所有配置文件的老巢
  • dataset/：数据路径配置
  • rtdetr/：模型参数配置

建议先重点看src/models/rtdetr.py，里面用Transformer替代了传统检测器的NMS后处理，这就是实现端到端检测的关键。我当初为了理解这个设计，专门用PyTorch Hook打印了各层特征图，发现Transformer层确实能有效建模全局关系。

3. 自定义数据集全攻略

官方示例用的COCO数据集，但实际项目我们肯定要用自己的数据。经过三个项目的实战，我总结出最高效的数据准备流程：

1. 数据标注：用LabelImg生成XML格式标注文件，存放路径建议为：

   configs/train_src/
   ├── img1.jpg
   ├── img1.xml
   ├── img2.jpg
   └── img2.xml
   

2. 格式转换：使用下面优化过的转换脚本（比原版更健壮）：

   # 新增错误处理逻辑
   def get_and_check(root, name, length):
       try:
           vars = root.findall(name)
           if len(vars) == 0:
               raise ValueError(f'Missing {name} tag')
           # ...其余代码不变...
       except Exception as e:
           print(f"Error processing {root.tag}: {str(e)}")
           return None
   

3. 数据集划分：修改脚本中的classes变量为你的类别，比如：

   classes = ['cat', 'dog', 'person']  # 替换为实际类别
   pre_define_categories = {cls:i for i,cls in enumerate(classes)}
   

转换完成后，检查生成的instances_train2017.json文件是否包含所有标注信息。常见坑点：类别名有空格会导致后续训练报错，建议提前统一替换为下划线。

4. 模型训练实战技巧

配置文件是训练的关键，重点修改configs/dataset/coco_detection.yml：

train:
  img_dir: "configs/dataset/coco/train2017"  # 训练集图片路径
  ann_file: "configs/dataset/coco/annotations/instances_train2017.json" # 标注文件路径
val:
  img_dir: "configs/dataset/coco/val2017"
  ann_file: "configs/dataset/coco/annotations/instances_val2017.json"

启动训练前，建议先跑个小规模测试：

python tools/train.py \
    --config configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
    --batch_size 4 \
    --epochs 5 \
    --eval_interval 2

几个实用参数：

• --resume：从检查点恢复训练
• --amp：启用混合精度训练（显存节省40%）
• --num_workers：根据CPU核心数设置（通常设8-16）

训练过程中用TensorBoard监控指标：

tensorboard --logdir outputs/  # 默认监控端口6006

遇到loss震荡时，可以尝试调整学习率（修改configs/rtdetr/optimizer.yml）。我在实际项目中发现，当类别数小于10时，把初始学习率从0.0001调到0.0005能加快收敛。

5. 模型导出与部署

训练完成后，用这个命令导出ONNX模型：

python tools/export_onnx.py \
    --config configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
    --checkpoint outputs/weight/best_model.pdparams \
    --output rtdetr.onnx

部署时要注意：

1. ONNX模型需要配合自定义的后处理代码
2. TensorRT加速时建议用FP16模式
3. 对于边缘设备，可以尝试量化压缩模型大小

我在Jetson Xavier上测试过量化后的模型，推理速度能达到45FPS，完全满足实时性要求。关键是要在导出时添加--deploy参数，并准备好校准数据集。