开放词汇检测器在COCO数据集上表现优异，但在处理包含预训练中未出现的分布外类别的真实世界数据集时，往往难以泛化。我们并未简单采用对重量级视觉语言模型（VLM）进行新领域微调的方法，而是提出RF-DETR——一种轻量级专业检测Transformer模型，通过权重共享神经架构搜索（NAS）技术，能为任意目标数据集发现准确率-延迟帕累托曲线。该方法通过在目标数据集上微调预训练基础网络，无需重新训练即可评估数千种不同准确率-延迟权衡的网络配置。此外，我们重新优化NAS的“可调参数”，以提升DETR模型在多样化目标领域的迁移能力。值得注意的是，RF-DETR在COCO和Roboflow100-VL数据集上的表现显著优于现有最先进实时检测方法：RF-DETR（nano）在COCO数据集上取得48.0的平均精度（AP），在相似延迟条件下比D-FINE（nano）高出5.3个AP；RF-DETR（2x-large）在Roboflow100-VL数据集上比GroundingDINO（tiny）高出1.2个AP，且运行速度提升20倍。据我们所知，RF-DETR（2x-large）是首个在COCO数据集上突破60 AP阈值的实时检测器。相关代码已发布于GitHub。

结论 本文提出RF-DETR，这是一种基于无监督学习（NAS）的尖端方法，专门用于针对特定数据集和硬件平台对专业级端到端目标检测器进行微调。我们的方法在COCO和RF100-VL数据集上均优于现有最先进的实时检测方法，在COCO数据集上较D-FINE（nano）模型提升了5%的平均精度（AP）。研究发现，当前主流架构、学习率调度器及数据增强调度器均经过优化以最大化COCO数据集性能，这提示学界应通过多样化大规模数据集进行模型基准测试，以避免隐性过拟合问题。最后，我们指出功耗限制导致延迟基准测试结果存在显著波动性，并提出标准化测试协议以提升可重复性。