基于对比学习的卫星影像目标检测领域自适应方法(美国2024年研究)
摘要:当前应用于卫星和无人机影像的最先进(SOTA)目标检测方法,在识别跨领域的小型密集目标时普遍表现欠佳。航拍影像中内容的高度多样性源于传感器类型、地面区域、光照条件以及每日不同拍摄时段的差异。此外,航空影像中目标的数量和尺寸与消费级数据存在显著差异。我们提出了一种小型目标检测流程,通过空间金字塔池化、跨阶段部分网络以及基于热图的区域提议网络(RPN)优化特征提取过程。随后,我们提出了实例感知图像难度评分(DS),该机制通过调整全局焦点损失函数来提升目标定位与识别精度。最后,我们在流程中引入了两个基于对比学习的渐进式域适应(DA)模块:这些模块对从定制CSP Darknet主干网络提取的局部与全局特征进行对齐,不同层级的特征对齐可有效缓解目标识别在未见数据集上的性能下降。我们首次针对存在显著领域差异且以小型目标为主的高度不平衡卫星数据集,构建了基于对比学习的目标检测DA基准测试——在 DOTA 和 NWPU -VHR10数据集上,所提方法相较于最佳 SOTA 方法分别实现了平均精度(mAP)最高达7.4%和4.6%的提升。
结论:在航空图像中进行物体检测是计算机视觉研究中最具有挑战性的任务之一,因为照片中存在大量小型且相互重叠的物体。 DNN 物体定位的成功依赖于大量标注训练数据以及流程中可靠的特征提取模块。本文提出了一种稳健的特征提取器,能够有效捕捉小型物体的低级与高级特征;同时引入基于热图的区域提议模块,以更精准地识别小型物体。由于天气条件、地理变化及相机朝向等因素,卫星图像的领域差异比消费级图像更为显著。我们通过构建源数据集与目标数据集之间的两个中间域,实现了渐进式领域对齐。所提出的方法 LGDA 在 DOTA 和 NWPU VHR -10目标数据集中的多个类别(如储罐、港口和网球场)上表现优异,平均精度(mAP)超过60%。我们还采用对比学习方法来适应局部与全局特征域。通过精心选择训练流程、负样本数量、下采样策略及温度参数,可显著提升对比学习的效果。最终,我们在两个具有高变异性且极具挑战性的目标数据集上验证了该方法,其性能较现有 SOTA 方法均有显著提升:在 DOTA 和 NWPU VHR -10数据集上,我们的表现分别比最新的 SOTA MGADA 方法高出7.3%和4.6%的mAP值。未来工作中,我们计划引入基于聚类的伪标注技术、无偏实例级数据增强方法,以及针对卫星图像的未知类别发现机制。
更多推荐



所有评论(0)