特征金字塔(FPN)配合注意力机制一直是目标检测和分割领域的"常青树"。从经典FPN到BiFPN、PANet,各种魔改版本层出不穷。最近有人问"FPN改进是不是已经做烂了",其实核心问题在于:注意力放在哪、怎么放。

做这个方向有几个避坑点:一是避免堆叠复杂结构换mAP,审稿人更看重轻量化和推理效率。二是找准发力点,小目标检测、航拍图像、多尺度特征冲突这些场景有刚性需求。三是消融实验要扎实,尤其是注意力可视化,能直观说明"attention去哪了"。

为了帮助大家更好的做研究,我整理了该方向核心baseline的复现教程 + 改进注释版代码,改几行就能跑自己的实验,含详细注释,需要可取~


标题: Temporal Propagation of Asymmetric Feature Pyramid for Surgical Scene Segmentation

  • 关键词: Surgical scene segmentation, Bidirectional attention, Temporal feature propagation

  • 单位:上海交通大学密西根学院 (UM-SJTU Joint Institute)

  • 方法: 针对手术场景分割中静态图像局部特征相似以及动态视频中器械快速运动与遮挡的问题,本文提出了时序非对称特征金字塔网络(TAFPNet)。该架构包含时序查询传播器(TQP)以提取跨帧时序依赖,并利用聚合非对称特征金字塔(AAFP)分别提取解剖组织与器械的判别性特征,最终通过双向注意力机制实现时空特征的传播与融合。

  • 创新点:

  1. 构建了双向注意力架构,实现了空间信息与时序一致性的渐进式交互与融合。

  2. 创新地设计了时序查询传播器(TQP),解决了手术过程中器械快速移动和交互遮挡导致的分割模糊问题。

  3. 通过聚合非对称特征金字塔(AAFP),将不规则组织与规则器械的特征提取解耦,其核心聚合注意力图的计算公式为:

  1. 首次将结构非对称性与时序连续性结合,验证了其在EndoVis2018数据集上超越现有SOTA方法16.4% mIoU的卓越性能。


标题: Cross-Layer Feature Pyramid Transformer for Small Object Detection in Aerial Images

  • 关键词: Aerial image, object detection, feature pyramid network, vision transformer

  • 单位:北京理工大学自动化学院自主智能无人系统全国重点实验室

  • 方法: 针对航拍图像小目标检测中特征易在下采样中丢失,且传统金字塔逐层传输存在语义代沟的问题,本文提出了跨层特征金字塔Transformer(CFPT)。该无上采样器架构通过跨层通道注意力(CCA)与空间注意力(CSA)进行单步跨层特征交互,并结合跨层一致相对位置编码(CCPE),高效且低成本地捕获全局上下文信息。

  • 创新点:

  1. 提出了无上采样器的跨层特征金字塔(CFPT),实现了多尺度特征的单步交互,避免了逐层传输的信息丢失。

  2. 创新地设计了基于层间相互感受野的跨层一致相对位置编码(CCPE),解决了跨层交互中空间与通道位置先验感知不足的问题。

  3. 通过设计CCA与CSA模块进行局部交互,保持了线性计算复杂度,其核心跨层注意力交互的过程可表示为:

  1. 首次将跨层通道交互与跨层空间交互结合,验证了其在VisDrone2019-DET和TinyPerson数据集上对小目标检测精度与计算效率的最优权衡。

 为了帮助大家更好的做研究,我整理了该方向核心baseline的复现教程 + 改进注释版代码,改几行就能跑自己的实验,含详细注释,需要可取~

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐