原文链接：https://arxiv.org/abs/2403.16635

本文对应预印版论文，正式版论文的名称是Point Cluster: A Compact Message Unit for Communication-Efficient Collaborative Perception（链接：https://openreview.net/forum?id=54XlM8Clkg），发表于ICLR 2025。

1. 引言

主流的协同感知方法包含四个阶段：

1. 消息提取：各智能体首先将自身点云转化为中间表达，作为基础协同消息单元。
2. 消息打包：每个智能体作为发送者，打包自我感知的信息单元，在有限的带宽下将压缩特征传输给自车。
3. 消息聚合：自车接收到消息后，使用多源聚合技术增强场景表达，以进行完整感知。
4. 消息解码：把聚合的消息解码为感知结果。

主要的挑战是如何高效地利用有限的带宽来实现最优性能，包括智能体如何高效压缩消息并保留有用信息的完整性，以及自车如何利用压缩的消息重建并合并为统一场景表达。

过去的V2X协同感知方法通常使用BEV特征图作为消息单元，但使用密集表达的协同有以下问题：

1. 消息打包过程中的物体特征破坏[下图(a)]：通常使用的通道压缩或空间选择会导致有用信息丢失。
2. 长距离协同中的低效消息聚合[下图(b)]：当BEV特征图尺寸增大时，计算复杂度平方级别地增加。此外，需要进行零填充以覆盖整个矩形视野，但实际上没有必要计算智能体之间的非重叠区域。
3. 隐式结构表达通信[下图(c)]：体素化操作相比原始点云，牺牲了3D几何细节，导致边界框的预测精度下降。

为了解决上述问题，本文提出新的消息单位，即点簇，以使用低级结构信息与高级语义信息稀疏地表达场景。
点簇包含三个部分：

1. 表达物体结构的点坐标
2. 表达物体位置的簇中心
3. 以及表达物体高级语义的簇特征

相比BEV表达，点簇有如下优势：

1. 在消息打包过程中保留物体信息[上图(d)]：点簇仅包含前景物体的信息，无需通过手工指定的规则过滤无关背景。此外，可以通过显式地减少点数来控制传输带宽。
2. 与协同范围关系弱[上图(e)]：点簇的数量与物体的数量更相关，而非协同范围。此外，关联同一物体的点簇可以方便地通过集合混合方式聚合，而无需填充到整个视野。
3. 支持显式结构建模[上图(f)]：点簇保留了物体的几何结构信息，从而允许精细的点对齐，以及不同智能体之间的互补结构信息融合，提高检测精度。

基于此，本文提出V2X-PC框架。包含三个关键组件：

1. 点簇编码（PCE）模块：将原始点云编码为点簇表达。
2. 点簇打包（PCP）模块：通过调整簇包含的点数管理带宽，并尽可能保留物体几何结构特征。通过仅处理低级物体表达，避免了高级信息的丢失，从而在带宽限制下保留相对较高的精度。
3. 点簇聚合（PCA）模块：根据簇中心的距离匹配来自不同智能体的点簇，并将与同一物体关联的点簇融合为新点簇。基于此得到最终的检测结果。PCA得计算复杂度仅与点簇数量相关，比BEV方法更适合长距离协同。

为了进一步处理位姿误差，本文将簇中心视为图的节点，利用图优化算法促进智能体与点簇之间的位姿一致性。为了补偿时间延迟，本文沿时间维度连接同一物体的点簇，并估计其速度以预测其在当前时间下的位置。注意图优化和速度估计均是无训练参数的方法，有强泛化能力，使模型可以在无需微调的情况下适应不同噪声层级的位置误差和时间延迟。

3. 方法

3.1 问题描述

假设场景中有$N$个智能体，其观测与真实标注分别记为 { X i , Y i } i = 1 N \{X^i,Y^i\}_{i=1}^N {Xi,Yi}i=1N​。协同感知的目标是最大化所有智能体的感知性能，同时考虑带宽约束$\beta$：
arg max ⁡ θ , M ∑ i = 1 N g ( Φ θ ( X i ; t , { M j ; t − τ j → i ; t } j = 1 , j ≠ i ) , Y i ; t ) s . t . ∑ i = 1 N ∑ j = 1 , j ≠ i N ∣ M j ; t − τ j → i ; t ∣ ≤ β \argmax_{\theta,M}\sum_{i=1}^Ng(\Phi_\theta(X^{i;t},\{\mathcal M^{j;t-\tau^{j\rightarrow i;t}}\}_{j=1,j\neq i}),Y^{i;t})\\ s.t. \sum_{i=1}^N\sum_{j=1,j\neq i}^N|M^{j;t-\tau^{j\rightarrow i;t}}|\leq\beta θ,Margmax​i=1∑N​g(Φθ​(Xi;t,{Mj;t−τj→i;t}j=1,j=i​),Yi;t)s.t.i=1∑N​j=1,j=i∑N​∣Mj;t−τj→i;t∣≤β

其中$\theta$为网络$\Phi$的可训练参数，$g$为评价指标，${\mathcal{M}}^{j;t-{\tau }^{j\to i;t}}$为智能体$j$在$t-{\tau }^{j\to i;t}$时刻传输的消息，智能体$i$在$t$时刻收到，${\tau }^{j\to i;t}$为传输延迟。${\mathcal{M}}^{j;t-{\tau }^{j\to i;t}}$包括了协同消息单元$M^j$与6自由度位姿${\xi }_j$。注意：

1. 在$\beta =0$时无协同，上述公式退化为单智能体感知目标；
2. 包含位姿误差时，需要修正位姿${\xi }_j$；
3. 当$\tau =0$时，后续会省略上标$t$。

3.2 V2X-PC概述

首先所有智能体的点云会由共享的PCE处理，得到分割的前景点云，并基于距离度量分割为簇。每个点簇会提取其点的坐标、中心坐标和簇特征作为中间表达。随后，PCP会过滤背景簇，并通过提案生成修正前景簇中的点。接收到其它智能体的消息后，使用无参数方法处理位姿误差和时间延迟，并通过位姿变换对齐来自各智能体的点簇，得到自车坐标系下的智能体-簇图，作为全面场景表达。随后，使用PCA匹配属于同一物体的簇并融合为新簇，最后基于基于点的操作细化簇特征，并基于其输出检测结果。

3.3 点簇编码器

由于PCE是仅涉及单智能体自身的数据和操作，本节省略智能体编号$i$。

本文使用编码器-解码器结构的点云主干（基于3D稀疏卷积与反卷积），作为稀疏体素特征提取器。随后，将点所属的体素特征与点相对体素中心的偏移量附加到点特征上，通过MLP进行前景分割。使用真实3D边界框监督生成前景掩膜，监督前景分割（Focal损失）。对于前景点，使用额外的MLP预测相对物体中心的偏移量（L1损失）。最后，测量前景点预测中心的距离，若小于阈值${ϵ}_{point}$，则两前景点属于同一点簇。

随后，本文使用SIR作为点特征提取器，堆叠$L_1$层来并行编码所有簇的特征。假设簇$q$有$N_{point}^q$个前景点，记其点坐标与第$l$层的点特征为$P^q\in {\mathbb{R}}^{N_{points}^q\times 3},F_{point}^{q;l}\in {\mathbb{R}}^{N_{point}^q\times D}$。取所有点的平均坐标作为簇中心，记为$C^q\in {\mathbb{R}}^{1\times 3}$。SIR的处理过程可记为：
$$\begin{gathered} {\tilde{F}}_{point}^{q;l}=MLP([F_{point}^{q;l};P^q\ominus C^q]) \\ {F}_{point}^{q;l+1}=MLP([{\tilde{F}}_{point}^{q;l};maxpool({\tilde{F}}_{point}^{q;l})]) \end{gathered}$$

其中$[;]$为通道拼接，$\ominus$表示带广播的按元素相减，$F_{point}^{q;l+1}\in {\mathbb{R}}^{N_{point}^q\times D}$为处理后的点簇特征。最后，将 { F p o i n t q ; l } l = 1 L 1 \{F_{point}^{q;l}\}_{l=1}^{L_1} {Fpointq;l​}l=1L1​​沿通道拼接，并应用线性变换和最大池化，得到最终的簇特征$F^q\in {\mathbb{R}}^{1\times D}$。

3.4 点簇打包

智能体$i$待打包点簇的中间表达可记为
M i = { m i ; q } q = 1 N c l u s t e r i = { ( P i ; q , C i ; q , F i ; q ) } q = 1 N c l u s t e r i M^i=\{m^{i;q}\}_{q=1}^{N_{cluster}^i}=\{(P^{i;q},C^{i;q},F^{i;q})\}_{q=1}^{N^i_{cluster}} Mi={mi;q}q=1Nclusteri​​={(Pi;q,Ci;q,Fi;q)}q=1Nclusteri​​

其中$m^{i;q}$为簇$q$的表达，$N_{cluster}^i$为簇的数量。

前景点簇修正。点簇分组过程可能有误差，导致丢失部分前景点或包含一些背景点。本文将点簇特征输入两个MLP中进行分类（Focal损失）和回归（L1损失），为每个点簇生成提案边界框。在训练阶段，若某点簇预测的边界框中心在真实边界框内，则该预测边界框视为阳性提案。提案生成后，仅保留阳性提案的点簇，而点簇的点被更新为提案框内的点。假设有$N_{cluster+}^i$个阳性提案，$M_i$被更新为
M i = { m i ; q } q = 1 N c l u s t e r + i = { ( P i ; q , C i ; q , F i ; q ) , B i ; q } q = 1 N c l u s t e r + i M^i=\{m^{i;q}\}_{q=1}^{N_{cluster+}^i}=\{(P^{i;q},C^{i;q},F^{i;q}),B^{i;q}\}_{q=1}^{N^i_{cluster+}} Mi={mi;q}q=1Ncluster+i​​={(Pi;q,Ci;q,Fi;q),Bi;q}q=1Ncluster+i​​

其中$B^{i;q}=(\hat{x},\hat{y},\hat{z},\hat{h},\hat{w},\hat{l},\hat{\alpha },\hat{c})$为簇$q$带有置信度分数$\hat{c}$的提案框。最终需要发送的消息为${\mathcal{M}}^i=(M^i,{\xi }^i)$，其中${\xi }_i$为6自由度位姿。

感知性能和通信带宽的平衡。与BEV特征图不同，本文的点簇是空间稀疏的，带宽消耗主要来自点的坐标（$N_{point}^q$个3维坐标）而非簇特征（1个$C$维特征向量）。考虑到几何结构可通过关键点表示，本文对点簇的点进行采样来压缩传输数据。这样，可以保留高级物体信息，其中的语义对3D检测很关键。

本文提出语义和分布指导的最远点采样（SD-FPS）方法，以获取关键点。在最远点采样（FPS）的过程中，除了考虑距离，还基于物体的置信度分数和分布密度分数选择关键点。置信度分数来自上一阶段的分割预测，分数越高表示信息越丰富。分布密度则使用核密度估计（KDE）方法，分数越高表示局部点越稀疏。

SD-FPS的算法如下：

每轮选择时，会基于下列度量，选择点簇中最能代表物体语义和结构的点：
$${\tilde{d}}_{point}=(s_f{)}^{{\lambda }_s}\cdot (s_d{)}^{{\lambda }_d}\cdot d_{point}$$

其中$s_f$为PCE得到的语义分数，$s_d$为由核密度表达的分布分数，$d_{point}$离最近的、已选择的点的距离。${\lambda }_s,{\lambda }_d$为重要性系数，当两者均为0时，SD-FPS退化为原始的FPS。

3.5 点簇聚合

首先根据${\xi }_i,{\xi }_j$对应的变换矩阵，对齐$M^j$与$M^i$的坐标空间，智能体$j$向智能体$i$传输的消息单元记为$M^{j\to i}$。随后，基于簇中心匹配$M^i$与$M^{j\to i}$，即当智能体$i$的点簇$q$的簇中心$C^{i;q}$与智能体$j$的点簇$r$的簇中心$C^{j\to i;r}$的距离小于预定义阈值${ϵ}_{agg}$时，两簇属于同一物体。匹配后，将点簇分为两组不相交的集合，$M_{unique}$包含仅由一个智能体观测的点簇，无需进行聚合；而$M_{share}$包含由多个智能体观测到的、对应同一物体的点簇组。聚合的点簇${\ddot{m}}^s=({\ddot{P}}^s,{\ddot{C}}^s,{\ddot{F}}^s,{\ddot{B}}^s)$可按下式得到：
$$\begin{gathered} {\ddot{P}}^s=P^{i;q}\cup P^{j\to i;r} \\ {\ddot{C}}^s=\frac{C^{i;q}+C^{j\to i;r}}{2} \\ {\ddot{F}}^s=avgpool(F^{i;q},F^{j\to i;r}) \\ {\ddot{B}}^s=\{\begin{array}{ll}{B}^{i;q}& 若{\hat{c}}^{i;q}-{\hat{c}}^{j\to i;r}\ge 0\\ B^{j\to i;r}& 否则\end{array} \end{gathered}$$

上述聚合的计算复杂度仅与可能的物体数相关，相比基于BEV的聚合方法更有利于进行远距离协同。

记聚合后的点簇中间表达为 M ¨ = { m ¨ s } s = 1 N o b j e c t \ddot M=\{\ddot m^s\}_{s=1}^{N_{object}} M¨={m¨s}s=1Nobject​​，其中$N_{object}=|M_{unique}|+|M_{share}|$。${\ddot{P}}^s$包含了完整的低级结构信息，可用于增强提案框${\ddot{B}}^s$的精度。具体来说，将$\ddot{M}$输入含有$L_2$层的SIR模块，预测边界框残差${\Delta }_{res}$。通过拼接 点与簇提案${\ddot{B}}^s$之间的偏移量 与 簇特征${\ddot{F}}^s$ 生成点的特征${\ddot{F}}_{point}^s$，从而为SIR引入提案边界信息，可在一定程度上处理尺度模糊性。

残差损失为L1损失；此外定义分类软标签$\min (1,\max (0,2u-0.5))$（$u$为提案框与真值之间的3D IoU），并使用交叉熵作为IoU损失。总损失包括分割损失、中心偏移量损失、提案框回归损失、分类损失、残差损失与IoU损失。

3.6 鲁棒性

在真实通信下，位姿误差和时间延迟不可避免，会导致协同的点簇错位。

3.6.1 位姿修正

智能体$i$接收到来自智能体$j$的消息$M^j$后，使用相对位姿${\xi }^{j\to i}=({\xi }^i{)}^{-1}\circ {\xi }^j$对齐坐标系，其中$\circ$表示对应的齐次变换阵相乘。后续会简化为2D位姿操作。定义物体$s$的位姿为${\chi }^s={\xi }^i\circ (C^{i;q}+C^{j\to i;r})/2$，位姿一致性误差向量为$e^{js}=C^{j;r}\circ (({\xi }^j{)}^{-1}\circ {\chi }^s)$（当无位姿误差时$e^{js}=0$）。整体优化目标是：
{ ( χ s ) ′ , ( ξ j ) ′ } = arg min ⁡ { χ s , ξ j } ∑ j = 1 N a g e n t ∑ s = 1 N o b j e c t ( e j s ) T e j s \{(\chi^s)',(\xi^j)'\}=\argmin_{\{\chi^s,\xi^j\}}\sum_{j=1}^{N_{agent}}\sum_{s=1}^{N_{object}}(e^{js})^Te^{js} {(χs)′,(ξj)′}={χs,ξj}argmin​j=1∑Nagent​​s=1∑Nobject​​(ejs)Tejs

这里物体$s$的位姿${\chi }^s$是齐次矩阵${\xi }^i$乘以齐次向量$(C^{i;q}+C^{j\to i;r})/2$，得到的应该是向量，如何表示位姿？

3.6.2 延迟补偿

记智能体$i$在$t$时刻收到的、来自智能体$j$的点簇为$M^{j;t-{\tau }^{j\to i,t}}$，上次通信存储的、来自智能体$j$的点簇为$M^{j;t^{\prime }}$，其中$t^{\prime }<t-{\tau }^{j\to i,t}$。本文基于簇中心的欧式距离，在时间维度匹配点簇。当距离位于$[{\underline{ϵ}}_{latency},{\overline{ϵ}}_{latency}]$内，则两个点簇对应同一物体。设$m^{j;r;t^{\prime }}$与$m^{j;q;t-{\tau }^{j\to i,t}}$对应同一物体，可估计其速度$v^{j;q;t-{\tau }^{j\to i,t}}$和偏移量$\Delta d_{cluster}^{j;q;t-{\tau }^{j\to i,t}}$：
$$\begin{gathered} v^{j;q;t-{\tau }^{j\to i,t}}=\frac{\Vert C^{j;q;t-{\tau }^{j\to i,t}}-C^{j;q;t^{\prime }}{\Vert }_2}{t-{\tau }^{j\to i,t}-t^{\prime }} \\ \Delta d_{cluster}^{j;q;t-{\tau }^{j\to i,t}}=v^{j;q;t-{\tau }^{j\to i,t}}\times {\tau }^{j\to i,t} \end{gathered}$$

最后，可根据偏移量获取估计的点簇$m^{j;q;t}$。

本文将通信量定义为消息字节数的log2值：
$$Comm={\log }_2(2NC)$$

其中$N$为协同消息单元数，$C$为通道数，2表示数据占两个字节（FP16）。