C2E: Boosting Ego-Only 3D Object Detection via Multi-Teacher Contrastive Knowledge Distillation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4362
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5577.pdf
领域: 模型压缩
关键词: 知识蒸馏、协同感知、三维目标检测、实例点云重建、对比学习

一句话总结¶

C2E 用 M2S 多教师蒸馏框架，把训练时多车点云提供的稠密知识迁入仅接收自车 LiDAR 的学生，使 AttFuse 在 V2XSet 测试集的 [email protected] 从 58.06 提高到 66.70，而部署时不需要车际通信。

研究背景与动机¶

单车三维检测的瓶颈不仅在网络容量，也在传感器究竟看到了什么：遮挡背后的车辆、远距离稀疏目标和视野盲区，都会使自车点云缺少几何证据。协同感知利用其他车辆或路侧设施的扫描补充观测，但需要传送点云或特征，并依赖跨车位姿对齐。Where2comm、CoSDH 等方法研究如何减少通信，其部署形态仍然离不开协作链路；通信延迟和定位误差没有因此消失。

本文转而改变额外观测出现的时机：多车信息只在训练中充当教师知识，推理时完全回到单车输入。这不是让学生在测试时凭空获得其他车的传感器数据，而是希望它从训练样本学会更好的几何先验和特征组织方式。困难在于，教师看到的点云更密、空间覆盖更广，学生直接拟合教师特征很容易受到输入分布差异影响；同时，不同教师对当前场景的判断并不总是一致，平均使用它们也可能传播错误监督。

C2E 是“协同感知到单车感知”的范式名称，M2S 才是实现它的训练框架。核心 idea：先增强学生的稀疏特征，再用实例级点云重建提供几何监督，并根据教师当前样本的定位质量，自适应组合局部对比与全局特征蒸馏，把协同知识留在单车模型参数里。

方法详解¶

整体框架¶

训练时，三个预训练教师 AttFuse、V2X-ViT 和 CoSDH 接收自车、其他车辆及路侧设施组成的多智能体点云；学生只接收自车点云，最终预测三维边界框。学生通过多级特征增强获得更可靠的柱状特征，投影到鸟瞰图（BEV）并经过检测骨干；辅助点云重建和多教师对比蒸馏分别约束几何内容与特征表示，两者是训练监督分支，不是推理时依次执行的点云生成器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自车点云"] --> B["多级特征增强"]
    B --> C["学生 BEV 特征<br/>与检测骨干"]
    C --> D["辅助点云重建"]
    C --> E["多教师对比蒸馏"]
    T["多车点云<br/>三个预训练教师"] --> E
    G["多车实例点云<br/>真值框"] --> D
    G --> E
    C --> F["单车三维检测结果"]

图中两个监督分支都只在训练时使用：重建分支需要由真值框裁出的多车实例点云，蒸馏分支需要教师特征和用于计算教师权重的真值框。部署时仅保留学生检测路径，不再访问教师或其他智能体的输入。论文仍按完整协同架构构造某些学生，包括其融合模块，但只喂入自车数据；不能把“仅用自车输入”误解成重新设计了一套完全不同的检测骨干。

关键设计¶

1. 多级特征增强：让稀疏学生先形成可接受蒸馏的表示

教师的高密度特征来自额外观测，学生却必须从较少的点中提取目标轮廓。多级特征增强（MLFE）不直接补造观测，而是在柱状特征上串行施加通道、柱内和全局三个层面的注意力。原文把张量的三个维度记为通道数、每根柱中的点数以及全局柱数；其中名为 pillar-wise 的阶段不应被笼统理解为额外运行一个目标检测器，而是沿相应特征维度重新分配关注程度。

每一阶段用平均池化与最大池化汇总响应，再通过卷积、ReLU 和 sigmoid 产生权重，以逐元素重加权和残差相加更新特征。串行顺序的意义在于，后一级处理的是已经被前一级整理过的表示：先突出有用语义通道，再强化局部几何，最后结合全局上下文。它为后续重建和蒸馏提供共同的学生表示，并不能取代训练时的协同监督；消融也将它与多教师蒸馏区分开来。

2. 辅助点云重建：用实例几何监督缩小观测密度差异

只在 BEV 特征上拟合教师，学生可能知道应该产生怎样的激活，却没有足够明确的几何约束。辅助点云重建（APCR）从多车点云中按真值框裁出目标实例，再重新体素化，作为学生的训练目标。它刻意聚焦实例，而不是重建整幅场景：监督集中在检测需要的目标结构上，也避免大量道路和背景点占据重建预算。学生由此学习“自车的稀疏观测对应怎样的较完整实例几何”，而不是在测试时索取外部点云。

直接输出所有稠密点的成本较高，因此 APCR 将问题拆成体素占用预测和点偏移估计。它把学生二维 BEV 特征扩展回三维表示，经多层 \(1\times1\) 三维卷积及 GELU 处理后，分别预测哪些体素含有点，以及点相对体素中心的偏移。占用分支用带前景、背景数量校正的二元交叉熵监督，偏移分支在前景体素上使用 L1 回归；二者共同约束重建。这里重建是辅助学习任务，不是把重建点云再送入一个额外的推理检测器。

3. 多教师对比蒸馏：按样本选择可靠知识，同时对齐局部与全局

多教师对比蒸馏（MTCD）首先处理“该信谁”的问题。对于每个训练样本，计算各教师预测框与真值框之间的 Smooth L1 定位损失，把定位更准的教师赋予更大权重，而不是依据教师名称或固定排名选择。权重采用原文的负损失 softmax：

\[ W_i=\frac{\exp(-\alpha\mathcal{L}_{\mathrm{loc}}^{t_i})}{\sum_{j=1}^{T}\exp(-\alpha\mathcal{L}_{\mathrm{loc}}^{t_j})},\qquad \alpha=0.8. \]

其中 \(T\) 是教师数量，\(\mathcal{L}_{\mathrm{loc}}^{t_i}\) 是第 \(i\) 个教师在当前样本上的定位损失。这个权重依赖训练标签，衡量的是当前样本的检测质量，不是无监督的不确定性估计；“多教师”也不是简单地让学生轮流模仿三个输出框。得到的同一组权重同时用于融合全局特征和组合各教师的局部对比损失，防止一个不擅长当前场景的教师在其中一路仍占据同等影响。

局部对比将 BEV 特征划成不重叠区域，根据教师、学生之间的空间对应关系构造正负对：相同空间索引为正对，不同索引为负对，距离用平方欧氏距离衡量，并结合空间对比与通道对比。它要教给学生的不只是某处激活值，而是哪些位置或通道组应该相似、哪些不该混淆；温度参数为 \(\tau=0.07\)。因此，该设计不同于用类别标签把同类目标全部拉近，它特别依赖教师与学生的空间对齐。

全局分支则按上述权重融合多个教师各层的稠密 BEV 特征，对学生相应层施加 KL 散度蒸馏，层权重取 \(\{0.2,0.3,0.5\}\)。局部约束强调细粒度对应结构，全局约束传递整张特征图的综合分布，两者分工互补。缓存中的部分公式排版受损，且空间、通道对比的完整细节被正文指向附录；因此这里保留可核实的对应规则和教师权重，不自行补写负样本分母或通道分组实现。

损失函数 / 训练策略¶

学生的训练目标由分类损失、框定位损失、辅助重建损失、全局蒸馏损失和局部对比损失加权组成。分类采用 focal loss，定位采用 Smooth L1；重建分支的占用和偏移目标如上所述。五类损失分别由各自的权重控制，但本地正文没有给出这些总损失权重的具体取值，不能据此声称已经完整复现训练配置。

论文采用三个预训练教师，以 ego agent 进行评测；传统单车模型 PillarNeSt 以及多个协同模型的单车输入版本均可作为学生。教师提供的是训练阶段的特权信息，因此这种设置需要同步的多智能体训练数据和真值标注，不能等同于只用单车数据训练。更准确的部署收益是去掉车际通信和教师依赖，而不是由现有表格证明每个学生相对原始单车基线都没有任何网络计算增加。

实验关键数据¶

主实验¶

V2XSet 是仿真数据集，V2V4Real 和 DAIR-V2X 是真实数据集。下表均为自车输入，报告 IoU 阈值为 0.7 的 AP，数值越高越好；原文在 V2XSet 表中称为 3D mAP。增量按表中分数相减，单位是 AP 百分点，不是相对百分比，也不是相对完整协同推理模型的提升。

数据集与划分	学生模型	单车基线 [email protected] ↑	加 M2S [email protected] ↑	增量（百分点）
V2XSet Test	AttFuse	58.06	66.70	+8.64
V2XSet Test	Where2comm	62.18	70.28	+8.10
V2XSet Test	CoAlign	65.07	71.66	+6.59
V2XSet Test	CoSDH	62.05	66.50	+4.45
V2XSet Test	PillarNeSt	59.83	64.16	+4.33
V2V4Real Test	PillarNeSt	16.18	25.24	+9.06
DAIR-V2X Val	AttFuse	33.25	39.86	+6.61

标题式的“最高提升 8.64”对应 V2XSet 的这组比较，并不是所有数据集、所有阈值的全局最大增量：V2V4Real 测试集的 PillarNeSt 在相同阈值下提升 9.06 个百分点。各数据集的基础难度和划分不同，不应直接拿不同数据集的 AP 高低评价迁移能力。

消融实验¶

以下取原文表 3 的 V2XSet 测试集结果，学生固定为 AttFuse。配置逐步累加；单教师一行只用 AttFuse 教师，多教师使用 AttFuse、V2X-ViT、CoSDH。

配置	[email protected] ↑	相比单车基线的增量（百分点）
单车基线	58.06	0.00
仅单教师蒸馏	58.29	+0.23
自适应多教师全局蒸馏	62.76	+4.70
全局蒸馏 + MLFE	64.58	+6.52
全局蒸馏 + MLFE + APCR	66.50	+8.44
完整 M2S，再加入局部对比	66.70	+8.64

从全局多教师蒸馏继续加入 MLFE 和 APCR，分别增加 1.82、1.92 个百分点；最后的局部对比增加 0.20 个百分点。这是有顺序的增量实验，不是所有组件组合的因子实验，因此能证明这些步骤互补，但不能把每个增量当作完全独立的因果贡献。

关键发现¶

增益不是每个数据点都为正。V2V4Real 验证集上，Where2comm 的 [email protected] 从 27.03 降到 25.55，CoSDH 从 25.07 降到 24.42；测试集整体改善不等于逐模型、逐划分、逐阈值都改善。
更多教师需要额外训练资源。表 5 中，单 AttFuse 教师配置训练 7.54 小时、占用 7640 MB 显存，三教师为 12.69 小时和 10992 MB；这些是单张 RTX 3090 上报告的训练成本，不能与表 3 的“仅单教师蒸馏”行直接混为同一配置。
推理效率比较的是完整协同模式与单车 M2S。以 AttFuse 为例，FLOPs 为 143.8 G 对 92.8 G，速度为 10.3 对 20.7 FPS，通信延迟为 266.6 对 0 ms；这不构成与原始单车基线计算开销相同的证据。

亮点与洞察¶

额外传感器信息不一定要成为部署依赖。把协同观测用作训练监督，使方法的实用性来自输入条件改变，而不只是更激进的通信压缩。
几何差异与表示差异被分别约束。实例重建要求学生解释目标形状，特征蒸馏要求学生组织信息，避免把两类差异全部交给一个特征距离损失解决。
教师可信度来自当前样本的可测误差。同一套权重贯通局部和全局监督，防止教师在一条监督分支被降权后，又在另一条分支通过固定平均继续传播不可靠信息。

局限与展望¶

作者明确指出当前方法局限于 LiDAR 检测，尚未验证 LiDAR 与相机等多模态输入；教师加权还依赖真值框，文末提出无需真值的教师投票作为后续方向，而非已完成能力。
训练端没有摆脱协同数据采集、对齐和多教师运行成本。测试时对跨车定位噪声不敏感，是因为不再输入其他车辆数据，不能外推为对自车 LiDAR 噪声或所有域偏移都鲁棒。
局部对比的最后一步增量较小，且正文未报告多次运行的方差；现有结果不足以判断该增量的统计稳定性。附录在本地缓存中缺失，部分数学排版损坏也限制了对实现细节的复核。
知识蒸馏能改善已有观测的利用，却不能保证恢复自车完全看不到的新出现目标。本文的单车基线对比支持有效性，并不证明单车学生在所有场景都达到了完整协同感知的性能上限。

评分¶

新颖性: 4/5。训练时协同、部署时单车的目标明确，但组成模块延续了已有注意力、重建和多教师蒸馏思路。
实验充分度: 4/5。覆盖仿真与真实数据、多个学生及逐步消融，但缺少统计波动和更完整的单车开销对照。
写作质量: 3/5。整体动机与模块关系清楚，部分结论措辞偏宽，且本地公式与附录可读性不足。
价值: 4/5。对有协同训练数据、但部署时无法稳定通信的单车检测场景具有实际参考价值。