Ada-VNNs: Adaptive Equivariance for Vector Neural Networks¶

会议: ECCV 2026
官方论文: 4500
论文: 官方 PDF
代码: https://github.com/xjtbinghan/Ada_VNNs
领域: 3D 视觉
关键词: 向量神经元、旋转等变性、对称性破缺、残差校正、点云姿态估计

一句话总结¶

Ada-VNNs 在严格旋转等变的向量神经元骨干后加入可放松坐标权重共享的残差分支，让训练数据决定等变约束的实际强度，在 ShapeNet 近似连续自对称类别上将 VNN 的 10° 配准召回率从 8.87% 提升至 70.31%，但并非所有任务都受益。

研究背景与动机¶

点云旋转后，理想的几何特征也应按相同旋转变化，这就是旋转等变性，而不是旋转后特征完全不变。向量神经元网络（VNN）把一个标量神经元扩展为三维向量，通过坐标间共享线性权重、去掉偏置等结构约束，使模型天然遵守这种规律。这通常比依靠大量旋转增强学习规律更高效，但姿态估计需要区分方向，而物体几何本身可能几乎不提供方向信息。例如近似圆柱形的灯具围绕主轴旋转后变化很小，手机的大体轮廓也容易产生方向歧义，真正有用的线索可能只是局部按钮或相机结构。

论文指出，这不仅是样本不足的问题，还与严格等变表示被限制在什么空间有关。对完全自对称输入，等变函数不能输出对称程度更低的确定性表示；对近似自对称输入，在 Lipschitz 连续性条件下，输出也会接近对应对称群的不动点集合。对于绕轴连续旋转的情况，这意味着与旋转轴正交的特征分量趋近于零，方向线索因而被压缩进低维表示。作者将其称为表征维度塌缩，试图保留等变骨干的几何先验，同时避免最终可用表示始终受这个硬约束支配。

直接改用普通点云网络也不是充分答案，因为它同时丢掉了原有的旋转归纳偏置。本文选择在已有 VNN 上学习一个小的非严格等变校正，而不是从头重新学习整个几何编码器。 核心思路：把严格等变骨干保留为默认表示路径，再通过可学习的坐标权重差异和残差校正，将不可违背的结构约束变成由任务数据调节的软先验。

方法详解¶

整体框架¶

以相对旋转估计为例，输入是一对来自同一物体的点云，其中一份经过随机旋转，输出是两者之间的相对旋转，不处理平移估计。每份点云先经过严格等变骨干得到向量特征，再送入自适应门控单元产生校正量，通过残差校正与原特征相加。随后提取两份点云的全局表示，由 MLP 回归相对旋转；分类任务则在骨干表示后接不变读出。

这里的“自适应”主要指任务优化过程中学到不同强度的等变性，并不是先检测输入的对称类别，再显式选择一套网络。主实验对每个物体类别分别训练模型，因此其证据首先支持对类别数据分布的适应，不能直接解读为一个混合类别模型的逐样本门控能力。严格等变骨干可由 VN-PointNet、VN-DGCNN 或 VN-Transformer 实例化；AGU 和残差校正是本文新增的两个核心部分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["点云输入"] --> B["严格等变骨干"]
    B --> C["自适应门控单元"]
    B --> D["残差校正"]
    C --> D
    D --> E["全局表示与任务头"]
    E --> F["相对旋转或类别"]

关键设计¶

1. 自适应门控单元：用坐标权重差异放松旋转等变约束

标准向量线性层的输入是一个“通道数 × 三维坐标”的特征矩阵，每行代表一个向量神经元。它对所有向量的 x、y、z 分量使用同一套通道混合矩阵，并且没有偏置，因此线性映射与三维旋转可以交换次序。如果三个坐标分别使用不同矩阵，旋转前后的坐标混合通常就不再一致，严格等变性也随之失效。作者把这个通常被视为违规的自由度，转化为自适应门控线性层（AGLL）的设计入口。 AGLL 分别学习三套坐标权重；当三者相等时，它恰好退化为原始向量线性层，当三者出现差异时，就允许不同程度的等变偏离。因此它不是在每个输入上预测一个介于零与一之间的标量门，而是用训练得到的权重差异提供可调节的结构自由度。

自适应门控单元（AGU）把 AGLL 与 VN-ReLU 组合，方法节给出的标准构造连续堆叠三层。保留向量神经元的非线性形式，可以继续利用现有 VN 表示，而不必把全部特征转换成普通标量网络。坐标权重不共享让校正分支有机会强化弱方向线索，但也引入相对于坐标轴的非等变行为，所以并非自由度越大越好。第 5.5 节进一步改变 AGLL 层数，观察到对称性破缺类别的性能和等变误差会随分支容量一起变化。这支持“需要合适的约束强度”，而不是“取消等变性本身就足够”的解释。

2. 残差校正：让灵活分支修正等变特征，而非替换整个骨干

论文没有把骨干的所有线性层全部改成不共享坐标权重的版本，而是将 AGU 接在严格等变表示之后。原始表示直接通过捷径保留，校正分支读取相同表示并输出增量，最终两者相加。这样新增分支可以利用骨干已经提取的几何结构，不必同时承担从原始点云提取特征和解决方向歧义两个任务。式（5）给出的结构为：

\[ f(x)=\Phi(x)+\Psi\bigl(\Phi(x)\bigr). \]

其中 \(\Phi\) 是严格等变骨干，\(\Psi\) 是 AGU，\(f\) 表示经过校正后的映射。当严格等变表示足以解决任务时，训练可以偏向保持这种规律；当任务需要利用弱非对称线索时，校正路径则允许最终表示偏离严格等变限制。这里“先用骨干解释，再用残差修正”是一种结构归纳偏置，不是论文额外加入的两阶段训练程序。它也不意味着残差一定稀疏、一定为零，或在推理时通过开关完全关闭；正文没有给出这样的约束。

这种设计的边界同样重要：AGU 只能读取骨干输出，无法凭空恢复已经完全消失的输入信息。因此更稳妥的理解是，它缓解近似对称条件下最终表示的方向性受限，而不是让完全相同的输入产生由几何唯一确定的不同真值。严格自对称输入的根本不可辨识性，与存在弱非对称线索但模型没有充分利用，是两个不同问题。论文的点云和受控分子实验主要围绕后者提供证据。

一个完整示例¶

考虑两份只相差旋转的近似轴对称灯具点云。 VNN 骨干容易给出集中在主轴附近的向量表示，对绕主轴的角度变化不够敏感，任务头因此难以区分候选方向。 AGU 对三个坐标使用独立的通道混合权重，从已有表示中学习与任务相关的方向校正，再由残差路径加回原表示。两份校正后的全局特征共同进入旋转回归头，用真实相对旋转监督整个预测过程。在另一类没有明显自对称歧义的物体上，数据不一定要求同样程度的非等变校正，训练后测得的等变误差可以更小。这个例子说明的是机制和实验设置，并不假定网络内部实际执行了对称轴检测或角度候选搜索。

损失函数 / 训练策略¶

姿态实验在 ShapeNet 的 26 个类别上分别训练，再在各类别未见过的测试物体上评估；原始点云与随机旋转后的点云组成输入对。正文说明由 MLP 回归旋转，但没有在可用主文中完整列出姿态训练损失、优化器和学习率，因此这里不补写常见默认配置。分类实验使用交叉熵，并区分只绕竖直轴旋转和完整 SO(3) 随机旋转的训练增强。推理时直接执行训练好的骨干、AGU、残差和任务头，不需要额外的对称性标签或测试时优化步骤。

论文用等变误差衡量模型放松了多少约束：对输入和随机群变换取平均，比较“先变换输入再经过网络”与“先经过网络再变换输出”的范数差异，越小表示越接近等变。这与任务上的旋转预测误差是不同指标，较大的等变误差不必然意味着较差的姿态预测。第 4.3 节在训练分布覆盖群轨道、真实任务映射的等变偏离有界等假设下，用任务损失与固有对称性破缺量共同控制学习函数的等变误差上界。当任务本身接近等变且拟合误差足够小时，上界允许推出较小的等变误差；存在固有破缺时，则允许非零偏离。但这是上界，不足以单独证明模型一定选择了最佳放松程度，也不能把“允许非零”当作由上界直接证明的非零下界。

本地全文的部分理论公式存在抽取损坏，所以这里只保留可可靠辨认的残差公式，并用文字解释其余定义和假设。主文引用的附录 A–E 不在这份 18 页缓存中；权重差异的完整推导、证明、更多训练细节与开销测量条件未能核实。

实验关键数据¶

主实验¶

以下选取原文表 1–2 的类别平均值，数据为 ShapeNet 各类别未见测试物体上的 10° 配准召回率（%，越高越好）。该指标是旋转误差小于 10° 的预测比例；三组分别包含 6、9、11 个类别，不能把三个组平均值的均值当作按 26 类加权的总均值。

方法	近似连续自对称 ↑	近似离散自对称 ↑	非对称 ↑
EPN	43.92	72.58	73.71
VNN	8.87	21.29	67.19
Ada-VNN	70.31	70.41	86.24
VN-T	51.17	76.10	86.10
Ada-VNT	72.09	80.49	85.77

Ada-VNN 相对 VNN 的三组增益为 61.44、49.12、19.05 个百分点，最突出的是近似连续自对称类别。 Ada-VNT 对应增益为 20.92、4.39、−0.33 个百分点，因此应表述为改善主要集中在对称歧义明显的情况，而非所有类别都上涨。这些是论文同一任务设置下的比较，但骨干不同，主文也未提供完整的参数量与训练预算控制表，不能把全部差异归结为单一模块。

消融实验¶

第 5.5 节确实消融了 AGU 的 AGLL 层数和残差校正深度，但主要以图 8–9 展示，缓存没有可可靠读取的完整逐点数值表。作者报告单层残差校正已带来主要收益，继续加深会显著增加等变误差，而性能改善较小；这比简单扩大非等变分支更支持受限校正的设计。方法节默认 AGU 为三层，消融正文另举两层结果，故这里不将某个深度与全部主表成绩强行绑定。下表改选表 4 的真实分类分析，检验这种灵活性是否损害本来只需要不变性的任务，而不是冒充模块消融。

ModelNet40 方法	z/SO(3) 准确率（%）↑	SO(3)/SO(3) 准确率（%）↑
VN-DGCNN	90.2	89.5
Ada-VND	86.9	87.2
VN-T	90.8	89.6
Ada-VNT	86.5	87.4

斜线左侧是训练旋转分布，右侧是测试旋转分布；z/SO(3) 检验从竖直轴旋转到任意三维旋转的分布外鲁棒性。 Ada-VNT 在该设置下比 VN-T 低 4.3 个百分点，说明保留较强鲁棒性并不等于完全保留严格等变骨干的分类性能。

关键发现¶

更强的基础模型仍受益，但幅度更小：VN-T 的连续自对称组已经明显强于 VNN，加入校正后仍改善 20.92 个百分点。
原文表 3 的受控同位素位置预测提供跨任务证据：C6H6 的方向角误差从 VNN 的 0.946 rad 降到 Ada-VNN 的 0.302 rad，越低越好。
分子数据在选定氢原子位置加入微小几何扰动，每种分子生成 20,000 个训练样本和 4,000 个测试样本；它检验弱线索定位，不是证明能从完全相同的几何识别真实同位素。
主文第 5.5 节报告单层残差增加 0.18% GPU 显存，但完整开销条件位于未提供的附录 E，因此不将这个比例扩展为所有骨干或部署环境的保证。

亮点与洞察¶

把等变性当作可调节的结构先验，而不是非黑即白的模型标签。关键操作落在向量线性层的坐标权重共享关系上，读者能明确指出约束究竟在哪里被放松。
将性能问题联系到表示空间受限，而非只展示最终准确率。近似轴对称输入为何丢失平面方向分量，给出了理解失败模式的具体几何图景。
保留骨干并学习残差比全盘非等变化更有针对性。分类分析的下降也提醒，校正分支的价值取决于目标任务是否确实需要这种自由度。

局限与展望¶

作者报告的边界：部分分类设置准确率下降，残差加深后等变误差明显上升，而性能回报有限。
阅读者判断：逐类别训练不足以证明同一模型能对混合类别或未见对称类型实现稳定的逐样本适应，还需要对应实验。
阅读者判断：真实扫描的噪声、遮挡、局部缺失和平移没有在这里的主要相对旋转协议中得到全面检验，不能直接外推到完整真实场景配准。
阅读者判断：理论上界依赖数据和拟合假设，不能替代对 AGU 最优性、完全对称输入可辨识性或样本复杂度的证明。
证据限制：本地缓存不含所引用附录，且部分数学表达式损坏；没有据此补造证明、优化器参数或完整效率结论。

评分¶

新颖性: 4/5 — 向量线性层的约束放松直接、可解释，但残差软先验有明确前作。
实验充分度: 3/5 — 覆盖姿态、受控分子和分类任务，逐类别训练与补充材料缺失限制了当前可核查范围。
写作质量: 3/5 — 主机制清楚，但理论上界的解释及默认结构与深度消融的关系需要谨慎阅读。
价值: 4/5 — 对需要弱方向线索的几何任务有实用启发，不宜作为所有等变网络的默认替代。