On Making SE(2)-Invariant Networks Optimal¶

会议: NeurIPS 2026
arXiv: 2610.17424
领域: 学习理论
关键词: SE(2) 不变性、经典矩不变量、可操纵卷积、信息保持、即插即用模块

一句话总结¶

本文基于经典不变量理论推导了关于群作用可证明最优（极小且信息无损判别）的 \(\mathrm{SE}(2)\) 不变量映射，构建了可无缝集成到标准 CNN 的即插即用卷积模块，在大幅削减计算复杂度与参数量的同时实现了领先的旋转鲁棒性。

研究背景与动机¶

在计算机视觉中，先验对称性是设计高效神经网络架构的核心归纳偏置，正如标准卷积神经网络天然具备的平移等变性。然而，将这种归纳偏置扩展到包含旋转与平移的更丰富对称群 \(\mathrm{SE}(2)\) 时，现有主流方案往往面临沉重的计算与架构开销。以基于群表示论的可操纵卷积网络（Steerable CNNs）为代表的方法，通过构建按不可约表示变换的特征空间来维持严格等变性。这一框架虽然理论优雅，但特征层间的相互作用随着基函数类型的数量呈二次方增长 \(\mathcal{O}(N_{\text{in}} N_{\text{out}})\)，且标准深度学习组件（如点式非线性激活、归一化层、残差聚合）必须全部重新针对结构化几何特征专门定制，极大限制了其灵活性与扩展性。

另一种处理对称性的途径来自经典模式识别中的矩不变量理论，即直接构建对变换群不变的特征空间，绕开复杂的中间等变描述符。然而，早期的矩不变量（如 Hu 不变量）缺乏完整性或存在高度组合冗余；Flusser 基底虽在自由作用子集上实现了非冗余判别，但其高阶多项式组合直接用到深度网络中会引发剧烈的数值爆炸与不稳定性。此外，在全图级别计算单个不变量的做法丢弃了局部的空间相对几何分布，难以直接胜任稠密图像表征。

面对“结构化等变特征开销过大”与“传统不变量数值脆弱且缺乏稠密集成”的核心矛盾，本文的切入点是回归不变量理论本质：是否可以构建一种关于群作用完全判别、非冗余极小，同时能在深度网络中数值稳定逐点前向传递的局部不变量映射？本文的核心 idea 是：将特征在每个空间位置局部投影到极坐标分离矩基底上，提出一种结合幅值与相对相位余弦调制的极小判别不变量映射，直接将特征塌缩回零阶不变量类型，从而以线性复杂度实现与标准 CNN 组件完全兼容的即插即用 \(\mathrm{SE}(2)\) 局部不变卷积架构。

方法详解¶

整体框架¶

所提出的架构由离散的多阶段 CNN 构成。在网络的主干中，每个卷积块内部由矩投影层（Moment Projection Layer）和局部不变量层（Invariant Layer）串联组成，并嵌套在类似 MBConv 的残差结构中。输入特征图首先在局部滑窗内投影到一系列正交分离的极坐标矩基底上，产生具有确定自旋阶数的等变特征场；随后不变量层利用非零的一阶矩作为局部相位基准，计算各阶矩的幅值以及相位差调和响应，直接将所有特征映射为零阶不变量标量，从而后续可直接无缝接续标准的 \(1\times 1\) 卷积、通道归一化与点式非线性激活函数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入特征图 f(x)"] --> B["矩投影层<br/>极坐标分离可操纵基底卷积"]
    B --> C["局部不变量层<br/>幅值提取与相对相位调制"]
    C --> D["标准 1x1 卷积与非线性<br/>零阶标量空间通道聚合与残差"]
    D --> E["输出特征图 (满足空间平移等变与旋转不变)"]

关键设计¶

1. 极坐标正交矩投影：将局部图像信号分解为明确自旋阶数的等变矩

针对传统卷积核不具备旋转响应规律性的缺陷，方法采用分离式极坐标基底 \(\psi_{k,l}(r, \theta) = R_{k,l}(r) e^{\mathrm{i} k \theta}\)，其中 \(k \in \mathbb{Z}\) 为角向自旋阶数（类型），\(l\) 为径向索引，\(R_{k,l}(r)\) 采用平滑的 B 样条函数进行参数化。在每个空间位置 \(x\)，通过局部卷积运算将特征信号投影到各基函数上：

\[m_{k,l}(f)(x) = \int_{\Omega} \psi_{k,l}(u) f(x + u) \, du\]

在平面旋转 \(g_\theta \in \mathrm{SO}(2)\) 变换下，投影结果严格满足 \(m_k(g_\theta \odot f)(x) = e^{\mathrm{i} k \theta} m_k(f)(g^{-1} x)\)。这构成了一个局部的可操纵特征场，直接赋予每个通道精确已知的群表示变换行为。

2. 极小判别不变量映射：抑制高阶数值爆炸的幅值与相对相位余弦调制

传统的 Flusser 不变量形式为 \(\phi_k = m_k m_1^{-k}\)，在深度网络前向堆叠中会因高阶多项式连乘引发梯度与数值剧烈爆炸；若只提取幅值 \(|m_k|\)，又会彻底丢弃各阶矩之间的相对几何相位关系，破坏完备判别性。本文构建了一种代数等价且数值极度稳定的极小判别不变量映射 \(\Phi_{\mathcal{O}}\)：

\[\Phi_{\mathcal{O}} = \left\{ |m_1|, |m_k|, \phi_{\mathcal{O}}(m_1, m_k) \;\middle|\; k=0, 2, \dots, N_k \right\}\]

其中互作用项通过一阶基准矩 \(m_1 = r_1 e^{\mathrm{i}\theta_1}\) 消除自旋相位，并以幅值调制函数 \(\sigma(|m_1|, |m_k|)\) 进行尺度约束：

\[\phi_{\mathcal{O}}(m_1, m_k) = \sigma(|m_1|, |m_k|) \cos(\theta_k - k \theta_1)\]

该设计在理论上捕获了商空间 \(\mathcal{M}/G\) 的全部自由度，并在幅值趋近于零的退化边缘自然抑制了未定义相位引起的数值震荡，以闭式实数运算完成了对商流形无损、非冗余的坐标参数化。

3. 线性复杂度即插即用卷积块：规避类型间笛卡尔交互

在主流 steerable CNN（如 e2cnn）中，每一层的输入类型和输出类型之间必须计算张量积或基滤波交互，导致计算量按阶数二次方 \(\mathcal{O}(N_{\text{in}} N_{\text{out}})\) 急剧膨胀。本文通过将每个 block 内部的特征通过局部不变量层直接映射到零阶（类型 0，即旋转不变标量），使所有后续操作回归到标准空间，完全阻断了高阶类型间的级联耦合，将计算复杂度降低至关于矩数量的线性比例 \(\mathcal{O}(N)\)。这种解耦让网络可以直接采用成熟的轻量化 CNN 结构（如 MBConv 式的倒置残差与层归一化），无需为每个模块定制等变群卷积算子。

损失函数 / 训练策略¶

网络训练采用标准的交叉熵分类损失与 AdamW 优化器，无需额外的几何等变正则化损失项，因为 \(\mathrm{SE}(2)\) 不变性已通过网络底层架构的归纳偏置得到硬性保证。为评估模型在真实旋转下的稳定性，引入了旋转一致性指数（Rotation Consistency Index, RCI），定义为测试样本与旋转样本预测 logits 之间的 \(\ell_2\) 范数距离：\(\mathrm{RCI} = \|\mathbf{z}_{\text{rot}} - \mathbf{z}_{\text{upright}}\|_2\)。

实验关键数据¶

主实验¶

论文在手写字符、遥感遥测、材质纹理及科学显微图像等 8 个天然蕴含旋转不变性的基准数据集上，与经典的连续群等变卷积网络 \(\mathrm{E}(2)\)-CNN 进行了全面比较。

数据集	任务分辨率 / 类别数	本文准确率 (%)	E2-CNN 准确率 (%)	本文参数量	E2-CNN 参数量	本文 RCI (越低越好)	E2-CNN RCI
MNIST-Rot-Test	\(28\times 28\) / 10	99.42 ± 0.07	97.20 ± 0.14	119k	362k	0.01	0.89
rotMNIST	\(28\times 28\) / 10	99.08 ± 0.04	98.82 ± 0.01	119k	362k	0.01	0.64
RESISC45	\(256\times 256\) / 45	85.77 ± 0.47	84.02 ± 0.27	230k	365k	1.66	5.13
EuroSATrgb	\(64\times 64\) / 10	95.29 ± 0.40	93.90 ± 0.34	149k	363k	0.71	1.60
DTD (Top-5)	\(\le 640\) / 47	67.14 ± 0.27	67.18 ± 0.81	336k	469k	0.01	1.97
NFFA (科学SEM)	\(224\times 224\) / 10	87.02 ± 0.87	87.32 ± 0.30	248k	363k	0.01	1.23
Galaxy Zoo	\(424\times 424\) / 88	83.30 ± 0.03	84.39 ± 0.08	227k	363k	0.27	0.82
Colorectal Histology	\(150\times 150\) / 8	92.30 ± 0.40	91.58 ± 0.41	228k	363k	0.59	1.16

消融实验¶

论文系统探究了不变量构建形式、显式等变分支的作用以及径向基函数参数化方式的影响。

配置	测试准确率 (%)	验证准确率 (%)	说明
本文幅值+相位调制基 (RotMNIST)	99.08 ± 0.04	-	完整模型：极小判别余弦相对相位
经典 Flusser 实虚部基 (RotMNIST)	98.77 ± 0.03	-	直接使用多项式实虚部分量，数值较脆弱
本文幅值+相位调制基 (RESISC45)	85.77 ± 0.47	-	遥感复杂场景优势显著 (+2.44%)
经典 Flusser 实虚部基 (RESISC45)	83.33 ± 0.21	-	存在高阶数值饱和与精度损失
仅纯不变分支 Mom/Inv (RotMNIST)	99.00 ± 0.03	-	362k 参数，局部不变特征足以隐含相对姿态
附加显式 Type-1 等变分支 (RotMNIST)	98.82 ± 0.06	-	363k 参数，额外引入等变分支未获收益
B-splines 径向基函数 (RotMNIST)	99.07	99.74	连续平滑可微基底性能最优
Monomials 单项式径向基 (RotMNIST)	98.82	99.25	经典模式识别常用的单项式配置
Legendre 正交多项式径向基 (RotMNIST)	98.80	98.97	正交基底配置

关键发现¶

极小相位调制对稳定性的决定性作用：相较于直接使用 Flusser 基底的实虚部分离，幅值显式提取搭配相位余弦调制在所有数据集上均显著提升了 0.2%~2.4% 的准确率，有效遏制了深度网络中特征多项式爆炸带来的数值梯度异常。
显式等变特征非分类任务必需：学界长期担忧局部完全不变性会破坏物体各部件间的相对姿态组合（如五官相对位置混乱的人脸）。实验证明，由于稠密特征图在全图仍保持空间网格连续性，空间排布已经隐式编码了相对姿态，显式增加 Type-1 等变分支反而未带来收益。
前向吞吐与低数据样本效率优势极其显著：在 NFFA 科学显微图像的前向测试中，高阶矩配置下本文相比 e2cnn 获得了最高达 \(14\times\) 的单层加速，完整网络 epoch 耗时从 227 秒骤降至 98 秒。在仅有 6.2%~12.5% 小样本训练集下，300k 参数的本文模型大幅碾压了 11M 参数且带旋转增强的 ResNet-18。

亮点与洞察¶

经典不变理论与现代网络的高维融合：利用李群商流形定理严密证明了所构不变量集合的非冗余判别性与极小性，用坚实的代数几何理论填补了深度学习中设计不变量时凭经验堆砌特征的空白。
用局部不变代替全网络等变传递：打破了等变网络必须全程保留结构化不可约表示的思维定势，在局部直接投影至零阶不变量，化繁为简，使得标准深度学习的大规模加速库与常规算子得以全盘复用。
在跨领域几何先验中的可复用性：文中提出的极坐标矩投影与相对相位余弦调制公式不仅可用于 2D 图像，同样为 3D 点云球谐函数特征降阶与等变图神经网络的轻量化提供了清晰的代数映射模板。

局限与展望¶

依赖基准矩的非零假设：算法以一阶矩 \(m_1 \neq 0\) 作为全局相位参考；当局部区域遇到严格的多次旋转对称图样时一阶矩可能为零（退化态）。尽管稠密真实图像中概率极低，但在稀疏几何图或点云上仍需依赖 Flexible 备选基底。
连续对称性在离散网格上的离散化误差：理论推导立足于连续李群 \(\mathrm{SE}(2)\)，而在离散像素网格采样时小卷积核易受走样影响，必须使用较大卷积核（如 \(7\times 7\) 或 \(9\times 9\)）来抑制离散误差，增加了局部感受野的参数粒度。
未来方向：作者指出可进一步探索自适应矩阶数选择机制，并将该极小投影架构向 3D 刚体运动群 \(\mathrm{SE}(3)\) 扩展（例如通过二维切片投影或球谐相位解耦）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 成功将经典 Flusser/Bézout 极小判别不变量理论转化为现代深度卷积的局部极小不变层。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个真实多领域基准、合成对称性测试、消融实验、理论证明与细致的前向延迟测量。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，代数证明完整，方法流程与消融分析极其清晰。
价值: ⭐⭐⭐⭐⭐ 为旋转对称领域提供了一个兼顾高精度、超小参数量与极高计算效率的工业级可用即插即用方案。