跳转至

RECON: Robust symmetry discovery via Explicit Canonical Orientation Normalization

会议: ICLR 2026
arXiv: 2505.13289
代码: 无
领域: 对称性发现 / 不变性学习
关键词: 对称性发现, 正则化方向, 类-姿态分解, 即插即用, 群不变性

一句话总结

提出 RECON,一种类-姿态无关的正则化方向归一化方法,通过简单的右平移(right translation)修正任意训练过程中产生的正则化表示,实现无监督的实例级对称性发现、OOD 姿态检测以及即插即用的测试时正则化层。

研究背景与动机

领域现状

领域现状:现实世界数据通常展示出未知的、实例相关的对称性,这些对称性很少能精确匹配预先固定的变换群 \(G\)。传统的等变/不变网络方法要么硬编码特定群结构,要么通过数据增强隐式学习。而类-姿态分解(class-pose decomposition)方法试图将输入分解为不变特征和一个相对于某个正则化表示的姿态 \(g \in G\)

然而,现有的正则化方法存在一个根本问题:正则化表示依赖于训练过程,是任意的。不同的训练运行、不同的初始化会产生不同的正则化选择,这使得:

现有痛点

现有痛点:学到的姿态分布难以解释

核心矛盾

核心矛盾:跨模型比较无意义

解决思路

解决思路:无法直接利用姿态信息进行下游任务

RECON 的核心洞察是:任意的正则化选择可以通过简单的群运算(右平移)来修正,使其对齐到数据本身的自然正则化方向。这个修正是后处理的,不需要重新训练模型。

方法详解

整体框架

RECON 的框架建立在类-姿态分解之上。给定输入 \(x\) 和一个预训练的分解模型,该模型输出不变特征 \(z\) 和姿态估计 \(\hat{g}\)。RECON 通过以下步骤修正正则化:

  1. 收集训练数据中同类样本的姿态分布
  2. 估计"自然"正则化方向(数据对齐的正则化)
  3. 通过右平移算子将任意正则化映射到自然正则化

关键设计

  1. 右平移修正:给定预训练模型的正则化 \(c\) 和待修正的目标正则化 \(c'\),修正操作为简单的群元素右乘 \(g' = g \cdot c^{-1} \cdot c'\)

→ 核心思路:群的代数结构保证了正则化之间的转换是精确的
→ 设计动机:避免重新训练,利用群论中的等价类概念实现零成本转换

  1. 无监督姿态分布发现:修正后的姿态分布反映了数据的真实对称结构。对于不同实例,其姿态分布可能不同(实例级对称性),例如一个旋转对称的分子 vs 一个非对称分子。

→ 核心思路:通过统计修正后的姿态分布来推断实例的对称性
→ 设计动机:传统方法假设所有实例共享相同的对称群,RECON 放松了这一假设

  1. OOD 姿态检测:当测试时,如果一个样本的姿态落在训练数据姿态分布的支撑集之外,可以将其标记为分布外。这为检测异常姿态提供了一种自然的方式。

→ 核心思路:利用正则化后的姿态分布作为正常性参考
→ 设计动机:在分子构象分析等场景中,异常姿态可能对应不稳定或非物理的结构

  1. 即插即用测试时正则化层:RECON 可以作为一个正则化层附加到任何预训练模型之上,通过将输入变换到正则化方向来注入群不变性,而无需重新训练基础模型。

→ 核心思路:先将输入正则化,再送入不变性模型
→ 设计动机:复用现有预训练模型的能力,仅在推理时添加不变性

损失函数 / 训练策略

RECON 本身不需要单独的训练过程——它是一个后处理/推理时方法。底层的类-姿态分解模型可以使用任意现有方法(如等变自编码器、正则化网络)训练。RECON 的修正操作是解析的群运算,无需梯度优化。

在需要端到端训练时,可以将 RECON 层集成到训练管道中,此时使用标准分类或重建损失即可。

实验关键数据

主实验

实验在图像数据集和分子构象数据集上进行验证。

图像分类(旋转 MNIST 等)

方法 分类准确率 正则化质量 说明
无正则化基线 较低 N/A 不具备旋转不变性
传统正则化 中等 依赖训练 正则化是任意的
RECON 最优或持平 数据对齐 无需重新训练

分子构象分析

方法 对称性发现 OOD 检测 说明
固定群方法 无法处理实例级差异 不支持 假设统一对称群
RECON 准确 有效 支持实例级对称性

消融实验

配置 关键指标 说明
不同底层分解模型 性能稳定 RECON 对底层模型选择不敏感
不同群结构 均适用 验证了方法的群无关性
有/无 RECON 层 +显著提升 证明即插即用层的价值

关键发现

  1. RECON 的正则化修正是精确的——不引入近似误差,因为基于群的代数运算
  2. 发现的实例级姿态分布与物理/化学直觉一致(如分子的旋转对称阶数)
  3. 即插即用层在不重新训练的情况下,就能显著提升预训练模型在变换后数据上的鲁棒性
  4. 方法在图像和分子两个截然不同的领域都有效,展示了通用性

亮点与洞察

  1. 理论优雅:将正则化选择的任意性问题转化为群论中的一个简单平移运算,既数学上严谨又实现上简洁
  2. 零成本修正:不需要重新训练任何模型,是一个纯粹的后处理方法,这使得它在实际应用中极具吸引力
  3. 实例级对称性:突破了"所有样本共享相同对称群"的常见假设,更贴近真实世界数据的特性
  4. 即插即用设计:可以为任意预训练模型注入不变性,类似于 adapter 的思想但在几何层面操作
  5. 跨领域验证:从图像到分子,展示了群论方法的普适性

局限与展望

  1. 依赖底层分解模型的质量:如果底层的类-姿态分解模型本身不准确,RECON 的修正也会受影响
  2. 需要知道变换群 \(G\):虽然不需要知道具体的对称性,但仍需指定作用群的结构(如 SO(2)、SE(3))
  3. 连续群上的估计挑战:在高维连续群上估计姿态分布可能面临统计效率问题
  4. HTML 渲染失败:论文全文未能成功获取,部分实验细节基于摘要和相关工作推断
  5. 可扩展方向:将 RECON 扩展到更复杂的群结构(如无限维群、离散群的混合)

相关工作与启发

  • 等变神经网络(E(n)-equivariant GNN 等):RECON 提供了一种正交的方式来实现不变性——不是改变网络架构,而是改变输入
  • 正则化网络(Canonical orientation networks):RECON 解决了这类方法中正则化依赖训练的核心问题
  • 对称性发现:与 Lie 群发现等方法互补,RECON 关注的是实例级对称性而非全局对称性
  • 启发:简单的群论运算有时比复杂的学习方法更有效;"后处理"思路在不变性学习中被低估了

评分

  • 新颖性: ⭐⭐⭐⭐ — 右平移修正的思路优雅且新颖,但核心是群论的直接应用
  • 实验充分度: ⭐⭐⭐ — 验证了图像和分子两个领域,但全文细节无法完全确认
  • 写作质量: ⭐⭐⭐⭐ — 摘要清晰,理论描述精确
  • 价值: ⭐⭐⭐⭐ — 为等变/不变性学习社区提供了一个实用的工具