Disentangling Rotation and Translation from SE(3)-Equivariant Features for Shape Assembly¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/maroo-sky/SOT
领域: 3D视觉
关键词: 3D形状装配, SE(3)等变性, 特征解耦, 向量神经元, 刚体姿态估计

一句话总结¶

针对三维形状装配中旋转与平移混合编码阻碍模型泛化的问题，本文提出 SOT 编码器，通过正交补空间投影抑制平移构建 SO(3) 等变旋转分支，并通过平移监督与特征差分构建 T(3) 等变平移分支，实现刚体运动因子的显式解耦与即插即用提升。

研究背景与动机¶

三维形状装配是机器人操作与三维几何感知中的经典基础难题，广泛存在于双物体插接、家具拼接以及多碎片几何断裂重组等场景中。在真实非结构化环境下，离散碎片往往以任意的空间姿态散落分布，算法必须准确推断各部件之间的局部接触与几何吻合关系，并分别预测各部件的 6D 刚体姿态变换（三维旋转矩阵与三维平移向量）。近年来，以 VN-DGCNN 和 SE(3)-Transformer 为代表的等变网络被引入装配流程，利用向量神经元或张量等变层在输入发生三维刚体变换时天然保持几何变换对应性，显著增强了网络在不同视角下的特征稳定性。

然而，现有方法普遍采用单一的 SE(3) 等变特征或未完全解耦的双路特征来同时估计旋转与平移。从刚体李群结构来看，三维特殊欧氏群 SE(3) 是旋转群 SO(3) 与平移群 T(3) 的半直积，旋转对应紧致非线性的乘性旋转流形，而平移对应无界的欧氏加性位移，二者的几何自由度与表征需求截然不同。将两者纠缠在同一特征空间中，导致平移的不确定性极易干扰旋转特征对方向的敏感度，而大范围平移更会直接引发严重的位姿泛化崩溃。此前的方法如 VNT 试图通过强制约束网络权重行和为 1 来强行消除平移，但这严重破坏了神经网络的参数自由度与表征容量；而配准网络如 FINet 的双分支结构仅依赖末端损失进行软分离，在特征提取内部依然存在严重的因子泄露。

面对表征容量与几何解耦之间的两难困境，本文的切入思路是：不施加不可逆的硬权重约束，而是通过显式的几何正交补空间投影消除平移能量，并结合特征层面的直接残差相减剥离旋转分量。核心 idea：提出 SOT 编码器，在旋转分支通过基于 QR 分解的平移子空间投影（RETI-VN）结合弱权重行和正则化消除平移响应，在平移分支利用平移监督压制旋转残差并通过直接相减剥离 SO(3) 旋转成分，实现即插即用的旋转与平移显式解耦。

方法详解¶

整体框架¶

SOT（SO(3)- and T(3)-decomposed）编码器旨在从任意空间位姿的点云输入中，解耦提取出纯净的 SO(3) 旋转等变特征与 T(3) 平移等变特征。系统输入为散落在三维空间中的未装配部件点云 $\mathbf{P}' = \mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}$，首先通过基础向量特征提取器将点坐标升维至初始向量神经元表征；随后特征分流进入双分支：旋转分支堆叠若干层 RETI-VN 模块，利用正交投影阵过滤平移方向分量，辅以弱行和正则损失 $\mathcal{L}_w$ 输出纯净的 SO(3) 等变旋转特征 $f'(\mathbf{P}')$；平移分支通过常规 VNT 层提取含完整刚体信息的特征 $V'$，并与旋转特征进行直接特征相减（$V' - f'(\mathbf{P}')$）剥离旋转残差，输出 T(3) 等变平移特征 $f(\mathbf{P}')$。两路解耦特征最终送入任意现有的下游形状装配模型中，直接回归出目标刚体位姿 $(\hat{\mathbf{R}}, \hat{\mathbf{t}})$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入变换点云<br/>P' = PR + 1 t"] --> B["初始向量特征提取<br/>VFeat(P')"]
    B --> C["旋转分支：RETI-VN 投影<br/>正交补空间滤除平移"]
    B --> D["平移分支：VNT 编码<br/>保留全局 SE(3) 几何特征"]
    C --> E["行和稀疏正则化 Lw<br/>弱约束平移响应趋零"]
    C --> F["特征直接相减<br/>V' - f'(P') 剥离旋转残差"]
    D --> F
    E --> G["SO(3) 旋转等变特征<br/>f'(P')"]
    F --> H["T(3) 平移等变特征<br/>f(P')"]
    G --> I["下游形状装配架构<br/>预测旋转 R 与平移 t"]
    H --> I

关键设计¶

1. RETI-VN 层：通过正交零空间投影与弱行和正则消除平移 以往构建旋转等变层（如 VNT）时，为了确保平移项被完全消除，通常对权重矩阵施加强烈的约束条件，要求权重矩阵的行和严格等于 1（$\sum_l \mathbf{W}_{kl} = 1$），这种强约束严重扼杀了向量神经元层的拟合能力。针对该缺陷，SOT 设计了弱约束的旋转等变平移不变向量神经元层（RETI-VN）。对于变换后的输入 $\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}$，RETI-VN 引入可学习的参数矩阵 $\mathbf{W}_Q \in \mathbb{R}^{m \times r}$，通过 QR 分解自适应构造平移子空间的正交基 $\mathbf{Q}_t \in \mathbb{R}^{m \times r}$（满足 $\mathbf{Q}_t^\top \mathbf{Q}_t = \mathbf{I}_r$），并用正交补投影算子 $\mathbf{I}_m - \mathbf{Q}_t \mathbf{Q}_t^\top$ 滤除平移特征能量： $$ \text{RETI-VN}(\mathbf{P}') = \mathbf{W}\mathbf{P}\mathbf{R} + (\mathbf{I}_m - \mathbf{Q}_t \mathbf{Q}t^\top) \tilde{\mathbf{W}} \mathbf{1}n^\top \mathbf{t} $$ 由于投影本身仅作用于估计的低维子空间，为了彻底消除残余平移泄漏，作者发现平移项的传递响应正比于权重矩阵的行和 $\sum_j \mathbf{W}_{i,j}$。为此，设计了软性行和正则项 $\mathcal{L}_w$，迫使每行的加和逼近于零： $$ \mathcal{L}w = \frac{1}{m} \sum \left| \sum} \mathbf{W \right| $$ 这种软正则化配合几何投影，不仅完全保留了权重的表达容量，而且使得输出特征随层数堆叠能够逐步将平移泄露降至最低，稳定收敛至纯净的 SO(3) 等变表征。

2. 平移监督机制：旋转残差消除与单复合等变映射局限性突破 直觉上，许多模型试图仅通过为位移预测分支附加平移回归损失来实现旋转无关的平移特征提取。作者在理论上分析了复合 SE(3) 等变映射 $g = h \circ f$ 的严格数学性质：若编码器 $f$ 与装配网络 $h$ 均为自然的 SE(3) 等变映射，则整个前向过程满足 $g(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}) = g(\mathbf{P})\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}$。对平移损失展开后可以推导出： $$ \mathcal{L}_{\text{trans}} = | g(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}) - \mathbf{1}_n^\top \mathbf{t} |_2 = | g(\mathbf{P})\mathbf{R} |_2 = | g(\mathbf{P}) |_2 $$ 这在数学上证明了最小化平移预测损失等价于压制 SE(3) 映射中携带的旋转依赖残差项 $g(\mathbf{P})\mathbf{R}$。然而，作者在 Proposition 2 中证明，若要在理想零损失状态下使 $g(\mathbf{P}) = h(f(\mathbf{P})) = \mathbf{0}$ 对任意点云恒成立，由等变性会导致 $\mathbf{0} = \mathbf{1}_n^\top \mathbf{t}$，这在非零平移时是自相矛盾的。这解释了单一前向通路即便施加平移损失也无法彻底剔除旋转干扰的根本原因。

3. 差异化特征直接相减：解耦 T(3) 平移等变表征 为了突破复合映射无法退化为零的理论限制，SOT 并没有强行强加不可行的一体化约束，而是引入了差异化特征相减机制。平移分支不独立重新学习未知流形，而是先通过标准的 VNT 网络提取完整的 SE(3) 等变特征 $V' = \text{VNT}(\mathbf{P}')$，随后直接与旋转分支已提纯的 SO(3) 旋转等变特征 $f'(\mathbf{P}')$ 执行逐通道相减： $$ f(\mathbf{P}') = V' - f'(\mathbf{P}') $$ 此时平移目标损失重构为衡量 SE(3) 表征与 RETI 表征之间残差的差异： $$ \mathcal{L}_{\text{trans}} = | h(f(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}) - f'(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t})) - \mathbf{1}_n^\top \mathbf{t} |_2 = | h(f(\mathbf{P}) - f'(\mathbf{P}))\mathbf{R} |_2 $$ 通过直接相减，原本混杂在 SE(3) 特征中的强旋转几何骨架被精确对冲抵消，剩下的特征纯净地承载了加性欧氏位移与全局平移流形。这种设计将求解"平移特征"的重担从黑盒非线性拟合转化为了代数几何差分，极大减轻了下游回归器解算位移的负担。

损失函数 / 训练策略¶

SOT 编码器的总优化目标由下游形状装配网络原生的任务损失 $\mathcal{L}_h$（包含旋转损失与平移损失）与平移抑制正则化项 $\mathcal{L}_w$ 组合而成： $$ \mathcal{L} = \mathcal{L}_h + \mathcal{L}_w $$ 其中，旋转损失 $\mathcal{L}_{\text{rot}} = \| h \circ f'(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}) - \mathbf{R} \|_2$ 直接监督旋转分支，平移损失 $\mathcal{L}_{\text{trans}}$ 监督相减后的平移分支。在训练细节上，在 2BY2 和 Breaking Bad 数据集上训练 100 个 epoch，在 ShapeNet 上训练 200 个 epoch。针对 direct pose regression 架构（NSM, SE(3)-Assembly, 2BY2NET）均采用 Adam 优化器，基础学习率为 $1 \times 10^{-4}$，权重衰减为 $1 \times 10^{-6}$，不设额外学习率调度器。所有双部件装配实验均在 4 张 NVIDIA GeForce RTX 3090 GPU 上进行，总 batch size 为 64；针对真实世界宽范围位移设定，训练中部件平移范围按边界均匀采样 $\mathbf{t}_i \sim \mathcal{U}[-2|\mathbf{C}_{P_i}|, 2|\mathbf{C}_{P_i}|]$，以杜绝模型对确定性质心归一化的过拟合。

实验关键数据¶

主实验¶

在 2BY2、Breaking Bad（everyday 类）以及 ShapeNet 三大三维装配基准上，将 SOT 作为即插即用编码器接入主流直接位姿回归模型（NSM、SE(3)-Assembly、2BY2NET），对比原生编码器 DGCNN、VN-DGCNN 以及双分支基线 FINet-EB。评价指标采用旋转均方根误差（RMSE-R，单位度）、平移均方根误差（RMSE-T）、倒角距离（CD）以及部件装配精度（PA，以 CD $< 0.1$ 为判定阈值）。

方法	编码器	2BY2 RMSE-R ↓	2BY2 RMSE-T ↓	2BY2 CD ↓	2BY2 PA ↑	Breaking Bad RMSE-R ↓	Breaking Bad RMSE-T ↓	Breaking Bad CD ↓	Breaking Bad PA ↑	ShapeNet RMSE-R ↓	ShapeNet RMSE-T ↓	ShapeNet CD ↓	ShapeNet PA ↑
NSM	DGCNN	37.4801	0.4019	0.7360	0.5488	78.3134	0.1295	0.0781	0.8824	54.9841	0.1238	0.0961	0.8596
NSM	VN-DGCNN	37.0824	0.4197	0.5914	0.5664	87.3287	0.1328	0.0979	0.8393	64.9645	0.1297	0.1124	0.8272
NSM	FINet-EB	44.3693	0.4853	0.7518	0.5165	85.8648	0.1412	0.0879	0.8655	65.7310	0.1325	0.1198	0.8158
NSM	SOT (Ours)	29.1815	0.3982	0.3490	0.6121	71.9768	0.1100	0.0769	0.8887	44.9236	0.1157	0.0893	0.8694
SE(3)-Assembly	DGCNN	43.1994	0.4403	1.1484	0.4403	75.9024	0.1005	0.1957	0.7425	46.6635	0.1322	0.1410	0.8061
SE(3)-Assembly	VN-DGCNN	36.4079	0.3569	1.4027	0.5243	55.3831	0.0692	0.1087	0.8402	75.7370	0.1086	0.1579	0.7719
SE(3)-Assembly	FINet-EB	39.1817	0.4113	2.2576	0.5536	53.5764	0.0814	0.1104	0.8423	59.1983	0.1038	0.1497	0.7814
SE(3)-Assembly	SOT (Ours)	32.3640	0.3039	0.6200	0.5911	49.2427	0.0684	0.0842	0.8662	37.1323	0.0957	0.1100	0.8383
2BY2NET	DGCNN	30.4387	0.3386	2.2349	0.5207	72.0284	0.0865	0.1813	0.7575	82.8681	0.1301	0.2872	0.6425
2BY2NET	VN-DGCNN	30.3856	0.4391	6.1800	0.3812	62.0458	0.0724	0.1683	0.7976	62.2055	0.0765	0.1983	0.7829
2BY2NET	FINet-EB	29.7778	0.3597	4.9334	0.5330	59.8457	0.0685	0.1396	0.8181	60.2706	0.1906	0.1462	0.7945
2BY2NET	SOT (Ours)	22.4719	0.2857	1.5265	0.5623	53.7092	0.0568	0.0873	0.8533	51.6656	0.0799	0.1109	0.8179

消融实验¶

在 2BY2 数据集上基于 SE(3)-Assembly 架构进行核心模块的消融实验。除姿态与装配指标外，引入平移敏感度指标 $\mathcal{D}_{rt-r} = \| f'(\mathbf{P}\mathbf{R} + \mathbf{1}_n^\top \mathbf{t}) - f'(\mathbf{P}\mathbf{R}) \|_2$ 用于精确量化平移对旋转特征的泄露程度（数值越低代表平移不变性越优异）。

配置	RMSE-R (°) ↓	RMSE-T ↓	CD ↓	PA ↑	$\mathcal{D}_{rt-r}$ ↓	说明
完整模型 (Ours)	32.3640	0.3039	0.6200	0.5911	0.0381	双分支正交投影 + 行和正则 + 直接相减
w/o 正则损失 $\mathcal{L}_w$	34.0900	0.3161	0.9088	0.5687	0.0682	去除行和正则，平移泄漏 $\mathcal{D}_{rt-r}$ 剧增近 80%
w/o 正交基投影 $\mathbf{Q}_t$	32.8937	0.3352	0.7042	0.5652	0.0427	移除零空间投影算子，平移误差与倒角距离均明显上升
w/o 直接相减 (DS)	32.8855	0.3315	0.7656	0.5376	-	移除特征直接相减，部件装配准确率 PA 跌落 5.35%

关键发现¶

平移泄漏的直接量化验证：消融实验清晰展示，去除弱行和正则损失 $\mathcal{L}_w$ 后，$\mathcal{D}_{rt-r}$ 从 0.0381 剧增到 0.0682（增加 79.0%），说明几何投影虽然划定了平移子空间，但仍需权重行和向零收敛的软约束协同，才能从数值上彻底封堵位移对旋转向量神经元的扰动。
与传统等变层的结构对比优势：在 2BY2 上对比旋转分支构建方式，采用 VNT 作为 $f'$ 时 SE(3)-Assembly 的 RMSE-R 达到 84.4165°，采用标准 VN 为 38.0648°，而采用 RETI-VN 骤降至 32.3640°；在 NSM 架构上 RETI-VN 更是将 RMSE-R 从 88.3118°（VNT）和 51.1724°（VN）大幅拉低至 29.1815°。这强有力证明了 VNT 严苛的行和为 1 约束扼杀了参数空间，而 RETI-VN 在弱约束下同时保留了表达力与等变性。
参数极其精简下的高效泛化：在 ModelNet40 的刚体位姿回归实验中，SOT 仅占用 34.79K 参数量，显著低于 PointNet（150.34K）、DGCNN（309.63K）、VN-DGCNN（72.21K）和 FINet-EB（77.86K），但取得了全场最低的旋转误差（6.1905° vs 基线 7.9962°~8.9837°）与平移误差（0.0304 vs 0.0313~0.0550）。

亮点与洞察¶

正交补空间几何消除的精巧性：通过可学习参数矩阵配合 QR 分解构建自适应平移基底，并在其正交补空间上实现平移能量的几何湮灭。相比人为设计启发式规则或依赖黑盒 MLP 过滤，这种基于群表示与李代数结构的投影算子在数学上更具解释性。
突破复合等变函数退化悖论：论文从数学上严格推导了为何单路 SE(3) 等变网络无法通过平移损失训练出纯平移特征（引理 2 证明了 $h(f(\mathbf{P})) = \mathbf{0}$ 与非零平移的等变性在代数上不可能共存），进而巧妙通过"全量 SE(3) 减去纯净 SO(3)"的代数残差形式化解了这一理论死结。
即插即用的模块通用性：SOT 作为纯粹的特征编码器，不修改下游任何姿态回归头或点云匹配损失，无论是面对直接位姿回归模型（NSM、SE(3)-Assembly、2BY2NET）还是密集特征匹配网络（CMNet），接入后在双部件及多部件装配（2~20 个碎片）场景下均取得全面提升。

局限与展望¶

子空间维度超参数依赖：平移子空间的正交基维度 $r$ 目前作为超参数进行经验调优（实验发现对于通道维度 $m=21$ 取 $r=13$ 最佳），缺乏在不同物体几何复杂度与点云分辨率下的自适应动态秩选择机制。
对称物体的姿态歧义性：当前位姿评估与直接特征相减假设部件具有相对明确的几何吻合界面，当面对具有连续旋转对称性（如圆柱、球壳）或离散重复对称性的零件时，等变特征可能会陷入多解歧义，导致下游回归发散。
未来改进方向：可进一步将 SOT 的解耦机制推广到可变形装配与含有铰接约束（Articulated）的机构运动估计中，同时探索与扩散模型或流匹配（Flow Matching）生成式装配框架的结合。

评分¶

新颖性: ⭐⭐⭐⭐☆ 理论推导扎实，将几何零空间投影与李群等变特征差分引入装配任务，思路清晰精妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双部件、多部件、密集匹配、位姿回归四大场景，包含跨数据集验证与深入的解耦度量分析。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严格，逻辑自洽，图表设计兼具直观性与理论深度。
价值: ⭐⭐⭐⭐⭐ 作为即插即用的几何骨干网络，对 3D 机器人装配与点云配准社区具有很强的实用借鉴意义。