Soft Geometric Inductive Bias for Object Centric Dynamics¶

会议: NeurIPS 2026
arXiv: 2512.15493
代码: https://github.com/hlinander/soft-geometric-inductive-bias
领域: 其他
关键词: 几何代数, 软归纳偏置, 物体中心动力学, 克利福德变压器, 世界模型

一句话总结¶

本文提出基于克利福德代数多重向量表征的软几何归纳偏置物体中心世界模型，通过非严格等变克利福德网络与块因果注意力，在保留几何先验的同时自适应拟合接触、边界及外力引起的对称性破缺。

研究背景与动机¶

在机器人控制与计算机视觉等领域中，学习具备泛化能力的物理世界模型是核心挑战。物理系统的运动规律天然由几何实体及其时空变换构成，近年来的研究多借助等变神经网络（如 SE(3)-Transformer、E(n)-GNN 及几何代数 Transformer GATr）引入严格的几何对称性先验，从而显著提升样本利用效率。然而，现实物理场景普遍包含环境边界、非弹性碰撞接触、各向异性摩擦、阻尼耗散及外部非均匀势场，这些因素会导致严格的连续几何对称性在状态演化过程中发生局部或结构性破缺。一旦强制施加硬性等变约束，模型在面对此类对称性破缺时就会因表达能力受限而产生欠拟合与严重物理漂移。

与之相对，无结构归纳偏置的常规多层感知机（MLP）或标准 Transformer 虽然在容量上足以拟合任意动力学，却完全丧失了几何几何变换的内在结构约束，导致样本效率低下且在长时程多步自回归推演中极易累积误差而迅速发散。如何在物理约束的先验结构与对称性破缺的拟合灵活性之间取得平衡，成为物体中心动力学建模亟待突破的瓶颈。

本文指出射影几何代数（Projective Geometric Algebra, PGA）是提供软几何归纳偏置（Soft Geometric Inductive Bias）的理想数学载体。多重向量（multivector）能够统一表征点、线、面以及旋转和平移算子，并在张量层面上定义内积与几何乘积。本文的核心 idea 是：将多物体动力学状态嵌入为克利福德代数多重向量，构造具备几何参数化但不强制严格对称性不变性的克利福德层与块因果自注意力机制，以软归纳偏置兼顾几何 sample efficiency 与真实破缺物理动力学的高保真长程推演。

方法详解¶

整体框架¶

模型输入为 $K$ 个物体的历史状态序列，每个物体在每个时间步被编码为 $C$ 个多重向量通道。在 2D 场景中采用射影几何代数 $\mathrm{PGA}(2)\cong Cl(2,0,1)$（8 维多重向量空间），在 3D 场景中采用 $\mathrm{PGA}(3)\cong Cl(3,0,1)$（16 维多重向量空间）。整体网络由输入嵌入与通道扩展、序列位置编码、多层块因果克利福德 Transformer 堆叠以及输出投影解码器组成。

在训练阶段，模型接收长度为 $S$ 的序列并采用类似大语言模型的自回归 Teacher-Forcing 目标进行下一时间步预测。与常规自回归逐 token 预测不同，多物体在同一时间步内需要充分交换相互作用信息，因此模型引入块因果掩码（Block-Causal Masking），使得所有物体在时间上严格依赖于历史时间步，但在同一时间步内进行全向跨物体几何注意力交互，从而输出下一时间步的多物体状态多重向量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多物体物理状态序列<br/>(位置 / 速度 / 角度 / 势场)"] --> B["多重向量几何嵌入<br/>Cl(2,0,1) / Cl(3,0,1) 8D/16D 叶基"]
    B --> C["通道扩展与时序位置编码<br/>张量形状 (B, S×K, C, d)"]
    C --> D["块因果克利福德注意力<br/>时间步间因果 / 同步内多物体交互"]
    D --> E["软几何前馈层<br/>S-CliffordMLP 或 S-Ad-CliffordMLP"]
    E --> F["自回归多物体状态预测<br/>多重向量空间 L2 损失"]

关键设计¶

1. 射影几何代数多重向量状态嵌入：将离散物理量统一映射到连续代数结构
常规神经网络将位置、速度与旋转角强行拼接为平坦实数向量，破坏了速度随旋转联动、位置满足仿射变换等几何关联。本文利用射影几何代数基叶（blades）的几何含义进行状态表征。在 2D 空间中，利用基底 $e_{13}, e_{23}$ 表征质心及多边形顶点位置，基底 $e_1, e_2$ 表征线速度分量，而旋转角度与角速度则分别表示为转子（rotor）多重向量 $\cos(\theta) + \sin(\theta)e_{12}$ 与 $\cos(\dot{\theta}) + \sin(\dot{\theta})e_{12}$。对于单个物体，将其属性统一组织为 $C=4$ 个通道的多重向量 token，每个 token 具备 8 个代数分量。在 3D 空间中，平移与位置采用 $x e_1 + y e_2 + z e_3 + e_0$，线速度为 $v_x e_1 + v_y e_2 + v_z e_3$，电荷等标量赋予标量基底 $e_0$。这种嵌入使得所有输入变量天生共享相同的几何代数操作接口。

2. 软几何克利福德前馈网络：打破严格等变限制同时保留几何算子先验
严格等变的 GATr 等架构通过将权重限制为 rank-wise 线性组合来确保完全等变，但在静止刚性边界（如包围盒墙壁）碰撞或外加不对称势场下，硬约束会成为阻碍模型学习真实轨迹的枷锁。本文设计了两种非严格等变但富含几何结构的线性层。第一种为标准克利福德线性变换 $\mathrm{S}(x)^i = W^{ij} \star x_j$，其中 $W$ 为可学习的多重向量权重矩阵，$\star$ 表示代数内部的几何乘积，激活函数采用门控 Sigmoid $a(x) = \sigma(W^{\mathrm{act}}_i x^i) x$。第二种为伴随线性层（Adjoint Linear Layer）： $$ \mathrm{S}_{\mathrm{Ad}}(x)^i = W^{ij} \star x_j \star (W^{ij})^r $$ 其中 $(\cdot)^r$ 为克利福德反转算子（Clifford reverse）。由于几何乘积在非对易代数中不满足交换律，当输入经历群作用变换 $m^r \star x \star m^{-1}$ 时，$W^{ij} \star (m^r \star x_j \star m^{-1}) \neq m^r \star (W^{ij} \star x_j) \star m^{-1}$，因此模型在数学上并不受制于严格等变性；但多重向量代数乘积构成的算子天生倾向于诱导旋转、反射和平移变换，从而以软归纳偏置的形式极大地缩减了动力学搜索空间。

3. 克利福德几何自注意力与块因果掩码：兼顾时间因果性与瞬时空间全交互
为了计算物体与物体之间具有几何不变性的关联权重，注意力机制利用诱导的不变内积。两多重向量 $x$ 与 $y$ 的内积定义为去除射影分量 $e_3$ 后的基分量逐项点乘 $x \cdot y = x_0 y_0 + x_1 y_1 + x_2 y_2 + x_{12} y_{12}$。查询、键、值投影分别通过几何线性层映射为多重向量，注意力权重计算公式为： $$ \mathrm{att}(x) = \frac{1}{\sqrt{d C}} \mathrm{softmax}_j \left( Q(x)_i \cdot K(x)_j \right) V(x)_j $$ 其中 $d$ 为几何代数维度（2D 为 8，3D 为 16），$C$ 为多重向量通道数。在时间维度上，如果采用完全自回归序列分解，会导致同一时刻物体间人为引入处理次序偏差；若采用全双向注意力，则破坏了动态物理世界的时间因果推演。模型构建了块因果掩码（Block-Causal Mask），将时间步 $t$ 内的所有 $K$ 个物体划分为一个因果块。物体在预测第 $t+1$ 步状态时，可以完全双向关注时刻 $\le t$ 内所有物体，而掩盖时刻 $> t$ 的所有未来信息，保证了瞬时多体动力学解析与未来长程自回归推演的无缝统一。

损失函数 / 训练策略¶

模型直接在多重向量空间中计算多维度均方误差（$L_2$ 损失），无需在反向传播前将多重向量解码回欧氏坐标系，从而确保几何导数梯度的直接回传： $$ \mathcal{L} = \frac{1}{B \cdot N_{\mathrm{vars}}} \sum_{b, i} | \hat{y}^{b, i} - y^{b, i} |_2^2 $$ 在 Waymo 自动驾驶多智能体轨迹预测任务中，由于存在智能体是否活跃的二值指示标记（active/inactive flag），该任务在连续变量的 $L_2$ 损失基础上附加了二值交叉熵损失（BCE）。训练使用 AdamW 优化器，学习率设为 $5 \times 10^{-4}$，批大小为 128，权重衰减为 $10^{-7}$，并在单张 A100 GPU 上进行全量训练。

实验关键数据¶

主实验¶

论文在 Jax2D 2D 刚体碰撞环境（10 个多边形碰撞及静态墙壁）、3D 约束带电粒子系统（5 个带电粒子在简谐势场与重力作用下）以及 Waymo 真实多智能体自动驾驶场景（WOMD，4k 与 16k 场景）上进行了全面评测。在 WOMD 任务中，评估以平均位移误差（ADE）与下一步位置 RMSE 为核心；在物理环境中，重点评测多步展开轨迹 RMSE。

数据集 / 任务	评估指标	S-Clifford (本文)	E-Clifford (严格等变)	Vanilla Transformer (无几何偏置)	相对增益 / 分析
WOMD (4k 场景, SDC 自车)	下一步 XY-RMSE (m)	0.0334	0.0708	0.1023	相对 Vanilla 降低 67.3%，优于 E-Clifford
WOMD (4k 场景, 非 SDC 目标)	下一步 XY-RMSE (m)	4.5321	4.6867	4.8162	软几何模型在复杂异构场景表现最优
WOMD (4k 场景)	1.6s 展开 ADE (m)	1.21	1.48	1.76	长时程真实驾驶轨迹漂移显著降低
WOMD (16k 场景)	1.6s 展开 ADE (m)	0.95	1.18	1.39	数据规模扩大 4 倍后依然保持显著领先
Jax2D (10 多边形, 10 步展开)	墙壁碰撞 RMSE	0.18	0.36	0.49	破缺对称性下大幅击败硬等变与基线
Jax2D (10 多边形, 10 步展开)	自由运动 RMSE	0.08	0.06	0.22	自由演化下逼近严格等变，远超基线
3D 带电粒子 ($k_z=3.0$ 强约束)	50 步展开 RMSE	0.15	0.42	0.78	强对称性破缺下 E-Clifford 严重退化

消融实验¶

在真实自动驾驶轨迹预测（WOMD 4096 场景）以及刚体动力学碰撞分类条件下的分变量消融与架构表现如下表所示：

配置 / 评估子项	SDC 速度误差 $v_x$ (m/s)	SDC 速度误差 $v_y$ (m/s)	SDC 航向角 $\theta$ (rad)	刚体墙壁碰撞 10 步 RMSE	刚体物-物碰撞 10 步 RMSE
S-CliffordTransformer (完整模型)	0.0303	0.0682	0.0083	0.18	0.14
S-Ad-CliffordTransformer (伴随变换)	0.0315	0.0654	0.0085	0.19	0.15
E-CliffordTransformer (严格等变)	0.0314	0.0651	0.0084	0.36	0.18
Vanilla Transformer (参数量对齐)	0.0664	0.0775	0.0099	0.49	0.32
CliffordMLP (无注意力机制)	0.0821	0.0950	0.0152	0.65	0.51
Standard MLP (两层全连接)	0.1140	0.1380	0.0240	0.88	0.74

关键发现¶

在具有静态边界（如包围盒墙壁）或外加各向异性势场的动力学场景中，由于静态环境信息未直接以动态多重向量形式提供，物理演化构成了实质性的对称性破缺。严格等变模型（E-CliffordTransformer）由于无法打破对称等变性，在墙壁碰撞处的 RMSE 达到 0.36，而软几何模型（S-CliffordTransformer）仅为 0.18，误差直接减半。
在自由飞行等完全满足旋转平移对称性的阶段，严格等变模型的归纳偏置最为纯粹，达到最低的 0.06 RMSE；但 S-Clifford 依然取得了 0.08 的接近表现，同时完全避免了常规 Transformer 在此处的欠拟合高误差（0.22）。
样本效率方面，S-CliffordTransformer 仅需约 20% 的训练轮数即可达到常规 Transformer 训练收敛时的轨迹精度；即便扩展到 35 步以上的超长时程自回归展开，S-Clifford 依然能保持几何刚体不发生伪穿透与能量暴增。

亮点与洞察¶

多重向量统一代数表征的高效性：将点、线、速度与转子统一编码在射影几何代数内，省去了大量手工设计旋转变换矩阵或四元数变换的复杂投影，同时使得神经网络层的所有权重均可直接通过几何乘积自然施加影响。
软归纳偏置打破等变性魔咒：传统几何深度学习往往走向两个极端——要么完全无视对称性（如纯 Transformer），要么过度严苛强制数学等变（如 SE(3)-GNN）。本文证明了非等变的多重向量线性层可以在不牺牲模型对反常、接触及破缺环境拟合能力的前提下，天然继承几何空间的搜索收敛加速优势。
块因果注意力的跨实体时空解耦：将多智能体系统的“时间因果”与“空间瞬时相互作用”完美融合于统一的因果掩码框架中，非常适合直接扩展为通用物体中心物理世界模型的基础主干。

局限与展望¶

计算开销开销略有增加：由于多重向量的几何乘积涉及预先计算的高维张量收缩（如 $8 \times 8 \times 8$ 或 $16 \times 16 \times 16$ 结构常数张量），相较于简单矩阵乘法，单步 forward 计算开销稍大，存在一定 FLOPs 与显存带宽负担。
依赖物体中心分解前置条件：当前方法假定环境输入已经过上游感知模块分解为结构化多物体槽（slots）或实体状态，尚未实现端到端从原始稠密视觉像素网格直接无监督端到端推演动力学。
长时程漂移尚未加入主动抗噪策略：作为自回归步长预测器，在展开至数十帧后依然存在累积误差导致能量耗散或轻微穿透；未来可探索加入训练期轨迹扰动噪声或扩散细化机制来进一步强化长程稳定性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性地将非严格等变的克利福德代数网络作为软归纳偏置引入物体中心世界模型，理论立意深刻且切中实际痛点。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D 刚体模拟、3D 带电粒子受控破缺势场以及 Waymo 真实自动驾驶轨迹，对比基线全面且包含分场景深入消融。
写作质量: ⭐⭐⭐⭐⭐ 几何代数数学推导严谨自洽，对等变破缺机制的论证逻辑清晰明了。
价值: ⭐⭐⭐⭐⭐ 为具身智能、物理仿真及自动驾驶世界模型打破“硬等变与无先验”的两难困境提供了极具指导意义的通用新范式。