World Models as Group Actions¶

会议: NeurIPS 2026
arXiv: 2605.24578
OpenReview: https://openreview.net/forum?id=gHkKqoDxZm
论文: https://arxiv.org/abs/2605.24578
领域: 强化学习
关键词: 视频世界模型, 群作用, 动作保真度, 潜空间正则化, 具身智能

一句话总结¶

将动作条件视频世界模型建模为状态空间上的代数群作用（如导航中的 $SE(2)$ 群），在潜空间施加单位元不变性、逆动作对消与复合一致性约束，在不损伤视觉质量的前提下显著消除自发漂移并提升长程自回归推演的动作一致性与稳定性。

研究背景与动机¶

视频世界模型近年来作为具身智能、长程规划与决策的核心模拟器获得了极大的关注。得益于大规模扩散模型架构的演进，当前视频世界模型在单步视觉保真度与纹理真实感上取得了突破性进展，生成的未来视频帧看起来逼真自然。然而在具身导航与交互决策任务中，视觉真实感并不等价于真实的物理模拟能力：一个合格的环境模拟器所生成的动态演变，必须严格受输入动作的物理规律支配，而非仅仅与动作维持统计上的弱相关。

当深入探究现有前沿视频世界模型（如 NWM 和 DIAMOND）时，会发现其隐藏着严重的动力学保真度缺陷。在具身移动场景中，动作并非相互孤立的离散标签，而是具有明确代数结构的物理变换（例如平面移动导航动作属于李群 $SE(2)$）。此类结构对动力学演变施加了内在约束：执行静止的零动作时机体状态必须保持不变；执行一段动作后再施加其逆动作，状态应当相互抵消回到原点；而对同一总位移采取不同的动作时间分配，最终到达的状态终点应当保持自洽。现实中的前沿世界模型却普遍违背这些公理，极易在空动作下产生背景自发漂移、在往返动作后无法复原视角，甚至在长程随机采样中出现累积误差爆炸。

导致这一困境的核心矛盾在于：如果在传统状态空间（如像素解码后接 SLAM 位姿估计）中强行计算显式轨迹一致性损失，反向传播必须在多步推演循环中反复调用庞大的解码器与非微姿态估计模块，带来灾难性的显存开销与梯度不稳定性；且实际数据集中极度缺乏专门采集的静止驻留、精确折返与等价分解动作轨迹。本文的切入视角正是利用动作空间本身的群论公理化先验打破对新增数据的依赖，并将约束内化到世界模型的内部表征中。核心 idea：将动作条件世界模型形式化为状态空间上的李群作用，从已有轨迹自合成单位元、逆动作与复合等价动作段，并在扩散模型的潜空间高效施加群作用正则化，配合成套群作用一致性（GAC）与鲁棒性（GAR）位姿评估基准全面校准物理动力学。

方法详解¶

整体框架¶

本文针对视频世界模型中动作动力学违背物理变换公理的问题，建立了从代数公理形式化、自合成动作监督生成、高效潜空间正则化到显式位姿恢复评测的端到端框架。系统输入包含初始观测视频帧 $\mathbf{o}_0$ 与局部平面运动动作序列 $\mathbf{a}_{1:T}$，世界模型在潜空间中自回归向前推演内部状态 $\mathbf{z}_t$。为规避像素解码与位姿估计的梯度爆炸与显存开销，训练阶段直接在潜表征空间中施加对应于群公理的正则化项，而在测试评估阶段则通过位姿恢复模块将生成的观测序列解码并映射至位姿空间计算一致性与鲁棒性误差。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始观测帧与轨迹动作序列"] --> B["自合成群作用动作片段<br/>零动作/前向-逆动作环/Dirichlet重分配"]
    B --> C["自由推演潜空间正则化<br/>内部端点状态表征对齐"]
    C --> D["联合扩散优化训练<br/>扩散去噪损失 + 随机采样单项群作用损失"]
    D --> E["显式位姿恢复评估<br/>DROID-SLAM估计GAC一致性与GAR鲁棒性"]

关键设计¶

1. 群作用形式化与自合成动作监督：以代数先验零成本构造监督信号 针对真实机器人数据集中缺乏定点驻留、严格折返和等价分解轨迹的痛点，该设计将平面导航动作参数化为局部相对位移增量 $\mathbf{a}_t = (\Delta x_t, \Delta y_t, \Delta\theta_t) \in SE(2)$，并从群公理推导操作性条件。在任意训练轨迹段 $(\mathbf{o}_1:T, \mathbf{a}_{1:T-1})$ 上，无需额外数据采集即可自合成三类标准动作段：对于单位元条件，构造全零动作段 $\mathbf{u}_{1:l}^{\mathrm{id}} = (\mathbf{0}, \dots, \mathbf{0})$；对于逆动作条件，取原动作段并在时间维度倒序且符号取反，拼接构成闭合折返段 $\mathbf{u}_{1:2l}^{\mathrm{inv}} = (\mathbf{a}_t, \dots, \mathbf{a}_{t+l-1}, -\mathbf{a}_{t+l-1}, \dots, -\mathbf{a}_t)$；对于复合条件，对原累积增量利用 Dirichlet 分布采样权重 $\mathbf{w} \sim \mathrm{Dir}(\alpha)$ 进行非均匀重分配，构造满足累计位移严格相等的另一动作序列 $\mathbf{u}_i^B = w_i \sum_{j=1}^l \mathbf{u}_j^A$。通过这一构造，理论上的代数群公理被转化为可直接加载至世界模型的动作输入流。

2. 自由推演潜空间正则化：规避解码开销的高效内化动力学校准 针对在像素或外部位姿空间施加轨迹损失会导致 GPU 显存耗尽、多步反向传播受阻的工程瓶颈，该设计将群作用约束直接迁移至扩散世界模型的内部潜空间（Latent Space）。令 $\mathbf{z}_t = \phi_{\mathrm{enc}}(\mathbf{o}_t)$ 为视觉编码器得到的潜变量，模型利用原生转移算子执行自由推演得到预测潜端点 $\operatorname{End}_\theta(\mathbf{z}_t, \mathbf{u})$。在此基础上构建三项潜空间均方误差正则化项： $$\mathcal{L}_{\mathrm{id}} = \|\operatorname{End}_\theta(\mathbf{z}_t, \mathbf{u}^{\mathrm{id}}) - \mathbf{z}_t\|_2^2, \quad \mathcal{L}_{\mathrm{inv}} = \|\operatorname{End}_\theta(\mathbf{z}_t, \mathbf{u}^{\mathrm{inv}}) - \mathbf{z}_t\|_2^2, \quad \mathcal{L}_{\mathrm{comp}} = \|\operatorname{End}_\theta(\mathbf{z}_t, \mathbf{u}^A) - \operatorname{End}_\theta(\mathbf{z}_t, \mathbf{u}^B)\|_2^2$$ 推演过程采用完全自由推演（Free-running）而非 Teacher-forcing，使模型能够感知自循环过程中的内部漂移累积；推演区间外的先验状态进行截断断开梯度，并在每个训练 batch 中随机均匀采样一项 $\mathcal{L}_{\mathrm{GA}}^{(b)} \in \{\mathcal{L}_{\mathrm{id}}, \mathcal{L}_{\mathrm{inv}}, \mathcal{L}_{\mathrm{comp}}\}$ 与扩散去噪损失联合优化。这使得模型在几乎不增加额外显存负担的前提下，内化了状态演化的代数对称性。

3. 位姿恢复评估协议（GAC 与 GAR）：突破纯画质指标的物理保真度基准 针对传统图像重建指标（如 PSNR、LPIPS）无法衡量世界模型因果一致性与动力学物理真实度的缺陷，该设计在状态恢复空间定义了成套评估体系。首先利用预训练视觉 SLAM 系统（DROID-SLAM）将生成的视频观测流解码还原为代理机体位姿 $\mathbf{s}_t = (R_t, \mathbf{p}_t)$，并在位姿流形上定义状态距离度量 $d(\mathbf{s}_i, \mathbf{s}_j) = \|\mathbf{p}_i - \mathbf{p}_j\|_2 + \alpha d_R(R_i, R_j)$。基于该度量提出了两大互补指标：群作用一致性（GAC），通过设计固定探测集系统测量单位元漂移 $\bar{\Delta}_{\mathrm{id}}$、逆操作复原残差 $\bar{\Delta}_{\mathrm{inv}}$ 及复合分解端点不匹配误差 $\bar{\Delta}_{\mathrm{comp}}$ 的均值 $\mathcal{E}_{\mathrm{GAC}}$；群作用鲁棒性（GAR），在固定初始观测和相同动作序列下重复进行 $N$ 次随机采样推演，计算恢复轨迹间的两两平均离散度 $\mathcal{E}_{\mathrm{GAR}}$。该度量彻底解耦了视觉纹理多样性与动作因果确定性。

损失函数 / 训练策略¶

模型的全量微调目标由标准视频扩散去噪损失 $\mathcal{L}_{\mathrm{diff}}$ 与群作用正则化项 $\mathcal{L}_{\mathrm{GA}}$ 组合而成： $$\mathcal{L} = \mathcal{L}_{\mathrm{diff}} + \lambda_{\mathrm{GA}} \mathcal{L}_{\mathrm{GA}}$$ 在实际训练中，每个 batch 随机激活单项约束，有效目标为 $\mathcal{L} = \mathcal{L}_{\mathrm{diff}} + \lambda \mathcal{L}_{\mathrm{GA}}^{(b)}$。实验中超参数默认设置 $\lambda = 0.5$，局部约束推演最大长度 $L = 4$，从离散均匀分布 $l \sim \mathcal{U}\{1, \dots, L\}$ 中动态采样局部动作步长。模型基于预训练权重以 $1 \times 10^{-6}$ 的初始学习率在 8 张 A800 GPU 上采用 AdamW 进行全量参数微调。

实验关键数据¶

主实验¶

实验基于开源具身真实世界数据集 RECON（Jackal UGV 户外场景）、SCAND（Spot 与 Jackal 社交导航）和 HuRoN（室内服务机器人）开展，主干模型覆盖前沿自回归扩散世界模型 NWM 与 DIAMOND。在 RECON 数据集上的群作用一致性（GAC）主对比如下表所示（误差越低越好）：

方法	$\bar{\Delta}_{\mathrm{id}} \downarrow$	$\bar{\Delta}_{\mathrm{inv}} \downarrow$	$\bar{\Delta}_{\mathrm{comp}} \downarrow$	$\mathcal{E}_{\mathrm{GAC}} \downarrow$
DIAMOND (Alonso et al., 2024)	2.47 ± 1.16	2.38 ± 1.08	1.12 ± 0.70	1.99
DIAMOND + GA (本文)	2.25 ± 1.03	2.16 ± 0.97	0.86 ± 0.55	1.76
NWM (Bar et al., 2025)	2.10 ± 0.99	2.29 ± 0.99	0.79 ± 0.52	1.73
NWM + GA (本文)	1.95 ± 0.86	1.95 ± 0.84	0.60 ± 0.40	1.50

长程推演稳定性方面，评估在 RECON 上的群作用鲁棒性（GAR），考察相同动作序列下重复 5 次随机采样的轨迹离散度（分为消除全局漂移的 Aligned 与直接测量的 Non-aligned）：

方法	16 帧 Aligned $\downarrow$	16 帧 Non-aligned $\downarrow$	64 帧 Aligned $\downarrow$	64 帧 Non-aligned $\downarrow$
DIAMOND	0.44 ± 0.36	0.89 ± 0.58	0.93 ± 0.67	2.48 ± 1.91
DIAMOND + GA	0.37 ± 0.29	0.74 ± 0.49	0.76 ± 0.55	2.03 ± 1.46
NWM	0.32 ± 0.26	0.65 ± 0.41	0.62 ± 0.44	1.52 ± 1.27
NWM + GA	0.26 ± 0.20	0.49 ± 0.35	0.46 ± 0.33	1.28 ± 0.82

消融实验¶

在 RECON 数据集上以 NWM 为基座，对三类群作用约束进行独立消融分析（GAC 评估局部结构一致性，GAR 评估 64 帧长程非对齐推演误差）：

配置	$\bar{\Delta}_{\mathrm{id}} \downarrow$	$\bar{\Delta}_{\mathrm{inv}} \downarrow$	$\bar{\Delta}_{\mathrm{comp}} \downarrow$	$\mathcal{E}_{\mathrm{GAC}} \downarrow$	GAR 64帧 Non-aligned $\downarrow$	说明
NWM Baseline	2.10 ± 0.99	2.29 ± 0.99	0.79 ± 0.52	1.73	1.52 ± 1.27	原始基线模型
仅加入 $\mathcal{L}_{\mathrm{id}}$	1.93 ± 0.87	2.18 ± 0.96	0.79 ± 0.50	1.62	1.44 ± 1.16	显著压制静态驻留漂移
仅加入 $\mathcal{L}_{\mathrm{inv}}$	2.03 ± 0.94	1.99 ± 0.85	0.73 ± 0.48	1.58	1.38 ± 1.06	提升往返对消能力
仅加入 $\mathcal{L}_{\mathrm{comp}}$	2.06 ± 0.95	2.08 ± 0.90	0.62 ± 0.41	1.59	1.33 ± 0.94	显著改善长程多步累积稳定性
完整 Full GA	1.95 ± 0.86	1.95 ± 0.84	0.60 ± 0.40	1.50	1.28 ± 0.82	三者协同取得最优综合表现

关键发现¶

传统视觉扩散世界模型存在严重的"动作幻觉"：基线 NWM 在长程 64 帧推演下，未对齐轨迹离散度从 16 帧的 0.65 剧增至 1.52，意味着随机噪声会导致轨迹方向出现巨大分歧；引入群作用正则化后 64 帧误差降低至 1.28（相对降幅约 15.8%）。
约束之间存在动力学泛化互促：仅优化逆动作对消 $\mathcal{L}_{\mathrm{inv}}$ 时，单位元漂移 $\bar{\Delta}_{\mathrm{id}}$ 也从 2.10 自发下降到 2.03；而复合损失 $\mathcal{L}_{\mathrm{comp}}$ 对长程推演（GAR 64 帧）的稳定增益最显著（单项即降至 1.33）。
图像画质毫无退化反而轻微提升：在 RECON 上，NWM+GA 的 LPIPS 由 0.386 降至 0.364，DreamSim 由 0.141 降至 0.130，PSNR 由 13.86 提升至 14.29，证明物理结构的代数规范化有助于抑制画面漂移变形，与视觉生成质量形成正向协同。

亮点与洞察¶

将群公理转化为内生自监督信号：巧妙利用了物理动作空间的群代数性质（单位元、逆元、复合结合律），无需耗时耗力去实车采集折返或驻留数据，直接通过动作序列的倒序翻转和 Dirichlet 分布重加权合成理想监督，极具通用性。
潜空间代理正则化打破计算瓶颈：敏锐地避开了将 SLAM 位姿估计与视频解码器放入反向传播计算图的工程死局，通过在潜空间对齐端点特征，以极小的计算开销迫使扩散转移步保持结构守恒。
提出了超越纯像素保真度的物理真实性评测维度：构建的 GAC 与 GAR 指标体系，为今后世界模型评测指明了从"看起来真实（Visual Realism）"跨越到"物理因果真实（Action-faithful Dynamics）"的标准范式。

局限与展望¶

局部加性复合的理论近似局限：由于李群 $SE(2)$ 在大角度旋转下的非对易性，当前复合动作段的线性重分配机制仅在局部小时间窗内成立，尚未推广到大跨度全局非阿贝尔流形推演。
被动场景动力学与交互物体的外推受限：目前框架针对自身移动（Ego-motion）形成的刚体对称性建模，对于环境中受外力驱动的非刚体、动态障碍物或物理碰撞缺乏显式的群作用表达。
未来方向：探索高维操作任务中 $SE(3)$ 机械臂交互的李代数李代数动力学约束，并结合闭环模型预测控制（MPC）验证其对实际下游导航成功率的直接提升。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从群作用理论形式化视频世界模型的动作保真度，视角极具颠覆性与启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大机器人真实数据集、两大前沿世界模型基座及细致的探测消融分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，数学形式化推导与工程落地设计结合严丝合缝。
价值: ⭐⭐⭐⭐⭐ 为具身智能与交互式世界模型的真实可靠性构建提供了关键的物理对齐工具。