Self-Improving World Modelling with Latent Actions¶

会议: NeurIPS 2026
arXiv: 2602.06130
OpenReview: https://openreview.net/forum?id=4ow6O2MFtV
代码: https://github.com/yfqiu-nlp/swirl
领域: 强化学习
关键词: 世界模型、强化学习、潜动作、自进化、变分互信息

一句话总结¶

提出自进化世界模型框架 SWIRL，将动作视为潜变量，通过前向世界模型与逆动力学模型在 GRPO 下交替充当策略与奖励进行对偶强化学习，仅凭无动作标注的状态转移序列即可实现世界动力学预测能力的自主提升。

研究背景与动机¶

构建能够内化物理世界与交互动力学的内在世界模型（即给定前序状态和动作预测下一状态），是赋能大语言模型（LLM）和多模态大模型（VLM）进行深层因果推理与具身规划的核心基石。然而，现有世界模型训练高度依赖密集的动作标注轨迹（如代码运行日志、具身机器人遥控数据或工具调用轨迹）。在开放世界的真实环境（如网络视频、日常视觉场景）中，为每一步状态转移获取精确、细粒度的人工动作标注成本极高且极难规模化扩展；同时，逆动力学问题天然具有多义性——两个状态之间的演变可能对应多种合理的动作语义解释，这使得仅靠监督微调（SFT）拟合单一伪标签容易过拟合到特定描述口吻并产生虚假相关性。

这一困境的核心矛盾在于：利用海量无标注状态转移序列扩展世界模型的规模潜力巨大，但动作标签的缺失导致前向状态生成无法获得直接的监督信号，而单纯借助外部工具生成伪标签做 SFT 监督又会因动作表述的多样性与噪声陷入瓶颈。因此，如何在不需要昂贵人工动作标注的前提下，利用模型自身的能力对齐潜动作与状态转移，形成自洽且具备理论保障的闭环学习机制，成为释放世界模型数据可扩展性的关键。

针对这一问题，本文将不可观测的动作建模为隐变量（Latent Action），提出通过前向世界模型（FWM）与逆动力学模型（IDM）相互充当策略与判别式奖励的交替强化学习框架。核心 idea：将世界建模拆解为前向预测与逆向推断的对偶优化问题，通过变分互信息最大化与证据下界（ELBO）坐标上升交替迭代，在 GRPO 框架下让前向世界模型和逆动力学模型互为策略与奖励模型，仅靠纯状态序列实现无监督自进化。

方法详解¶

整体框架¶

SWIRL（Self-improving World modelling with Iterative RL）将世界模型建模任务分解为两个核心组件：前向世界模型（Forward World Model, FWM）$P_\theta(y \mid x, z)$，负责根据当前状态 $x$ 与潜动作 $z$ 预测下一个未来状态 $y$；以及逆动力学模型（Inverse Dynamics Model, IDM）$Q_\phi(z \mid x, y)$，负责根据状态转移对 $(x, y)$ 反推潜在发生的动作 $z$。

在训练时，系统仅接收无动作标签的状态转移数据对 $(x, y) \sim \mathcal{D}$。SWIRL 采用两阶段交替迭代优化（Phase I 与 Phase II）：在 Phase I 中，冻结 IDM 参数，将其对未来生成状态下原潜动作的对数后验似然作为奖励信号，驱动 FWM 策略生成可被准确识别的未来状态；在 Phase II 中，冻结 FWM 参数，将其对观测未来状态的对数重构似然作为奖励信号，驱动 IDM 策略推断出最能解释真实转移的潜动作。整体流水线在群组相对策略优化（GRPO）下实现两阶段坐标上升，直至系统收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无标注状态对 (x, y)"] --> B["Phase I：前向模型变分互信息最大化<br/>IDM采样潜动作 z 驱动 FWM 采样G个候选状态 y^"]
    B --> C["Phase I 对偶奖励反传<br/>以冻结 IDM 对数后验作为奖励通过 GRPO 优化 FWM"]
    C --> D["Phase II：逆动力学模型 ELBO 坐标上升<br/>IDM 策略采样G个候选动作 z^ 并由冻结 FWM 评估似然"]
    D --> E["Phase II 对偶奖励反传<br/>以真实状态转移似然作为奖励通过 GRPO 优化 IDM"]
    E -->|交替迭代直至收敛| F["收敛的高质量 FWM θ* 与 IDM ϕ*"]

关键设计¶

1. 前向世界模型优化：通过变分信息最大化确保状态可辨识性
前向预测在无监督下极易陷入模式崩溃或生成与输入动作无关的平均模糊状态。本文通过理论证明，将冻结 IDM 的对数似然 $\log Q_\phi(z \mid x, \hat{y})$ 作为奖励，数学上等价于最大化潜动作 $Z$ 与生成未来状态 $\hat{Y}$ 在给定初始状态 $X$ 下的条件互信息 $I(Z; \hat{Y} \mid X)$ 的变分下界。具体而言，互信息展开为先验动作熵与条件熵之差：由于先验动作分布依赖于冻结的 IDM 与静态数据分布，先验动作熵为常数，最大化互信息等价于最小化真实后验条件熵 $H(Z \mid \hat{Y}, X)$。利用变分分布 $Q_\phi$ 替代不可计算的真实后验，其优化目标可形式化为： $$ \mathcal{J}(\theta) = \mathbb{E}{(x,y)\sim\mathcal{D}} \mathbb{E}} \mathbb{E{\hat{y}\sim P\theta(\cdot\mid x,z)} \left[\log Q_\phi(z \mid x, \hat{y})\right] $$ 该设计迫使 FWM 生成的未来状态 $\hat{y}$ 必须具备充分的动作判别特征，使得 IDM 能够从中准确反查出最初驱动该转移的潜动作 $z$，从根本上杜绝了前向预测忽略动作条件的“平庸解”。

2. 逆动力学模型优化：通过 ELBO 坐标上升锚定数据保真度
若只优化可辨识性，FWM 与 IDM 可能会共谋收敛于一套偏离真实物理规律的虚假编码规则。为了强制潜动作如实反映真实环境的数据流形，Phase II 将已提升的 FWM 冻结，转而优化 IDM 策略 $Q_\phi(z \mid x, y)$。此时的目标是最大化观测数据边际对数似然 $\log P_\theta(y \mid x)$。引入变分后验 $Q_\phi$ 与以当前迭代步初始策略为基准的参考先验 $\pi_{\text{ref}}(z \mid x)$ 后，其证据下界（ELBO）推导如下： $$ \log P_\theta(y \mid x) \ge \mathbb{E}{z\sim Q\phi(\cdot\mid x,y)} \left[\log P_\theta(y \mid x, z)\right] - D_{\mathrm{KL}}\left(Q_\phi(z \mid x, y) \,\parallel\, \pi_{\text{ref}}(z \mid x)\right) $$ 通过将强化学习奖励设定为前向重构似然 $R = \log P_\theta(y \mid x, z)$，并将 KL 正则项与参考策略对齐，IDM 的强化学习策略梯度优化完全等价于在该 ELBO 上的坐标上升。这保证了推断出的潜动作不仅在语言上保持自然流畅，而且能在 FWM 的动力学机制下高保真地复现真实转移 $y$。

3. 对偶交替 GRPO 与架构解耦设计
传统生成对抗或强化学习优化极度依赖额外的价值基线网络，在 7B 级别自回归统一多模态大模型上显存开销巨大。SWIRL 创新性地采用群组相对策略优化（GRPO），在采样得到的一组 $G$ 个候选（FWM 生成的未来图像/状态，或 IDM 生成的潜动作文本）内部计算相对优势： $$ \widehat{\nabla_\theta \mathcal{J}}{\text{GRPO}}(\theta) = \frac{1}{G} \sum_k \mid x, z) $$ 由于奖励模型正是对偶任务的模型自身，整个流程无需训练独立的 Critic 网络。此外，针对 FWM（高维视觉生成/状态展开）与 IDM（离散动作语言理解）目标异质性的问题，论文系统对比了共享权重与独立权重设计，证实独立权重参数解耦能够彻底规避跨模态梯度冲突，维持潜动作空间的自然语言多样性与稳定性，避免崩塌为简短的对抗性暗号。}^G A_k^{\text{F}} \nabla_\theta \log P_\theta(\hat{y

损失函数 / 训练策略¶

在预训练模型缺乏统一图文指令输出能力时，先进行轻量级的有监督热身（SFT Warm-up，如 VLM 采用约 400K 图文编辑数据，LLM 采用半数环境特定交互序列），确保随机初始策略具备生成合法结构格式的“冷启动”能力。进入 SWIRL 循环后，FWM 与 IDM 轮流作为策略模型与奖励模型执行 1 个 epoch 的交替训练。超参数配置方面，VLM 实验在 32 张 H200 GPU 上采用 DeepSpeed 进行分布式训练，FWM 与 IDM 采用余弦衰减学习率（FWM 为 $2 \times 10^{-7}$，IDM 采样组大小 $G=8$，$\beta=0.1$，解码温度 0.75，Top-p 0.96）；在 LLM 任务（如 StableToolBench）上使用 8 张 GH100 GPU，学习率为 $5 \times 10^{-5}$，组大小设为 64，最大上下文长度支持 8126 tokens。

实验关键数据¶

主实验¶

论文在开放世界单步视觉动力学（Aurora-Bench、ByteMorph）、多步长程视觉动力学（WorldPredictionBench）以及大语言模型文字环境（ScienceWorld 物理仿真、Mind2Web 网页交互、StableToolBench 工具调用）共 6 个基准上进行了全面评测。视觉实验以统一自回归 VLM Liquid-7B 为基础骨干，纯文本实验以 Qwen-2.5-3B-Instruct 为基础骨干。

数据集 / 基准	核心指标	本文 (SWIRL Iterative)	基础基线 (SFT)	性能提升 / 对比 SOTA
Aurora-Bench (综合5任务)	GPT-4o 裁判分 (0-10)	5.06	4.36 (Liquid-SFT)	+16.1% (逼近 14B 模型 BAGEL 的 6.44)
ByteMorph (非刚性形变)	GPT-4o 裁判分 (百分制)	53.77	43.38 (Liquid-SFT)	+24.0% (超 BAGEL-14B 的 44.48)
ByteMorph (物体运动子项)	GPT-4o 裁判分 (百分制)	58.69	43.13 (Liquid-SFT)	+36.1% (显著增强局部动力学推演)
WorldPredictionBench (T=1)	GPT-4o 裁判分 (0-5)	3.23	3.09 (Liquid-SFT)	+4.5% (单步长程基础推演能力)
WorldPredictionBench (T=6)	GPT-4o 裁判分 (0-5)	1.11	0.97 (Liquid-SFT)	+14.4% (抗长程复合协变量偏移)
StableToolBench (ID-Low)	BLEU	16.90	12.87 (Qwen-3B-SFT)	+31.3% (远超 32B 模型的 7.13)
StableToolBench (ID-Med)	BLEU	21.20	17.51 (Qwen-3B-SFT)	+21.1% (自进化有效泛化至 API 复杂动力学)

消融实验¶

在 Aurora-Bench 上针对优化范式、迭代轮次、参数共享与采样组规模进行了细粒度消融分析：

配置 / 变体	Aurora-Bench (GPT-4o 均分)	IDM 动作推断得分	说明
Full Model (SWIRL 迭代解耦 Iter 1)	5.06	6.52	独立权重下 FWM 与 IDM 协同最优状态
单向非迭代 (SWIRL IDM $\to$ FWM)	4.83	6.38	仅用冻结 IDM 训练 FWM，无反向对偶进化
共享权重变体 (SWIRL Iter. + Share)	5.00	6.57	$\theta=\phi$ 节省显存，但跨模态梯度干扰致后期失稳
测试期重采样基线 (Test-time Verif. N=8)	4.77	—	耗费 8 倍推理计算量，性能仍显著弱于内部自进化权重
伪标签自举基线 (Liquid-Bootstrap)	4.11	—	用 IDM 伪标签做静态 SFT，动作表述多义性导致退化
原始有监督基线 (Liquid-SFT)	4.36	6.38	仅在有标注数据上预热热身，无法利用海量视频无标注流

关键发现¶

RL 优化显著优于伪标签 SFT 扩展：直接将 IDM 生成的伪标签用于前向模型的持续有监督微调（SFT-Continue 或 SFT-Merge）在样本量增加时很快陷入停滞甚至性能倒退（平均分由 4.15 降至 4.01），原因在于状态转移对应动作的多样性导致逐字拟合产生严重惩罚；而 SWIRL 的强化学习目标仅要求生成的未来能被 IDM 辨识，给策略探索留出宽容度，平均分随样本量从 4.27 稳步上升至 4.73。
解耦权重优于共享权重：尽管将 FWM 与 IDM 合并在同一套骨干中能够降低显存消耗，但在第 3 轮迭代中，图文生成与语言推断的跨模态梯度冲突使得性能出现回落（IDM 分数由 6.57 掉至 6.52，长程预测均分从 1.74 降至 1.68）；独立参数配置保持了平稳的单调进化。
潜动作抗塌缩与自进化稳定性：监控潜动作生成分布发现，动作唯一性比例在整个自进化周期内始终维持在 94% 以上，语言自然度（GPT-2 困惑度比率）极其稳定，平均文本长度（16.8 tokens）甚至超出真实动作（7.2 tokens），证明模型倾向于生成描述更细腻的语言动作以增强辨识度，完全没有退化成短暗号作弊（Reward Hacking）。

亮点与洞察¶

严格的变分互信息与 ELBO 理论闭环：巧妙地将前向模型对逆向后验似然的强化学习最大化证明为条件互信息下界优化，同时将逆向模型对前向似然的最大化证明为数据边际似然的 ELBO 坐标上升，使两阶段对偶 RL 获得了扎实的变分推断数学支撑。
无需 Critic 网络的轻量化 GRPO 落地：摆脱了传统强化学习对独立 Critic 大模型的依赖，利用 FWM 与 IDM 天生的对偶关系相互作为奖励判别器，结合 GRPO 的组内归一化优势估计，将大参数量自回归多模态模型的强化学习开销降至实际可用水准。
跨模态与跨领域的极佳通用性：框架不仅在自回归 VLM 的像素级视觉动态预测（非刚性运动、连续多步长程推演）上展现出抗误差累积特性，在 LLM 的代码 API 交互和真实网页 DOM 树推演上同样带来了显著增益，验证了基于潜动作的世界模型对齐范式的普适价值。

局限与展望¶

依赖 SFT 热身冷启动：由于通用基础模型无法直接按照结构化世界动力学接口输出规范图像与动作，SWIRL 依然依赖数百 K 级别的特定领域有标注交互数据进行预热，无法做到真正从纯生肉模型（from-scratch）开始无监督自进化。
无动作视频先验偏差：野外未标注视频大多包含大量静态或近静态机位镜头，导致模型在全局相机运动（如 Camera Zoom/Motion）上的收益不明显，动力学提升主要集中在物体与人体局部运动上。
长程衰减与迭代边际效应：在多步自回归生成任务（WorldPredictionBench）中，误差随步长增加依然呈现不可忽视的累积；且自进化在第 2-3 轮后即面临收益饱和，未来可探索结合蒙特卡洛树搜索（MCTS）或动态测试期验证以突破长期规划瓶颈。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立前向与逆向世界模型互为策略-奖励的对偶自进化范式，兼具扎实的互信息与 ELBO 理论证明。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖单步视觉、长程连续 6 步视觉以及物理仿真、网页 DOM、API 工具调用等 6 大基准，包含详尽的理论推导、数据效率对比与动作语义崩塌监测。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，方法动机层层递进，系统架构图与消融设计清晰透彻。
价值: ⭐⭐⭐⭐⭐ 为利用海量互联网无动作标注视频/文本数据规模化训练通用大模型世界模型指明了高效可行的路径。