Feedback World Model Enables Precise Guidance of Diffusion Policy¶

会议: NeurIPS 2026
arXiv: 2605.15705
代码: https://ntumars.github.io/Feedback_World_Model/
领域: 机器人/具身智能
关键词: 世界模型, 扩散策略, 推理时引导, 反馈校正, 分布偏移

一句话总结¶

针对分布偏移下世界模型开环预测漂移误导策略采样的问题，提出维持轻量反馈状态在线吸收执行观测残差的反馈世界模型，并结合基于反事实方差的可控性加权引导能量，在无需重训与额外数据下大幅降低预测误差并提升扩散策略泛化成功率。

研究背景与动机¶

世界模型通过预测动作执行后的未来环境演化，为机器人策略学习提供了关键的动力学先验与规划依据。目前主流范式通常将世界模型作为离线辅助监督信号，或在推理时作为评价与引导模块接入扩散策略（Diffusion Policy）的反向去噪过程，通过对齐专家潜在流形来筛选高价值动作轨迹。然而，这类方法高度依赖世界模型的预测保真度。在机器人操作任务中，机械臂初始位姿、物体摆放姿态、光照变化等轻微扰动便会引发严重的分布外（OOD）偏移，导致静态开环世界模型的潜在状态预测迅速发散并累积误差，进而产生错误的能量梯度反向误导策略执行。

解决该瓶颈的常规手段主要依赖数据扩增与模型缩放，例如采集大规模真实回滚轨迹（rollout）进行微调，或直接套用百亿参数级的基础视频生成模型。但在机器人实体场景中，交互数据采集成本高昂且充满安全隐患，离线回滚数据难以穷尽部署时的多变扰动，直接微调亦可能破坏原有先验分布。与此相对，物理交互本身蕴含着天然却长期被忽略的真实反馈信号：机器人在每一步动作执行后都会从传感器获得真实的下一时刻观测，真实转移与模型预测之间的差异直接暴露了当前的动力学失配。

本文的切入角度是：无需对世界模型参数进行昂贵的重新训练或在线微调，而是直接在推理时将静态开环预测改造成闭环观测器架构。核心 idea：将在线观测残差引入隐空间动力学速度校正，构建具有收敛性保证的轻量反馈世界模型，并利用离线反事实动作方差自适应加权动作敏感隐空间维度，实现精准且抗漂移的扩散策略推理引导。

方法详解¶

整体框架¶

反馈引导策略（Feedback-Guided Policy）的整体推理流程由「内环引导去噪」与「外环观测更新」两个紧密耦合的闭环构成。在内环策略采样时，扩散策略从标准高斯噪声出发逐步去噪；在最后若干步低噪声去噪阶段，候选动作轨迹输入冻结的世界模型预测未来隐状态，此时模型利用上一交互步遗留的累积残差动态修正隐空间速度，并基于离线计算的可控性权重计算到专家隐状态库的加权能量距离，通过解析梯度修正去噪得分；在确定最终动作并下发环境执行后，外环模块接收环境反馈的真实下一帧观测，计算内部信念与真实观测之间的最新残差，递推更新反馈状态以校正后续时间步的预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境当前观测与动作去噪初始噪声"] --> B["1. 隐空间观测器与反馈速度校正<br/>提取预测残差修正候选动作未来隐状态"]
    B --> C["2. 基于反事实方差的动作可控性加权<br/>抑制背景冗余并强化动作敏感维度能量"]
    C --> D["3. 专家潜在流形对齐与低噪声步梯度引导<br/>生成精确动作轨迹并在环境中执行"]
    D --> E["4. 真实转移观测与外环反馈状态递推<br/>接收下一帧观测对齐误差并传递至下步"]
    E -->|更新残差 et+1| B

关键设计¶

1. 隐空间观测器与反馈速度校正：无需微调消除开环预测累积漂移 传统世界模型以开环形式根据当前观测 $z_t = \psi(O_t)$ 和候选动作 $A_t$ 预测下一状态 $\hat{z}_{t+1} = f_\theta(z_t, A_t)$，在 OOD 场景下误差会迅速级联放大。本方法将学习到的转移模型重新解释为速度形式 $v_t(A_t) = (\hat{z}_{t+1} - z_t)/\delta t$。系统引入一个在回合开始时由 $z_0$ 初始化的辅助反馈状态 $\bar{z}_t$，用于记录世界模型在经历过去一系列动作后的内部信念累积，从而定义真实观测与内部信念之间的差异 $e_t = z_t - \bar{z}_t$。在执行第 $t$ 步去噪时，系统保持该残差固定，通过对称正定增益矩阵 $L$ 修正每一个候选动作的动力学速度，生成修正后的未来隐状态预测： $$v^{\mathrm{fb}}_t(A_t^{(\tau)}) = v_t(A_t^{(\tau)}) + L e_t, \quad z^{\mathrm{fb}}_{t+1}(A_t^{(\tau)}) = z_t + \delta t \cdot v^{\mathrm{fb}}_t(A_t^{(\tau)})$$ 在理论上，该更新等价于隐空间渐近状态观测器。若真实环境动力学与预测速度之间的残差误差有界且渐近收敛至常数漂移 $\Delta_\infty$，在线离散误差动力学 $e_{t+1} = (I - \delta t L)e_t + \delta t \Delta_t$ 在满足谱半径 $\rho(I - \delta t L) < 1$ 时呈指数收敛，且最终一步校正预测满足 $\lim_{t \to \infty} \|z^{\mathrm{fb}}_{t+1}(A_t^{(0)}) - z_{t+1}\| = 0$，从控制论角度给出了预测无偏性的数学保障。

2. 基于反事实方差的动作可控性加权：消除动作无关视觉维度的引导干扰 直接在全隐空间中计算预测状态与专家状态的欧氏距离存在严重缺陷，因为自编码器提取的高维隐特征往往纠缠了机器人末端轨迹、操作物体几何姿态等高可控因素，以及背景纹理、全局光照等弱相关扰动。若赋予各维度等同权重，引导梯度将被无关背景噪声主导。为此，本文设计了基于反事实方差（Counterfactual Variance）的可控性加权机制。在离线阶段，从专家演示中均匀抽取 $M$ 个观测状态，保持状态不变而代入示范动作池中随机采样的动作，计算各隐维度 $j$ 在动作扰动下的输出方差 $w_j = \frac{1}{M}\sum_{i=1}^M \mathrm{Var}_{a \sim \mathcal{A}_{\mathrm{demo}}}([f_\theta(z_i, a)]_j)$。方差越大的维度表明其受动作影响越灵敏、与任务控制强相关。经归一化并以可控强度 $\beta$ 进行软插值平滑后得到维度权重 $w_j^{(\beta)}$，使引导能量函数聚焦于机械臂控制强相关特征： $$E_{\mathrm{ctrl}}(A_t^{(\tau)}) = \sum_{j=1}^D w_j^{(\beta)} \left( z^{\mathrm{fb}}_{t+1, j}(A_t^{(\tau)}) - z^E_{i^\star, j} \right)^2$$

3. 专家潜在流形对齐与低噪声步梯度引导：结构化注入引导能量且维持采样稳定 为了将校正后的物理动力学转化为行动控制力，系统预先将专家演示轨迹编码构建专家隐空间记忆库 $\mathcal{Z}^E$。在扩散策略去噪过程中，将校正后的预测状态 $z^{\mathrm{fb}}_{t+1}$ 检索匹配库中最近邻专家状态 $z^E_{i^\star}$，以加权误差能量 $E_{\mathrm{ctrl}}$ 作为流形势场。针对高噪声阶段动作语义模糊、世界模型输入分布不合规易产生病态梯度的问题，设计了低噪声窗口机制：仅在反向去噪过程的最后 $\tau \le \tau_g$ 步注入能量梯度修正得分 $\tilde{s} = s_\phi - \lambda \nabla_{A} E_{\mathrm{ctrl}}$，前序高噪声步保留原生策略采样以确保结构探索性。

4. 真实转移观测与外环反馈状态递推：构建跨时间步的闭环自愈流 在去噪得出最终无噪动作序列 $A_t^{(0)}$ 并将前 $T_a$ 个动作发送到底层机械臂执行后，环境返回真实下一时刻观测 $o_{t+1}$ 并编码为 $z_{t+1}$。此时，辅助反馈状态通过执行动作的校正速度进行同步外推 $\bar{z}_{t+1} = \bar{z}_{t} + \delta t \cdot v^{\mathrm{fb}}_t(A_t^{(0)})$，进而刷新出下一决策步的动力学残差 $e_{t+1} = z_{t+1} - \bar{z}_{t+1}$。这种外环交互确保内部模型信念始终与实体物理反馈对齐，把一次性的瞬时偏差转化成持续修正后续预测的动态阻尼，形成端到端无更新参数的在线自愈系统。

实验关键数据¶

主实验¶

在 Robomimic（低数据 20% 示范）与 LIBERO-Plus 操作任务上进行机械臂初始位姿 OOD 测试，对比基础策略、混合回滚 BC、成功回滚 BC、标准世界模型引导以及 LPB 风格的回滚世界模型引导（Rollout Guid.）：

基准测试	任务	Base	Mixed BC	Filtered BC	Std. Guid.	Rollout Guid.	本文 (Ours)
Robomimic	Square	0.36	0.08	0.12	0.40	0.44	0.46
Robomimic	Tool-Hang	0.27	0.22	0.22	0.22	0.31	0.36
Robomimic	Transport	0.34	0.26	0.36	0.46	0.52	0.60
LIBERO-Plus	Kitchen-S3	0.55	0.57	0.70	0.61	0.50	0.68
LIBERO-Plus	Kitchen-S6	0.45	0.48	0.54	0.48	0.50	0.55
LIBERO-Plus	Kitchen-S8	0.59	0.42	0.35	0.62	0.62	0.65
LIBERO-Plus	LR-S6	0.26	0.24	0.24	0.21	0.24	0.36
平均 (Average)	全部7项任务	0.40	0.32	0.36	0.43	0.45	0.52

在真实机器人实验中，评估桃子抓取放置（Peach-P&P）和抽屉拉开（Drawer-Open）任务。在 OOD 初始位姿下，本文方法将 Peach-P&P 成功率从 40% 提升至 80%，将 Drawer-Open 成功率从 20% 提升至 70%；同时在预测精度上，反馈机制分别降低了 65.4% 与 76.4% 的潜在预测 MSE。

消融实验与扰动鲁棒性¶

在 Robomimic 任务上对反馈世界模型（Feedback WM）和动作可控性加权（Action-aware）进行分解消融：

配置	Square 成功率	Transport 成功率	Tool-Hang 成功率	说明
Base (无引导)	0.36	0.34	0.27	原始扩散策略基线
+ Feedback WM	0.40	0.54	0.32	仅引入观测残差校正隐状态预测
+ Action-aware (本文完整模型)	0.46	0.60	0.36	叠加离线反事实方差加权引导能量

在 LIBERO-Plus 五类典型物理分布外扰动下的综合表现（汇总 4 项任务）：

扰动类别	基础策略成功率 (Base SR)	本文策略成功率 (Ours SR)	增益 ($\Delta$SR)	隐空间预测 MSE 下降幅度
机器人初始位姿 (Robot initial states)	45.7%	55.6%	+9.9 pp	19.4%
光照变化 (Lighting)	42.2%	46.7%	+4.5 pp	47.8%
背景纹理 (Background textures)	59.5%	64.9%	+5.4 pp	42.2%
物体布局 (Object layout)	67.2%	75.2%	+8.0 pp	12.3%
传感器噪声 (Sensor noise)	81.8%	86.6%	+4.8 pp	6.8%

关键发现¶

单纯依赖离线回滚数据重新训练策略（Mixed BC）常因低质轨迹污染导致性能骤降（平均成功率跌至 0.32），而在线反馈无需修改任何参数即可实现稳健跨域适应。
隐特征维度展现出高度各向异性（Anisotropy）：前 5% 的反事实敏感维度占据了 20%~25% 的总方差，对高响应维度重点赋权可显著提升能量梯度的物理指向性。
即插即用迁移至百亿级预训练模型 Fast-WAM-Joint（Wan2.2-5B 骨干网络）时，在完全冻结参数前提下使 LIBERO-10 OOD 潜在预测 MSE 下降 18.3%，像素级 MSE 下降 18.0%，策略成功率从 77.1% 提升至 81.4%。

亮点与洞察¶

巧妙地将经典控制论中的状态观测器（State Observer）思想嫁接到深度生成策略的隐空间，为不可重训的黑盒大模型提供了解析且带渐近无偏收敛证明的轻量在线校正接口。
利用离线反事实动作扰动方差解耦高维表示中的「可控因素」与「外观干扰」，以极低离线计算成本克服了基于状态匹配引导方法对视觉噪声过敏感的长期顽疾。
揭示了世界模型在机器人交互中「即时物理反馈」这一免费监督信号的巨大价值，打破了应对分布偏移必须靠海量数据扩增或复杂在线强化学习微调的思维定势。

局限与展望¶

扩散去噪内环需多次前向传播计算世界模型梯度，导致单步控制延迟高于无引导基线，难以直接适配对控制频率要求极高的动态接触或高速拦截任务。
观测器增益目前采用标量各向同性形式（$L = lI$），未根据不同隐维度的噪声方差与物理动力学特性自适应分配异质增益。
未来的演进方向在于将该反馈观测器与一步流匹配（Flow Matching）或一致性策略结合以压缩去噪延迟，并在更长视距的多步规划任务中验证反馈状态的时间外推稳定性。

评分¶

新颖性: ⭐⭐⭐⭐☆ 创新地将控制论观测器理论与扩散策略推理引导融合，提出反事实方差加权策略。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Robomimic、LIBERO-Plus、5 类环境扰动、实机操作以及预训练基础模型迁移，数据与消融详实。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰逻辑紧凑，控制论收敛性数学推导完整严密。
价值: ⭐⭐⭐⭐☆ 为具身智能测试时泛化提供了免重训、轻量即插即用的全新范式。