Why Latent Actions Fail, and How to Prevent It

会议: NeurIPS 2026
arXiv: 2605.20223
OpenReview: https://openreview.net/forum?id=LWmFD8ITV8
代码: https://github.com/jmleeluck/why-latent-actions-fail
领域: 强化学习
关键词: 隐动作模型, 外生噪声, 外生分块MDP, 未来信息泄漏, 机器人操作

一句话总结

针对真实视频中背景干扰和视角移动等外生噪声破坏隐动作学习的难题，本文将隐动作模型形式化扩展至外生分块MDP框架，理论揭示了重建目标导致未来帧泄漏与视觉编码器敏感度放大噪声的双重失效机理，并证明了外生置换重建与鲁棒目标监督能促使隐动作在外生状态间保持一致性。

研究背景与动机

隐动作模型（Latent Action Models, LAMs）通过对无动作标注视频中相邻帧间视觉变化进行无监督压缩，学习表征动作的潜空间潜变量，成为解决具身智能与机器人领域真机专家轨迹标注昂贵瓶颈的关键范式。然而，在真实环境采集的海量野外视频中，连续帧之间的画面变化不仅源于智能体执行动作引起的内生状态转移，还充斥着背景物体移动、杂乱干扰、光照变动以及相机自身运动等与操作任务无关的外生噪声。

现有经验研究表明，以无监督重建相邻帧为目标的传统隐动作模型极易退化：模型倾向于将高方差的外生变化作为捷径压入隐动作表征，甚至在第一人称视角的视频中，隐动作主要编码了相机的平移晃动而非物理机械臂的接触变化，从而误导下游视觉-语言-动作（VLA）模型与世界模型的决策学习。虽然近期工作尝试引入少量真值动作弱监督、光流对齐、语言描述或多视角一致性等辅助目标来缓解该干扰，但学界始终缺乏一个统一的理论框架来回答：外生噪声究竟如何系统性地破坏隐动作学习，以及这些经验补救策略为什么能够在数学上成立并生效。

本文的切入角度是跳出以往控制马尔可夫过程中仅将噪声视作简单加性残差的局限，建立基于外生分块马尔可夫决策过程（Ex-BMDP）的分析框架，将观测变化严谨解耦为内生控制驱动与外生状态转移两部分。核心 idea：将隐动作模型形式化扩展至 Ex-BMDP 理论框架，从数学上严格证明最小化传统单路重建目标不可避免导致隐动作从未来帧泄漏外生信息并沦为预测捷径，且外生能量受编码器敏感度支配；进而证明外生置换重建（等价于典型相关分析 CCA）与外生鲁棒目标监督能从理论上严格约束隐动作在外生状态变化下的不变一致性。

方法详解

整体框架

本文构建了基于外生分块马尔可夫决策过程（Ex-BMDP）的理论分析与算法改进框架。环境真实潜在状态被显式拆解为内生控制状态与外生干扰状态 \(\mathcal{X}=\mathcal{S}\times\Xi\)，观测生成映射为 \(o=h(s,\xi)\)。反向动力学模型（IDM）从相邻帧观测 \((o, o')\) 中推断隐动作 \(z\)，正向动力学模型（FDM）则根据当前帧 \(o\) 与隐动作 \(z\) 预测重建下一帧 \(\hat{o}'\)。整体分析体系首先剖析传统单路重建在 Ex-BMDP 下的两大失效根源，随后导出并论证两类能够有效纠正外生泄漏的互补补救机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双环境状态输入<br/>内生状态 s 动作 a 外生状态 ξ"] --> B["观测生成与敏感度控制<br/>o=h(s,ξ) 抑制外生敏感度"]
    B --> C["传统隐动作重建瓶颈<br/>z=IDM(o,o') 导致未来外生状态泄漏"]
    C --> D["外生置换重建分支<br/>跨外生状态 z~=IDM(o~,o~') 逼近 CCA 算子"]
    C --> E["外生鲁棒目标监督分支<br/>利用动作或光流预测约束跨环境一致性"]
    D --> F["下游控制与动作对齐输出<br/>消除捷径预测 恢复真实动作表征"]
    E --> F

关键设计

1. Ex-BMDP 加性动力学分解与未来外生泄漏证明

为了精确刻画视频中动作无关变化的影响，本文将潜在状态空间严格解耦为受动作控制的内生状态集 \(\mathcal{S}\) 与自主演化的外生状态集 \(\Xi\)。在此基础之上，观测差分被正交分解为内生动作效应 \(q_\xi = \phi_\xi(a) = h(s', \xi) - h(s, \xi)\) 与外生状态跳变引发的噪声 \(\varepsilon = h(s', \xi') - h(s', \xi)\)，满足 \(o' - o = q_\xi + \varepsilon\)。理论证明显示，只要外生噪声在观测空间中非退化（协方差正定），传统单路重建目标 \(\mathcal{L}_{\mathrm{LAM}} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]\) 的全局最优解中，隐动作 \(z = Co + Do'\) 必然显式依赖于下一时刻的外生状态 \(\xi'\)。这是因为正向动力学模型 FDM 必须以 \(o\) 和 \(z\) 重建下一帧 \(o'\)，而未来外生状态 \(\xi'\) 仅在 \(o'\) 中可观测，FDM 为了降低重建误差必然促使隐动作 \(z\) 充当信息旁路，将未来帧中与动作无关的外生纹理直接透传复制，挤占了表征真实物理动作的潜空间容量。

2. 视觉编码器外生敏感度与噪声能量上界

针对外生噪声强度由何决定的机制问题，本文将条件二阶矩分解为环境外生状态转移概率 \(\mathbb{P}[\xi' \neq \xi \mid s']\) 与视觉表征的外生敏感度两项。定义观测映射 \(h\) 在内生状态 \(s\) 上的外生敏感度为：

\[\delta_h(s) = \sup_{\xi, \tilde{\xi} \in \Xi} \|h(s, \tilde{\xi}) - h(s, \xi)\|^2\]

外生噪声能量满足严格上界 \(\mathbb{E}[\|\varepsilon\|^2 \mid s'] \le \mathbb{P}[\xi' \neq \xi \mid s'] \delta_h(s')\)。该结论从数学上清晰指出了为何直接在原始像素空间（raw pixels）训练 LAM 会遭受严重的外生干扰：像素级映射对外生背景变化具有极高的李普希茨常数与敏感度。相反，引入具备物体中心化和背景不变性的自监督特征提取器（如 DINOv2）或在线自适应 EMA 编码器，能显著压缩外生敏感度 \(\delta_h(s)\)，从而在观测源头压低外生噪声能量。

3. 外生置换重建目标与典型相关分析等价性

为切断 FDM 依赖隐动作传递未来外生帧的捷径，本文形式化了外生置换重建目标（Exogenous-Swap Reconstruction, \(\mathcal{L}_{\text{X-exo}}\)）。设同步转移序列在两个不同外生状态 \(\xi\) 与 \(\tilde{\xi}\) 下生成观测对 \((o, o')\) 和 \((\tilde{o}, \tilde{o}')\)，置换目标定义为：

\[\mathcal{L}_{\text{X-exo}}(\theta) = \mathbb{E}\left[ \left\| o' - \psi_{\mathrm{FDM}}(o, \tilde{z}) \right\|^2 \right], \quad \tilde{z} = \psi_{\mathrm{IDM}}(\tilde{o}, \tilde{o}')\]

在白化假设下，该目标被严格证明等价于在转移向量 \(u = q_\xi + \varepsilon\) 与 \(\tilde{u} = q_{\tilde{\xi}} + \tilde{\varepsilon}\) 之间执行典型相关分析（CCA）。由于在两个不同外生状态下，仅有由真实动作驱动的内生变化分量具备高度相关性，而各自的外生噪声相互独立，最小化该置换误差使得奇异值分解自动保留共有且相关性最高的动作主方向，彻底滤除特异性的单路外生干扰。

4. 鲁棒目标监督下的隐动作一致性上界约束

对于无需多视角或配对环境的通用单路视频场景，本文给出了外生鲁棒预测目标理论。设预测目标 \(y(o, o')\) 满足 \(\eta\)-外生鲁棒性条件，即对任意不同外生状态变化均有 \(\|y(o, o') - y(\tilde{o}, \tilde{o}')\|^2 \le \eta\)（如真值动作标签 \(\eta=0\)，或光流估计 \(\eta\) 较小）。在辅助预测损失 \(\mathcal{L}_{\xi\text{-robust}} = \mathbb{E}[\|y(o, o') - W \psi_{\mathrm{IDM}}(o, o')\|^2]\) 监督下，当投影矩阵 \(W\) 具备列满秩时，两个不同外生状态下隐动作的失配方差满足严格不等式：

\[\mathbb{E}\left[ \|z - \tilde{z}\|_2^2 \right] \le \frac{6 \mathcal{L}_{\xi\text{-robust}}(\theta_{\mathrm{IDM}}, W; y) + 3\eta}{\sigma_W^2}\]

该理论推导证明了即便仅引入极少量的弱动作标签或自监督光流先验，模型也能通过显式压缩目标与隐动作的误差，直接压窄隐动作在外生扰动下的变化空间，保证隐动作在外生环境变动下的强一致性。

损失函数 / 训练策略

在实际非线性隐动作模型中，反向动力学模型 \(\psi_{\mathrm{IDM}}\) 采用卷积与多层感知机（MLP）接矢量量化（VQ-VAE）结构，正向动力学模型 \(\psi_{\mathrm{FDM}}\) 采用卷积 UNet 架构。综合训练损失由标准重建损失与辅助一致性损失加权组成：

\[\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{LAM}} + \lambda_{\text{X-exo}} \mathcal{L}_{\text{X-exo}} + \lambda_{\text{robust}} \mathcal{L}_{\xi\text{-robust}}\]

其中置换损失超参数 \(\lambda_{\text{X-exo}} = 1.0\)，真值动作监督损失权重 \(\lambda_{\text{act}} = 1.0\)。在少样本动作监督实验中，仅需 1% 的动作标注样本即可通过 \(\mathcal{L}_{\xi\text{-robust}}\) 建立强有力的全局一致性约束。

实验关键数据

主实验

论文在真实机器人操作基准 Bridge V2（评估端到端动作恢复质量与未来泄漏指标）、仿真连续控制基准 Distracting Control Suite（DCS，评估下游强化学习策略控制回报）以及可控网格世界中进行了全面实验验证。

在 Bridge V2 数据集上，通过线性探针预测机械臂末端执行器平移误差（Trans. NMSE），并测量未来泄漏诊断指标 \(\Delta\text{PSNR} = \text{PSNR}(\hat{o}', \tilde{o}') - \text{PSNR}(\hat{o}', o')\)。正值意味着模型在置换测试中优先生成了外生置换未来帧（表明发生严重泄漏），负值则代表模型正确维持原始转移规律。

方法配置	平移预测误差 (Trans. NMSE) ↓	重建质量 \(\text{PSNR}(\hat{o}', o')\) ↑	泄漏帧相似度 \(\text{PSNR}(\hat{o}', \tilde{o}')\) ↓	未来泄漏诊断 \(\Delta\text{PSNR}\) ↓	95% 置信区间
标准重建 \(\mathcal{L}_{\mathrm{LAM}}\) (基线)	\(0.419 \pm 0.007\)	\(20.46 \pm 0.22\)	\(21.15 \pm 0.23\)	\(+0.69 \pm 0.44\)	\([+0.150, +1.230]\)
引入置换重建 \(+\mathcal{L}_{\text{X-exo}}\)	\(0.359 \pm 0.019\)	\(22.27 \pm 0.08\)	\(19.09 \pm 0.10\)	\(-3.18 \pm 0.13\)	\([-3.343, -3.008]\)
引入低敏感编码器 \(+f_{\text{dino}}(\cdot)\)	\(0.315 \pm 0.014\)	\(22.56 \pm 0.09\)	\(19.20 \pm 0.08\)	\(-3.36 \pm 0.08\)	\([-3.459, -3.262]\)
引入鲁棒动作监督 \(+\lambda\mathcal{L}_{\xi\text{-robust}}\)	\(0.120 \pm 0.004\)	\(22.76 \pm 0.11\)	\(18.81 \pm 0.05\)	\(-3.95 \pm 0.12\)	\([-4.094, -3.796]\)

消融实验

在 Distracting Control Suite (DCS) 的 cheetah-run 连续控制任务中，评估在颜色突变与相机视线扰动的外生噪声干扰下，基于不同隐动作训练下游策略所得的归一化累积回报（Normalized Return），验证理论推导的各独立组件贡献：

训练目标 / 辅助机制	归一化策略回报 (Normalized Return) ↑	单侧 \(p\) 检验 (\(p\)-value vs \(\mathcal{L}_{\mathrm{LAM}}\))	说明
行为克隆上限 \(\pi_{\mathrm{BC}}(a \mid o)\)	\(0.18 \pm 0.12\)	—	采用真值动作训练的理论参考上限
标准隐动作模型 \(\mathcal{L}_{\mathrm{LAM}}\)	\(0.05 \pm 0.04\)	—	严重受外生噪声误导，控制性能近乎崩溃
引入自适应编码器 \(+f(\cdot)\) (EMA 更新)	\(0.15 \pm 0.06\)	\(< 0.001\)	降低特征敏感度，大幅抑制外生噪声能量
引入外生置换重建 \(+\mathcal{L}_{\text{X-exo}}\)	\(0.16 \pm 0.07\)	\(< 0.001\)	迫使隐动作学习跨环境共享的 CCA 相关分量
引入稀疏动作预测目标 \(+\) Action-pred	\(0.15 \pm 0.11\)	\(< 0.001\)	利用动作标签直接压缩外生不一致方差
引入密集光流预测目标 \(+\) Flow-pred	\(0.18 \pm 0.10\)	\(< 0.001\)	达到与全监督行为克隆等同的高水平性能

关键发现

• 基线模型未来泄漏被确证：传统标准 \(\mathcal{L}_{\mathrm{LAM}}\) 在 Bridge V2 上的 \(\Delta\text{PSNR}\) 达到正值 \(+0.69\) dB（置信区间完全处于正区间），证明当输入发生置换时，FDM 优先将未来干扰帧内容还原出来，证实标准重建目标确实将外生信息作为捷径泄漏至隐动作中。
• 三种补救措施均显著阻断泄漏：无论是更换为低敏感度的 DINOv2 视觉编码器（\(-3.36\) dB）、引入外生置换重建（\(-3.18\) dB），还是添加鲁棒动作监督（\(-3.95\) dB），\(\Delta\text{PSNR}\) 均由正转为大幅显著的负值，证明隐动作从依赖未来外生帧转移到了专注内生动作变化上。
• 光流作为自监督鲁棒目标潜力巨大：在无需昂贵人工动作标注的情况下，利用无监督光流作为 \(\eta\)-鲁棒监督目标，在 DCS 连续控制基准上取得了 \(0.18\) 的归一化回报，追平了直接使用 100% 专家真值动作标注的 BC 上限。

亮点与洞察

• 将经验补救机制提升至严密理论高度：此前研究仅停留在经验性添加光流或多视角损失的技巧层面，本文首次通过 Ex-BMDP 证明外生置换本质上在优化典型相关分析（CCA），而辅助目标监督本质上通过三角不等式在压缩隐动作在不同外生状态间的失配方差。
• 明确指出原始像素重建是外生脆弱性的核心放大器：通过外生敏感度 \(\delta_h\) 的上界分解，说明了视觉编码器的选择不仅是特征工程，而是直接决定了外生扰动方差对优化目标干扰强度的数学界。
• 未来泄漏诊断范式的可复用性：提出的 \(\xi'\)-swap 评估方法（将当前观测 \(o\) 与置换环境的下一帧 \(\tilde{o}'\) 组合输入 IDM）非常巧妙，通过定量对比 \(\text{PSNR}(\hat{o}', o')\) 与 \(\text{PSNR}(\hat{o}', \tilde{o}')\)，可直接作为所有隐动作预训练模型是否发生信息泄漏的标准测试探针。

局限与展望

• 理论推导基于线性 LAM 假设：虽然非线性网格世界、DCS 与 Bridge V2 实测验证了理论趋势的一致性，但在非线性网络容量无限或过拟合极端情况下，理论界与非线性深度神经网络之间的严格泛化误差仍有待完善。
• 强依赖高质量配对或多视角数据获取：外生置换重建 \(\mathcal{L}_{\text{X-exo}}\) 要求数据集包含相同内生状态在不同外生环境下的同步观测样本，在真实完全非受控的大规模野外单路单视角视频中难以严格构造配对。
• 未来方向：探索在完全无配对野外互联网视频中，通过自监督因果表征分离自动解耦出内生与外生分量，进一步结合视觉-语言-动作（VLA）大模型进行大规模动作策略预训练。

相关工作与启发

• vs Zhang et al. (What do latent action models actually learn?)：Zhang 等人在受控马尔可夫过程（CMP）下将外生噪声简化为加性残差，得出了高方差噪声被优先编码的结论；本文则在 Ex-BMDP 框架下将内生控制与外生环境状态解耦，首次揭示了未来外生信息单向泄漏的捷径机理，并统一分析了多种辅助目标的消除机理。
• vs MVP-LAM：MVP-LAM 凭借多视角数据经验性地提出了视角置换重建；本文给出了其理论支撑，从数学上严格证明了该操作等价于提取两路状态变化之间的典型相关分量（CCA），从而压制视角独有噪声。
• vs LAOM / LAOF：LAOM 与 LAOF 分别引入离散动作或密集光流作为启发式辅助损失；本文通过定义 \(\eta\)-鲁棒目标，推导出隐动作跨环境一致性关于监督目标误差与 \(\eta\) 的闭式理论上界，统一了解释框架。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次在 Ex-BMDP 下严谨建立隐动作模型失效分析理论，揭示未来信息泄漏与 CCA 等价机制。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖线性可控仿真、非线性离散网格世界、连续强化学习控制以及真实机械臂数据集，论证链条完整扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，数学符号与物理内涵对齐极好，图表设计极具说服力。
• 价值: ⭐⭐⭐⭐⭐ 为无动作视频的大规模机器人具身预训练（VLA）提供了极具指导意义的理论基石与实用诊断工具。

相关论文

• [NeurIPS 2026] Why Do DiT Editors Drift? Plug-and-Play Low Frequency Alignment in VAE Latent Space
• [NeurIPS 2026] World Models as Group Actions
• [NeurIPS 2026] Take It or Leave It: Intent-Controlled Partial Optimal Transport
• [NeurIPS 2026] Negation Neglect: When Models Fail to Learn Negations in Training
• [AAAI 2026] How Hard is it to Explain Preferences Using Few Boolean Attributes?