DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control¶

会议: NeurIPS 2026
arXiv: 2603.10448
OpenReview: https://openreview.net/forum?id=KG3sjtKCP6
代码: https://dit4dit.github.io/
领域: 机器人
关键词: 机器人控制, 视频扩散模型, 流匹配, 逆动力学, 具身智能

一句话总结¶

提出端到端双扩散变换器架构 DiT4DiT，通过非对称三时间步的双流匹配目标联合优化视频动力学与动作预测，利用中间去噪隐藏特征直接驱动机械臂与人形机器人控制，在 LIBERO (98.6%) 与 RoboCasa-GR1 (50.8%) 取得前沿成功率并将样本效率提升超 10 倍。

研究背景与动机¶

视觉-语言-动作 (VLA) 模型已成为具身智能与通用机器人学习的重要范式，使得策略能够借助视觉语言模型的通用表征泛化到多样语义概念与复杂指令。然而，绝大多数现有主流 VLA 系统严重依赖于从静态图文对上预训练的冻结或微调骨干网络。由于静态图像无法承载物理交互的时间演变与动态变化，底层物理交互规律与时空状态转移的沉重学习负担被全部转嫁给了下游的机器人动作轨迹微调阶段，这通常需要耗费成千上万小时的高昂示教轨迹数据。

与此同时，视频生成模型在海量互联网级动态视频数据的无监督训练下快速成熟，其合成时序连贯、物理合理画面的能力天然内化了现实世界中的连续动力学规律、因果时空演化与隐式物理先验。然而，早期将视频预测引入具身控制的工作往往局限于两阶段或多阶段分离流程：先生成像素级未来帧再提取视觉目标，或者训练独立的逆动力学模型拼接控制，导致控制链路间接、累积误差严重且计算冗余。更为关键的是，视频模型在生成高分辨率细节时极易陷入过度拟合特定未来像素外观的陷阱，无法将时空表征直接转化为高频、稳健的动作执行。

本文的切入点在于探索视频生成本身是否能直接作为机器人策略学习的高效微调代理任务，并探究如何优雅耦合时空特征与动作推理。核心 idea：构建端到端视频-动作模型 DiT4DiT，以非对称三时间步的双流匹配目标联合训练视频 DiT 与动作 DiT，摒弃像素级未来帧重构而提取特定去噪时间步的中间隐藏特征作为时空调度条件，让物理动力学生成直接作为动作学习的高效泛化代理。

方法详解¶

整体框架¶

DiT4DiT 接收机器人当前观测帧序列 \(\mathbf{o}_t\)（经时空因果 VAE 编码为潜空间表征 \(\mathbf{z}_t^0\)）、自然语言目标 \(l\) 以及本体状态向量 \(s\)，端到端联合预测未来视频动力学与连续控制动作轨迹 \(\mathbf{a}_t\)。系统由两个核心子模块级联构成：负责未来时空状态演化的视频扩散变换器 (Video DiT，基于 Cosmos-Predict2.5-2B 骨干) 与负责连续控制指令生成的动作扩散变换器 (Action DiT，基于 DiT-B 架构)。

在执行控制时，模型无需完整运行昂贵的视频生成反向去噪 ODE，而是通过前向 Hook 机制直接拦截视频 DiT 在特定去噪时间步 \(\tau_f\) 的中间 Transformer 层隐藏激活特征 \(\mathbf{h}_t^{\tau_f}\)。Action DiT 以这些注入了时空因果动力学的特征为交叉注意力条件，结合机器人当前本体感知状态，通过少量数值积分步数生成动作速度场，解算出平滑精准的机器人控制轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["当前视觉观测 o_t + 语言目标 l + 状态 s"] --> Enc["因果视频 VAE 编码<br/>映射为潜变量 z_t^0"]
    Enc --> D1["1. 视频动力学特征提取与单步拦截<br/>固定时间步 tau_f 前向获取第 18 层 h_t^{tau_f}"]
    D1 --> D2["2. 动作去噪与跨模态交互生成<br/>Action DiT 跨注意力结合状态与动作噪声速度场"]
    D1 -.-> D3["3. 非对称三时间步双流匹配联合优化<br/>解耦采样 tau_v / tau_f / tau_a 联合反传"]
    D2 --> Out["输出多自由度控制动作 a_t<br/>(同时支持可选采样渲染未来预测帧)"]

关键设计¶

1. 视频动力学特征提取与单步拦截：避免像素级过度拟合与高延迟瓶颈

现有基于视频规划的机器人策略常依赖自回归生成完整的未来图像，随后由下游模块估算光流或关键点，这一过程计算代价极其高昂（通常单次决策耗时数秒）且容易受生成伪影或纹理幻觉干扰。DiT4DiT 将预训练视频 DiT 重构为动力学特征提取器，摒弃最终去噪生成的像素帧，通过前向拦截机制 \(\mathcal{H}\) 直接提取潜在未来在特定流时间步 \(\tau_f\) 的隐藏激活：

\[\mathbf{h}_t^{\tau_f} = \mathcal{H}\big[v_{\theta}^{\text{video}}\big]\big(\mathbf{z}_{t+1}^{\tau_f}, \tau_f \mid \mathbf{z}_t^0, l\big)\]

该设计的精妙之处在于中间特征具有高度的时空语义与物理约束抽象，实验表明提取第 18 层（中间偏深层）的表示性能达到巅峰：过浅层（2–8层）仅保留局部低级边缘纹理，而过深层（24–28层）则针对特定像素值重建产生过拟合，丢失了对动作控制至关重要的连续动态表征。此外，在动作控制阶段，特征提取仅需单次前向传播（1 步去噪步数），彻底摆脱了多步采样导致的高延迟，使策略具备 6Hz 的闭环物理部署能力。

2. 动作去噪与跨模态交互生成：以时空物理表征为条件的逆动力学建模

将视觉动力学转换为精准的机器人末端关节轨迹需要强大的连续轨迹合成能力。Action DiT 采用 16 层 DiT-B 架构，利用自适应层归一化 (AdaLN) 注入动作扩散时间步 \(\tau_a\)，并设置交错的交叉注意力层以对齐视频骨干输出的 2048 维时空隐藏特征 \(\mathbf{h}_t^{\tau_f}\)。输入序列由本体感知状态向量嵌入、带噪动作轨迹序列以及一组可学习的“未来查询 token”拼接而成。

通过交叉注意力机制，可学习未来查询 token 主动检索视频动力学特征中的目标运动趋势，与机器人本体状态融合后，由线性投射头直接回归动作速度向量场 \(v_{\phi}^{\text{action}}(\mathbf{a}_t^{\tau_a}, \tau_a \mid \mathbf{h}_t^{\tau_f}, s)\)。在推理时，Action DiT 仅需 4 步一阶欧拉离散化积分即可从标准高斯噪声中恢复出未来连续 16 步的高保真控制轨迹，兼顾多峰动作分布建模精度与实时控制要求。

3. 非对称三时间步双流匹配联合优化：平衡生成全轨迹与稳定控制表征

多任务同时优化视频生成与动作策略的核心困难在于二者对时间步采样的内在冲突：视频生成模型必须遍历整个扩散区间以掌握不同尺度噪声下的降噪轨迹；而下游动作模块则需要确定性、一致的视觉输入表征，且动作流匹配各阶段难度差异显著。DiT4DiT 提出了非对称三时间步联合优化方案，显式解耦三类采样机制：

视频生成时间步：\(\tau_v \sim \mathcal{U}[0, 1]\)，采用全域均匀采样，迫使视频骨干学习覆盖全局流速度场的完整动力学；
特征提取时间步：\(\tau_f \sim \mathcal{U}\{0/T, 1/T, \dots, T/T\}\)，在训练中确定性选取特定流时间步以稳定下游输入条件；
动作流匹配时间步：\(\tau_a = 1 - \sigma, \sigma \sim \text{Beta}(\alpha, \beta)\)（设置 \(\alpha=1.5, \beta=1.0\)），偏向动作去噪的最关键时间区间分配更多优化容量。

整体损失函数联合反向传播：

\[\mathcal{L}_t^{\text{total}} = \mathbb{E}_{\tau_a, \epsilon}\left[\left\|(v_{\phi}^{\text{action}}(\mathbf{a}_t^{\tau_a}, \tau_a \mid \mathbf{h}_t^{\tau_f}, s) - (\epsilon - \mathbf{a}_t^0)) \odot M\right\|^2 / \|M\|_1\right] + \lambda \mathbb{E}_{\tau_v, z}\left[\left\|v_{\theta}^{\text{video}}(\mathbf{z}_{t+1}^{\tau_v}, \tau_v \mid \mathbf{z}_t^0, l) - (z - \mathbf{z}_{t+1}^0)\right\|^2\right]\]

通过损失平衡因子 \(\lambda\) 的调节，动作损失产生的梯度直接对视频 DiT 的中间层表征施加正则化约束，迫使视频主干学习对机器人控制最为敏锐的时间演进与空间拓扑结构。

损失函数 / 训练策略¶

训练采用 AdamW 优化器，在 32 张 GPU 上以 batch size 8 进行 100,000 步联合训练。语言模型 Cosmos-Reason1 与因果 VAE 保持冻结，仅更新视频 DiT（学习率 \(1\times 10^{-5}\)）与动作 DiT（学习率 \(1\times 10^{-4}\)）。学习率调度器采用包含 5000 步预热的带下限余弦衰减（最小学习率 \(5\times 10^{-7}\)）。动作维度设为 32，动作输出跨度为 16 步，梯度裁剪阈值设为 1.0。

实验关键数据¶

主实验¶

在仿真方面，DiT4DiT 分别在单臂机械臂经典基准 LIBERO（500 条示教每类别）和具有 29 自由度高维动作空间的双臂人形机器人 RoboCasa-GR1 表格操作基准（24 任务，每任务 1,000 条轨迹）上进行了严格评估。在不依赖额外外部动作预训练数据的情况下（from scratch），DiT4DiT 显著超越前沿基线。

基准数据集	评估任务/分类	DiT4DiT (本文, from scratch)	之前代表性 SOTA	性能提升
LIBERO Benchmark	Spatial 成功率 (%)	98.4	98.8 (\(\pi_{0.5}\))	-0.4
LIBERO Benchmark	Object 成功率 (%)	99.6	98.8 (\(\pi_0\) / CogVLA)	+0.8
LIBERO Benchmark	Goal 成功率 (%)	98.6	98.0 (\(\pi_{0.5}\))	+0.6
LIBERO Benchmark	Long-horizon 成功率 (%)	97.6	95.4 (CogVLA)	+2.2
LIBERO Benchmark	Overall Average (%)	98.6	97.4 (CogVLA)	+1.2
RoboCasa-GR1 (24 任务)	Tabletop 平均成功率 (%)	50.8	41.8 (GR00T-N1.5)	+9.0
RoboCasa-GR1 (24 任务)	Tabletop vs 同参数基线 (%)	50.8	36.2 (Qwen3DiT)	+14.6
真实机器 Unitree G1 (7 任务)	真实人形双臂操作平均 (%)	65.0 (估算综合)	GR00T-N1.5 (弱于本文)	全面显著领先

消融实验¶

针对架构核心组件、特征提取层位置、降噪推理步数以及联合训练策略的消融结果如下：

配置	核心指标 (5 个代表任务平均成功率 %)	说明
Full model (第 18 层提取, 1步降噪特征)	56.8	完整模型配置，达到最高性能
早期特征层 (第 2–8 层)	28.0 ~ 38.0	缺乏高层动作相关语义与运动先验，掉点超 18%
末端特征层 (第 24–28 层)	16.0 ~ 30.0	过度特化于像素还原细节，表征严重退化，骤降超 26%
全层特征平均 ("all" layers)	52.4	包含混合信息，稍逊于最佳单层选择 (-4.4%)
增加特征去噪步数 (4 步)	48.0	隐藏特征过拟合于特定生成的未来细节 (-8.8%)
增加特征去噪步数 (32 步)	36.0	多步去噪使泛化动作先验衰减，性能单调恶化 (-20.8%)
解耦分阶段训练 (Decoupled training)	42.0 (轮廓系数 0.09)	时序特征边界杂乱，轮廓系数落后于联合训练 (0.17)

关键发现¶

特征提取层的倒 U 型规律：视频扩散主干的中间层（第 18 层）展现出了最强的空间物理理解力，而最深层由于紧贴像素重建目标，反而损害了对底层动作控制有益的动力学抽象。
单步去噪的极端反直觉优势：在动作条件注入时，仅进行 1 步前向去噪即能提取出最稳健的动作先验，步数增加（1步至32步）会导致性能单调严重下滑。这证明高频机器人控制完全无需等待完整的多步视频生成。
联合流匹配的表征对齐红利：通过 t-SNE 与轮廓系数分析，联合训练使视频隐藏特征在任务时间轴上呈现极其平滑的早期-中期-晚期流形演化，轮廓系数从 0.09 翻倍至 0.17，极大增强了长程复杂动作时序一致性。
少样本与跨分布泛化极佳：在真实 Unitree G1 实体人形机器人上，针对未见物体类别（如花瓶与杯子外观变更）、物体替换（玉米替代茄子）以及干扰物数量改变的零样本迁移中，DiT4DiT 在插花类别泛化上取得 70% 成功率（基准 VLA 仅 0~10%）。

亮点与洞察¶

将视频生成作为策略扩展的直接代理：摆脱了以往依赖昂贵动作标签扩增数据规模的死局，实证了无监督视频动力学目标在样本效率（>10倍）与收敛速度（7倍）上彻底超越静态语义 Grounding 与 FLARE 风格的隐式表征预测。
非对称三时间步协同机制：巧妙解决了视频扩散全局学习与动作执行稳态条件输入之间的核心张力，在保持端到端梯度贯通的同时实现了各模块最优收敛节奏。
轻量可闭环的单步推理设计：将通常被视作计算累赘的大型视频模型成功融入 6Hz 的实时实体机器人闭环控制循环，提供了视频基础模型赋能具身智能的实用工程范式。

局限与展望¶

单目主观视角的遮挡敏感性：目前真实系统完全依赖机器人头部单目 RGB 传感器，在复杂的双臂协作或大物体遮挡情况下容易出现视线受阻，导致时序特征连续性中断；未来有必要引入腕部相机与多视角融合机制。
控制频率仍有提升空间：尽管 6Hz 能够满足一般日常桌面操作，但相比传统轻量策略的数十赫兹仍有差距，未来可借助特征缓存、模型量化及潜在步长蒸馏进一步拉升控制吞吐率。
跨本体泛化预训练数据规模待扩张：论文在 Unitree G1 上的预训练仅利用了 GR00T-N1.5 约 15% 规模的数据；未来进一步接入海量异构机械臂与具身平台有望催生真正的通用物理动力学大脑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出双 DiT 联合流匹配架构，以非对称时间步解耦视频动力学与机器人逆动力学。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 与 RoboCasa 24 任务仿真、单目双臂 Unitree G1 实体部署以及全套细致消融。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极清晰，方法动机与数学公式紧密结合，实验对比图表详实。
价值: ⭐⭐⭐⭐⭐ 为利用高维互联网视频生成模型作为具身智能基座开辟了高样本效率的端到端全新技术路线。