Describe-Then-Act: Proactive Agent Steering via Distilled Language-Action World Models¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/MaxPappa/DILLO
领域: 模型压缩
关键词: 语言-动作世界模型, 跨模态知识蒸馏, 拒绝采样引导, 具身智能安全, 潜空间充分性

一句话总结¶

针对传统视觉世界模型高延迟无法用于实时控制的瓶颈，提出无视觉开销的语言-动作世界模型 DILLO，通过跨模态知识蒸馏直接从策略隐状态与动作块预测未来语义描述与二值判定，实现 14 倍推理加速与显著的策略主动纠错。

研究背景与动机¶

在机器人操作和自动导航等安全攸关场景中部署具身智能体，要求智能体在动作正式下发给执行器之前，必须具备预判动作后果的能力。然而，现有的控制策略大多以黑盒方式运行，直接根据当前观测输出动作，缺乏前瞻性安全防护。经典控制论中的模型预测控制（MPC）与基于世界模型的强化学习虽然能够通过向前模拟来筛选安全轨迹，但在动态连续控制的紧凑控制回路中，高精度的预见性与严苛的实时延迟之间存在着难以调和的矛盾。

现有针对智能体故障检测与引导的方法主要受困于两极。第一类是事后反应式分析（如 AHA、REFLECT、SAFE 等），它们在故障实际发生后利用 VLM 回溯轨迹生成诊断报告，虽然计算开销低，但对于不可逆的物理破坏毫无预防能力；第二类是主动式视觉世界模型（如 Dreamer 系列、Forewarn 等），它们通过神经渲染或生成高维未来图像/视频潜在特征来预判风险，然而此类视觉模拟计算负担极大，单步决策延迟往往高达数秒（例如 Forewarn 在高端 RTX A6000 上每次决策耗时约 3.7 秒），根本无法满足高频机械臂控制对毫秒级响应的要求。

这一困境的根源在于研究界普遍假设“预防故障必须生成未来视觉图像”。本文大胆挑战了这一假设：策略网络本身的编码器在训练过程中已经隐式保留了任务关键的几何结构、相对距离和接触动力学信息；如果隐状态已足够判断动作是否会成功，为何还要付出巨大延迟去重新渲染像素？基于此，本文提出潜空间充分性假设（Latent Sufficiency Hypothesis），证明策略隐状态结合规划动作已足以成为未来语义结果的充分统计量。核心 idea：将预判控制范式从“模拟后行动（Simulate-Then-Act）”转变为“描述后行动（Describe-Then-Act）”，通过跨模态知识蒸馏构建纯语言解码架构 DILLO，直接由策略隐状态预测未来交互描述与正负判定，实现零视觉渲染开销的实时主动式拒绝采样引导。

方法详解¶

整体框架¶

DILLO（DIstiLLed Language-ActiOn World Model）的核心流程由离线特权教师标注、跨模态蒸馏训练与在线前瞻引导三部分构成。在训练阶段，环境模拟器向拥有全知特权的视觉-语言模型（VLM Teacher）提供完整的未来状态真值、高频相机帧序列、末端执行器及物体的 6-DoF 位姿轨迹和任务达成信号；教师模型据此生成物理交互描述 \(d^T\) 与二值判定标签 \(c^T \in \{\text{Positive}, \text{Negative}\}\)。轻量级学生模型（DILLO Student）则以冻结的策略编码器提取的紧凑隐状态 \(z_t\) 和策略生成的动作块 \(a_{t:t+k}\) 为输入，通过可学习线性投影层直接映射到语言解码器的 token 嵌入空间，彻底绕过耗时的视觉编码器与像素反卷积渲染。在推理阶段，策略单次提取当前观测的隐状态后并发提出多条候选动作块，DILLO 在单一前向批次中完成全部候选轨迹的语义预判与负向动作拦截，首选正向动作直接下发执行。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前环境观测 ot 与候选动作块 at:t+k"] --> B["特权教师离线标注<br/>真值位姿与时序帧生成描述与判定"]
    B --> C["跨模态知识蒸馏<br/>隐状态与动作块映射至 LLM 空间"]
    C --> D["三阶段渐进式训练<br/>投影层对齐→描述蒸馏→二值判定优化"]
    D --> E["潜空间拒绝采样引导<br/>单步编码批次评估筛选正向动作"]
    E -->|通过判定| F["执行安全物理动作"]

关键设计¶

1. 跨模态知识蒸馏与潜空间充分性建模：以隐表征替代像素前向模拟

该设计针对视觉前向模拟延迟过高（秒级）导致无法进行闭环防护的核心瓶颈。作者在理论与实验上建立了潜空间充分性假设：策略隐空间元组 \((z_t, a_{t:t+k})\) 与未来语义结果 \(y_{t+k} = (d_{t+k}, c_{t+k})\) 之间的互信息，高度逼近全量观测时序历史 \(o_{t:t+k}\) 与 \(y_{t+k}\) 之间的互信息：

\[I(o_{t:t+k}; y_{t+k}) \approx I((z_t, a_{t:t+k}); y_{t+k})\]

无论是通过强化学习（如 SAC）还是模仿学习（如 ACT）训练的策略，其编码器 \(E_\pi(o_t)\) 都必须抽取并保留与交互密切相关的关键物理几何与接触特征。即使在策略失效、遭遇分布外状态时，隐状态 \(z_t\) 依然承载着不确定性或特征失配的“失败上下文”。DILLO 设置了独立的隐状态投影器 \(P_z: \mathbb{R}^{D_z} \to \mathbb{R}^{D_{\text{emb}}}\) 和动作投影器 \(P_a: \mathbb{R}^{D_a} \to \mathbb{R}^{D_{\text{emb}}}\)，拼接任务提示词构建纯文本序列：

\[X_{\text{in}} = \text{[TASK PROMPT]} \oplus P_z(z_t) \oplus P_a(a_{t:t+k})\]

学生网络基于 Gemma 架构（1B 参数语言模型或 4B VLM 剥离 417M SigLIP 视觉编码器后的纯语言解码器），推理时输入序列中不含任何从原始图像提取的视觉 token，将未来预测计算量从沉重的视频扩散/神经渲染降维至轻量级自回归语言解码。

2. 缺陷感知的数据集构建：能力谱系采样与感知噪声注入

针对离线蒸馏若仅包含专家成功轨迹和随机噪声会导致模型对“边缘失效（near-miss）”与微小执行偏差欠拟合的问题，本文构建了覆盖多层级失效模式的鲁棒轨迹库。该机制包含两个互补策略：第一是“能力谱系采样（Spectrum of Competency Sampling）”，分别从成功率 20%（捕获漂移探索行为）、50%（引入极其难以辨识的接近成功却最终失败的边缘轨迹）以及 80%（提供对齐良好的常态样本及其罕见偶发失误构成的硬负例）的策略检查点中采集轨迹；第二是“感知噪声注入（Perception Noise Injection）”，在收集时向策略输入添加高斯扰动 \(\epsilon \sim \mathcal{N}(0, \sigma^2)\)，促使高能力策略在高置信度动作流形中产生微小的轨迹偏移和累积物理漂移，精准模拟实机部署中的 Sim-to-Real 协变量偏移，使 DILLO 具备极高的细粒度负向判定灵敏度。

3. 三阶段渐进式训练策略：防止跨模态崩溃并联合对齐判定

直接将连续机器人控制潜变量映射到离散 LLM token 极易引发跨模态表示崩溃（Modality Collapse）。为此，DILLO 采用解耦递进的三阶段课程学习： - 阶段一（投影层对齐）：完全冻结预训练语言模型骨干 \(\theta_{\text{LLM}}\)，仅使用教师生成的描述文本通过自回归下一个 token 预测损失训练线性投影矩阵 \(\{P_z, P_a\}\)，使投影后的隐状态能够作为有效的提示词软嵌入进入语言空间； - 阶段二（描述蒸馏）：在 LLM 骨干中引入低秩自适应（LoRA），联合微调 LoRA 参数与投影层，优化描述重构负对数似然损失 \(\mathcal{L}_{\text{Desc}}\)，在模型内部建立细粒度的物理动力学先验； - 阶段三（二值判定多任务优化）：引入任务成功二值约束，要求模型自回归生成物理描述后接判定 token \(\hat{c} \in \{\text{Positive}, \text{Negative}\}\)，通过加权联合损失进行反向传播：

\[\mathcal{L}_{\text{Total}} = \mathcal{L}_{\text{Desc}} + \lambda \cdot \mathcal{L}_{\text{CE}}(c^T, \hat{c})\]

其中 \(\mathcal{L}_{\text{CE}}\) 为二值交叉熵损失，保证生成的自然语言解释与动作执行成败高度自洽。

4. 潜空间拒绝采样引导：零额外视觉开销的主动实时拦截

在在线闭环部署时，DILLO 充当即插即用的外部安全过滤器。在每个决策步 \(t\)，基础策略仅需调用一次视觉编码器提取共享隐状态 \(z_t = E_\pi(o_t)\)；随后根据其动作头独立采样 \(N\) 个候选动作块 \(\{a^i_{t:t+k}\}_{i=1}^N\)（实验中 \(N=5\)）。DILLO 将这 \(N\) 组序列拼接在同一批次中并行输入模型，进行一次性前向推理，输出对应的描述 \(d^i_{t+k}\) 与判定 \(\hat{c}^i_{t+k}\)。控制逻辑直接选用首个获得 Positive 判定的候选动作执行；若候选池全为 Negative，则退化执行首个动作避免控制卡死。该过程支持多轮重采样，由于无需为候选动作重复执行图像特征重渲染，整体决策耗时控制在百毫秒级。

一个完整示例¶

假设机械臂在 LIBERO 环境中执行“打开顶层抽屉并抓取积木”任务： 1. 状态提取与候选生成：在决策步 \(t\)，相机摄入工作台画面，ACT 策略编码器提取当前隐状态 \(z_t\)。策略策略头基于随机性生成 \(N=5\) 个未来 20 步动作块 \(a^1 \sim a^5\)。 2. DILLO 并行预判： - 候选 1（轻微偏差）：DILLO 解码出描述“机械臂向前下方俯冲，但夹爪开度不足，即将撞击抽屉外沿边缘”，输出判定 Negative； - 候选 2（停滞）：DILLO 解码出描述“末端执行器在原位微幅颤动，未朝目标抽屉把手靠近”，输出判定 Negative； - 候选 3（精准对齐）：DILLO 解码出描述“末端执行器向前平移延伸并调整偏航角，夹爪正对抽屉把手并开始闭合接触”，输出判定 Positive； - 候选 4、5：在当前批次评估中亦被标记。 3. 即时干预下发：拦截器丢弃候选 1 与 2，挑选通过校验的候选 3 下发给底层电机控制器。全过程耗时仅 0.26 秒，且操作员终端屏幕可实时查看候选 3 的前瞻语义预览。

实验关键数据¶

主实验¶

论文在单任务强化学习基准 MetaWorld（Soccer, Sweep-Into, Drawer-Open）及多任务模仿学习基准 LIBERO（Goal, Object, Spatial, LIBERO-10, LIBERO-90）上进行了详尽评测。评测指标包括物理文本-观测保真度（T2O）、基于 Qwen2.5-32B-Instruct 的大模型语义推理事实召回评分（LLM Score）、安全判定分类准确率（Verdict Accuracy）以及最终的情节执行成功率（Success Rate, SR，每任务 20 个独立回合）。

主实验策略引导成效与判定准确率对比如下：

环境与任务	基础策略 SR	DILLO-1B SR	DILLO-4B SR	1B 判定准确率	4B 判定准确率
MetaWorld Soccer	65.0%	75.0%	80.0%	82.7%	87.4%
MetaWorld Sweep-Into	80.0%	90.0%	85.0%	97.7%	92.1%
MetaWorld Drawer-Open	75.0%	70.0%	90.0%	80.6%	94.7%
LIBERO Goal	86.0%	87.5%	89.0%	80.0%	87.5%
LIBERO Object	82.0%	86.5%	88.0%	79.8%	81.2%
LIBERO Spatial	70.0%	76.0%	73.0%	77.8%	86.7%
LIBERO 10	64.0%	71.5%	74.0%	88.6%	92.5%
LIBERO 90	71.4%	68.6%	70.5%	86.9%	85.7%

注：基线判定模型无需任何在线视觉编码器输入即可达到平均 91.4% 的判定准确率。

消融与保真度对比实验¶

为了严格检验潜空间充分性假设，将 DILLO 与接收当前真实观测图像 \(o_t\) 的 Zero-Shot（ZS）、Few-Shot（FS）多模态基线，以及额外接收了真实未来图像 \(o_{t+k}\)、具备特权能力的图像描述上限模型 Few-Shot Captioning（CAP Oracle）进行物理轨迹保真度（T2O）对比：

评测基线与变体	MetaWorld Soccer (1B / 4B)	MetaWorld Drawer-Open (1B / 4B)	LIBERO Goal (1B / 4B)	LIBERO Spatial (1B / 4B)
像素 Zero-Shot (ZS)	0.398 / 0.540	0.419 / 0.553	0.287 / 0.241	0.341 / 0.194
像素 Few-Shot (FS)	0.495 / 0.501	0.626 / 0.555	0.262 / 0.422	0.546 / 0.563
CAP Oracle (含未来真值图像)	0.477 / 0.626	0.612 / 0.609	0.723 / 0.905	0.794 / 0.902
DILLO (纯隐状态，无视觉输入)	0.518 / 0.586	0.706 / 0.705	0.727 / 0.710	0.668 / 0.656

在推理时间与系统开销方面对比（RTX 3090 测试 DILLO，对比 RTX A6000 上的 Forewarn）：

系统架构	运行硬件	单步引导决策延迟	相比 Forewarn 加速比	附加显存开销
Forewarn (视觉 VLM-in-the-loop)	NVIDIA RTX A6000 (48G)	~3.70 s	1.0× (基准)	极高 (加载大型视频/视觉主干)
DILLO-4B (语言世界模型)	NVIDIA RTX 3090 (24G)	0.38 s	~10×	中等 (纯语言解码器)
DILLO-1B (轻量语言世界模型)	NVIDIA RTX 3090 (24G)	0.26 s	~14×	极低

关键发现¶

隐空间表征大幅超越直接像素输入：完全不接触原始图像像素的 DILLO-4B 在保真度与事实推理上全面碾压接受当前帧图像输入的 ZS 和 FS 视觉基线。在 MetaWorld Drawer-Open 任务中，DILLO-4B 的 T2O 得分（0.705）甚至超越了直接观察未来真值图像的 CAP Oracle（0.609），表明策略隐状态作为经过任务目标塑形的特征，滤除了大量低级像素视觉噪声与遮挡歧义，具备更纯粹的动态预测统计充分性。
显著提升执行成功率与探索收敛速度：在 MetaWorld Soccer 上，DILLO-4B 将基础策略成功率从 65.0% 提升至 80.0%（+15 个百分点）；在 LIBERO-10 上，成功率由 64.0% 跃升至 74.0%，且引导后智能体平均步骤由 390 步降低至 250 步（决策步数减少 36%），有效消除了盲目震荡。
跨任务泛化与过门控敏感性：将 LIBERO-90 上训练的 DILLO 模型直接零样本迁移用于引导 LIBERO-10 的 ACT 策略，成功率由 64.0% 提升至 69.5%，证明语言-动作评估器学到了跨任务语义对齐准则。而在任务极度庞杂的 LIBERO-90 场景下，全局单一固定阈值容易造成过度拦截（-4.4%），但若对困难任务实施温和门控则能获得 +17.5% 的大幅增益，揭示出大规模多任务部署中按任务自适应动态校准阈值的必要性。

亮点与洞察¶

颠覆性的“先描述后行动”低延迟范式：传统世界模型受限于逼真像素图像渲染的高昂算力消耗，而本文直接从策略已有隐状态解码出轻量级语义描述与判定，将前瞻推理延迟压缩至 0.26 秒（14 倍加速），填补了前瞻性世界模型进入高频机器人闭环控制的理论与工程鸿沟。
巧用特权离线教师与纯语言学生的不对称蒸馏：教师端享受模拟器内部无遮挡的 6-DoF 位姿真值消除空间幻觉，学生端在部署时则完全舍弃视觉编码器、仅利用小语言模型解码隐向量，设计兼具教师的高监督质量与学生的极低运行开销。
可复用的通用安全外挂机制：DILLO 不修改底层策略网络权重，仅作为即插即用的外部拦截层，可无缝叠加到强化学习或模仿学习等各类主流控制策略之上，兼顾自主纠错与可解释的人机交互。

局限与展望¶

策略网络强耦合性：由于 DILLO 的投影器直接绑定于特定策略编码器的潜在流形 \(z_t\)，当替换底层策略架构或大幅微调策略权重时，必须重新训练投影对齐层，缺乏跨策略骨干的完全即插即用泛化能力。
特权信息获取对实机部署的依赖：离线教师标注高度依赖模拟器提供的 6-DoF 真值位姿数据。虽然实机采集时可用 FoundationPose 等算法替代，但感知估计噪声可能影响蒸馏伪标签的标注质量。
复杂空间分布下的定位瓶颈：在 LIBERO-Spatial 等高度依赖绝对目标坐标的多变任务中，由于当前模型未显式引入连续的三维空间目标坐标条件输入，仅靠相对语言描述在极度精细的位姿推理上仍存在泛化边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了世界模型必做像素级前瞻渲染的固有思维定势，提出潜空间充分性假设与 Describe-Then-Act 范式，极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖单任务 RL 与多任务 IL，涵盖保真度客观评测、LLM 事实判别、实机时延测试与跨套件泛化验证，实验设计扎实完整。
写作质量: ⭐⭐⭐⭐⭐ 叙述流畅自然，图表规范严密，概念动机阐释明晰有力。
价值: ⭐⭐⭐⭐⭐ 为具身智能体安全闭环控制提供了兼顾高频响应、高解释性与零额外视觉计算开销的通用解决方案。