How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning¶

会议: NeurIPS 2026
arXiv: 2605.17077
领域: 机器人
关键词: 机器人策略学习, 密集语言标注, 视觉-语言-动作模型, 多维度标注, 异步指导生成

一句话总结¶

提出 DeMiAn 框架，利用冻结的 VLM 自动为现有离线演示数据扩展物理动作、场景构成、机械臂姿态与逐步推理四个维度的密集语言标注，并训练轻量级异步 Instructor 模型根据初始场景自适应选择最适配任务的密集指令，以极低计算成本大幅提升 VLA 与世界动作模型（WAM）的成功率。

研究背景与动机¶

机器人策略学习当前的扩展范式高度依赖演示数据的积累，但真实机器人遥操作不仅需要昂贵的专业硬件，更耗费数千小时的高水平操作员时间；即使是人体第一视角（egocentric）视频数据集（如 EgoVerse 50K），其捕获与清洗成本也极为高昂。与耗费巨大的实体动作采集相比，演示数据所配对的语言指导往往极度稀疏，通常仅包含如“打开抽屉”等一句话的高层任务标签。这种粗粒度指令完全忽略了图像像素和动作序列中本已包含的空间相对关系、接触状态转移、机械臂本体位姿以及阶段子目标划分。

以往尝试引入密集语言监督的研究（如 RT-H 的动作基元、ECoT 的具身思维链或表征预训练）通常死板地固守某一种单一的提示风格，并假设该风格能够放之四海而皆准。然而，不同机械臂操作基元的核心瓶颈截然不同：接触切换剧烈的动作需要精细的运动轨迹描述，多物体交互环境依赖精确的空间场景解析，而多阶段复合操作则迫切需要清晰的因果与子目标推理。若在整个数据集中强行统一标注维度，不仅会限制策略的表现，甚至在部分任务上还会引入冗余噪声。

本文的切入角度是将“密集语言标注”视为在固定实体演示数据集上放大监督信号的高效杠杆。由于 VLM 自动重标注的计算成本远低于物理数据采集，系统完全可以为每段轨迹并发生成多个互补视角的结构化语言，并在部署阶段根据具体任务和场景动态分发最有效的标注维度。核心 idea：构建 DeMiAn 双阶段框架，离线利用多模态大模型从物理动作、场景构成、手臂姿态与阶段推理四个互补维度自动扩展密集标注；部署时通过奖励加权监督微调的小型 Instructor 异步生成自适应指令，在不增加控制延迟的前提下逼近单任务 Oracle 上限。

方法详解¶

整体框架¶

DeMiAn（Dense Multi-aspect Annotation）包含两个核心阶段：训练时密集多维度重标注流水线与推理时异步指导生成器（Learned Instructor）。在离线重标注阶段，系统将演示视频切分为子任务片段，利用冻结的视觉语言模型 Qwen3-VL-30B-A3B-Instruct，在四种互补维度上为每个片段独立生成密集描述；策略模型（如基于 openpi 的 DeMiAn VLA 或基于 Cosmos-Predict 的 DeMiAn WAM）在训练时混合利用这些多维度标注进行联合学习。在推理部署阶段，轻量级 Instruct 模型（Qwen3.5-2B）接收初始三视角相机图像与高层任务描述，自适应预测并生成契合该任务的最佳维度密集指导，并异步拼接至底层动作策略的提示槽中，全程掩盖生成延迟。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["现有固定演示数据集<br/>视频轨迹 + 单句任务标签"] --> B["离线多维度密集重标注<br/>Qwen3-VL 抽取四个互补视角"]
    B --> C["策略鲁棒联合训练<br/>动作流匹配 + 辅助语言正则"]
    C --> D["奖励加权目标采样微调<br/>构建离线奖励表训练 Instructor"]
    D --> E["异步推理部署<br/>无延迟注入自适应稠密提示"]
    E --> F["底层机器人动作执行<br/>VLA / WAM 输出高精度动作块"]

关键设计¶

1. 离线多维度密集重标注：解耦多粒度交互信息 传统一句话标签无法向动作策略传递操作过程中的细粒度物理约束。DeMiAn 将长轨迹按语义切分子段（如将双开门任务解耦为两个单门片段），在每个片段中均匀采样 \(F=10\) 帧画面，结合当前任务描述、物体列表和前后邻域片段标签构造上下文提示，驱动冻结的 Qwen3-VL-30B-A3B-Instruct 独立生成四种互补维度的密集标注（输出严格限制在 JSON 格式且不超过两句话）： - physical_motion：聚焦末端执行器运动轨迹与接触触发，显式刻画接近、抓取、提拉、放置与推拉状态； - scene_composition：聚焦操作台空间关系、可见目标物、干扰物及相对坐标布局； - arm_pose：显式描述机械臂在段边界的到达方向、关节构型与本体接触姿态； - reasoning：阐释该子步骤的因果意图（准备阶段、主操作或清理阶段）以及对上下文步骤的时序依赖。该设计以每次调用仅约 \(5.0 \times 10^{13}\) FLOPs（约 0.0011 美元）的微小代价，将原有固定演示数据的信息密度放大了数倍。

2. 策略鲁棒联合训练与辅助表征正则化：防止密集提示被退化压缩 在底层策略训练上，DeMiAn 适配了两种主流范式：基于流匹配（Flow Matching）的视觉-语言-动作模型 DeMiAn VLA（以 openpi 0.5 为底座），以及基于视频扩散主干的 DeMiAn WAM（以 Cosmos-Predict 2.5 为底座）。以 DeMiAn VLA 为例，模型在图像标记 \(x^{\text{img}}\)、任务标记 \(x^{\text{task}}\) 和密集标注标记 \(x^{\text{cap}}=(c_1,\dots,c_N)\) 构成的完整前缀上执行双向注意力。为了防止具有强大上下文聚合能力的双向 Transformer 将密集的文本描述压缩为粗糙的全局摘要、从而丢失具体的物体名和空间方位词，模型引入了带有掩码权重的辅助语言建模正则化损失 \(\mathcal{L}_{\text{cap}}\)：

\[\mathcal{L} = \mathcal{L}_{\text{FM}} + \lambda_{\text{LM}} \mathcal{L}_{\text{cap}}, \qquad \mathcal{L}_{\text{cap}} = -\frac{1}{\sum_{i=1}^{N-1} m_i} \sum_{i=1}^{N-1} m_i \log p_\theta(c_{i+1} \mid h_i)\]

其中 \(h_i\) 为隐藏状态，\(W\) 为绑定的 LM 输出头，\(\lambda_{\text{LM}}=0.1\)。此损失并不要求自回归生成，而是充当表征锚定器，迫使动作专家在解码动作流时保持对标注文本中微观语义（如“推进”、“向内”、“烤箱门”）的高频注意力分布。

3. 奖励加权目标采样微调：自适应拟合任务特异性 Oracle 实验发现没有任何一种固定标注维度能够在所有任务上保持全优（如物理运动对接触敏感型任务提升巨大，而场景构成更适配分拣与拾取）。为了避免人工预设维度的次优性，DeMiAn 构建轻量级 Instructor（Qwen3.5-2B）。训练时首先在验证集上离线评估固定四种标注分别配对各任务 \(\tau\) 时的策略成功率，建立离线奖励表 \(w(\tau, k)\)。针对每个训练任务，通过温度系数 \(T=2\) 的 Softmax 分布对奖励表进行 Top-3 截断采样以确定目标维度：

\[p(k \mid \tau) \propto \exp\left(\frac{w(\tau, k)}{T}\right)\]

若某任务在所有维度下的表现均低于基线，则目标设为空字符串以教会模型“主动弃权（abstain）”。Instructor 仅需输入初始视角画面的 3 帧图像和任务指令，即可端到端学会针对场景自适应生成最契合维度的密集描述，无需测试期进行多轮搜索。

4. 异步推理部署机制：无延迟零代价注入 VLM 生成文本通常需要 1.5 到 2 秒的解码延迟，直接串行阻断式推理会破坏机器人动作服务器原生的控制节拍。DeMiAn 采用异步解耦执行策略：在仿真或真机启动交互的第一时刻，底层策略优先仅凭借初始任务指令 \(x^{\text{task}}\) 输出动作块（以 openpi 原生的 8 步开环节奏驱动机械臂）；与此同时，Instructor 在后台异步处理初始观测图像。当 Instructor 在约第 22 步（耗时约 1.87 秒）完成密集指令生成后，系统在下一个动作块边界将其无缝切入提示槽中。由于机器人前期的空闲位移轨迹对极细粒度指导不敏感，这种异步拼接入机制在维持高刷新率（完全无阻塞）的前提下，成功率与耗时阻断式的同步部署几乎完全一致（49.0% vs 49.5%）。

实验关键数据¶

主实验¶

评估在 RoboCasa365（17 个厨房原子任务）和 MolmoSpaces bench-v2（覆盖 Pick、Pick+Place、NextTo、Color 等任务簇）上展开。对比纯任务指令基线、四种固定维度密集标注、训练好的异步 Instructor 以及每任务最优上限（Oracle）。

策略架构 / 标注配置	RoboCasa365 平均成功率 (SR)	MolmoSpaces Pick 族	MolmoSpaces NextTo	MolmoSpaces Color	MolmoSpaces 全局平均 (SR)
DeMiAn VLA
Task-only Baseline	0.44	0.48	0.25	0.41	0.44
Physical Motion	0.46	0.59	0.20	0.46	0.46
Scene Composition	0.44	0.61	0.26	0.40	0.47
Arm Pose	0.38	0.54	0.18	0.45	0.44
Reasoning	0.37	0.59	0.33	0.39	0.48
w/ Instructor (Ours)	0.49	0.60	0.27	0.48	0.49
Per-task Best (Oracle)	0.52	0.61	0.33	0.46	0.51
DeMiAn WAM
Task-only Baseline	0.18	0.26	0.06	0.14	0.16
Physical Motion	0.18	0.30	0.07	0.15	0.18
Scene Composition	0.18	0.30	0.09	0.13	0.18
Arm Pose	0.15	0.25	0.06	0.15	0.16
Reasoning	0.15	0.28	0.11	0.13	0.18
w/ Instructor (Ours)	0.19	0.31	0.09	0.16	0.20
Per-task Best (Oracle)	0.20	0.30	0.11	0.15	0.19

消融实验¶

在 RoboCasa 开发集上针对 Instructor 的部署时推断机制、标注源及采样策略进行详细消融（所有变体基于完全相同的动作策略权重评测）：

推理配置 / 注入方式	平均成功率 (SR)	相比 Baseline 增量 (\(\Delta\))	注入步数 / 延迟 (步 / 秒)
Baseline (无任何稠密标注)	44.3%	—	—
GT physical_motion 注入	46.1%	+1.8%	1 步 / 0 s (GT静态)
GT scene_composition 注入	48.4%	+4.1%	1 步 / 0 s (GT静态)
GT arm_pose 注入	47.4%	+3.1%	1 步 / 0 s (GT静态)
GT reasoning 注入	50.1%	+5.8%	1 步 / 0 s (GT静态)
随机抽取固定维度 (Random per-episode)	46.6%	+2.3%	1 步 / 0 s
DeMiAn Sync Instructor (同步阻断)	49.5%	+5.2%	1 步 / 1.87 s (引入阻塞)
DeMiAn Async Instructor (异步无锁)	49.0%	+4.7%	21.9 步 / 0 s (掩盖延迟)
Per-task Oracle (各任务真实最优维度)	52.4%	+8.1%	—

在复合长程任务（18 个由原子技能级联而成的 RoboCasa365 Composite 任务）中，使用 Instructor 进行子目标动态切换时，Full-task 成功率达到 18%（相比固定指令基线的 13% 显著提升 +5%），第一阶段成功率达到 61%（基线仅 50%）。

关键发现¶

不同任务对语言标注维度呈现高度异质性：单一维度无法实现通用最优。例如在 SlideDishwasherRack（滑出洗碗机架）任务中，physical_motion 将成功率从 38% 剧增到 75%（+37%），但在 TurnOnSinkFaucet（开水龙头）上却导致明显退化（43% 跌至 18%）；相反，scene_composition 在 MolmoSpaces Pick 任务上大幅提升 13%，而在 NextTo 任务上最优的则是 reasoning（提升 8%）。
异步 Instructor 逼近 Oracle 上限：Qwen3.5-2B 训练的 Instructor 成功率达到 49.0%，大幅超越每 episode 随机选择维度的 46.6%，充分证明增益源于精准的“因任务施策”策略路由，将与理论 Oracle（51%~52%）的差距缩小到了 2~3 个百分点之内。
算力效率收益巨大（Compute-Performance Frontier）：在计入所有 VLM 离线标注生成的 FLOPs 消耗后，在 1M 规模的 MolmoBot 数据集上，DeMiAn 在 NextTo 和 Color 任务上仅用 38% 的计算量（节省约 62% 算力，减少约 \(1.3 \times 10^{20}\) FLOPs）就达到了无标注基线全量训练的性能。

亮点与洞察¶

多维度标注解耦与动态自适应路由：首次指出了具身智能中“单一稠密提示风格不可行”的本质瓶颈，把静态的提示词工程转变为自适应的任务条件生成问题，设计了优雅的离线奖励加权采样微调范式。
异步双流执行范式掩盖感知生成延迟：将需要约 1.8 秒的 VLM 高阶指令生成过程置于后台，底层动作策略先用粗略指令执行前序无碰撞动作，再平滑切入密集上下文，完美兼顾了高层认知推理与底层实时控制。
极佳的跨架构通用性与扩展收益：不管是端到端流匹配策略 VLA，还是基于视频生成扩散主干的世界动作模型 WAM，密集重标注都表现出一致的算力优化斜率，为低成本扩展机器人策略提供了全新的数据工程范式。

局限与展望¶

作者承认的局限：所有的重标注过程高度依赖单一冻结的 Qwen3-VL-30B 模型，容易继承大模型本身的视觉先验幻觉与几何偏差；此外四种维度的划分方式仍包含一定的人工经验启发式设定。
自行发现的局限：全部主实验均在 RoboCasa 与 MolmoSpaces 物理模拟器中完成，尚未部署在真实机器人实体上进行动态光照、相机抖动与实机抓取延迟的鲁棒性闭环验证；同时在复合任务的最终阶段（Phase-3）存在一定的执行漂移现象。
未来改进方向：探索端到端协同训练机制，让高层 Instructor 直接根据底层动作策略执行的强化学习奖励进行梯度回传，摆脱两阶段离线奖励表的近似误差；进一步尝试在同一个动作片段内自适应混合多个维度的语言要素。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [打破了固定单一密集语言提示的传统范式，提出了系统性的多维度解耦重标注与自适应调度架构]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 1M 轨迹级规模、两类截然不同的动作模型架构、17 个原子任务与复合长程任务，并严格核算了 FLOPs]
写作质量: ⭐⭐⭐⭐⭐ [问题拆解极其透彻，实验逻辑层层递进，定量分析与注意力热力图机理解释非常清晰]
价值: ⭐⭐⭐⭐⭐ [证明了重标注存量数据是远比收集新硬件演示更便宜、更高效的 scaling 途径，极具工程落地与实用价值]