Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation¶

会议: NeurIPS 2026
arXiv: 2606.03784
领域: 机器人/具身智能
关键词: 具身思维链、视觉语言动作模型、通用机器人操作、流匹配扩散策略、思维链丢弃

一句话总结¶

论文系统探究了具身思维链在机器人控制中的表征机制与缩放瓶颈，提出结合辅助 Choice Policy、知识截断 KV 缓存与思维链丢弃的 ERVLA 模型，实现了高维连续动作与结构化推理的端到端表征协同。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型通过将预训练视觉语言模型（VLM）的网络级语义与物理世界控制接口相连接，为通用机器人操作与长程任务规划提供了极具潜力的范式。然而，感知能力的增强与语义覆盖面的扩大并不天然等同于动作生成质量的提升；在面对复杂的分布外场景和强扰动时，直接从图像和指令映射到底层电机指令往往缺乏中间推理支撑。受大语言模型成功的启发，具身思维链（Embodied Chain-of-Thought, ECoT）方法尝试通过引入显式推理步骤（如场景理解、子任务分解、空间定位、轨迹预测等）来引导动作生成。

然而，现有具身 CoT 研究在机制理解与系统整合上存在重大认知盲区与瓶颈。一方面，传统方法普遍将 CoT 简单视作自回归动作生成的前缀（autoregressive action prefix）——即先生成文本或坐标 token，再预测离散化的动作 token。这种串联生成模式不仅显著增加了推理延迟，而且由于推理轨迹的长度不一与不可避免的生成噪声，极易在时序展开中引发误差累积（compounding errors），导致简单增加 CoT 预训练数据规模时模型性能不升反降。另一方面，大规模自动标注的 CoT 伪标签中普遍存在漂移和抖动，特别是连续帧间不稳定的检测框和末端位姿估计，会引入严重的“CoT 污染（CoT contamination）”，在高度相似的视觉输入上施加互相冲突的监督信号，反而破坏底层控制策略的平滑性与稳定性。

因此，具身推理在机器人策略中的核心作用亟待重新审视：CoT 不应仅仅被当作测试阶段必经的自回归文本输出通道，而应作为在表征空间内重塑从感知到动作映射的强监督信号。核心 idea：将具身思维链作为重塑表征空间的训练脚手架而非推理强制前缀，提出结合辅助候选动作打分（Choice Policy）、知识截断 KV 缓存（Knowledge Truncation）与推理丢弃策略（Reasoning Dropout）的 ERVLA 模型，实现大尺度 CoT 预训练在连续动作生成上的稳定正向缩放。

方法详解¶

整体框架¶

ERVLA 采用多模态 Transformer（Mixture-of-Transformers）混合架构，主要由两大部分构成：基于 Qwen3-VL-4B 的视觉语言推理主干网络，以及基于 36 层扩散 Transformer（DiT）的连续动作生成流匹配专家（Flow-Matching Action Expert）。输入包括多视角视觉观测图像 \(I\)、自然语言任务指令 \(x\)、机器人本体状态 \(s\)、可选的结构化思维链文本 \(c\)，以及可学习的控制查询 token（包括时间槽位动作查询 \(\{a_i\}\) 和打分查询 \(a_{\mathrm{score}}\)）。

在模型内部，VLM 主干负责对多模态输入进行联合建模，生成文本 token 的隐藏状态与各层键值对缓存（KV cache）；随后，动作查询隐藏状态直接连接辅助 Choice Policy 分支以预测离散动作候选块与其对应误差打分；最后，DiT 动作头接收当前带噪动作与本体状态，在经过知识截断（Knowledge Truncation）排除控制 query 干扰的纯语义 KV 缓存上施加交叉注意力，通过整流流（Rectified Flow）迭代生成多维平滑连续动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + 任务指令 + 控制查询<br/>(I, x, s, {a_i}, a_score)"] --> B["VLM 推理骨干<br/>(Qwen3-VL-4B)"]
    B --> C["思维链丢弃训练策略<br/>(Reasoning Dropout, p=0.5)"]
    B --> D["辅助 Choice Policy 分支<br/>(预测 N 个动作块及评分)"]
    B --> E["知识截断 KV 条件机制<br/>(SlicePrefix 截取纯语义缓存)"]
    E --> F["DiT 连续动作专家<br/>(36 层 Flow Matching 生成)"]
    D -->|引导动作敏感表征| B
    F -->|梯度端到端回传| B

关键设计¶

1. 辅助 Choice Policy 分支：将离散候选评价融入骨干网络，强化动作语义对齐

纯粹的高层语言推理往往缺乏对物理几何与动力学可执行性的敏感度，而传统直接自回归预测动作 token 又容易引入量化离散误差。为了让 VLM 骨干网络在编码语言推理的同时主动学习动作级别的判别特征，ERVLA 引入了辅助 Choice Policy 分支。在 VLM 输入端拼接可训练的状态 token <state>、时间槽动作查询 token \(\{a_i\}_{i=1}^T\) 与评分 token <score>。VLM 输出后，动作头直接从 \(\{a_i\}\) 对应的隐藏状态 \(\mathbf{H}_a\) 预测 \(N\) 个连续候选动作块（Candidate Chunks） \(\hat{\mathbf{A}}^{(n)} = [\hat{\mathbf{a}}_1^{(n)}, \dots, \hat{\mathbf{a}}_T^{(n)}] \in \mathbb{R}^{T \times D}\)（实验中设定 \(N=5\)），打分头从 <score> 的隐藏状态 \(\mathbf{H}_s\) 预测 \(N\) 个标量误差评分 \(\hat{\mathbf{r}} \in \mathbb{R}^N\)。通过直接监督最优候选动作并拟合各候选块的实际绝对误差，这一辅助任务强迫 VLM 的注意力与表征主动捕捉与执行边界相关的特征，加速了多模态表征与底层动作空间的语义对齐。

2. 知识截断 KV 条件机制：隔离控制查询捷径，提纯纯净语义记忆

在现代 VLA 架构中，如果直接让连续动作专家 DiT 访问包含全部 VLM 键值缓存的上下文，DiT 极易过度依赖训练期拼接的 <state> 与 \(\{a_i\}\) 控制查询 token 伪影，形成学习捷径（shortcut learning），进而忽略真正承载长期推理与泛化能力的多模态上下文。针对这一现象，ERVLA 提出了知识截断（Knowledge Truncation, KT）机制。具体而言，虽然 VLM 骨干网络同时接受语义前缀与控制查询进行联合多任务训练，但在向 DiT 传递条件 KV 缓存时，执行前缀切片操作：

\[(\mathbf{K}^{\mathrm{KT}}_{\ell}, \mathbf{V}^{\mathrm{KT}}_{\ell}) = \mathrm{SlicePrefix}\big((\mathbf{K}^{\mathrm{vlm}}_{\ell}, \mathbf{V}^{\mathrm{vlm}}_{\ell}), m_{\mathrm{cond}}\big)\]

其中掩码 \(m_{\mathrm{cond}}\) 显式剔除所有追加的控制查询 token，使 DiT 在执行流匹配去噪时仅能交叉注意力访问由多视角图像、任务指令及 CoT 构成的纯粹语义前缀。知识截断有效阻断了合成 query 的短路干扰，确保动作专家基于高质量的环境物理与意图理解进行平滑轨迹插值。

3. 思维链丢弃训练策略：消除测试期自回归依赖，抑制伪标签噪声污染

直接强制模型在测试推理阶段先行自回归解码长文本 CoT 不仅会导致几十倍的延迟激增，而且由于检测器伪标签与启发式规划中不可避免的噪声漂移，密集的连续帧监督会造成“CoT 污染”。为此，ERVLA 引入了思维链丢弃（Reasoning Dropout）机制：在训练期间，以固定概率（\(p_{\mathrm{cot}} = 0.5\)）在样本前添加 /cot 或 /no_cot 控制前缀，在 /no_cot 模式下仅保留空推理块但依然监督最终的动作生成。该设计使得显式 CoT 从“必须执行的推理前缀”转变为“重塑隐空间几何结构的辅助监督脚手架”。在推理阶段，模型直接运行在无 CoT 模式下，不仅彻底规避了自回归生成累积误差与速度瓶颈，还让内部表征继承了海量结构化 CoT 预训练带来的泛化红利。

损失函数 / 训练策略¶

ERVLA 采用多任务联合端到端优化策略，总损失函数定义为四个组件的加权和：

\[\mathcal{L} = \lambda_{\mathrm{vlm}} \mathcal{L}_{\mathrm{vlm}} + \lambda_{\mathrm{flow}} \mathcal{L}_{\mathrm{flow}} + \lambda_{\mathrm{choice}} \mathcal{L}_{\mathrm{choice}} + \lambda_{\mathrm{score}} \mathcal{L}_{\mathrm{score}}\]

其中 \(\mathcal{L}_{\mathrm{vlm}}\) 为显式 CoT 文本 token 上的标准交叉熵损失；\(\mathcal{L}_{\mathrm{flow}}\) 为针对 DiT 连续动作的整流流（Rectified Flow）速度场匹配损失；\(\mathcal{L}_{\mathrm{choice}}\) 监督所有候选动作块中最接近真实轨迹项的平均绝对误差（MAE）：

\[\mathcal{L}_{\mathrm{choice}} = \frac{1}{B} \sum_{b=1}^B \min_{n} d_b^{(n)}, \quad d_b^{(n)} = \frac{1}{T_b D} \|\hat{\mathbf{A}}_b^{(n)} - \mathbf{A}_b^*\|_1\]

\(\mathcal{L}_{\mathrm{score}}\) 监督打分头预测每个候选动作块与真实目标之间的实际误差（对目标实施截断梯度）：

\[\mathcal{L}_{\mathrm{score}} = \frac{1}{B} \sum_{b=1}^B \left\|\hat{\mathbf{r}}_b - \mathrm{sg}\!\left([d_b^{(1)}, \dots, d_b^{(N)}]\right)\right\|_2^2\]

不同于阻断动作专家向 VLM 传递梯度的知识隔离（Knowledge Insulation）方法，ERVLA 允许流匹配损失与选择损失反向传播至 VLM 骨干网络中，驱动推理表征与物理控制产生深度双向共适应。

实验关键数据¶

主实验¶

在具有光照、背景、相机位姿、语言变体和布局扰动的零样本迁移基准 LIBERO-Plus 以及具备长程与常识推理挑战的 VLABench 上，ERVLA 取得了超越当前 SOTA 模型的主实验结果：

基准数据集 / 评测套件	评估指标	ERVLA (本文)	\(\pi_{0.5}\) (前SOTA)	提升幅度
LIBERO-Plus (Spatial)	成功率 (%)	96.2	90.4	+5.8
LIBERO-Plus (Object)	成功率 (%)	89.6	89.9	-0.3
LIBERO-Plus (Goal)	成功率 (%)	79.6	81.0	-1.4
LIBERO-Plus (Long-horizon)	成功率 (%)	82.1	80.8	+1.3
LIBERO-Plus (总体平均 Total)	成功率 (%)	86.9	85.5	+1.4
VLABench (In-distribution)	成功率 (%)	69.7	65.4	+4.3
VLABench (Cross-Category)	成功率 (%)	47.0	38.2	+8.8
VLABench (Commonsense)	成功率 (%)	44.0	43.9	+0.1
VLABench (Instruction)	成功率 (%)	58.0	48.2	+9.8
VLABench (Texture Shift)	成功率 (%)	47.4	44.9	+2.5
VLABench (总体平均 Avg SR)	成功率 (%)	53.2	48.1	+5.1

消融实验¶

在 LIBERO-Plus 与 VLABench 上对 ERVLA 的核心架构设计进行严格消融对比：

配置说明 (Ablation Setting)	LIBERO-Plus 总体成功率 (%)	VLABench 平均成功率 (%)	VLABench 进度得分 (PS)	说明与机理
ERVLA (完整模型)	86.9	53.2	65.9	完整模型：Choice + KT + Flow 端到端协同
移除知识截断 (Choice w/o KT)	84.7	47.2	59.8	DiT 可见 control query，产生捷径学习，跨分布泛化下降
移除 Choice 分支 + 知识隔离 (No Choice + KI)	76.5	42.6	52.5	阻断动作梯度至 VLM，表征缺乏动作敏感性
移除具身 CoT 监督 (No CoT)	70.8	40.9	50.4	纯模仿学习，失去大规模推理语料带来的语义泛化支持
移除 Choice 分支 (No Choice, 端到端)	61.9	39.2	48.2	缺少候选级判别约束，单纯流匹配难以有效形塑 VLM 隐空间

关键发现¶

低层行动导向字段远优于抽象高层意图：在 CoT 字段消融中，单独引入 Goal (-1.2)、Planning (-0.8)、Subtask (-0.6) 或 Reasoning (-1.0) 均引起性能下滑；而引入末端移动描述 Movement (+4.1) 和未来图像轨迹点 Point trajectory (+4.8) 能直接提升控制性能。高层逻辑只有与低层运动指导结合（如 Subtask + Movement + Point trajectory 提升 +7.4）时才显著生效。
思维链丢弃是抑制伪标签污染的核心屏障：在海量自动构建的数据集上，探测器生成的边界框和末端坐标存在时序跳变与漂移。在无 Dropout 的 Bridge 预训练下，加入 Gripper 与 Bounding box 分别导致 -5.6 和 -6.1 的大幅崩溃；而引入 Reasoning Dropout 后，掉点被收敛至 -0.8 和 -1.0，同时动作导向字段收益提升至 +3.0，证实 Dropout 能有效防止噪声污染。
自回归 CoT 前缀无法随数据可扩展缩放：采用 FAST 离散动作 token 并自回归生成 CoT 时，随着预训练数据从单一 Bridge 扩展到包含 Fractal、MolmoAct 和 Droid 的多源大集，因累积误差和前缀噪声，各泛化维度得分全面退化（VLABench 平均由 38.0 跌至 34.4）；而 ERVLA 通过将 CoT 转化为内部连续条件表征，随数据规模扩展表现出稳步单调上升趋势。

亮点与洞察¶

将 CoT 视作表征塑造信号而非推理输出信道：打破了必须在推理期让机器人“自言自语”的固有思维，证明 CoT 的本质价值在于用高维语义监督促使视觉编码器学习可执行的物体亲和与运动线索。
知识截断切除合成 Query 捷径：在统一自注意力机制中，通过细致的前缀掩码切片（SlicePrefix）隔绝控制 query 与动作去噪头的直接互连，既保证了端到端多任务梯度优化，又维护了条件表征的纯净性。
超大规模多视角双臂具身 CoT 语料库：开源了包含 97.8 万条轨迹、2.26 亿样本、2592 小时的规范化具身 CoT 数据集，首次实现几何坐标投影与多视角对应格式的统一标准化。

局限与展望¶

动态相机下的末端空间投影受限：对于腕部相机等随本体刚性运动的视点，几何度量投影无法提供有意义的全局运动轨迹，目前腕部视角仅保留物体框而移除了点轨迹标注。
长程任务多步闭环下的自适应思考机制待挖掘：虽然当前全推理阶段统一采用 /no_cot 实现了最高效率与平稳性，但未来对于复杂多步骤或突发异常恢复，按需稀疏唤醒显式 CoT 进行重规划仍是值得探索的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 重新审视具身 CoT 在策略网络中的机制角色，提出知识截断与表征内化训练方案，极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2500+ 小时最大规模公开数据集构建、细粒度字段消融、跨骨干迁移、模拟扰动测试及真实机器人部署。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，深入剖析了 CoT 污染与自回归缩放失效的根本诱因，实验图表详实。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型与物理世界连续控制的语义对齐提供了可复现的理论洞见与工程框架。