CofactVLA: Deconfounding Vision-Language-Action Models via Counterfactual Intervention¶
会议: NeurIPS 2026
arXiv: 2608.04396
OpenReview: https://openreview.net/forum?id=Ns2HaAwoQP
代码: 待确认
领域: 机器人
关键词: 具身智能, VLA模型, 因果干预, 视觉混杂, 流匹配
一句话总结¶
针对视觉语言动作模型中密集视觉流压制稀疏语言指令导致的“视觉覆盖”混杂偏差，本文提出 CofactVLA 框架，在单次前向中构建无语言反事实分支，通过动作层正交投影引导与特征层协方差削减消除视觉捷径，在仿真与真机 OOD 场景下大幅提升泛化成功率。
研究背景与动机¶
视觉-语言-动作（Vision-Language-Action, VLA）模型将预训练视觉语言大模型与机器人低级动作生成结合，成为具身控制的主流范式。然而，当 VLA 模型部署到开放真实环境时，常常遭遇严重的“视觉覆盖现象”（Vision-Override Phenomenon）：机器人倾向于依据环境中最为显著的视觉物体或熟悉的场景布局直接执行抓取或操作，而完全忽略了文本指令给出的真实目标语义。其根源在于机器人演示数据集中高维密集的连续图像流与高度稀疏的文本提示词之间存在极端的模态不平衡，导致策略网络学习到了由视觉混杂因子主导的虚假后门因果路径，形成了因果混淆。
现有缓解该现象的工作主要分为两类路径：数据驱动方法尝试通过语言重述或合成特定域的数据增强打破虚假关联，但这在大规模开放世界操控任务中难以穷尽且成本高昂；动作推理阶段的方法（如类 Classifier-Free Guidance 的标量反向外推）试图直接相减无文本分支的速度场，但在高维非线性的连续动作空间中，这种盲目的标量减法假设了完全正交性，极易放大与指令不相关的未对齐噪声，将轨迹推离流形并引发机械臂剧烈抖动与物理安全隐患。更重要的是，已有后处理机制无法解决 Transformer 隐层表征内部视觉特征对 KV Cache 键值注意力的结构性挤占。
本文的核心切入点是将动作生成形式化为双路去混杂图（Dual-path Deconfounding Graph, DDG），并提出反事实假设：“在完全不提供语言指令的完全相同视觉场景下，模型依靠视觉直觉会执行什么动作？”通过单次前向同时计算事实分支与掩码语言的反事实分支，将提取到的纯视觉偏差在潜层特征与动作生成流中双重剔除。核心 idea：通过构建单次前向的双路反事实图，在隐层特征级通过正特征子空间协方差削减（CCR）抑制视觉混杂捷径，在动作生成级通过正交投影引导（OPG）剔除共线视觉偏置以纯化语言因果流，从而在保证连续动作流形有效性的同时彻底阻断视觉覆盖。
方法详解¶
整体框架¶
CofactVLA 基于流匹配（Flow Matching）连续动作策略架构（以 \(\pi_{0.5}\) 为骨干），将观测图像与任务指令映射为多模态连续动作块。整个去混杂管线由一个双路因果结构驱动：输入图像 \(O\) 同时送入条件事实分支（包含语言指令 \(T\)）和无语言反事实分支（语言输入被完全掩码），两者在单一模型前向传播中并行提取表征并预测动作场速度。
整个解耦过程分为两个协同阶段：首先在多模态 Transformer 骨干网络的深层注意力交互处执行反事实协方差削减（CCR），利用反事实与事实特征协方差差异的主特征向量识别并投影消除视觉混杂偏置，保护语言因果语义；随后在流匹配动作专家网络解码轨迹时执行动作层正交投影引导（OPG），将事实分支的速度场向反事实分支的视觉直觉速度做正交分解，剔除共线投影成分并按因果缩放增强正交语义流，最终积分生成平滑且严格对齐指令的机器人动作轨迹。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>图像 O + 语言指令 T"] --> B["双路分支前向构建<br/>事实流(O, T) 与 反事实流(O, ∅)"]
B --> C["特征层协方差削减 CCR<br/>协方差差分正特征子空间投影滤波"]
C --> D["动作专家流匹配采样<br/>预测事实速度场与反事实速度场"]
D --> E["动作层正交投影引导 OPG<br/>分解共线视觉偏置并增强正交语言流"]
E --> F["输出因果去混杂动作轨迹<br/>连续安全操控执行"]关键设计¶
1. 反事实协方差削减 CCR：从注意力隐层消除视觉混杂主成分
该设计旨在解决视觉特征在 Transformer 内部早期阶段就霸占注意力通道、形成不可逆感知捷径的问题。设事实分支与反事实分支在 VLM 深层输出展平后的注意力键值（Key/Value）特征矩阵分别为 \(F_f, F_{cf} \in \mathbb{R}^{N \times d}\)，分别计算二者的中心化经验协方差矩阵 \(\Sigma_f = \text{Cov}(F_f)\) 与 \(\Sigma_{cf} = \text{Cov}(F_{cf})\)。定义二者的协方差差分矩阵为： $$ \Delta\Sigma = \Sigma_{cf} - \Sigma_f $$ 理论上，潜空间可以正交分解为因果指令驱动子空间 \(\mathcal{S}_O\) 与虚假视觉混杂子空间 \(\mathcal{S}_C\)。由于无语言反事实分支纯粹由场景视觉混杂激活，在谱分析分离假设下，\(\Delta\Sigma\) 的正特征值对应的特征向量张成了视觉混杂空间 \(\mathcal{S}_C\)。对 \(\Delta\Sigma\) 进行特征值分解 \(\Delta\Sigma = U \Lambda U^\top\)，筛选对应 \(\lambda > \epsilon > 0\) 的前 \(k\) 个最大主成分构成干扰基底矩阵 \(U_{bias} \in \mathbb{R}^{d \times k}\)。因果净化后的特征表示通过剔除在 \(U_{bias}\) 上的共线投影得到： $$ F_{causal} = F_f - \beta (F_f U_{bias}) U_{bias}^\top $$ 其中 \(\beta \in (0, 1]\) 表示特征干预强度（实验中取 \(\beta = 0.15\)）。这一投影在数学上严格保证了因果语义不被扰动，且前向计算直接拦截并在第 15、16 层变换 KV Cache，使输入动作头（Action Expert）的表征具备结构性因果纯度。
2. 动作层正交投影引导 OPG：几何分解消除共线视觉偏置流
该设计针对连续流匹配（Flow Matching）在动作生成空间中的多模态多峰分布混杂问题。传统的无分类器引导（CFG）或简单差分标量外推 \(v_{CFG} = v_{uncond} + \gamma (v_{cond} - v_{uncond})\) 假定了高维连续动作空间中的差分向量与干扰完全解耦。当动作流形非线性弯曲时，盲目外推会放大正交方向的未对齐高频噪声，导致动作速度超出执行极限甚至发生物理碰撞。
OPG 通过显式几何投影提取纯净的语言意图。设 \(v_{cond}\) 和 \(v_{uncond}\) 分别表示由流匹配动作专家预测的事实条件与反事实无条件速度场向量。首先将事实速度场沿反事实视觉速度方向进行正投影： $$ v_{proj} = \frac{\langle v_{cond}, v_{uncond} \rangle}{|v_{uncond}|2^2 + \epsilon} v $$ \(v_{proj}\) 表征了动作速度中与场景固有视觉先验完全共线的偏置分量。通过将其减去，得到与视觉偏置严格正交的纯净语义动作分量： $$ v_\perp = v_{cond} - v_{proj} $$ 最终经因果干预合成的动作生成速度场表示为： $$ v_{causal} = v_{cond} + \gamma \cdot v_\perp $$ 其中 \(\gamma > 1.0\) 为因果引导尺度（默认设置为 \(\gamma = 2.0\)）。该机制在理论上等价于在动作生成概率密度空间对因果语义得分函数进行重加权，既清除了强视觉诱导的虚假模式选择，又保留了原始动作流形的平滑性与物理可行性。
损失函数 / 训练策略¶
CofactVLA 基于预训练的 \(\pi_{0.5}\) 模型在 4 块 NVIDIA H100 (96GB) 上进行端到端微调。模型不冻结视觉编码器与动作专家，采用 AdamW 优化器，学习率为 \(2.5 \times 10^{-5}\)，权重衰减 0.01，批大小为每卡 32。动作块时间步长（Action Chunk Horizon）设置为 50。训练总步数为 6K 步，包含 1K 步线性预热。在训练过程中，条件与无条件反事实分支在单次前向中联合计算，反事实协方差削减作用于骨干网络第 15 与 16 层。
实验关键数据¶
主实验¶
在仿真基准 LIBERO 4 个子套件（评估基本操控能力）以及引入 7 种复杂扰动的 LIBERO-Plus 基准（零样本 OOD 评测）上，CofactVLA 取得了顶尖性能。在真实机械臂（AgileX PiPer 6-DoF，配备顶部视角和腕部 RealSense 相机）上针对 4 组干扰任务进行了详尽评估。
表 1：标准 LIBERO 仿真基准成功率对比 (%)
| 模型 | Spatial | Object | Goal | Long | Average |
|---|---|---|---|---|---|
| OpenVLA-OFT | 97.6 | 98.4 | 97.9 | 94.5 | 97.1 |
| \(\pi_0\) | 96.8 | 98.8 | 95.8 | 85.2 | 94.2 |
| \(\pi_{0.5}\) | 98.8 | 98.2 | 98.0 | 92.4 | 96.9 |
| DreamVLA | 97.5 | 94.0 | 89.5 | 89.5 | 92.6 |
| X-VLA | 98.2 | 98.6 | 97.8 | 97.6 | 98.1 |
| CofactVLA (本文) | 99.0 | 100.0 | 98.0 | 97.0 | 98.5 |
表 2：LIBERO-Plus 零样本鲁棒性与分布外泛化成功率 (%)
| 方法 | Camera | Robot | Language | Light | Background | Noise | Layout | Total |
|---|---|---|---|---|---|---|---|---|
| OpenVLA | 0.8 | 3.5 | 23.0 | 8.1 | 34.8 | 15.2 | 28.5 | 15.6 |
| NORA | 2.2 | 37.0 | 65.1 | 45.7 | 58.6 | 12.8 | 62.1 | 39.0 |
| WorldVLA | 0.1 | 27.9 | 41.6 | 43.7 | 17.1 | 10.9 | 38.0 | 25.0 |
| UniVLA | 1.8 | 46.2 | 69.6 | 69.0 | 81.0 | 21.2 | 31.9 | 42.9 |
| \(\pi_0\) | 13.8 | 6.0 | 58.8 | 85.0 | 81.4 | 79.0 | 68.9 | 53.6 |
| \(\pi_0\)-Fast | 65.1 | 21.6 | 61.0 | 73.2 | 73.2 | 74.4 | 68.8 | 61.6 |
| OpenVLA-OFT_w | 10.4 | 38.7 | 70.5 | 76.8 | 93.6 | 49.9 | 69.9 | 55.8 |
| OpenVLA-OFT_m | 55.6 | 21.7 | 81.0 | 92.7 | 91.0 | 78.6 | 68.7 | 67.9 |
| CofactVLA (本文) | 44.7 | 49.7 | 71.8 | 85.6 | 83.6 | 78.0 | 70.2 | 69.1 |
在真实机器人物理部署中，标准场景下基线 \(\pi_{0.5}\) 成功率为 71.0%，CofactVLA 提升至 90.8%（尤其在带强视觉干扰的 Task IV 中从 31% 跃升至 88%）。而在背景替换为草皮布/棋盘格桌布及加入外观相似干扰物的 OOD 场景下，\(\pi_{0.5}\) 的平均成功率暴跌至 23.5%（其中 Task II 直接归零），而 CofactVLA 仍取得 75.8% 的高成功率，实现了 +52.3% 的绝对性能优势。
消融实验¶
在标准 LIBERO 数据集上系统消融了模块结构以及反事实引导设计：
表 3：LIBERO 基准模块与反事实设计消融实验 (%)
| 变体 / 配置 | Spatial | Object | Goal | Long | Avg | 说明 |
|---|---|---|---|---|---|---|
| 架构消融 | ||||||
| Baseline (\(\pi_{0.5}\)) | 97.0 | 99.0 | 96.0 | 96.0 | 97.0 | 无干预基线 |
| w/ CCR 单独生效 | 99.0 | 99.0 | 98.0 | 94.0 | 97.5 | 潜层特征去混杂 (+0.5%) |
| w/ OPG 单独生效 | 100.0 | 99.0 | 98.0 | 95.0 | 98.0 | 动作层几何解耦 (+1.0%) |
| Full CofactVLA | 99.0 | 100.0 | 98.0 | 97.0 | 98.5 | 双路双层协同最优 (+1.5%) |
| 反事实动作引导设计消融 | ||||||
| 标量相加 (Add) | 98.0 | 98.0 | 92.0 | 88.0 | 94.0 | 增强视觉偏置导致性能劣化 |
| 标量相减 (Sub) | 97.0 | 99.0 | 98.0 | 90.0 | 96.0 | 简单标量差分破坏动作流形 |
| CAG (Fang et al., 2026) | 98.0 | 96.0 | 99.0 | 97.0 | 97.5 | 传统反事实外推方法 |
| OPG 正交投影 (Ours) | 99.0 | 100.0 | 98.0 | 97.0 | 98.5 | 消除共线偏置，保留合法流形 |
关键发现¶
- 双路干预具有高度协同效应：单独使用 CCR 可使平均成功率提升至 97.5%，单独使用 OPG 达到 98.0%，两者结合达到 98.5%。这是因为 CCR 在潜层注意力层净化了表征，为下游动作头提供了纯净的语义流，从而使 OPG 能够更精准地分离共线视觉偏置。
- 正交分解完胜标量外推：简单标量差分（Sub: 96.0%, CAG: 97.5%）相比正交投影（OPG: 98.5%）均有明显性能差距。非正交标量相减破坏了动作流匹配速度场的平滑性，而几何正交投影确保动作严格受限于有效物理动作流形之内。
- 超参数敏感度：因果尺度 \(\gamma\) 在 2.0 时达到性能峰值，过大的引导尺度（如 \(\gamma = 3\)）会导致轨迹过度弯曲失真；特征干预强度 \(\beta\) 在 0.15 时达到最佳，过强惩罚（如 \(\beta = 0.2\)）会破坏任务必需的语义视觉基础特征。
亮点与洞察¶
- 将视觉覆盖建模为后门因果混杂：敏锐指出了 VLA 模型在开放环境下面临的本质缺陷是高密度视觉信号与低密度语言之间的模态失衡，将无条件分支形式化为提取纯视觉混杂 \(C\) 的因果探针。
- 特征-动作两级正交解耦：在特征层通过协方差差分主特征空间减法消除注意力偏置，在动作层通过 Gram-Schmidt 风格的正交投影隔离共线先验速度，数学推导完备自洽。
- 零额外微调架构代价：无需搜集负样本或合成多轮对话数据，仅在单次前向内并行计算事实与掩码分支，且直接兼容流匹配（Flow Matching）与扩散架构的连续速度场。
局限与展望¶
- 依赖基础 VLM 的先验感知容量：因果干预旨在消除虚假关联、对齐已知语义，但若基础预训练模型对特定罕见物体材质或复杂几何形态完全缺乏感知能力，去混杂无法无中生有。
- 强物理遮挡下的脆弱性：当机械臂末端执行器近距离操作直接遮挡腕部或顶部摄像机视野时，因果流匹配策略会出现关键视觉信息丢失导致的执行卡顿。
- 改进方向：未来可探索结合主动视角规划、多相机动态多视角融合以及 3D 场景图表征，以构建抗遮挡的鲁棒因果潜空间。
相关工作与启发¶
- vs OpenVLA / \(\pi_{0.5}\) 等通用 VLA 基准：标准模型直接在多模态数据上做端到端模仿学习，未考虑模态不平衡导致的视觉先验主导问题；CofactVLA 在不改动底层主干的前提下引入双路因果图，显著提升了 OOD 场景泛化性。
- vs CAST / Counterfactual VLA 数据增强：已有工作依赖提示词改写或领域数据增强以减少捷径，难以覆盖开放世界长尾物体；CofactVLA 纯粹在模型表征与生成流形内部进行因果干预，通用性更高。
- vs 传统反事实动作引导 (CAG)：CAG 采用标量外推相减无条件动作，容易放大非正交方向噪声导致动作崩溃；CofactVLA 提出 OPG 几何正交分解，在消除偏置的同时严格维持了连续控制的流形安全性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从双路因果图和特征/动作双层正交干预角度系统解决 VLA 视觉覆盖问题，理论推导扎实。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 标准集、LIBERO-Plus 7 种复杂扰动评测、真机 4 类精细任务与 9 种长时程技能，证据详实。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，数学符号与直观几何解释配合得当，图表表现力强。
- 价值: ⭐⭐⭐⭐⭐ 对流匹配具身控制策略在真实开放非稳态环境下的落地安全与指令遵循具有重要实用价值。