CofactVLA: Deconfounding Vision-Language-Action Models via Counterfactual Interventions¶
会议: NeurIPS 2026
arXiv: 2608.04396
代码: https://github.com/OpenRobotLab/CofactVLA
领域: 机器人
关键词: 具身智能, 视觉-语言-动作模型, 因果干预, 混杂去偏, 流匹配
一句话总结¶
针对视觉-语言-动作模型中稠密视觉流压制稀疏语言指令引发的“视觉越权”（vision-override）问题，CofactVLA 提出双路因果去偏图，在动作生成层通过正交投影引导剔除共线视觉偏置，并在表征层通过反事实协方差缩减惩罚正特征空间，实现高达 52.3% 的真实机器人分布外场景泛化提升。
研究背景与动机¶
将预训练视觉语言大模型（VLM）迁移至机器人连续控制领域的视觉-语言-动作（VLA）模型取得了显著进展，但在具身真实物理场景中暴露出极为脆弱的因果混淆缺陷。在当前的机器人模仿学习数据集中，高维稠密的连续图像流不可避免地主导了语义稀疏的文本指令，导致模型极易产生“视觉越权（Vision-Override）”现象。策略模型并未将人类语言指令视为引导操作的真正因果驱动力，而是过拟合于场景中突出的无关物体或熟悉的桌面摆放习惯，直接绕过文本指令盲目执行刻板动作（例如无论指令抓取什么，都机械地伸向视觉最显著的物体）。
这种失败的深层原因在于数据分布中的虚假后门路径（\(I \dashrightarrow C \rightarrow A\)），其中隐式视觉混杂因子 \(C\) 充当了动作决策的捷径。现有应对方案普遍面临难以克服的局限：一方面，基于数据重述或图像增强的数据中心方法在开放世界中拓展成本极高，无法从机理上解耦深层表征；另一方面，在动作生成阶段盲目套用无分类器引导（CFG）或简单标量相减，会在高维非线性动作流空间中指数级放大未对齐的噪声，破坏动力学连续流形并导致严重的物理执行危险。
面对多模态不平衡与表征塌缩的核心矛盾，本文的切入角度是引入因果推断中的反事实干预：构建一个语言完全屏蔽的反事实分支，以此动态分离出“仅凭纯视觉本能会产生何种动作”。核心 idea：将 VLA 动作生成形式化为双路去偏图，在动作输出层通过正交投影引导（OPG）剔除共线视觉偏置以纯化动作速度场，在隐空间注意力层通过反事实协方差缩减（CCR）惩罚正特征空间以压制视觉混杂，双路协同彻底切断视觉越权路径。
方法详解¶
整体框架¶
CofactVLA 的整体决策流程建立在结构因果模型（SCM）推导出的双路去偏图（Dual-path Deconfounding Graph, DDG）之上。在单次前向推理过程中，系统同时维护事实分支（输入为图像观测 \(O\) 与文本指令 \(T\)）与语言屏蔽的反事实分支（仅输入图像观测 \(O\)）。反事实分支的内部激活与输出轨迹天然表征了模型对当前画面的固有视觉偏见。系统在底层注意力机制与顶层连续流匹配动作生成两个阶段分别施加因果干预算子 \(do\)：在特征层，反事实协方差缩减（CCR）净化 Key-Value 缓存；在动作层，正交投影引导（OPG）提纯流匹配的速度场。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>图像观测 O + 语言指令 T"] --> B["双路分支构建<br/>事实分支 (O, T) 与反事实分支 (O)"]
B --> C["特征层干预：反事实协方差缩减 CCR<br/>协方差差分 ΔΣ 特征分解，投影剔除偏见基 Ubias"]
C --> D["动作专家网络<br/>连续流匹配生成速度场 (vcond 与 vuncond)"]
D --> E["动作层干预：正交投影引导 OPG<br/>沿 vuncond 几何正交分解，提取纯语义速度分量"]
E --> F["因果净化动作轨迹<br/>安全执行低层机械臂控制"]关键设计¶
1. 双路去偏图与反事实锚点构建：分离纯视觉诱导的虚假后门捷径
在常规 VLA 模型中，策略 \(\pi(A \mid O, T)\) 期望动作 \(A\) 完全受语言意图 \(T\) 驱动并在观测 \(O\) 下实施。然而，真实演示数据中操作模式的多解性导致条件互信息 \(I(A; C \mid O) > 0\)，使得负对数似然在分布偏移下产生严重间隙。为了从机制上度量并剔除混杂项 \(C\)，系统构建了一个语言掩码的反事实分支。在完全剥离文本指令 \(T\) 的条件下，反事实分支在相同的视觉场景下仅依靠环境视觉先验生成表征与动作。这为后续所有因果干预提供了可动态计算、严格对齐的反事实基准锚点。
2. 动作层正交投影引导（OPG）：几何解耦流匹配速度场中的视觉偏见
在基于连续流匹配（Flow Matching）的动作专家网络中，高斯前向过程下的连续速度场 \(v_\theta(A^\tau, \tau \mid \cdot)\) 与分数函数（Score Function）存在精确的线性对应关系： $$ \nabla_{A^\tau}\log p^\tau(A^\tau\mid\cdot)=-\frac{A^\tau+\tau v_{\theta}(A^\tau,\tau\mid\cdot)}{1-\tau} $$ 由于线性等价性的存在，对生成速度场的代数操作实质上等价于在概率密度空间中对专家意图进行组合。以往方法采用简单的标量外推 \(v_{cond} - v_{uncond}\)，其潜在假设是语义意图与视觉先验严格正交，但在高维连续动作空间中该假设必然被打破，直接相减会成倍放大无关视觉噪声导致轨迹发散。OPG 通过内积将事实速度场 \(v_{cond}\) 投影到反事实速度场 \(v_{uncond}\) 方向上计算共线偏置分量： $$ v_{proj} = \frac{\langle v_{cond}, v_{uncond} \rangle}{|v_{uncond}|2^2 + \epsilon} v $$ 进而显式减去该共线投影，提取出严格处于正交补空间的纯语言语义驱动速度分量 \(v_{\perp} = v_{cond} - v_{proj}\)。最终因果引导的速度场定义为： $$ v_{causal} = v_{cond} + \gamma \cdot v_{\perp} $$ 其中 \(\gamma > 1.0\) 为因果引导强度。该正交几何投影确保了引导过程仅沿语义正交方向调整多模态动作几率，杜绝了流场脱离有效机械臂运动流形的风险。
3. 特征层反事实协方差缩减（CCR）：基于正特征空间惩罚的注意力隐空间解耦
尽管 OPG 纠正了动作输出分布，但视觉越权的本质根源在于骨干网络 Transformer 的深层自注意力机制中，稠密视觉特征主导了 Key-Value（KV）缓存，形成了早期的虚假关联。CCR 直接作用于 VLM 最终几层的注意力特征。设事实特征与反事实特征的中心化经验协方差矩阵分别为 \(\Sigma_f\) 与 \(\Sigma_{cf}\)，构造协方差差分矩阵 \(\Delta\Sigma = \Sigma_{cf} - \Sigma_f\)。基于增益-偏置正交分解假设（空间分解为因果意图子空间 \(\mathcal{S}_O\) 与虚假混杂子空间 \(\mathcal{S}_C\)），以及对比特征间隙（Contrastive Eigengap）假设，混杂子空间在白化矩阵 \(M := \Sigma_0^{-1/2}\Sigma_\Delta\Sigma_0^{-1/2}\) 下对应严格占优的特征值。
对差分协方差进行特征分解 \(\Delta\Sigma = U\Lambda U^\top\)，筛选对应显著正特征值（\(\lambda > \epsilon > 0\)）的前 \(k\) 个主特征向量构成视觉偏见基底矩阵 \(U_{bias} \in \mathbb{R}^{d \times k}\)。通过从原始注意力特征 \(F\) 中扣除其在偏见基底上的共线投影，构造净化后的因果表征： $$ F_{causal} = F - \beta (F U_{bias}) U_{bias}^\top $$ 其中 \(\beta \in (0, 1]\) 为干预强度。数学证明表明，\(U_{bias}\) 恰好张成混杂子空间 \(\mathcal{S}_C\)，因此扣除投影操作完全抹去了视觉混杂对注意力的干扰，同时完好保留了与 \(\mathcal{S}_C\) 正交的真实因果语义子空间 \(\mathcal{S}_O\)。
损失函数 / 训练策略¶
CofactVLA 基于 Hugging Face 的 open-source LeRobot 框架构建，以预训练的 \(\pi_{0.5}\) 为骨干网络。模型在 4 卡 NVIDIA H100 (96GB) 上微调，Batch Size 为每卡 32（全局 128），优化器采用 AdamW（\(\beta_1=0.9, \beta_2=0.95\)），初始学习率 \(2.5 \times 10^{-5}\)，经过 1,000 步线性预热后在 6,000 步内收敛。动作分块步长（Action Chunk Size）设为 50。CCR 干预嵌入在 VLM 主干的第 15 与 16 层注意力中，超参数设为 \(\beta = 0.15\)；OPG 引导强度设为 \(\gamma = 2.0\)。微调过程中视觉编码器与动作专家网络均处于可学习状态，开启梯度检查点以节约显存。
实验关键数据¶
主实验¶
在标准模拟仿真基准 LIBERO（涵盖 Spatial、Object、Goal、Long 四大任务套件）以及衡量鲁棒泛化性的 LIBERO-Plus 基准（涵盖相机位姿、机械臂具身、语言变体、光照变化、背景纹理、传感器噪声与桌面布局 7 类环境扰动）上，CofactVLA 与当前主流 VLA 模型进行了全面对比。
| 基准 / 套件 | 指标 | CofactVLA (本文) | \(\pi_{0.5}\) (基线) | X-VLA / SOTA | 性能提升 |
|---|---|---|---|---|---|
| LIBERO-Spatial | 成功率 (%) | 99.0 | 98.8 | 98.2 | +0.2% |
| LIBERO-Object | 成功率 (%) | 100.0 | 98.2 | 98.6 | +1.8% |
| LIBERO-Goal | 成功率 (%) | 98.0 | 98.0 | 97.8 | 持平 |
| LIBERO-Long | 成功率 (%) | 97.0 | 92.4 | 97.6 | +4.6% (vs \(\pi_{0.5}\)) |
| LIBERO 平均 | 成功率 (%) | 98.5 | 96.9 | 98.1 | +1.6% |
| LIBERO-Plus (Camera) | 成功率 (%) | 44.7 | 13.8 (\(\pi_0\)) | 65.1 (\(\pi_0\)-Fast) | +30.9% (vs \(\pi_0\)) |
| LIBERO-Plus (Robot) | 成功率 (%) | 49.7 | 6.0 (\(\pi_0\)) | 46.2 (UniVLA) | +43.7% (vs \(\pi_0\)) |
| LIBERO-Plus (Layout) | 成功率 (%) | 70.2 | 68.9 (\(\pi_0\)) | 69.9 (OpenVLA-OFT) | +1.3% |
| LIBERO-Plus 总计 | 成功率 (%) | 69.1 | 53.6 (\(\pi_0\)) | 67.9 (OpenVLA-OFT) | +15.5% |
真实机械臂物理部署采用 6 自由度 AgileX PiPer 机械臂搭配腕部与顶部 Intel RealSense D435 双目相机（10 Hz 控制频率）。在包含严重视觉干扰与非分布外（OOD）环境的测试中，CofactVLA 取得了突破性泛化结果：
| 评估场景 | 指标 | CofactVLA (本文) | \(\pi_{0.5}\) (基线) | 绝对增益 |
|---|---|---|---|---|
| 标准桌面环境 (4 项操作任务平均) | 成功率 (%) | 90.8 | 71.0 | +19.8% |
| 严重视觉干扰项 (Task IV: 红方块入盘) | 成功率 (%) | 88.0 | 31.0 | +57.0% |
| 极端 OOD 场景 (未知格子桌布/光照/干扰) | 成功率 (%) | 75.8 | 23.5 | +52.3% |
| 真实拓展操作 (9 项长程复合任务平均) | 成功率 (%) | 96.7 | 93.0 | +3.7% |
消融实验¶
消融实验在 LIBERO 四大任务套件上系统评估了各模块贡献以及不同反事实引导设计的有效性：
| 实验组别 | 模型变体 / 引导策略 | Spatial (%) | Object (%) | Goal (%) | Long (%) | 平均成功率 (%) | 说明 |
|---|---|---|---|---|---|---|---|
| 架构分解 | Baseline (\(\pi_{0.5}\)) | 97.0 | 99.0 | 96.0 | 96.0 | 97.0 | 未加因果干预 |
| + Feature-Level CCR | 99.0 | 99.0 | 98.0 | 94.0 | 97.5 | 仅隐空间注意力去偏 (+0.5%) | |
| + Action-Level OPG | 100.0 | 99.0 | 98.0 | 95.0 | 98.0 | 仅流匹配动作正交去偏 (+1.0%) | |
| Full CofactVLA (CCR + OPG) | 99.0 | 100.0 | 98.0 | 97.0 | 98.5 | 双路协同达到最优 (+1.5%) | |
| 反事实策略对比 | 朴素相加 (Add: \(v + v_{cf}\)) | 98.0 | 98.0 | 92.0 | 88.0 | 94.0 | 严重加剧视觉偏好 (-3.0%) |
| 标量相减 (Sub: \(v - v_{cf}\)) | 97.0 | 99.0 | 98.0 | 90.0 | 96.0 | 盲目相减放大未对齐噪声 (-1.0%) | |
| CAG (标量无分类器差分) | 98.0 | 96.0 | 99.0 | 97.0 | 97.5 | 易偏离动作有效流形 | |
| OPG (本文正交投影引导) | 99.0 | 100.0 | 98.0 | 97.0 | 98.5 | 保持流形约束并纯化语义 |
关键发现¶
- 双路协同的必要性：单独引入 CCR 或 OPG 均可提升基础模型的表现（分别达到 97.5% 和 98.0%），但唯有两者协同作用时性能达到最高的 98.5%。CCR 在表征前端消除了主要视觉捷径，使得输入至动作专家网络的特征具备清晰的语义轮廓，进而让后端的 OPG 能够精准执行正交速度分解。
- 正交分解对机械臂轨迹流形至关重要：简单的标量差分（Sub 或 CAG）虽然能在一定程度上压制视觉偏见，但在长程任务（Long Horizon）中表现下滑显著（Sub 在 Long 上仅 90.0%）。这是因为标量差分随意拉伸了速度场的切向分量，导致执行动作跳出合理机械阻抗约束；而 OPG 通过几何正交剥离共线成分，完好维持了安全物理流形。
- 干预强度的敏感情境：敏感性分析显示，动作层引导尺度 \(\gamma=2.0\) 与特征层衰减系数 \(\beta=0.15\) 是兼顾去偏与物理安全的最优平衡点。过大的干预强度（如 \(\gamma=3\) 或 \(\beta=0.2\)）会导致性能下跌，原因在于过度抑制视觉特征会连带削弱场景中空间几何结构与物理接触判断所需的关键信息。
亮点与洞察¶
- 将无分类器引导拓展为几何正交投影：不仅解决了生成式扩散/流匹配策略中无条件引导的噪声发散问题，而且揭示了利用流匹配速度场与分数函数线性对应关系进行精确因果运算的数学机制。
- 协方差差分正特征空间的物理可解释性：利用反事实差分矩阵 \(\Delta\Sigma\) 准确捕捉由于缺乏语言约束而过度激活的视觉混杂子空间，无需外部监督信号即可自适应识别并投影消除视觉虚假相关性。
- 极强的跨具身与跨环境泛化可复用性：双路干预框架不依赖特定机器人的运动学建模或专有数据增强，在面对全新桌布纹理、杂乱干扰物和从未见过的机械臂具身时展现出令人惊叹的自适应能力（真实物理世界泛化暴增 52.3%）。
局限与展望¶
- 依赖基座 VLM 的语义先验底座：因果干预旨在剔除虚假视觉关联，但无法凭空创造基座模型从未学过的概念。若预训练 VLM 本身对罕见物体或特定空间方位词缺乏基础的零样本定位能力，干预亦无法生效。
- 强物理遮挡下的感知脆弱性：在近距离精密装配或抓取阶段，机械臂末端执行器偶尔会直接挡住腕部相机的视野。当视觉输入被完全阻断时，流匹配轨迹生成出现瞬时震荡。未来需结合动态多视角融合与三维场景神经表征构建鲁棒的遮挡感知流。
相关工作与启发¶
- vs OpenVLA / \(\pi_{0.5}\) 等通用 VLA 骨干：以往模型高度依赖大规模混合数据集的有监督微调，虽然在闭域评测中拟合较好，但在遇到显著干扰物时频繁出现因果混淆。CofactVLA 在不扩充额外数据的前提下，仅凭结构化双路干预即彻底解决了视觉越权瓶颈。
- vs CAST 等反事实数据增强方法：CAST 等工作通过繁琐的数据改写或场景图像重渲染生成合成对比负样本，难以泛化至复杂长程开放环境。CofactVLA 是一种纯推理/前向时架构级因果干预方案，单次前向内即可动态解耦，具备极高的部署轻量性与扩展性。
- vs CAG (Counterfactual Action Guidance)：CAG 停留在动作空间的标量差分相减，极易引起动作漂移与轨迹抖动。CofactVLA 深入到了“特征层协方差抑制 + 动作层正交几何投影”的端到端立体因果框架，兼顾了表征解耦的彻底性与物理轨迹的平滑安全性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次在连续流匹配 VLA 体系中完整形式化双路因果去偏图，结合特征层正特征基底消除与动作层正交投影引导]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真 LIBERO/LIBERO-Plus 7 维全方位扰动评测、真机 4 任务 400 次试验及拓展长程任务对比，数据翔实]
- 写作质量: ⭐⭐⭐⭐⭐ [因果理论推导严密自洽，数学假设明确，图表与动机高度统一]
- 价值: ⭐⭐⭐⭐⭐ [切实攻克了端到端具身智能策略在工业落地中极其致命的视觉越权痛点，对真机 OOD 泛化提升极具指导意义]