VLA-Hijack: A Transferable Patch Attack against Vision-Language-Action Models via Visual Proprioception Hijacking

会议: ECCV2026
论文: ECCV 原文
领域: 机器人/具身智能
关键词: 视觉语言动作模型、视觉本体感知、对抗补丁、跨模型迁移、安全评测

一句话总结

VLA-Hijack 将视觉语言动作模型的鲁棒性问题定位到视觉自定位表征，通过抑制真实机械臂特征并注入替代具身表征，在 LIBERO 的 11 个黑盒迁移模型上达到 61.64% 平均任务失败率，但效果随架构明显变化。

研究背景与动机

视觉语言动作模型（VLA）把相机观察和语言指令转成机器人动作，视觉误差因此不仅影响文字回答，也可能改变闭环控制。 OpenVLA 将动作离散成词元，UniVLA 使用潜在动作表征，CronusVLA 则引入多帧连续预测；它们对相似任务的输出编码并不相同。 既有补丁研究常通过增大代理模型的动作偏差来构造扰动，但在一个动作头上有效的方向，不一定能穿过另一个架构的控制接口。 这意味着白盒条件下较高的任务失败率，并不能直接证明跨模型威胁同样强。

作者从一种现象出发：部分动作空间方法生成的图案会呈现机械臂或夹爪的外观，而直接使用机械臂图像也能造成一定干扰。 他们据此提出，模型不仅需要识别目标物体，还依赖画面中自身机械臂的位置，才能把目标关系转换成运动。 这里的“视觉本体感知”指从图像推断自身具身状态，不等同于关节编码器、力觉等硬件本体传感器。 论文试图寻找不同动作头之前共享的视觉依赖，而不是为每种动作编码分别设计目标。

困难在于，加入一个像机械臂的区域并不必然使真实机械臂失去作用：模型仍可能同时关注二者。 作者将这种竞争称为本体感知冲突，并把关注真实机械臂与接受替代特征看作两个需要共同研究的过程。 这一解释由注意力可视化、迁移实验和消融支持，但不应被理解为所有 VLA 都有一个可直接观测的独立“自我定位模块”。 核心 idea：以真实机械臂特征抑制和替代具身特征注入共同扰动视觉自定位，检验这一共享表征是否构成跨动作架构的鲁棒性薄弱点。

方法详解

整体框架

研究对象是通用、非定向的局部补丁：同一图案跨观察与任务使用，语言指令保持不变，评价目标是任务未完成，而非指定某条危险轨迹。 威胁模型允许访问一个代理 VLA 的内部特征和梯度，目标模型则不提供内部参数或架构信息。 因此，“黑盒”限定的是迁移阶段，不意味着补丁无需任何白盒模型即可得到。 输入包括干净观察、对应指令以及代理模型表征；离线研究阶段还提取注意力、真实机械臂掩码和具身语义参考。 模型参数不是该研究的训练对象，变化的是补丁；这也区别于训练数据投毒或模型后门。

框架先通过注意力引导本体抑制降低原有视觉表征的一致性，再以多模态本体注入建立替代具身表征。 交替注入调度控制语义与视觉两种注入目标的切换，而抑制项始终保留。 论文把这两个互补目标称为 Phase I 和 Phase II，但并不是先永久关闭一个模块、再单独运行另一个模块。 生成后的固定补丁用于目标模型的视觉输入，目标模型继续根据原语言指令产生动作，由环境判定任务是否成功。 下图区分代理侧的研究过程与目标侧的评测，不表示目标模型在执行时还要运行分割或重新优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["干净观察与指令<br/>代理表征及具身参考"] --> SUPPRESS["注意力引导本体抑制"]
        SUPPRESS --> INJECT["多模态本体注入"]
        INJECT --> SCHEDULE["交替注入调度"]
        SCHEDULE -->|代理侧离线优化| PATCH["固定补丁"]
        PATCH -->|仅改变视觉输入| EVAL["目标 VLA 闭环评测<br/>任务失败率"]
        OBS["测试观察与原指令"] --> EVAL

关键设计

1. 注意力引导本体抑制：让真实机械臂表征不再保持原有优势

如果只鼓励补丁看起来像机械臂，画面中的真实机械臂仍可能提供更可靠的定位信号。 作者因此先从视觉编码器最后一层提取多头自注意力，将各头的响应聚合为空间显著图。 经归一化后的高响应位置获得更大的惩罚权重，随后比较干净观察与受扰观察在相应位置的特征相似性。 抑制目标降低加权的余弦相似性，使受扰表征偏离原本的视觉表征，而不只是让补丁区域本身出现变化。 这里利用的是整个编码器的上下文交互：输入改动局限在局部区域，但其他位置的表征可能随之改变。 这不是把真实机械臂像素从图像中抹掉，也不是直接篡改机器人的物理位置。

加权设计的理由是，未加区分的特征偏离容易由不稳定背景位置贡献，而这些位置未必决定控制。 把较大的权重放在模型原先关注的位置，旨在减少这种与具身定位无关的优化捷径。 不过，注意力显著性并不是机械臂语义分割的等价物：目标物体或其他重要区域也可能获得高响应。 因此，“真实机械臂被抑制”是作者对特征变化的机制解释，不是该权重定义本身保证的结果。 论文图 2 用注意力分布展示这一解释，图 5 的组件消融进一步检验抑制项是否与性能相关。 两类证据相互补充，但仍不足以证明一个唯一的、显式的内部自定位变量被替换。

2. 多模态本体注入：同时约束具身概念与视觉外观

抑制原有表征只能说明原信号被削弱，并不能说明模型会把另一个区域解释为自身。 为补上这一环，作者引入语义概念锚定和视觉原型投影，两者都是多模态本体注入的组成部分。 语义分支把描述机器人具身的文字编码为归一化参考嵌入，并考察补丁词元与这些参考的相似性。 对每个补丁词元，目标聚合最相关的 top-k 参考，而不是强迫所有词元匹配同一个固定词。 这种灵活匹配允许不同局部纹理对应不同的具身概念，避免把多样机械结构压缩成单一语言标签。 它关注的是表征语义，不是向原任务指令添加新的命令或提示词。

语言概念仍无法充分表达当前机器人表面的材质、几何细节和场景外观，因此还需要视觉分支。 作者使用 SAM 3 在干净观察中分割机械臂，汇聚掩码内的干净视觉特征并归一化，得到视觉原型向量。 该原型作为参考，使补丁区域的特征在余弦意义上接近真实机械臂特征。 这里的“投影”指特征空间对齐，不是重建一条机械臂，也不是通过几何投影直接修改坐标。 语义分支提供较抽象的具身类别约束，视觉分支提供与观察相关的外观参考，作者希望二者共同提升迁移性。 这也暴露了额外依赖：分割质量和代理表征是否忠实描述机械臂，都可能影响参考信号。

3. 交替注入调度：保留抑制，同时轮换两种参考信号

语义类别与具体视觉外观并不总是要求同一种局部特征变化，同时施加两类目标可能产生竞争。 论文以迭代阶段为单位，在语义注入和视觉注入之间切换；抑制目标在切换期间持续存在。 因此交替的是注入模态，而不是在“只抑制”和“只注入”之间二选一。 这种调度试图避免某一种参考长期主导，同时让已经削弱的真实具身信号不在另一阶段恢复优势。 在概念上，它将“破坏原定位线索”与“形成替代解释”联结起来，而没有依赖目标模型的动作离散化方式。 表 5 的结果支持交替调度优于文中同时优化的配置，但作者关于梯度冲突的解释没有在这里被直接量化为梯度夹角或冲突率。

一个完整示例

以 LIBERO 中依据语言指令移动物体的评测为例，干净画面同时包含机械臂和目标物体。 代理侧先记录干净表征及注意力，并从真实机械臂区域形成视觉参考；这些信息只用于离线研究。 随后，局部补丁造成的表征变化同时接受本体抑制目标和当前注入模态的约束。 完成离线过程后，同一个固定补丁转移到另一个 VLA，语言指令仍要求完成原任务。 目标模型可以采用不同动作头，但仍通过自己的视觉处理和控制流程产生动作。 如果机器人停滞或操作错误物体，环境记录的是任务失败；这些现象符合定位受干扰的解释，却不能单独排除其他感知混淆。 这个例子说明研究中的信息流与评测边界，并非额外提出的攻击步骤或真实设备操作方案。

损失函数 / 训练策略

抑制项降低干净与受扰表征的加权相似性，语义注入提高与相关文字参考的对齐，视觉注入降低与机械臂原型的余弦距离。 优化只在可访问的代理侧进行；被评测的目标 VLA 不进行适应性训练，也不需要向该过程提供内部梯度。 原文主实验使用占输入图像面积 5% 的补丁，这一覆盖比例是比较威胁强度时不可省略的条件。 它限制可见改动的面积，但不能等价为人眼不可察觉，也不能保证不同拍摄距离下物理面积相同。 缓存中式 (2) 至式 (10) 多处运算符或括号提取不完整，式 (9) 的显示式与紧随其后的权重说明也无法直接对应。 因此这里仅解释正文可确认的目标方向与交替关系，不把推测补齐的总损失写成作者的精确公式。 下文使用的失败率定义则由实验设置明确给出，可以无歧义保留。

实验关键数据

主实验

LIBERO 包含 Spatial、Object、Goal、Long 四个任务套件，每个套件有 10 个任务。 主实验每个任务执行 50 次 rollout，即每个套件 500 个 episode；消融则每个任务 10 次，两者精度与采样预算不同。 指标是任务失败率，数值越高表示受评测系统完成任务的可靠性越低：

\[ \mathrm{FR}=1-\mathrm{SR}. \]

它包含无扰动时已有的任务失败，不是仅在干净成功样本上统计的攻击成功率。 表中百分数对应上述比例的百分比表示，比较时还需查看同一模型的干净基线。

来源与设置	方法	迁移平均 FR (%)	平均范围
表 1，第 10 页；仿真内迁移	Arm image	19.56	排除代理后的 11 个模型
表 1，第 10 页；仿真内迁移	UADA1-3	37.53	排除代理后的 11 个模型
表 1，第 10 页；仿真内迁移	VLA-Hijack	61.64	排除代理后的 11 个模型
表 2，第 11 页；Real-to-Sim	Arm image	23.45	全部 12 个目标模型
表 2，第 11 页；Real-to-Sim	TMA1-7	21.02	全部 12 个目标模型
表 2，第 11 页；Real-to-Sim	VLA-Hijack	63.68	全部 12 个目标模型

表 1 使用 OpenVLA-Spatial 代理，本文相对 UADA1-3 的迁移平均 FR 高 24.11 个百分点。 表 2 使用真实 BridgeData V2 观察与 OpenVLA-7B 代理，评测仍在 LIBERO 仿真中进行；相对 TMA1-7 的差距是 42.66 个百分点。 Real-to-Sim 不是物理机器人上的端到端测试，也不能将两个表的平均值当作相同目标集合下的直接提升。

消融实验

以下摘取第 12 页表 5 的调度消融：代理为 OpenVLA-Spatial，报告四个 UniVLA 套件上的迁移 FR，采用消融 rollout 预算。 这里保留调度标识是为解释既有实验，不构成补丁生成配置建议。

配置	Spatial FR (%)	Object FR (%)	Goal FR (%)	Long FR (%)	平均 FR (%)
同时优化，无交替	69.00	98.00	19.00	79.00	66.25
交替周期 3	74.00	98.00	20.00	78.00	67.50
交替周期 5	88.00	100.00	28.00	81.00	74.25
交替周期 10	80.00	100.00	23.00	85.00	72.00

表内最好的平均值比无交替配置高 8.00 个百分点，但 Long 单项最高值来自不同周期，不能把平均最优解读为逐项最优。 图 5 报告去掉抑制项或任一注入分支会降低效果；缓存没有可可靠抄录的柱状图数值，因此不补写精确降幅。 原文第 13–14 页正文将表 4 与表 5 的指向交叉：按实际标题，表 4 是注入权重，表 5 才是交替周期。

关键发现

迁移强度明显依赖架构：表 1 的 UniVLA-Object FR 为 100.00%，CronusVLA-Object 为 12.40%，后者干净基线为 7.60%。 因此大幅提高整体平均失败率，并不等于对每个模型都接近完全失效，或者已经找到了所有 VLA 的统一失效机制。 表 3 进一步更换 UniVLA 代理，其中 UniVLA-Object 的 11 模型迁移平均 FR 为 64.35%；该表并没有给出适配后的同类基线完整比较。 论文称现有动作离散化基线不兼容 UniVLA，这限制了该实验对“优于替代方法”的证明范围。

物理实验来自第 14 页表 6：T1 是将纸放入抽屉，T2 是垃圾分类与处置，每个任务执行 20 次试验。 OpenVLA 和多视角、流匹配架构的 \(\pi_0\) 均在采集的真实数据上微调；下面严格按模型列报告。

任务	OpenVLA 干净 FR (%)	OpenVLA 受扰 FR (%)	\(\pi_0\) 干净 FR (%)	\(\pi_0\) 受扰 FR (%)
T1	0	100	0.0	85.0
T2	20	100	5.0	100.0
平均	10	100	2.5	92.5

第 15 页正文把 100% 与 92.5% 表述为 T1、T2 的平均值，但表 6 显示它们实际对应两个模型的跨任务平均值。 这里保留表格含义，并把该处列为原文叙述不一致，不将两种解释合并。

亮点与洞察

• 研究把异构动作头之前的视觉依赖作为分析对象。对防御而言，这提示仅检查输出动作分布可能遗漏更早发生的具身表征错误。
• 抑制与注入被分别消融，使“补丁像机械臂”不再是唯一证据。更有价值的问题是原有定位线索何时失去控制作用，以及系统能否检测这种变化。
• 仿真内迁移、Real-to-Sim 和有限物理试验构成不同证据层级。分开报告比将所有结果汇总成一个“现实成功率”更能说明研究实际覆盖了什么。

局限与展望

• 注意力图和失效现象支持作者解释，但没有直接测量自定位误差或证明其为唯一中介；“幻影具身”应作为机制假说理解，而非模型拥有身体意识的证据。
• 三类主要仿真架构及有限物理模型不覆盖所有 VLA，特别是表征与传感输入更不同的系统；CronusVLA 上较弱的效果是重要边界，而非应被平均值隐藏的例外。
• 物理部分只有两个任务、每个任务 20 次试验，报告表未给置信区间。光照、视角、距离、遮挡及独立重复实验的覆盖仍不足以建立普适部署结论。
• FR 没有区分停滞、抓错物体、轨迹越界等失效严重度。更高 FR 不能直接换算为人员受伤概率或指定危险行为的可控性。
• 视觉与关节状态的一致性检测、多视角互证、异常时安全停机是读者提出的防御评测方向，本文没有证明这些措施有效，也没有建立安全保证。
• 本笔记仅用于学术鲁棒性理解；真实机器人验证应在授权、隔离、具备急停与监督的环境中进行，不应在人员或实际服务任务附近复现实验。

相关工作与启发

• 与 UADA、UPA、TMA 的关系：本文实验中的这些基线主要依赖动作空间目标；VLA-Hijack 转向视觉特征层。这改变了迁移依赖，但同时引入内部表征访问和视觉参考提取的假设。
• 与 OpenVLA、UniVLA、CronusVLA 的关系：三者代表不同动作建模方式，既是被评测系统，也是观察共享视觉依赖是否存在的对照，而不是本文新训练的机器人策略。
• 与 LIBERO、BridgeData V2 的关系：前者提供闭环仿真任务与成功判据，后者提供真实视觉数据；数据来自真实世界并不使随后的仿真评价自动成为物理验证。
• 防御研究启发：可在受控评测中同时报告任务成功率、视觉自定位误差及视觉与本体传感器一致性，检验失效链条是否被阻断；这是后续研究建议，不是论文已验证的结果。

评分

• 新颖性: 4/5。将具身特征抑制与多模态注入结合，形成有针对性的迁移机制研究，但“共同自定位机制”的因果证据仍有限。
• 实验充分度: 4/5。包含 12 个仿真模型、代理切换及物理试验，仍受小规模物理任务、基线兼容性和不确定性报告不足的限制。
• 写作质量: 3/5。方法动机清晰，但表号交叉引用、物理均值叙述及可用缓存的公式完整性需要谨慎核对。
• 价值: 4/5。对机器人视觉鲁棒性评测有明确价值，不能据此宣称所有 VLA 都失效或已有可靠防御方案。

相关论文

• [ECCV 2026] VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model
• [ECCV 2026] VLA-R1: Enhancing Reasoning in Vision-Language-Action Models
• [ECCV 2026] EvoVLA: Self-Evolving Vision-Language-Action Model
• [ECCV 2026] MobileVLA-R1: Reinforcing Vision-Language-Action for Mobile Robots
• [ECCV 2026] BeTTER: Diagnose the Illusion of Embodied Reasoning in Vision-Language-Action Models