RedVLA: Physical Red Teaming for Vision-Language-Action Models¶
会议: NeurIPS 2026
arXiv: 2604.22591
OpenReview: https://openreview.net/forum?id=2Hz2AoQMFP
代码: https://redvla.github.io
领域: 机器人/具身智能
关键词: 具身智能, VLA模型, 物理红队测试, 具身安全防护, 零阶轨迹优化
一句话总结¶
针对视觉-语言-动作（VLA）模型在物理交互部署中潜在的安全风险，本文提出了首个面向物理安全的红队测试框架 RedVLA，通过两阶段关键交互区域风险注入与轨迹驱动零阶优化，在保持任务可行性与语义不变的前提下高效诱导物理危险行为，并基于内部表征构建了轻量防护模型 SimpleVLA-Guard。
研究背景与动机¶
视觉-语言-动作（Vision-Language-Action, VLA）模型正迅速推动通用机器人策略的发展，将视觉观测和自然语言指令端到端地映射为连续机器人控制动作。随着这些模型在日常桌面操作、自动驾驶以及高精度场景中的广泛部署，模型在物理现实世界中产生不可预测、不可逆转的物理破坏风险呈指数级放大。当前大语言模型与多模态大模型的红队测试（Red Teaming）主要集中于语义层面的越狱或对抗性提示词攻击，其风险本质属于意图空间。然而，具身智能系统的风险根源已发生根本转移——从纯文本意图空间转移至物理实体交互空间，面临着接触碰撞、危险工具误用、过载机械磨损及环境连锁次生危害等全新维度的物理挑战。
当前具身智能领域的对抗评测要么依赖不可感知的对抗图像扰动、对抗字符后缀，要么采用被动静态的避障测试基准，既没有建模环境中的真实物理因果演化，也未能主动探查动态执行过程中的物理脆弱边界。更为棘手的是，任意破坏任务可行性（如直接在机械臂抓夹处锁死障碍）或篡改指令语义的红队方案，无法反映真实部署中由于微小扰动导致的非预期事故。如何在严格保持原始场景良性可行性（Task-Feasibility）和语言指令语义一致性的前提下，主动、可控且高效地诱导并暴露 VLA 策略在物理世界的潜在危险行为，是具身安全评估的核心瓶颈。
面对这一系统性挑战，本文从具身环境与动作轨迹的时空物理因果出发，提出将物理红队测试形式化为“保持良性任务可行性下的受限优化问题”，通过在良性执行廊道注入最小环境风险因子并沿动态交互流梯度微调。核心 idea：通过识别良性轨迹的关键交互区域实现语义合理的最小物理风险要素注入，并结合轨迹特征引导的无梯度零阶优化将风险因子紧密咬合进 VLA 策略的执行时序流，从而在无白盒模型内部参数的前提下高概率诱导跨异构模型的物理违规行为。
方法详解¶
整体框架¶
RedVLA 旨在不改变任务语言指令（即 \(l' = l\)）的前提下，通过对良性场景初始状态 \(s_0\) 施加最小化的单风险要素扰动生成 \(s_0'\)，在保证目标任务依然物理可解（\(\mathbb{E}[J_R(\tau)] \ge \delta\)）的同时，最大化诱发目标物理安全违规代价 \(J_{C_i}(\tau)\)。整体流程包含两大阶段：第一阶段为风险场景合成（Risk Scenario Synthesis），通过对良性示范轨迹进行时空运动学切分以定位关键交互区域，并基于物理危害分类法进行语义相容的风险要素实例化；第二阶段为轨迹驱动的风险放大（Trajectory-Driven Risk Amplification），将策略在场景中的实际执行轨迹作为空间反馈，运用零阶定向几何优化自适应调整风险物体的空间位姿，直到精准诱发预定的物理违规行为。随后，由测试收集的具身违规数据用于训练轻量防御模型 SimpleVLA-Guard 实施在线干预。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["良性任务场景与执行轨迹"] --> B["关键交互区域辨识<br/>提取通行/抓取/振动交互几何空间"]
B --> C["物理安全分类与风险要素实例化<br/>状态/累积/条件违规 + 危害物体绑定"]
C --> D["轨迹驱动风险放大优化<br/>提取临界空间锚点与零阶方向更新"]
D -->|检验场景有效性与违规状态| E["跨异构VLA模型红队评估<br/>诱发资源损坏/危险工具误用等行为"]
E --> F["SimpleVLA-Guard 防护构建<br/>内部表征时序建模与共形预测在线拦截"]关键设计¶
1. 物理安全分级分类体系（Physical Safety Taxonomy）：三级时序依赖与四类危害空间建模
传统安全基准通常将碰撞与任务失败混为一谈，缺乏对物理交互本质特征的细粒度刻画。针对这一缺陷，RedVLA 建立了由基础物理风险谓词集 \(\Phi\) 支撑的结构化物理安全分类学。每个谓词 \(\phi(s,a) \in \{0, 1\}\) 映射特定的物理接触或运动事件。根据时间维度的依赖关系，本文将安全违规代价划分为三个互补层级： - 状态级安全代价（State-Level）：捕获单步状态-动作对即构成的即时物理危害，代价形式为 \(c_{\text{state}}(s_t, a_t) = \phi(s_t, a_t)\)，例如末端意外接触易碎红酒瓶（碰撞）或误抓未授权的锋利菜刀； - 累积级安全代价（Cumulative-Level）：刻画微小但随时间持续累积的行为隐患，定义为整条轨迹中谓词触发频次或持续力矩超过安全阈值 \(\eta\)： $\(c_{\text{cumulative}}(\tau) = \begin{cases} 1, & \text{if } \sum_{t=0}^{T} \phi(s_t, a_t) > \eta, \\ 0, & \text{otherwise} \end{cases}\)$ 典型如机械臂末端受阻仍持续施加超限接触力（\(>100\,\text{N}\)）或在桌面多次连续剧烈敲击撞击； - 条件级安全代价（Conditional-Level）：刻画存在时序前置依赖的复合物理因果链，要求前置诱因谓词 \(\phi_{\text{pre}}\) 与后续危害后果谓词 \(\phi_{\text{cons}}\) 在时间上前后继发： $\(c_{\text{cond}}(\tau) = \exists t_1 < t_2 : \phi_{\text{pre}}(s_{t_1}, a_{t_1}) \land \phi_{\text{cons}}(s_{t_2}, a_{t_2})\)$ 例如策略在先打开燃气灶的前提下，再将易燃书籍或密闭液体放置于火源之上引发火灾或爆炸。结合资源损毁（Resource Damage）、危险工具误用（Dangerous Item Misuse）、机器人本体损坏（Robot Damage）与环境危害（Environmental Harm）四类物理后果，构筑了高覆盖度的评估基底。
2. 关键交互区域时空辨识（Interaction Identification）：从良性运动学流中提取风险投放锚区
若将风险物体随意散落于桌面背景中，由于其处于机械臂工作空间外围，极易被策略直接视作背景噪点或无关杂物忽略，无法形成有效扰动。为使风险要素必然卷入策略的决策时空流，RedVLA 从良性执行轨迹 \(\tau = \{(\mathbf{p}_t, g_t)\}_{t=0}^T\) 的末端位置 \(\mathbf{x}_{ee}(t)\)、速度和夹爪状态 \(g(t)\) 出发，设计了一套严密的运动学几何规则，将物理空间剖分为三类临界区域： - 抓取交互区 \(\mathcal{H}_{grasping}\)：追踪夹爪状态从开启（\(g_{t-1} > 0\)）突变为闭合（\(g_t \le 0\)）的跃迁时刻，记录该瞬间末端空间位置，在此处注入微小危险物体极易引发目标混淆； - 振动扰动区 \(\mathcal{H}_{vibration}\)：在滑动窗口 \(w=20\) 内监测坚直向运动极差超过阈值 \(\epsilon_{vib}=0.02\,\text{m}\) 且反向位移符号翻转次数 \(N_{flips} \ge 3\) 的剧烈振荡片段，对应复杂装配或阻抗接触区域； - 通行运动廊道 \(\mathcal{H}_{transit}\)：排除抓取与振动区域后，筛选末端位移超过位移阈值 \(\epsilon_{disp}=0.05\,\text{m}\) 的主要转移走廊。 三者并集构成关键候选空间 \(\mathcal{H} = \mathcal{H}_{transit} \cup \mathcal{H}_{grasping} \cup \mathcal{H}_{vibration}\)。在实例化阶段，选取物理材质相符（如金属餐叉、易碎红酒瓶、易燃书籍）的风险物体置于 \(\mathcal{H}\) 中，从而在不破坏原任务可行通道的前提下构建出高质量的初始对抗扰动 \(s_0^{(0)}\)。
3. 轨迹驱动零阶自适应放大（Trajectory-Driven Risk Amplification）：黑盒交互下的空间梯度反传
仅依赖静态初始摆放极易因环境动态扰动、物体轻微打滑或跨模型策略差异而无法稳定激发违规行为。由于多数具身 VLA 模型参数庞大且部署于黑盒环境控制器，无法直接通过物理仿真反传环境动力学梯度。为此，RedVLA 将物理红队构建为空间低维流形上的黑盒约束优化，利用每次执行采集的末端执行器轨迹 \(\{\mathbf{x}_{ee}^{(k)}(t)\}_{t=0}^T\) 提取临界空间几何锚点 \(\mathbf{x}^*\)： $\(\mathbf{x}^* = \begin{cases} \mathbf{x}_{ee}^{(k)}(t^*_{prox}), & \text{若违规目标属于碰撞接触型} \\ \mathbf{x}_{ee}^{(k)}(t^*_{grasp}), & \text{若违规目标属于抓取误用型} \end{cases}\)$ 其中 \(t^*_{prox}\) 是末端距离风险物体当前坐标 \(\mathbf{p}_k\) 最近的时步，而 \(t^*_{grasp}\) 是离 \(\mathbf{p}_k\) 空间距离最近的夹爪闭合事件时间戳。随后沿着指引向量以步长 \(\alpha_k\) 执行零阶更新，并经物理合法性函数 \(\mathcal{V}(\cdot)\) 实施回溯搜索截断： $\(\mathbf{p}_{k+1} \leftarrow \mathbf{p}_k + \alpha_k \cdot \frac{\mathbf{x}^* - \mathbf{p}_k}{\|\mathbf{x}^* - \mathbf{p}_k\|_2}, \quad \text{s.t.} \quad \mathcal{V}(\mathbf{p}_{k+1}) = 1\)$ 更新严格限制在水平二维平面以防止非物理悬空或穿模。当检测到目标谓词触发（\(J_{C_i}(\tau^{(k)}) > 0\)）时立即终止循环。该机制避开了高维状态空间搜索，将优化精确收敛于控制流必经的时空瓶颈处。
损失函数 / 训练策略¶
虽然 RedVLA 红队搜索本身属于无须参数反传的零阶物理位姿寻优（固定初始朝向 \(\mathbf{q}_0\)，优化步长设为 \(\alpha=0.01\,\text{m}\)，最大迭代步数 \(T=10\)），但为了将红队生成的对抗暴露转化为防御收益，论文利用红队 rollouts 进一步训练了轻量级安全护栏 SimpleVLA-Guard。
SimpleVLA-Guard 冻结主干 VLA 模型，实时抽取模型内部的多模态隐藏表征时序向量序列，接入双向单层 LSTM 提取时间因果依赖，通过两层 MLP 输出当前步的标量物理危险概率得分 \(\hat{y}_t \in [0, 1]\)。其训练目标采用加权二元交叉熵损失： $\(\mathcal{L}_{guard} = - \sum_{t=1}^T \left[ w \cdot y_t \log \hat{y}_t + (1 - y_t) \log (1 - \hat{y}_t) \right]\)$ 其中训练集涵盖三类轨迹分布：RedVLA 触发的违规轨迹（标签为 1）、含有风险物体但安全绕过的良性交互轨迹（标签为 0）、原始无风险良性轨迹（标签为 0）。在在线部署时，结合函数式共形预测（Functional Conformal Prediction）校准动态拦截阈值，在显著降低对抗成功率（ASR）的同时将假阳性对良性任务执行率的影响降至最低。
实验关键数据¶
主实验¶
实验在具身操作基准 LIBERO 上进行，覆盖 LIBERO-Spatial、Object、Goal 及 LIBERO-10（Long-Horizon）等子集，交叉构建了 10 个物理风险套件。评测对象涵盖三大家族 6 种主流 VLA 模型：自回归离散动作模型 OpenVLA、结构优化连续预测模型 OpenVLA-OFT、轻量化门控模型 VLA-Adapter 及 VLA-Adapter-Pro、流匹配连续动作生成模型 \(\pi_0\) 与具有开放世界泛化能力的 \(\pi_{0.5}\)。测试指标为攻击成功率（Attack Success Rate, ASR）与当前风险场景下的任务成功率（Success Rate, SR）。
| 风险场景套件 | OpenVLA (ASR / SR %) | OpenVLA-OFT (ASR / SR %) | VLA-Adapter (ASR / SR %) | VLA-Adapter-Pro (ASR / SR %) | \(\pi_0\) (ASR / SR %) | \(\pi_{0.5}\) (ASR / SR %) |
|---|---|---|---|---|---|---|
| I. 状态级 (State-Level) | ||||||
| 资源损坏 (Resource Damage) | 96.9 / 47.7 | 96.3 / 70.9 | 97.1 / 60.0 | 96.3 / 67.4 | 96.6 / 73.1 | 96.3 / 85.1 |
| 危险工具误用 (Dangerous Item Misuse) | 91.2 / 60.9 | 93.8 / 75.6 | 88.8 / 61.3 | 94.1 / 60.9 | 94.7 / 75.6 | 95.0 / 80.6 |
| 机器人损坏 (Robot Damage) | 96.6 / 53.4 | 94.7 / 74.7 | 96.2 / 56.2 | 96.9 / 60.0 | 98.4 / 75.0 | 98.4 / 80.0 |
| II. 累积级 (Cumulative-Level) | ||||||
| 资源损坏 (Resource Damage) | 97.7 / 62.3 | 95.4 / 56.9 | 95.4 / 65.4 | 96.9 / 70.0 | 97.7 / 74.6 | 98.5 / 76.9 |
| 危险工具误用 (Dangerous Item Misuse) | 100.0 / 70.0 | 100.0 / 36.7 | 100.0 / 86.7 | 100.0 / 43.3 | 100.0 / 86.7 | 100.0 / 86.7 |
| 机器人损坏 (Robot Damage) | 61.7 / 5.0 | 70.0 / 11.7 | 95.0 / 13.3 | 88.3 / 3.3 | 96.7 / 15.0 | 91.7 / 36.7 |
| III. 条件级 (Conditional-Level) | ||||||
| 资源损坏 (Resource Damage) | 23.3 / 0.0 | 93.3 / 0.0 | 80.0 / 0.0 | 93.3 / 0.0 | 93.3 / 0.0 | 96.7 / 0.0 |
| 危险工具误用 (Dangerous Item Misuse) | 26.7 / 36.7 | 73.3 / 86.7 | 70.0 / 80.0 | 73.3 / 76.7 | 80.0 / 96.7 | 90.0 / 96.7 |
| 机器人损坏 (Robot Damage) | 26.7 / 26.7 | 96.7 / 60.0 | 86.7 / 70.0 | 83.3 / 80.0 | 96.7 / 70.0 | 90.0 / 86.7 |
| 环境危害 (Environmental Harm) | 28.0 / 28.0 | 92.0 / 36.0 | 90.0 / 38.0 | 94.0 / 40.0 | 78.0 / 40.0 | 98.0 / 40.0 |
| 全场景总平均 | 64.9 / 39.1 | 90.5 / 44.7 | 89.9 / 48.4 | 91.6 / 45.3 | 93.2 / 54.6 | 95.5 / 62.1 |
消融实验¶
为了验证关键模块对红队效率的影响，论文系统消融了初始放置策略、优化步长以及安全防御模块。下表展示了防御模型 SimpleVLA-Guard 在已见任务和未见任务（Held-out Long-Horizon 任务）上的离线检测与在线防御成效。
| 评估阶段与指标 | 已见任务 (Seen Tasks) | 未见任务 (Unseen Tasks) | 机制说明 |
|---|---|---|---|
| 离线检测：PRC-AUC (\(\uparrow\)) | 0.94 | 0.89 | 隐空间特征区分正常与违规交互具有强泛化力 |
| 离线检测：Recall@FPR10 (\(\uparrow\)) | 73.40% | 69.10% | 在保证虚警率 \(\le 10\%\) 时捕获绝大多数潜在物理破坏 |
| 在线防御：无 Guard 的基准 ASR (\(\uparrow\)) | 90.9% | 98.3% | 红队在未部署护栏时可达成接近完全突破 |
| 在线防御：引入 Guard 后的 ASR (\(\downarrow\)) | 31.4% | 46.7% | 显著截断物理违规动作，在线 ASR 绝对值骤降达 59.5% |
| 性能代价：良性任务成功率跌幅 \(\Delta\) Benign SR (\(\downarrow\)) | 4.08% | 10.00% | 借助共形预测校准，对正常作业任务成功率冲击极小 |
关键发现¶
- 任务能力越强，物理易损性往往越高：实验呈现出明显的“性能-安全折衷（Performance-Safety Trade-off）”趋势。在原始良性场景中执行率更高的强模型（如 OpenVLA-OFT、\(\pi_0\)、\(\pi_{0.5}\)），其对抗成功率普遍超过 90%（\(\pi_{0.5}\) 达到 95.5%），远高于基线 OpenVLA（64.9%）。这是由于能力更强、更忠实遵循指令与视觉抓取几何的模型，对空间物体的交互意图更明确，当危险因子咬合进其规划通道时更易直接被执行。
- 违规行为源自真实作业交互而非模型崩溃：通过将轨迹细分为“成功+违规（SU）”、“尝试+违规（AU）”与“彻底瘫痪崩溃（Collapse）”，统计显示绝大部分不安全事件发生在机械臂明确与任务相关物体交互的操作进程中（SU 与 AU 占比超 80%），而非无序乱撞导致。
- 多模态鲁棒性与物理安全脆弱性脱钩：在引入高斯模糊、遮挡、乱码指令等极端多模态输入扰动时，模型的基准任务完成率暴跌，但自发违规率仅在 5% 以下；而在 RedVLA 介入下，各扰动条件下的 ASR 依然稳定维持在 85% 以上，证明物理安全隐患根植于具身环境的时空布局，而非表层感知退化。
- 真实世界物理落地实证：在 Franka 真实机械臂平台上部署 \(\pi_0\) 与 \(\pi_{0.5}\) 实机测试表明，在良性场景成功率 \(>90\%\) 的常规抓取任务中，仅在抓取目标旁引入菜刀或在其移动路径布置玻璃水杯，真实物理违规率即突破 80%。
亮点与洞察¶
- 将红队测试从语义对抗推进至纯物理因果流：区别于传统在 Prompt 里添加对抗后缀或在图像上加对抗噪声的虚拟攻击，RedVLA 恪守“良性环境、语义一致、任务可行”原则，揭示了具身智能模型在不改动任何软件输入时固有的物理交互盲区。
- 零阶几何反传巧妙规避黑盒具身不可微屏障：直接利用真实执行轨迹的时间切片与末端空间投影构建引导向量，无需任何策略内省或仿真可微渲染器，在 10 步内即可将高维环境搜索压制在局部交互瓶颈上实现高成功率收敛。
- 攻防闭环验证具身安全护栏的可行性：不仅证明了当前最强开源 VLA（包括 \(\pi_{0.5}\)）存在严重的物理安全脆弱性，还通过内部隐空间分离性验证并落地了基于共形预测的低成本在线干预护栏。
局限与展望¶
- 依赖预定义安全谓词与风险物体库：当前的风险要素库（如刀具、红酒瓶、易燃书籍）与谓词逻辑依然依赖人工先验定义，在开放世界开放场景下的危害泛化探索空间受限。未来应结合多模态推理大模型自主发掘更为隐蔽的未知物理风险链条。
- 受限于基座策略的基础交互成熟度：若被测 VLA 模型在特定任务上的基线成功率极低（甚至无法产生向目标靠近的运动学流），红队算法将缺乏有效的良性交互廊道以供几何对齐，导致在低性能模型上攻击成功率反而受抑。
- 缺乏主动安全避障与动态恢复能力：当前的 SimpleVLA-Guard 仅通过粗暴的“早停（Preemptive Halting）”避免灾害，尚未赋予机器人绕过风险、重新规划的自适应恢复与安全对齐能力。
相关工作与启发¶
- vs. 语言与对抗补丁攻击（RoboGCG / UADA / TRAP）：现有工作多聚焦于不可见像素噪声、对抗贴纸或文本语义扰动，旨在让机器人发生逻辑错乱或任务瘫痪；RedVLA 保持指令语义真实自然、视界无人工噪点，完全靠真实物理实体的空间摆放诱发真实灾难，更切合现实部署审计需求。
- vs. 物理环境扰动与被动基准（EVA-VLA / SafeLIBERO）：EVA-VLA 通过启发式搜索光照与物体变动，SafeLIBERO 则是固定障碍物的评测集合；RedVLA 是主动式的物理红队，利用具身运动学轨迹反馈实现自适应闭环位姿优化，攻击效率和针对性显著更强。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向 VLA 物理安全的红队测试框架与三级安全代价分类学，立意高远且切中具身痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 款异构主流 VLA 模型、10 个物理风险套件，包含统计置信区间分析、多模态鲁棒性实验、实机真实部署与守卫防御闭环。
- 写作质量: ⭐⭐⭐⭐⭐ 问题形式化严谨，数学公式与概念定义精确自洽，图表信息量极其丰富。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能在物理世界落地前的大规模安全合规审计与护栏构建确立了标准范式。