Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies¶

会议: NeurIPS 2026
arXiv: 2605.17204
代码: https://github.com/xc-j/Event-SAE
领域: 机器人
关键词: 视觉语言动作策略, 机械可解释性, 稀疏自编码器, 事件锚定, 闭环因果干预

一句话总结¶

针对视觉语言动作（VLA）策略输出动作空间难以直接利用语言词表进行特征解释的瓶颈，提出一种基于运动学关键帧聚类的事件锚定稀疏自编码器（SAE）分析管线，通过无监督的动作流事件聚类与残差保持隐式编辑，实现了 VLA 潜空间特征与闭环物理行为的无人工标注因果解释。

研究背景与动机¶

视觉语言动作（Vision-Language-Action, VLA）模型直接将高维视觉观测与自然语言指令映射为机器人底层控制动作，其隐层表征在闭环交互中直接决定连续轨迹演化与接触动力学行为。然而，在以大语言模型和多模态大模型为代表的机械可解释性领域中广泛使用的工具（如 logit lens 与稀疏自编码器 SAE 特征解码）无法直接迁移到具身动作策略上。其核心阻碍在于两点：其一，VLA 输出的是机器人动作指令而非离散、可读的文本 token，将隐层特征向词表空间投影无法获得稳定且具备实际语义的解释；其二，动作策略的因果验证必须通过昂贵的长程闭环物理交互（rollout）体现，单步干预的语义效应极度微弱且容易在后续时间步中产生无法预估的漂移。

现有的 VLA 可解释性研究通常依赖激活统计量手工筛选特征，再通过人工回放轨迹视频进行事后对齐与标注。这种模式不仅严重受限于人工标注的扩展性瓶颈，且单纯的时间共现无法建立特征与动作执行之间的因果驱动关系。此外，VLA 策略内部往往存在大量捷径机制与纠缠特征，缺乏一个独立于 SAE 自身激活统计量且贴合连续物理控制特性的客观行为锚点。

为了打破对语言词表投影的依赖并规避昂贵的人工标注，本文提出将机械可解释性锚定于交互轨迹中周期性复现的物理行为事件。核心 idea：利用自动轨迹关键帧提取与多模态局部聚类在外部无监督建立行为事件锚点，计算全量存活 SAE 特征的时序模式对齐度进行排序，并借助残差保持隐式编辑在闭环仿真与真机中验证特征的因果控制效用。

方法详解¶

整体框架¶

本文构建了一套将闭环 VLA 轨迹自动解构为行为语义单元并进行因果评分的端到端管线。整体流程由四个串联且解耦的阶段组成：首先在策略残差流上无监督训练 BatchTopK 稀疏自编码器以恢复解纠缠潜特征；其次利用自动航路点提取（AWE）从机械臂末端执行器运动中抽取无关于内部激活的运动学关键帧；随后融合视觉图像切片、机械臂状态与时序进度向量进行任务局部的凝聚层次聚类，筛选出高频复现的行为事件，并引入 VLM 赋予语义标签；最后计算候选特征与事件窗口模板的时序匹配度完成特征排序，并通过残差保持隐式编辑在闭环测试中量化因果效应。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["闭环策略交互轨迹<br/>视觉帧 + 机械臂末端状态"] --> B["阶段 1：BatchTopK SAE 训练<br/>逐 token 残差流稀疏重构"]
    A --> C["阶段 2：运动学关键帧提取<br/>AWE 拟合末端位姿误差 η"]
    C --> D["阶段 3：多模态事件聚类<br/>视觉 + 状态 + 进度 凝聚聚类"]
    B --> E["阶段 4：时序模板事件对齐排序<br/>脉冲 / 阶跃模板匹配"]
    D --> E
    E --> F["阶段 5：残差保持隐式编辑<br/>缩放因子 α 闭环因果验证"]
    F --> G["闭环控制表现评估<br/>成功率 SR 与真机动作偏差"]

关键设计¶

1. BatchTopK 稀疏自编码器与闭环保真度准则

针对传统 L1 正则化 SAE 存在的收缩偏差和特征激活预算难以恒定的缺陷，本文在 VLA 残差流上采用 BatchTopK 算子。给定隐状态 \(\mathbf{h} \in \mathbb{R}^d\)，编码器输出稀疏特征 \(\mathbf{z} = \mathrm{BatchTopK}(W_{\mathrm{enc}}\mathbf{h} + \mathbf{b}_{\mathrm{enc}}) \in \mathbb{R}^m\)（其中字典维度 \(m \ge d\)），在整个 minibatch \(B\) 中仅保留前 \(k \cdot B\) 个最大的预激活值并将其余置零，平均每个样本的活跃特征预算严格控制在 \(k=64\)。模型联合优化重构误差与唤醒死特征的辅助损失 \(\mathcal{L}_{\mathrm{aux}}\)：

\[\mathcal{L}_{\mathrm{SAE}} = \frac{1}{B}\sum_{i=1}^{B}\|\mathbf{h}^{(i)}-\hat{\mathbf{h}}^{(i)}\|_{2}^{2} + \lambda_{\mathrm{aux}}\mathcal{L}_{\mathrm{aux}}\]

在自编码器质量评估上，本文发现传统离线可解释方差（FVE）高并不代表闭环控制可用。因此提出 Hooked SR 这一关键保真度指标：在指定层挂载 Hook 将原隐状态完全替换为重构值 \(\mathbf{x}' = \mathrm{Dec}(\mathrm{Enc}(\mathbf{x}))\) 并执行闭环测试。实验证明离散动作解码的 OpenVLA 在早期层极易发生误差累积瘫痪，唯有靠近动作头的第 31 层可保持 34.8% 的 Hooked SR；而基于流匹配连续动作块的 \(\pi_{0.5}\) 则在所有层维持了 95% 以上的 Hooked SR。

2. 运动学关键帧无监督提取与多模态事件聚类

为了脱离词表投影并摆脱人工介入，本文利用自动航路点提取（AWE）算法处理末端执行器轨迹。该方法在固定重构容差 \(\eta=0.05\) 的约束下，用极少量的线性插值航路点逼近完整路径，以此定位运动方向剧烈突变的关键时间步 \(t_i\)。由于关键帧仅由运动学几何驱动，该提议过程与模型内部激活完全解耦。

在关键帧聚类阶段，若仅依靠末端三维坐标，会导致“抓取”与“释放”等在同一空间位置发生的不同语义行为混淆。因此，本文构建了混合特征描述符，将时间步 \(t_i\) 附近的归一化视觉切片嵌入 \(\mathbf{v}\)、包含末端位姿与夹爪开合状态的机械臂状态 \(\mathbf{s}\)、以及时间进度标量 \(p\) 进行加权拼接：

\[\mathbf{d} = [\lambda_v \mathbf{v},\, \lambda_s \mathbf{s},\, \lambda_p p], \quad \text{其中 } \lambda_v=1.0, \lambda_s=0.5, \lambda_p=0.4\]

利用凝聚层次聚类（余弦距离阈值 0.18）在任务内部进行聚合，且仅保留在至少 50% 轨迹中重复出现的聚类作为鲁棒行为事件单元，并可选用 VLM 进行语义阶段标签标注（如接近、接触、释放等）。

3. 事件对齐与时序形状匹配排序策略

为了在数万维的稀疏特征中自动筛选出真正负责特定控制逻辑的特征，本文设计了基于时序波形相似度的事件对齐排序（Event-aligned ranking）。不同于仅统计绝对幅值的均值方法，该策略在事件中心点 \(t_i\) 展开 \(\pm w\)（\(w=5\)）的时间窗口，首先减去特征在窗口内的均值 \(\bar{z}^{(i)}_{f}\) 以消除静态基线偏移，随后将其投影到三类典型时序物理模板上：代表瞬时接触冲击的脉冲模板 \(q_{\mathrm{pulse}}\)，以及代表夹爪开合或阶段切换的状态跃迁模板 \(q_{\mathrm{up}}\) 和 \(q_{\mathrm{down}}\)：

\[s_{i}^{q}(f) = \max\left(\sum_{\delta=-w}^{w}(z^{(i)}_{f,\delta} - \bar{z}^{(i)}_{f}) q(\delta),\; 0\right)\]

在聚类与任务级聚合中，通过对不同 episode 取最大匹配模板的分数均值，精准捕捉在关键动作节点发生响应的神经元，将时序几何模式与静态激活强度彻底解耦。

4. 残差保持隐式编辑干预机制

在测试特征因果性时，传统的解码向量外加法干预（\(\mathbf{x}' = \mathbf{x} + \alpha d_i\)）会导致注入向量模长远超原生残差模长（\(\rho > 1\)），从而粗暴破坏原始语义分布并诱发机械臂剧烈抽搐。本文提出残差保持隐式编辑（Residual-Preserving Latent Edit）：在 SAE 编码空间中针对目标特征集合 \(S\) 应用缩放因子 \(\alpha\)：

\[z'_i = \begin{cases} \alpha z_i, & i \in S \\ z_i, & i \notin S \end{cases}\]

前向传播时仅注入编辑引起的增量偏置：\(\mathbf{x}' = \mathbf{x} + \mathrm{Dec}(\mathbf{z}') - \mathrm{Dec}(\mathbf{z}) = \mathrm{Dec}(\mathbf{z}') + \mathrm{err}(\mathbf{x})\)。该形式保证了原始特征中未被 SAE 解释的重构残差 \(\mathrm{err}(\mathbf{x})\) 得到 100% 的无损保留，使干预精细作用于可解释特征轴，其中 \(\alpha=0\) 对应硬置零因果阻断，\(\alpha \in [0, 1]\) 实现渐进式软编辑调节。

损失函数 / 训练策略¶

SAE 模型在每个 (架构分支, 数据集, 层数) 下独立训练。输入为从 50 次任务闭环测试中采集的逐 token post-block 残差流状态，不进行跨 token 均值池化以维持动作细粒度。优化器采用 Adam，OpenVLA 学习率设为 \(5\times 10^{-5}\)（训练 4k 步），\(\pi_{0.5}\) 骨干与动作专家设为 \(1\times 10^{-4}\)（训练 10k 步），预热步数为 1,000 步，在 80% 步数处开启衰减，Minibatch 设为 40,000。

实验关键数据¶

主实验¶

在 LIBERO 四个基准测试集（Spatial、Object、Goal、10）上，对 OpenVLA 与 \(\pi_{0.5}\)（区分 PaliGemma 视觉语言前缀骨干 PG 与流匹配动作专家 AE）各层的特征执行单个特征硬置零（\(\alpha=0\)）干预，评估闭环成功率变化 \(\Delta\text{SR} = \text{SR}_{\alpha=0} - \text{SR}_{\mathrm{baseline}}\)。

策略流分支	介入层数	基准 SR (%)	事件对齐 (Event) SR (%) [\(\Delta\text{SR}\)]	窗口均值 (Window) SR (%) [\(\Delta\text{SR}\)]	任务均值 (Task) SR (%) [\(\Delta\text{SR}\)]	随机存活对照 (Random) SR (%) [\(\Delta\text{SR}\)]
OpenVLA 残差流	Layer 31	70.0%	48.8% (-21.2)	63.8% (-6.2)	63.5% (-6.5)	68.7% (-1.3)
\(\pi_{0.5}\) PG 骨干	Layer 0	96.8%	94.7% (-2.2)	95.5% (-1.4)	96.0% (-0.9)	96.2% (-0.7)
\(\pi_{0.5}\) PG 骨干	Layer 5	96.8%	96.0% (-0.9)	95.8% (-1.0)	96.7% (-0.2)	96.3% (-0.5)
\(\pi_{0.5}\) PG 骨干	Layer 11	96.8%	94.2% (-2.7)	94.7% (-2.2)	94.0% (-2.8)	95.8% (-1.0)
\(\pi_{0.5}\) PG 骨干	Layer 16	96.7%	96.0% (-0.7)	96.7% (+0.0)	95.2% (-1.5)	96.3% (-0.3)
\(\pi_{0.5}\) 动作专家 (AE)	Layer 0	96.4%	0.0% (-96.4)	0.0% (-96.4)	0.0% (-96.4)	95.7% (-0.7)
\(\pi_{0.5}\) 动作专家 (AE)	Layer 5	96.4%	0.8% (-95.6)	0.2% (-96.2)	0.2% (-96.2)	73.0% (-23.4)
\(\pi_{0.5}\) 动作专家 (AE)	Layer 11	96.4%	0.0% (-96.4)	0.2% (-96.2)	0.0% (-96.4)	88.3% (-8.1)
\(\pi_{0.5}\) 动作专家 (AE)	Layer 17	96.4%	15.2% (-81.2)	0.0% (-96.4)	0.0% (-96.4)	89.3% (-7.1)

消融实验¶

针对特征排序选择的机制重合度与不同干预策略对控制性能的影响展开消融与对比分析：

评估配置 / 模块	关键指标	说明
OpenVLA Top-K 特征重合度 (Event \(\cap\) Window)	5.0%	事件时序对齐选出的特征与纯幅值均值特征几乎正交，挖掘出隐藏的低幅值关键瞬态特征
\(\pi_{0.5}\) Top-K 特征重合度 (Window \(\cap\) Task)	97.0%	局部窗口均值与全局任务均值特征高度重合，说明静态激活度缺乏局部时序特异性
解码向量累加干预 (\(d_i, \alpha=150\))	SR 0.0% (扰动比 \(\mathbb{E}[\rho]=1.54\))	外加向量模长超过原生残差 1.54 倍，完全改写表征空间导致机械臂锁死离轨
残差保持隐式编辑 (\(\alpha=0\))	SR 48.8% (原生残差保真)	仅切断目标 SAE 解释分量并保留重构残差，能够平稳量化单一特征的因果下掉
目标/非目标任务特异性测试 (OpenVLA)	目标 SR 64.1% vs 非目标 SR 63.1%	针对特定任务事件挑选的特征在同 suite 其他任务同样致盲，证实表征具有跨任务共享性

关键发现¶

显著的架构与介入层敏感性分异：OpenVLA 第 31 层在事件对齐排序下表现出强因果响应（成功率下降 21.2 个百分点，显著高于随机存活对照组的 -1.3），证实了动作解码时序特征的因果性；而 \(\pi_{0.5}\) 的 PaliGemma 骨干网络由于后续动作专家交叉注意力 KV-Cache 的特征稀释机制，单特征编辑几乎不影响闭环结果；反之，其动作专家网络对任意扰动呈现宽泛的高度敏感性，导致置零干预下几乎全盘崩溃。
软干预呈现陡峭门控效应：在 \(\pi_{0.5}\) 动作专家上对编辑缩放因子 \(\alpha\) 进行连续扫描（\(0 \to 1\)）时，闭环成功率随 \(\alpha\) 增大表现出剧烈的单调陡峭回升，说明闭环二值化成功率对残差流扰动类似“硬开关”而非线性微调旋钮，对物理实体真机的部署提出了极高的校准要求。
真机操控展现受控导向：在 Mobile ALOHA 实体机械臂上进行的薯片趋近实验（LoRA 微调 \(\pi_{0.5}\)）表明，在动作专家第 17 层对特定 SAE 特征进行保守软抑制，能直接定量增大末端对指令目标的偏离距离，验证了 SAE 特征在物理现实中承载因果转向控制的可行性。

亮点与洞察¶

将可解释性分析的锚点从离散文本词表转移到连续轨迹动力学事件，利用 AWE 运动学关键帧与多模态聚类，实现了零人工标注的自动化特征评分闭环。
提出了残差保持隐式编辑算子，相比既往直接在残差流中暴力累加数百倍模长解码向量的做法，该方法在保持原始未建模残差不变的前提下仅缩放已知特征，极大减轻了分布外漂移带来的伪崩溃。
揭示了多模态大动作模型在不同子系统间的因果杠杆不对称性：视觉语言主干特征被深度跨注意力充分平滑稀释，而动作流解码器由于缺乏安全阻尼机制，极易因单个潜特征微扰引发全轨迹失稳。

局限与展望¶

论文明确指出的局限包括：事件对齐特征并非单一任务的私有回路，跨任务消融实验表明顶层特征承担了大量基础运动学泛化原语；此外，利用 VLM 标注的事件短语和阶段标签目前仅用作可视化辅助，尚未融入特征评分与引导的循环中。
二值化成功率评估过于粗糙，难以捕捉机械臂末端加加速度（jerkiness）、碰撞力以及渐进位姿偏差等亚稳态行为变化；在真机部署中，强力干预极易造成执行器剧烈失稳甚至损坏硬件，安全边界仍然严峻。
未来的改进方向应探索结合连续流匹配轨迹距离的细粒度行为度量指标，并将语义层级先验显式引入稀疏正则优化，构建具备内在安全界限的可控干预基底。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立独立于语言词表、基于行为运动学事件锚定的 VLA 稀疏自编码器闭环可解释性研究范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖离散与连续两套主流 VLA 架构、LIBERO 全套仿真基准、消融测试以及 Mobile ALOHA 实体机械臂闭环验证。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑清晰，对不同架构与介入层的机理分异剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能策略的安全审计、控制意图归因以及面向高风险物理部署的潜在干预机制奠定了重要基石。