Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration¶

会议: ECCV2026
论文: ECCV 原文
项目: IGAR
领域: 机器人/具身智能
关键词: 视觉语言动作模型、语言落地、矛盾指令、注意力 sink、免训练重校准

一句话总结¶

本文用 ICBench 揭示 VLA 在指令与场景矛盾时仍完成原任务的“语言盲视”，再以免训练注意力重校准 IGAR 降低这种错误执行，例如 π0 在 LIBERO-Goal 空间矛盾下的成功率由 76.4% 降至 36.4%，但改善并非覆盖所有模型与条件。

研究背景与动机¶

视觉语言动作模型（VLA）把图像与自然语言指令直接映射为机器人动作，常以操作成功率评价能力。然而，桌面布局本身可能已经暗示了训练中最常见的动作：看见碗和盘子，模型就把碗放到盘子上。即使输入改成“拿起白碗”，而画面里只有黑碗，机器人仍可能完成原来的黑碗任务。通常被当作好结果的高成功率，此时反而暴露了语言没有真正约束动作的问题。

已有有效指令评测难以区分“理解了指令”与“利用视觉先验猜对了任务”。本文因此固定场景和环境动力学，只对物体属性、目标属性或空间关系作最小语言修改，使新指令在当前场景下无法满足。这样可以检查动作是否会随语义约束改变，而不把摄像机扰动、物体位置改变等感知难度混进来。不过，矛盾条件下不完成任务只能提供行为敏感性的证据，仍需进一步区分语义拒绝、控制退化与随机失败。

作者把这种视觉主导现象与 Transformer 的注意力 sink 联系起来：少数 token 的异常激活可能吸走注意力，让真正描述对象和约束的词失去影响。与重新收集反事实演示并微调策略不同，本文尝试直接利用已有模型内部的语言能力。核心 idea：先用固定场景下的矛盾指令暴露语言盲视，再在推理时选择性地把 sink 占据的注意力分配给非 sink 指令 token，使语言重新影响动作生成。

方法详解¶

整体框架¶

论文由诊断基准 ICBench 与干预方法 IGAR 两部分组成。ICBench 是外部评测设计，不是运行时的矛盾检测器；IGAR 也不先输出“指令可执行/不可执行”的分类标签，而是直接修改已有 VLA 前向传播中的注意力。

推理输入仍是当前观测和用户指令，输出仍由原动作模块生成。IGAR 依次执行“注意力 sink 检测”“落地头筛选”“文本注意力重分配”，模型权重保持冻结；图中所有干预都发生在推理阶段，没有额外训练监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["观测 + 指令<br/>冻结的 VLA 前向传播"] --> B["注意力 sink 检测"]
    B --> C["落地头筛选"]
    C --> D["文本注意力重分配"]
    D --> E["原动作模块<br/>输出机器人动作"]

ICBench 包括四类矛盾：V1 把操作对象属性替换成场景中不存在的属性；V2 给目标位置添加不成立的属性；V3 同时修改操作对象和目标属性；V4 替换空间关系。比如把“黑碗放到盘子上”改成“白碗放到黑盘子上”属于 V3，前提是固定场景中不存在这些指定对象。空间关系替换也必须在具体场景里确实不可满足，不能把任何“上方→下方”的改写自动视为矛盾。

评价仍检查原任务是否完成，而不是把矛盾指令当作另一个可达目标。论文定义语言落地分数（Linguistic Grounding Score, LGS）：

\[ \operatorname{LGS}(\tilde{\ell})=\operatorname{SR}(f_\theta,\ell)-\operatorname{SR}(f_\theta,\tilde{\ell}). \]

其中前者是有效指令下的原任务成功率，后者是在矛盾指令下仍完成原任务的成功率。SR 以百分数记录时，LGS 是百分点差；接近零表示改指令基本没改变执行结果，负值表示矛盾条件的测得成功率反而更高。这个定义不直接测量语义理解，也没有赋予“悬停”或“空抓”一个独立安全标签。

关键设计¶

1. 注意力 sink 检测：寻找局部尖峰，而不是把所有高幅值 token 都当作异常

IGAR 从中间层隐藏状态出发，检查每个特征维度在不同 token 上的绝对激活。关键是比较该维度的最大值与平均值：如果所有 token 都很大，这更像普遍激活；只有少数 token 特别大，才符合局部 sink 尖峰的假设。原文先列出了每个 token 的 RMS 范数，但后续明确的筛选规则使用的是这种跨 token 的尖峰比率，并非单靠 RMS 排序。

具体地，先保留尖峰比率超过 3.0 的维度，再从中选取 top-5；某个 token 若在入选维度上的最大绝对激活超过 20，就被标记为 sink。随后根据 token 所属模态，把它们分成视觉 sink 与文本 sink。这样的检测只依赖当前前向传播状态，不需要异常标签；但它检测的是激活结构，不等价于识别哪个名词、颜色词或介词在语义上错误。

2. 落地头筛选：保留有视觉交互、却未被视觉 sink 淹没的位置

筛选粒度不是简单的“整层”或“整个头”，而是层内的注意力头与查询位置组合；查询位置取图像区域之后的位置。每个候选必须同时满足两个条件：分给视觉 sink 的注意力占全部视觉注意力的比例不超过 0.4，同时全部视觉注意力至少为 0.01。前一条件排除已经被结构性 sink 主导的组合，后一条件排除几乎只处理文本、没有实际跨模态交互的组合。

这处不等式方向很重要：IGAR 并不是专挑视觉 sink 最严重的头去强行修复，而是选择仍保有可用视觉交互的组合来加强指令影响。如果没有检测到视觉 sink，第一个条件自然通过，但视觉注意力的下限仍有效。其动机是避免无差别修改动作解码所需的所有注意力路径，让语言调整集中在可能承载跨模态语义交互的位置。

3. 文本注意力重分配：把文本 sink 的预算还给普通指令 token

对于入选的头与查询位置，原文使用保留系数 0.6 衰减 sink 注意力，再把释放的预算按原注意力比例分给非 sink 文本 token。这里需要区分概述与可读公式：虽然论文反复强调“视觉主导的 sink”，式 (7) 明确对文本 sink 集合求和，式 (8) 的接收者也是非 sink 文本集合。因此，不宜把该机制写成已明确实现的“视觉 token 总预算直接搬到文本 token”。

下面保留式 (7)–(8) 所表达的核心关系，其中 \(S_T\) 是文本 sink 集合，\(T_{ns}\) 是非 sink 文本集合，\(A^h_{q,j}\) 是对应注意力权重，\(p=0.6\)：

\[ \Omega_{hq}=(1-p)\sum_{j\in S_T}A^h_{q,j},\qquad A'^h_{q,j}=A^h_{q,j}+\Omega_{hq}\frac{A^h_{q,j}}{\sum_{j'\in T_{ns}}A^h_{q,j'}+\epsilon},\quad j\in T_{ns}. \]

这种按比例补回的方式沿用模型已有的文本关注顺序，不额外训练词重要性打分器。它也意味着原本几乎没被关注的关键约束词，不会自动获得均匀或最高权重；若没有文本 sink，可释放预算就是零。视觉 sink 在筛选阶段的重要作用，与文本 sink 在预算公式中的作用应分开理解，原文没有足够细节支持进一步补写跨模态总质量守恒或所有实现分支。

一个完整示例¶

假设画面只有黑碗和普通盘子，用户却要求“把白碗放到黑盘子上”。ICBench 将其记为 V3，并继续检查原来的放碗任务是否完成；它不会因为机器人成功搬动黑碗而认定新指令被满足。IGAR 则读取此次前向传播的尖峰状态和注意力，只对通过两道筛选的头与查询位置执行重分配。

用一组仅用于说明计算、并非论文实测的权重举例：某组合有 0.20 注意力落在文本 sink 上，两个非 sink 文本 token 分别得到 0.10 和 0.30，其余 token 共占 0.40。保留系数 0.6 使文本 sink 降至 0.12，释放 0.08；忽略数值稳定项后，这两个文本 token 按 1:3 分别获得 0.02 和 0.06，变为 0.12 和 0.36。增加的语义影响随后通过原动作网络传播，而不是调用一个新的停止控制器。

这个例子解释的是注意力预算怎样改变，不保证“白色”这个词一定属于接收者，也不保证机器人一定停止。实测关注的是矛盾条件下原任务完成率是否下降，以及正常条件下完成率是否保留，两者需要一起看。

损失函数 / 训练策略¶

IGAR 没有新增损失函数、梯度更新或额外训练数据。π0.5 与 OpenVLA-OFT 在前 16 层施加干预，使用统一的 sink 检测阈值与筛选参数，不针对每个任务调参；超参数分析另考察了衰减强度、头筛选边界和干预层数。

π0 的连续 flow-matching 生成路径有特殊处理：第 5.1 节称其采用离散对比形式，并给出触发阈值 0.15 和插值上限 0.50，却没有在本文正文中展开完整计算过程。因此，不能把 π0 的实验结果解释成已证明与另外两个模型完全相同的注意力实现。原文一处称前 16 层，另一处以“中层语义融合”解释参数选择，精确层索引仍应以实现为准。

实验关键数据¶

主实验¶

实验覆盖 LIBERO 的 Spatial、Object、Goal 共 30 个仿真操作任务，每个任务变体运行 50 次独立 rollout。以下主表摘取 Goal 的 V1、V4，SR 为在矛盾指令下仍完成原任务的比例，越低越好；正常指令不是这里的比较条件。

模型	Goal 矛盾类型	基线 SR (%)	IGAR SR (%)	基线 LGS	IGAR LGS
π0	V1：对象属性	90.2	46.4	5.6	49.4
π0	V4：空间关系	76.4	36.4	19.4	59.4
π0.5	V1：对象属性	93.8	90.2	3.8	7.4
π0.5	V4：空间关系	93.6	96.2	4.0	1.4
OpenVLA-OFT	V1：对象属性	97.8	66.4	0.2	31.6
OpenVLA-OFT	V4：空间关系	90.2	58.4	7.8	39.6

数字来自原文表 1、2。表 2 的 LGS 使用表 1 的未干预正常 SR 作参考，例如 π0 的 95.8 − 36.4 = 59.4；若用表 3 中干预后的正常 SR 95.6 计算，则是 59.2。这里保留原表口径，不把两种定义混写。

模型	正常指令平均 SR：基线 (%)	正常指令平均 SR：IGAR (%)	变化（百分点）
π0	97.1	96.7	-0.4
π0.5	97.8	96.3	-1.5
OpenVLA-OFT	98.0	98.5	+0.5

第二表为原文表 3 的三个 suite 平均值；π0.5 的 Object 单项从 98.4% 降到 94.4%，下降 4.0 个百分点，不能一概称为“无性能损失”。OpenVLA-OFT 的延迟在单张 NVIDIA RTX 5090、50 次测量下由 98.7 ± 2.0 ms 增至 105.6 ± 0.5 ms；作者报告约 +7.0 ms，表面均值相减为 6.9 ms。

消融实验¶

以下为原文表 4：π0.5、LIBERO-Goal、ICBench V1，不是上面提升最大的 π0/V4 条件。Attn-to-Text 是原文报告的文本注意力量，正文未明确其跨层、跨头聚合细则，不应将它解读为独立的语言正确率。

配置	Attn-to-Text	LGS	相对完整 IGAR 的 LGS 差
基线	0.08	3.8	-3.6
完整 IGAR	0.15	7.4	0.0
去掉 sink 检测	0.11	4.6	-2.8
去掉头筛选	0.10	4.2	-3.2
只有检测	0.08	3.8	-3.6

关键发现¶

检测本身不改变行为，真正的重分配不可缺少；在此消融条件下，去掉头筛选比去掉 sink 检测损失略大，但不能据此推广为所有模型的贡献排序。
改善有明显架构依赖：π0 在 Goal 上收益大，π0.5 的 Goal/V4 却恶化；其 Spatial/V4 的矛盾 SR 也从 97.6% 升至 99.6%。原文“持续降低”的概括比表格证据更强。
图 4 在 OpenVLA-OFT/Goal 上报告过强或过弱衰减都不理想，干预超过 24 层可能损害深层动作表示；文本缓存没有可可靠提取的曲线精确数值，因此不补造数值表。
真实实验使用 Franka Research 3、两台 Intel RealSense D435 和 π0，执行蓝色方块入抽屉任务；矛盾时展示悬停、空抓等行为，但没有报告足够的重复次数与成功率统计。

亮点与洞察¶

固定画面、只改语言，把“操作能力强”与“真正遵守语言约束”分开检查。这个诊断可以补充普通成功率，却不能替代安全指标。
选择头与查询位置再调整注意力，比全局增强语言更细粒度。消融支持筛选与重分配共同起作用，而不是激活可视化本身带来收益。
免训练修正显示已有策略内的语言信号可能尚可利用。其价值在于低成本干预，但收益大小仍受模型架构与原始注意力分布约束。

局限与展望¶

作者呈现的边界：结果讨论承认 π0.5 收益较小，超参数分析也说明干预过强会伤害表征；论文没有单独的系统性局限章节。
本笔记判断：LGS 无法区分有意识拒绝和控制失败；空抓不天然安全。后续应单独记录拒绝正确率、危险接触、恢复行为与有效指令误拒绝。
本笔记判断：π0 适配过程、文本注意力聚合定义及 sink 预算叙述仍有复现缺口；注意力变化与成功率变化不足以独立证明完整的语义理解因果链。
本笔记判断：三类 LIBERO suite 和单个实机任务不足以覆盖开放词汇、可执行但罕见的指令及长时序操作。值得增加可执行反事实对照，排除“只要语言陌生就停”的退化策略。

评分¶

新颖性: 4/5。矛盾诊断与推理时 VLA 注意力干预的结合有针对性，底层 sink 重分配思想有先行工作。
实验充分度: 3/5。包含三种模型、30 个任务、消融与实机展示，但缺少充分的安全统计和不确定性分析。
写作质量: 3/5。问题直观，部分整体结论、公式预算叙述与实现细节需要更严谨对齐。
价值: 4/5。提醒研究者不能把高操作成功率当作语言落地的充分证据，并提供可进一步检验的低成本干预。