Mechanistic Finetuning of Vision-Language-Action Models via Few-Shot Demonstrations¶
会议: ECCV2026
论文: ECCV 原文
项目: Robotic Steering
领域: 机器人/具身智能
关键词: 视觉语言动作模型、少样本微调、注意力头选择、机制可解释性、LoRA
一句话总结¶
Robotic Steering 用 20 条机器人示范找出最能预测动作的注意力头，再做头部选择性 LoRA 微调，在多数真机任务上优于全头 LoRA，并更好保留环境扰动和未见任务下的能力，但不是所有任务都获益。
研究背景与动机¶
视觉语言动作模型（VLA）把图像、指令和机器人状态转换为控制动作，但“把笔放进杯子”并不是一个仅凭语言就定义完整的任务。相机角度、杯口位置、夹爪初始姿态和桌面高度都会改变应该执行的动作。预训练模型即使理解了指令，也可能无法适应部署现场的物理条件，因此仍需要示范来校准策略。本文把示范看作任务定义的一部分：它不仅给出正确动作，也具体说明“这个任务在这里如何发生”。
少量示范带来的问题是，模型很容易同时记住真正有用的控制规律和偶然出现的场景特征。全头 LoRA 虽然只训练低秩增量，并不等于全参数微调，但它仍在所有注意力头上分配更新，缺少任务相关性的选择。作者据此提出一个可检验假设：预训练表示中已有部分注意力头编码了适用于目标任务的状态与动作关系；优先细化这些头，可能比广泛更新更省参数，也更少破坏原有泛化能力。
问题随之变成如何判断一个头是否值得更新。本文没有要求人手给头标注“抓取”“空间关系”等语义，而是检查该头的表示能否从其他示范中找到动作相似的时刻。这把解释性线索变成了可计算的选参依据，而不只是训练后的热力图。核心 idea：让少量示范中的跨轨迹动作可预测性决定“微调哪里”，再沿用原 VLA 的训练目标完成适应。
方法详解¶
整体框架¶
输入是一组带动作标签的遥操作示范，每个时间步包含相机图像、语言指令和机器人状态。离线阶段先冻结 VLA、提取各注意力头表示，通过“动作可预测性选头”确定稀疏子集，再执行“头部选择性微调”。输出仍是普通 VLA 检查点，部署时接收当前观测并生成动作，不携带示范检索库。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["20 条示范<br/>图像、指令、状态"] --> B["冻结 VLA<br/>提取逐头激活"]
B --> C["动作可预测性选头"]
S["示范动作标签"] -.->|离线回归评分| C
C --> D["头部选择性微调"]
S -.->|原 VLA 训练目标| D
D --> E["标准检查点"]
O["部署时当前观测"] --> E
E --> F["连续机器人动作"]这里的稀疏性是更新位置的稀疏，不是删掉其他头或缩短推理网络。未选中的头继续参与前向计算，只是不训练其注意力适配器。因而“无额外推理开销”应理解为无需额外激活干预或在线近邻检索，不能据此推断推理显著加速。
关键设计¶
1. 动作可预测性选头
作者对每条轨迹的各时间步运行冻结模型，提取每层每头在最后一个 token 位置的激活，作为该时刻的表示。一个查询时刻只允许从其他轨迹寻找近邻，不能从它所属的轨迹检索。这一限制很重要：同一轨迹的相邻帧通常极为相似，允许它们互相预测，会让评分主要反映时间连续性，而未必反映跨示范可复用的控制信息。近邻按头部表示的余弦相似度排序，再用距离加权的邻居动作平均值预测查询动作。作者还采用关键帧提取加速，正文说明有无此步骤不改变基本流程，但当前缓存未附其补充实现细节。
头部评分是上述预测动作相对示范真实动作、跨所有查询汇总的均方误差，越低越好；它不是注意力强度，也不是仿真回报。主实验固定选 \(m=20\) 个头，对 \(k\in\{10,20,30,40\}\) 分别重算近邻回归和头部排名，取每个候选下误差最低的 20 个头，再选出对应头集误差最低的 \(k\)。这是固定数量加小网格搜索，不是自动寻找稀疏度阈值。该过程能够从相同图像输入中区分哪些表示更贴近动作需要，但低回归误差只说明预测关联，不等于已经证明这些头承担特定物理概念的因果计算。缓存中的式（2）至（5）排版损坏，因此这里按正文定义解释，不猜补作者的精确公式。
2. 头部选择性微调
选头后，方法在选中头的 query 与 output 投影上训练 LoRA 低秩增量，其余头的注意力适配器冻结，基础预训练权重不做全参数更新。π0.5 的 Gemma 主干采用 multi-query attention，同一层的 query 头共享一个 key/value 头，因此 key/value 不具备同样的逐头独立更新条件，本文将它们冻结。更新 output 投影则使选中的注意力结果能够以调整后的方式进入后续计算；“选择哪个头”和“允许它怎样改变输出”共同决定了适应范围。
不能把这个方案理解成“整个模型只训练 20 个头”。方法 §3.3 明确说，LLM 的 FFN LoRA 和 flow-matching 动作头是各比较方法共同保留的可训练部分，头部选择才是本文与全头 LoRA 的主要差异；§5.1 也专门考察额外适配 FFN 的必要性。引言关于冻结 action expert 的概述与此有冲突，笔记采用更具体的方法节口径，并保留这一不一致。换言之，这是一种对注意力更新位置施加任务约束的 LoRA 配置，而不是完全绕过训练或只编辑单一激活向量。
一个完整示例¶
以“把笔放入杯子”为例，先收集 20 条遥操作轨迹。假设当前查询来自第 1 条轨迹中夹爪接近杯口的时刻，某个候选头就只能在其余 19 条轨迹中寻找相似表示，并用找到的时刻所对应的真实动作预测当前动作。这里描述的是算法执行方式，不是论文额外报告的一次实验轨迹。
如果某个头主要受桌面纹理影响，它找到的近邻可能视觉上相似，但对应夹爪运动不同，从而产生较大动作误差。另一个头若更好区分接近、对齐和释放所需的状态，其跨轨迹预测可能更准，便更有机会进入最终头集。这说明选择标准为何面向控制需求，而不是简单保留最“看物体”的头；同时不能只凭这个例子认定作者已解码出上述具体语义。
完成全部查询和候选邻居数的比较后，从 18 层、每层 8 头的主干中选出 20 个头，再用同一批示范训练。实际执行时模型直接根据实时图像与状态输出动作，不再查询那 19 条轨迹；离线选头与在线策略推理是两个不同阶段。
损失函数 / 训练策略¶
近邻动作回归仅用于确定头集，不替代 VLA 的动作学习目标。论文在 π0 和 π0.5 上沿用 flow matching 训练连续动作生成，未引入额外的解释性损失；作者也说明该选头思路原则上可配合离散动作模型的交叉熵目标，但本文主实验并未验证后一种架构。
主实验用 2 张 NVIDIA RTX A6000、JAX 实现、LoRA rank \(r=8\)，每任务 20 条示范训练 5,000 步。示范同时用于离线选头和微调，跨轨迹近邻限制发生在选头内部，并不意味着另外提供了独立选头数据集。18×8 共 144 个头中选择 20 个，约占 13.9%，但这个比例不能直接当作总可训练参数的保留比例，因为还有共同训练组件。
作者为 JAX 模型实现激活提取支持，并指出近邻评分在激活缓存生成后无需反复运行模型。表 2 的 0.2 分钟是选头时间，不是从原始示范开始的全部预处理时间，更不是完整训练时间；公平比较需要同时看激活提取、选头和后续微调。
实验关键数据¶
主实验¶
真机使用 7-DoF Franka Emika Panda、Robotiq 夹爪、Polymetis 控制器，按 DROID 设置使用左侧相机和腕部相机，以 6 Hz 记录示范。下表摘自原文表 1，指标为每任务 40 次试验的成功率；微调方法均使用每任务 20 条示范、5,000 步，训练时间对应上述双 A6000 配置。
| 模型与方法 | 笔入杯 | 用力按按钮 | 抓红方块 | 方块入碗 | 推杯至碗 | 训练时间 | 可训练参数 |
|---|---|---|---|---|---|---|---|
| π0 全头 LoRA | 75% | 45% | 75% | 60% | 10% | 239 min | 29M |
| π0 Robotic Steering | 80% | 75% | 90% | 85% | 17.5% | 189 min | 15.8M |
| π0.5 全头 LoRA | 62.5% | 90% | 70% | 65% | 20% | 214 min | 29M |
| π0.5 Robotic Steering | 72.5% | 85% | 77.5% | 80% | 27.5% | 185 min | 15.8M |
π0 的方块入碗提升 25 个百分点，但 π0.5 按按钮下降 5 个百分点，所以正文“所有任务持平或更好”的概括不符合表 1。推杯任务最高仍只有 27.5%，不能将相对改善理解为任务已经可靠解决。
按表内数值计算，29M→15.8M 是约 45.5% 的参数减少，并非正文及结论所称 96%；π0 的训练时间减少约 20.9%，π0.5 则约 13.6%。这些是按表计算的相对变化，不替作者推测另一种未说明的统计分母。
消融实验¶
原文表 2 在 π0.5 的“笔入杯”上比较选头和训练组件，均使用 20 条示范并选择 20 个头。表内激活缓存统一标为 92.83M，正文没有在这里明确该单位含义，故不把它改写为 MB。表 2 的完整配置成功率为 80%，与表 1、图 3 的 72.5% 不同，不能直接拼成同一次实验。
| 配置 | 笔入杯成功率 | 选头时间 | 微调时间 | 解释 |
|---|---|---|---|---|
| CMA 因果消融选头 | 15% | 58 min | 188 min | 给头加噪声并测量性能下降 |
| REINFORCE 选头 | 80% | 93 min | 186 min | 通过搜索优化头集 |
| k-NN 回归选头 | 80% | 0.2 min | 185 min | 在已提取激活上回归动作 |
| Queries only | 10% | 0.2 min | 186 min | 表内标签，正文将此对照解释为不额外适配 FFN |
| Queries + MLP | 80% | 0.2 min | 185 min | 表内标签，加入 FFN LoRA |
这组数据支持近邻选头比 REINFORCE 更省选头时间、且本次成功率相同，不支持原文文字“三者成功率相近”的说法。训练组件消融提示 FFN 适配十分关键，但由于表内命名与 query/output 的正文口径不完全对齐，不将其解读为严格证明“只改 query 已足够”。
关键发现¶
下表选取原文表 3、表 4 的泛化结果；真机行基于 π0.5 仅训练“笔入杯”、20 条示范和每条件 40 次试验，仿真行基于 π0 仅用 Task 0 的 20 条示范微调，再在 LIBERO-Plus 的 Long 套件评测。未见任务均值按原表列值保留，两类协议不混合求平均。
| 评测条件 | 全头 LoRA | Robotic Steering | 差值 |
|---|---|---|---|
| 真机：未见 Pick Mug | 42.5% | 65% | +22.5 个百分点 |
| 真机：笔入杯，光照变化 | 25% | 47.5% | +22.5 个百分点 |
| 真机：笔入杯，干扰物变化 | 30% | 40% | +10 个百分点 |
| 仿真：布局变化，未见 Tasks 1–9 均值 | 51.1% | 60.8% | +9.7 个百分点 |
| 仿真：光照变化，未见 Tasks 1–9 均值 | 51.0% | 72.0% | +21.0 个百分点 |
- 泛化有所保留，但未消除遗忘：仿真光照变化下，零样本模型的未见任务均值为 80.1%，仍高于 Robotic Steering 的 72.0%。
- 绝对扰动成功率更高，不代表下降幅度处处更小：真机干扰物条件下，两者相对各自原始场景都下降 32.5 个百分点。
- 双任务训练暴露明显困难：表 3 的联合选头在两个训练任务上为 40% / 47.5%，全头 LoRA 为 37.5% / 37.5%；虽优于基线，仍远低于相应单任务微调结果。
亮点与洞察¶
- 把“示范定义任务”落实为选参标准：同一语言指令在不同物理场景下可选出不同头集，而无需人工编写新的模块语义。
- 用低成本离线预测关联指导昂贵训练：头部评分不必反复跑完整策略评估，部署也不依赖检索。这使解释性分析成为适应流程的一部分。
- 稀疏注意力适配与 FFN 适配互补：结果并非支持“更新越少越好”，而是支持有选择地限制部分通路，同时保留必要的后续表征调整。
局限与展望¶
- 作者承认：需要可访问的模型权重和内部激活，不能直接应用于封闭 API；真机只验证一种 Franka 机械臂；解释性分析只覆盖 LLM 注意力头，未系统研究视觉编码器和动作专家。
- 本文解读：近邻可预测性是相关性探针，注意力可视化也不自动证明因果机制。进一步比较随机选头、重复选头稳定性及受控干预，会更有助于解释收益来源。
- 本文解读：40 次真机试验中一次成功对应 2.5 个百分点，表 1 未报告误差条。少数百分点的差异不能直接宣称统计显著，且训练组件、参数统计和跨表结果的不一致削弱了复现精度。
- 当前全文缓存仅含主文与参考文献，没有其反复引用的补充材料。关键帧细节、选头数量消融及完整优化器设置不能由此确认；跨机器人、长时程任务和其他组件级选择仍需验证。
相关工作与启发¶
- vs 全头 LoRA：两者都训练低秩适配器，区别不是“LoRA 更新所有基础权重”，而是本文先限制哪些注意力头接收适配器更新；共同训练部分应保持一致。
- vs 激活 steering / task vectors：相关方法常在推理时添加或干预激活，本文把示范驱动的内部分析用于离线选择微调位置，最终部署普通检查点。
- vs CMA 与 REINFORCE 选头：前者通过扰动评估重要性，后者搜索头集；本文用其他轨迹的动作检索能力作代理评分，更便宜，但也不能据此声称具有更强因果解释。
评分¶
- 新颖性: 4/5。把跨轨迹动作可预测性用于 VLA 头部选择，形成清晰的任务条件化微调方案。
- 实验充分度: 3/5。覆盖真机、扰动、迁移与仿真，但硬件种类有限，统计不确定性与若干实验口径未充分说明。
- 写作质量: 2/5。主流程易理解，但参数降幅、胜出范围、训练组件及跨表成功率存在明确不一致。
- 价值: 4/5。提供实用的“先判断微调哪里”思路，采用时应复核实现及完整成本口径。