Transport Discrepancy as a Reliability Signal for Vision-Language-Action Models¶

会议: ECCV 2026
论文: ECCV 官方页面
项目: DiG
领域: 机器人/具身智能
关键词: 视觉语言动作模型、传输差异、可靠性门控、流匹配、分布外泛化

一句话总结¶

DiG 将观测特征与动作表征之间的切片 Wasserstein 传输代价作为内部可靠性信号，用同一门控调节特征残差、训练样本权重和推理时迭代，使 \(\pi_{0.5}\) 在 LIBERO-Long 上从 92.4% 提升至 96.4%，在低数据 RoboCasa 上从 41.4% 提升至 52.6%。

研究背景与动机¶

视觉语言动作模型（VLA）通常先把图像、指令和机器人状态编码成上下文，再通过流匹配动作专家生成连续动作块。动作专家能够输出一段看似平滑的控制序列，并不意味着它能可靠地理解当前上下文：预训练骨干提供的表征空间很大，真正能被动作头正确解码的区域却可能小得多。换背景、出现陌生物体或执行中受到干扰时，特征会偏离这一区域；长任务还会把早期的小错误带入下一步观测，形成累积漂移。

单纯扩大数据或改变动作生成器并没有直接解决“这一步应不应该相信自己的预测”。普通流匹配损失在训练时利用示范动作监督速度场，但部署时没有真实动作可以计算同样的误差。论文尝试利用动作专家已有的输入投影建立一个低成本比较接口：如果当前观测表征与动作块投影后的表征很不兼容，就不应让这个动作表征强烈影响特征修正，也不应让类似训练样本占据过大的梯度权重。

这里的重点不是额外训练一个成功率分类器，而是从策略内部提取与观测—动作兼容性相关的信号，并让训练和推理共用它。核心 idea：用共享特征空间中的传输差异构造单调递减的信任门控，可信配对参与更充分的残差修正与学习，不可信配对则保守处理，再以当前预测动作重新估计门控、迭代生成动作块。

方法详解¶

整体框架¶

DiG 插在骨干与动作专家之间，不改变流匹配的目标速度，也不把动作块替换成离散标签。输入包含当前观测得到的上下文特征，以及用于判断兼容性的动作块；输出是经门控残差调制的上下文，动作专家仍据此完成原来的连续动作生成。

训练时，比较分支使用真实示范动作；推理时，初始比较使用上一控制步预测的动作块，后续比较改用当前预测。下图中的迭代回路只在推理时运行，训练损失分支则只在训练时使用，二者不能混成一次前向计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    OBS["当前观测与指令"] --> H["骨干上下文特征"]
    ACT["训练：真实动作<br/>推理初始：上一动作块"] --> SPACE["共享空间差异"]
    H --> SPACE
    SPACE --> GATE["保守可靠性门控"]
    H --> GATE
    GATE --> HEAD["动作专家<br/>生成当前动作块"]
    GATE -->|仅训练：停止门控梯度| LOSS["加权流匹配损失"]
    HEAD -->|仅推理| REFINE["预测动作迭代"]
    REFINE -->|下一轮：当前预测动作| SPACE
    REFINE -->|达到轮数| EXEC["执行首个动作<br/>下一控制步重规划"]

关键设计¶

1. 共享空间差异：让观测 token 与动作块在同一坐标系下比较

骨干输出一串上下文特征 \(H\)，动作专家本来就有把动作向量映射到内部特征维度的输入投影 \(f\)。DiG 直接复用这个投影，把动作块中各时间步逐个映射后做均值池化，得到一个动作质心。它不额外训练一个独立动作编码器，因此比较坐标与实际动作生成路径存在联系；投影本身仍通过正常流匹配损失学习，而不是靠额外的对齐标签学习。

具体比较的不是两个动作序列，也不是当前动作与上一动作的欧氏距离。观测侧是上下文 token 的经验分布，动作侧把同一个动作质心广播到相同长度，本质上是位于该质心的点质量分布。作者用 \(M\) 个随机单位方向分别投影这两个分布，计算一维平方 Wasserstein 代价，再取方向平均，得到差异 \(D\)。由于动作侧只有一个质心，一维代价就是所有观测投影值到该质心投影值的平方距离均值，不需要一般多点分布之间的复杂匹配。

这个定义同时反映观测特征围绕动作质心的偏移和离散程度，因而不等价于只比较两个池化向量的余弦相似度。它也是一个重要的信息瓶颈：质心抹去了动作顺序，两段时序不同、平均表征相近的动作可能给出相近差异。论文只在可靠性分支做这种压缩，真正生成动作的流匹配头仍处理完整动作块；多质心或时间分箱是作者提出的后续方向，不是当前已经实现并验证的模块。

2. 保守可靠性门控：差异越大，越少相信动作引导的残差

差异经指数映射变成门控，并由下限避免样本权重完全归零。根据正文明确描述，映射为：

\[ g=\max\{g_{\min},\exp(-\tau D)\},\qquad g_{\min}=0.05. \]

\(\tau\) 越大，门控随差异衰减得越快；它在这里起敏感度作用，不能按某些 softmax 温度的反向直觉理解。低差异得到较大门控，高差异得到较小门控，但这个数并不是经过成功/失败标注校准的成功概率。其理论动机是：在局部高斯残差假设下，大平方偏差对“仍在可解码区域附近”的解释越来越不利，指数函数可作兼容性的代理。

门控同时进入两条路径。特征路径用一个轻量线性残差算子 \(R\) 处理动作专家所消费的归一化上下文，再以门控和强度 \(\lambda\) 调节修正量；损失路径用同一门控给该训练样本的流匹配损失加权。高差异时缩小的是动作表征所引导的残差，并不意味着直接停机、丢弃动作或启用安全控制器。容易读反的一点是：DiG 不是“越不可靠就改得越猛”，而是避免用不可靠的动作表征推动大幅修正。

训练时仅对门控执行 stop-gradient。前向数值不变，但模型不能沿着“直接改变差异、提高门控”的分支来钻加权目标的空子；骨干、残差算子和动作专家仍由原始动作学习任务更新，包括复用的投影 \(f\)。这也不意味着差异永远不变：表征经正常训练变化，差异仍会间接变化。图 8b 观察到它下降后维持非零水平，但这只是支持信号没有明显坍缩的诊断，不是所有训练条件下的数学保证。

3. 预测动作迭代：先用旧动作打破循环，再用新动作重新估计信任

部署时没有真实动作，而门控依赖动作、动作生成又依赖门控，直接联立会形成循环。DiG-Refine 在当前控制步先拿上一控制步的预测动作块，与当前上下文计算初始门控，完成一次动作生成。随后把新预测的动作块送回同一个投影与差异计算分支，更新门控，再运行动作专家；重复 \(N\) 轮后执行最终动作块的首个动作，下一控制步重新规划。

因此 \(N=0\) 已包含一次动作生成，只是不使用当前预测再更新门控；\(N=3\) 是初始生成之外增加 3 次动作专家前向，而不是总共只运行 3 次。初始门控可能受上一动作块陈旧性的影响，尤其在观测突然变化时，所以第一次以当前预测重算通常最有价值。各轮复用当前控制步的骨干特征和残差算子输出，不重跑视觉语言骨干，省下的是骨干开销，而不是动作专家的多次生成开销。

正文指出性能在约 3 轮后趋于饱和，单张 A100 上每轮为 \(\pi_{0.5}\) 增加约 8 ms，3 轮约增加 24 ms。这是额外耗时，不是整条策略的总延迟；其是否满足控制周期还取决于原始模型和系统开销。首个控制步尚无上一预测动作块时如何初始化，所给正文没有说明，复现时需要另行核对，不能自行把零动作当成作者设置。

一个完整示例¶

以论文中的“把物体整理进抽屉”类任务为例：执行途中背景变化，当前观测上下文与上一预测动作块不再兼容。初始差异偏高，使残差保持较小；策略先在这份较保守的上下文上生成当前动作，而不是根据旧动作强行大幅修正特征。

接下来把当前预测投影为动作质心，重新与同一份当前观测比较。若两者更兼容，门控变大，残差可以更充分地参与下一轮动作生成；若仍不兼容，门控继续压低修正幅度。整个过程是表征与预测之间的自洽迭代，并没有在每一轮真实执行机器人动作，也没有收到新的环境观测。

采用 \(N=3\) 时，一次初始预测加 3 轮更新共调用动作专家 4 次，之后才执行首个动作。这个流程示例解释机制，不是论文记录的一条具体 rollout；它不保证差异每轮单调下降，也不保证自洽预测必定完成任务。

损失函数 / 训练策略¶

基础策略沿用流匹配：把高斯噪声与真实动作按时间插值，训练动作专家预测对应的条件速度。DiG 不改目标速度，只改变动作专家的条件特征和每个训练样本对损失的贡献。可靠性分支用真实动作计算门控，而流匹配分支仍按原流程接收带噪动作及时间条件，两条动作输入不能混淆。

训练门控停止梯度后，相当于给每个样本施加当前计算出的常数权重。作者的混合污染模型把数据分成连贯配对与捷径配对，并假设前者门控更高；在这个前提下，加权后的捷径占比会降低。这个结果解释了设计方向，但没有证明真实数据中的高差异一定等于捷径，也没有保证罕见而正确的动作不会被降权，门控下限只能缓解而不能消除该问题。

正文的超参分析称 \(M=16\) 已能取得多数收益，超过 \(M=32\) 后边际收益减小，较大的 \(\lambda\) 会过度放大残差，过小的 \(\tau\) 会使门控接近常数。正文举例推荐 \(\lambda\approx0.1,\tau\approx1.0\)，但图 9 横轴显示的残差强度约为 0.20–0.60；这里保留原文不一致，不把这组数写成已核验默认配置。结论还说明温度与投影数按骨干调参，不能把门控下限跨任务通用误读成所有超参都无需调节。

本地全文若干显示公式的提取不完整，且没有正文引用的补充材料。以上用明确可读的文字定义解释差异、残差与训练目标，只保留可由正文确认的指数门控公式；不尝试还原损坏的原式编号或补充材料中的精确估计器、证明及训练配置。

实验关键数据¶

主实验¶

LIBERO 包含 40 个任务，分 Spatial、Object、Goal、Long 四组，每任务评估 50 次 rollout。RoboCasa 使用 24 个任务、每任务 50 条示范的低数据设置，同样每任务评估 50 次。下表摘自原文表 1、2；提升均为成功率百分点，两个基准的绝对成功率不可直接比较。

基准与指标	骨干	原始成功率 (%)	加 DiG (%)	提升（百分点）
LIBERO Avg	GR00T-N1	93.9	95.3	+1.4
LIBERO Avg	\(\pi_{0.5}\)	96.9	98.3	+1.4
LIBERO Long	\(\pi_{0.5}\)	92.4	96.4	+4.0
RoboCasa Avg	GR00T-N1	36.0	43.2	+7.2
RoboCasa Avg	\(\pi_{0.5}\)	41.4	52.6	+11.2
RoboCasa Doors/Drawers	\(\pi_{0.5}\)	57.8	73.4	+15.6

实机结果摘自表 4、5，只列整任务成功率，不把子任务成功当整任务成功。每个条件评估 20 次，因而一次成功对应 5 个百分点；这些是小样本成功率，原表未列置信区间。

平台与条件	任务	\(\pi_{0.5}\) (%)	\(\pi_{0.5}\) + DiG (%)	提升（百分点）
Franka OOD	Stack-Bowls	15	40	+25
Franka OOD	Spray-Plant	10	30	+20
Franka OOD	Wipe-Whiteboard	20	30	+10
Franka OOD	Sort-Into-Drawer	20	35	+15
Adam-U Unseen	3-object clean-up	25	40	+15

消融实验¶

原文表 6 使用 LIBERO 成功率。度量消融保持指数门控形式，门控消融保持相应比较路径；MLP 变体另以池化特征上的可学习标量门替代传输差异门。以下完整方法为表中的 Ours，降幅相对其 Avg=98.3 计算。

配置	Avg (%)	Long (%)	Avg 降幅（百分点）	说明
完整 DiG	98.3	96.4	0.0	切片 Wasserstein + 自适应门控
Cosine	96.5	92.6	1.8	替换差异度量
MMD	96.8	93.4	1.5	核分布差异
Sinkhorn	97.9	95.8	0.4	另一种传输度量
Fixed gate	92.3	84.6	6.0	固定 \(g=0.5\)
Random gate	89.8	80.8	8.5	随机调制
\(\lambda=0\)	97.3	94.2	1.0	移除残差，保留损失重加权
MLP gate	97.5	94.8	0.8	学习标量门替代传输门

关键发现¶

收益与长时序、少数据和分布偏移相联系：LIBERO 平均仅提升 1.4 个百分点，但 Long 提升 4.0；RoboCasa 的 \(\pi_{0.5}\) 平均提升 11.2。不同设置支持同一趋势，不代表已隔离所有混杂因素。
去掉残差仍有收益：\(\lambda=0\) 的 Avg=97.3 高于原始 \(\pi_{0.5}\) 的 96.9，但低于完整方法的 98.3，说明加权与条件特征修正都有作用；固定门控甚至低于原始基线，不能把单独加残差视作天然有益。
改进并非每一项都为正：表 3 的 cosine+sine 扰动下 Spatial 从 87.8 降至 86.4，而 Long 从 67.8 升至 79.2。不能把平均鲁棒性提升写成所有任务均无回退。

亮点与洞察¶

复用动作专家自己的投影。 可靠性比较接在本来就要训练的动作接口上，避免额外成功/失败标注。共享坐标系是可解释比较的基础，但并不自动证明跨模态距离已校准。
同一信号连接训练和推理。 训练中降低不兼容配对的影响，部署时限制不可信动作引导的修正。值得借鉴的是“评估信任后再决定修正强度”，而不只是增加网络容量。
只迭代动作专家。 当前观测的骨干特征可以缓存，额外计算集中在较小的动作分支。可迁移思路是在昂贵表征固定时，对下游条件生成做短程自洽更新。

局限与展望¶

仅验证两种流匹配 VLA 架构；离散动作策略、3D 表征模型和其他机器人形态的适用性仍需实验，不能把接口兼容性当作跨架构普适性。
动作质心丢失时间结构，可能无法区分平均表征相同但执行顺序错误的动作。时间分箱、多质心值得检验，但会引入额外计算与超参。
高差异也可能来自稀有但正确的示范；高门控也可能出现在“内部自洽、物理上错误”的预测上。这里没有经校准的失败检测率或安全保证，不能直接作为安全认证信号。
理论依赖局部高斯噪声与理想化混合分布，而且预设连贯配对得到更高门控。真实漂移下是否满足这一条件，需要独立的可靠性诊断。
推理增加 \(N\) 次动作专家前向，高频控制可能承受不起；实机每格仅 20 次试验，统计稳健性与不同随机种子的重复性仍需更多证据。
所给正文未完整呈现首步初始化、补充估计器及训练复现配置，图 9 与超参文字还有上述差异。应回查正式排版与补充材料，而不是用经验值填空。

评分¶

新颖性: 4/5。将观测—动作传输差异统一用于信任门控、损失重加权和推理迭代，组合有明确针对性。
实验充分度: 4/5。覆盖两种骨干、仿真、实机、扰动和机制消融，但实机样本少，复现细节依赖未提供的补充材料。
写作质量: 3/5。主线清楚，但超参图文不一致，可靠性解释需要与概率校准和安全保证区分。
价值: 4/5。为连续动作策略提供可插入的鲁棒性机制，长时序收益明显，部署仍需评估额外延迟与信号失效情形。