Triggering Generalist Reasoning via Predictive Uncertainty for Dual-System VLA¶

会议: NeurIPS 2026
arXiv: 2610.05025
项目页: https://tudneurips2026.github.io/
领域: 多模态 VLM
关键词: 具身智能, VLA, 双系统架构, 预测不确定性, 自适应推理

一句话总结¶

针对双系统视觉-语言-动作（VLA）模型固定频率调用通用大模型导致的计算浪费与环境突变响应迟钝问题，本文提出 TUD 框架，利用专家模型在当前推理步对未来动作块的跨时间重新预测离散度作为预测不确定性信号，零额外参数、无需辅助模型地自适应决定何时触发慢速通用推理，在真实机械臂和仿真评测中大幅削减计算开销并提升任务成功率。

研究背景与动机¶

通用视觉-语言-动作（VLA）模型通过结合大语言/多模态模型强大的开放世界常识与具身底层控制，显著提升了机器人应对未见指令和场景的泛化能力。然而，以百亿或数十亿参数运行的单系统 VLA 受到高推理延迟的严重制约，往往只能以极低频率运行，无法满足接触密集型机器人操控的实时高频控制需求。为了兼顾宏观慢思考与微观快响应，近来双系统 VLA 架构受到广泛关注：由重量级通用大模型（System 2）负责低频多模态情境理解与长程任务规划，由轻量化专家模型（System 1）基于通用模型的上下文和最新高频观测生成低延迟动作块。这种解耦设计虽然分摊了单次大模型的繁重前向开销，但同时也引出了一个单系统策略中不存在的核心难题：通用大模型究竟应该在何时被重新触发。

现有双系统 VLA 模型普遍采用离线预设的固定调用时间间隔，机械地交替运行通用推理与专家执行。然而，机器人执行任务过程中的决策复杂度在时间维度上是动态起伏的——在空间平移或静态等待等平稳阶段，固定调用会反复浪费昂贵的计算资源；而在机械臂抓取接触、发生滑动或环境出现动态突发扰动时，固定间隔又可能因无法及时刷新长程意图而导致任务直接失败。虽然有部分工作尝试学习模式切换 token，但往往依赖人工标注的状态切换边界，严重制约了向开放式未见任务的扩展。

这一瓶颈的根源在于缺乏一种无需人工标签且计算轻量的在线判断机制，用以实时表征缓存的长程规划是否已与物理场景发生实质性偏离。本文的切入角度是，无需引入额外的外部不确定性预测器或耗时的蒙特卡洛多样本采样，直接利用专家模型每一步本身就会执行的前向计算：当环境发生漂移、旧的长程意图不再适用时，专家模型在连续几步对同一个未来时间槽位给出的重预测动作必将剧烈摇摆。核心 idea：将专家模型在滑动窗口内对未来动作块相同槽位的跨步重新预测离散度（预测不确定性）作为触发信号，并通过运行均值动态阈值规则自适应决定跳过或重新调用通用大模型，实现兼顾高吞吐与高成功的自适应具身推理。

方法详解¶

整体框架¶

TUD 将单系统流动匹配策略（以 $\pi_0$ 为代表）改造为双系统架构，解耦重量级视觉-语言模块（通用系统 $\mathcal{G}$，基于 PaliGemma 与 SigLIP）与轻量化流动匹配动作专家（专家系统 $\mathcal{S}$），并在二者之间架设可学习的 Q-Former 桥接模块。通用模型负责高频上下文提炼，并在触发时更新跨步缓存上下文 $h_k$；专家模型在每个控制步接收当前最新视觉特征，通过桥接模块交叉注意力融合缓存的语言-图像上下文 $h_k$，输出连续动作块 $\tilde{a}_t$。

在控制推进过程中，系统维护一个记录最近专家重预测动作的滑动缓冲区。当执行点到达决策周期时，算法计算滑动窗口内对目标时间槽位预测动作的离散度 $u_t$ 及其累积运行均值 $\bar{u}$。若运行均值低于自适应校准的阈值 $\theta_p$ 且距上次通用推理未超出最大保底步数 $\Delta_{\max}$，则安全跳过本次通用模型推理，继续推进当前计划；反之则立即触发通用模型重新进行全模态感知与深度推理，刷新缓存 $h_k$ 并重构底层控制轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入: 指令 I + 观测 O_t"] --> B["通用大模型 call<br/>SigLIP + PaliGemma 生成上下文 h_k"]
    B --> C["Q-Former 桥接与动作重预测<br/>专家前向产出动作块 a~_t"]
    C --> D["滑动窗口构建与槽位聚集<br/>收集最近 E 次重预测形成缓存 B_t"]
    D --> E["跨步离散度度量: 关键设计 1<br/>计算对应槽位标准差均值 u_t"]
    E --> F{"自适应触发规则: 关键设计 2<br/>u_bar < θ_p 且 t - t_k < Δ_max?"}
    F -->|满足条件: 场景稳定| G["执行 Skip: 沿用现有动作块与上下文"]
    F -->|不满足: 规划失效/超时| B
    G --> H["底层机械臂执行 low-latency control"]

关键设计¶

1. 动作计划跨步离散度度量：利用内生前向表征长程意图漂移

为了在不增加任何额外网络结构或耗时采样开销的前提下感知场景失配，TUD 巧妙复用了双系统在连续时间步上对同一未来时间点的重复推演特性。专家模型在每个时间步 $t \in [t_k, t_{k+1})$ 都会以当前观测 $O_t$ 和先前通用缓存 $h_k$ 输出一个长度为 $C$ 的未来动作块 $\tilde{a}_t \in \mathbb{R}^{C \times d_a}$。系统维护一个容量为 $E$ 的滑动缓冲区 $\mathcal{B}_t = \{\tilde{a}_{t-i} : i=0,\dots,E-1\}$。对于当前步 $t$ 所对应的动作块槽位 $j(t) = \min(t - t_k, C - 1)$，缓冲区内记录了过去 $E$ 步在不同环境瞬时状态下对该相同槽位动作的 $E$ 次独立重预测。

动作计划离散度 $u_t$ 定义为所有被执行动作维度（如 $d_a=7$ 自由度：3D 末端位置、3D 轴角旋转、1D 夹爪开合）在该槽位重预测标准差的均值： $$u_t = \frac{1}{d_a}\sum_{d=1}^{d_a}\mathrm{std}_{i=0,\dots,E-1}\!\Big(\tilde{a}_{t-i,\,j(t),\,d}\Big)$$ 当环境演化严格符合此前通用模型规划的预期时，专家模型根据最新画面与旧上下文推导出的未来槽位动作具有高度自洽性，$u_t$ 极小；而一旦物体滑落、发生碰撞或出现意图外动态障碍物，专家模型无法再与旧上下文保持一致，对未来槽位的推测出现剧烈振荡，从而使 $u_t$ 陡增。

2. 基于李普希茨有界保证的自适应触发准则：平衡计算节省与执行漂移

直觉上，当专家重预测与上一次通用推理时锁定的动作计划偏离过大时，必须触发通用重推理。本文在理论上证明了在专家模型满足 $L_{\mathcal{S}}$-Lipschitz 连续性假设下，执行计划槽位偏差满足上界： $$\big\|\tilde{a}_{t_k}[j(t)] - \tilde{a}_t[j(t)]\big\|_2 \le \alpha_E u_t + \beta L_{\mathcal{S}} \rho_{t,k}$$ 其中 $\alpha_E = 2d_a\sqrt{E-1}$，$\beta \in \{0, 1\}$ 表示初始槽位是否仍在滑动窗内，$\rho_{t,k} = \max_{t' \in [t_k, t]} \|O_{t'} - O_{t_k}\|$ 为观测漂移极值。这一界限表明动作偏差由缓冲区内的模型离散项（对应 $u_t$）与跨步环境漂移累积项（对应观测变化）共同约束。

据此，TUD 设计了双条件判定规则：以决策周期 $\Delta$ 进行检查，计算自上次通用调用以来的离散度运行均值 $\bar{u}$。仅当 $\bar{u} < \theta_p$ 且距上一次调用的时间跨度未达到上限 $t - t_k < \Delta_{\max}$ 时执行 skip；否则强制触发 call，清空滑动缓冲区并重新执行通用前向。阈值 $\theta_p$ 在线取最近 $N=128$ 步观测 $u_t$ 的经验第 $p$ 百分位数，使单一边界参数 $p \in [0, 1]$ 即可平滑控制整个成功率-计算量 Pareto 前沿，无需任何离线标注或离线标定。

3. Q-Former 桥接架构：赋能跨周期自适应调用的模块化解耦

为了使通用缓存 $h_k$ 能够在自适应可变的刷新间隔内保持鲁棒可用，避免模型性能在非训练间隔下发生崩溃，TUD 在单系统 $\pi_0$ 的视觉语言主干与流动匹配动作专家之间引入了 Q-Former 桥接结构。该桥接模块包含 8 个可学习查询向量与 2 层 Transformer 交叉注意力块，将当前帧 SigLIP 特征与通用调用时刻的缓存 SigLIP 特征拼接后进行交叉注意力投影，同时专家流动匹配层通过交叉注意力读取冻结的 PaliGemma 语言-图像键值对。

在通用调用步 $t_k$，桥接层工作在自上下文模式，通用大模型执行完整前向并生成动作块 $\tilde{a}_{t_k}$（10 步 Euler 采样）；在专家执行步 $t > t_k$，桥接层工作在跨上下文模式，仅重编码最新单张图像并执行单步 Euler 去噪即可产生动作预测 $\tilde{a}_t$。该解耦设计使轻量专家能够在感知当前环境局部微变的同时，稳定吸收长程全局引导，保证了即使跳过多步推理，系统亦不会发散。

损失函数 / 训练策略¶

模型直接基于开源 $\pi_0$ 权重进行微调，仅 Q-Former 桥接参数从头初始化，其余参数沿用流匹配微调配置。训练采用流匹配条件速度场损失： $$\mathcal{L}_{\mathrm{FM}} = \mathbb{E}_{t, x_0, x_1}\left[ \big\| v_\theta(x_t, t, O_t, h_k) - (x_1 - x_0) \big\|^2 \right]$$ 其中训练样本配对当前观测图像与历史前缀图像作为桥接输入（约 10% 样本随机退化为相同图像以模拟自上下文）。微调在 4 张 NVIDIA H200 GPU 上进行，批大小为 32，采用 AdamW 优化器（学习率 $2.5 \times 10^{-5}$，权重衰减 $10^{-10}$），进行 1,000 步线性预热后余弦衰减，共训练 30,000 步。

实验关键数据¶

主实验¶

在涵盖安全交互（Safety）、抗干扰（Distractor）、外推泛化（Extrapolation）以及长程多阶段（Long Horizon）共 11 个任务套件的 VLA-Arena（Level 0）仿真基准上，TUD 与单系统（$\pi_0$、OpenVLA 等）及双系统/轻量基线（RoboDual、OneTwoVLA 等）进行了全面对比。

任务域 / 评价指标	OpenVLA	$\pi_0$ (单系统基线)	RoboDual (固定双系统)	OneTwoVLA (自适应Token)	TUD (p70)	TUD (Best p)
Safety: 静态障碍物 (SR ↑ / CC ↓)	0.60 / 0.0	0.98 / 0.0	0.68 / 0.0	0.94 / 0.0	0.97 / 0.0	0.99 / 0.0
Safety: 谨慎抓取 (SR ↑ / CC ↓)	0.80 / 6.6	0.84 / 3.5	0.42 / 2.2	0.72 / 2.5	0.93 / 3.2	0.93 / 3.2
Safety: 危险回避 (SR ↑ / CC ↓)	0.20 / 17.2	0.74 / 6.4	0.68 / 5.3	0.56 / 6.7	0.85 / 5.5	0.85 / 5.5
Safety: 动态障碍物 (SR ↑ / CC ↓)	0.60 / 3.6	0.92 / 6.0	0.32 / 3.0	0.76 / 6.6	0.89 / 7.9	0.93 / 7.0
Distractor: 静态干扰 (SR ↑)	0.80	0.92	0.64	0.96	0.99	0.99
Distractor: 动态干扰 (SR ↑)	0.60	0.78	0.52	0.94	0.90	0.97
Extrapolation: 空间介词组合 (SR ↑)	0.68	0.76	0.20	0.64	0.71	0.81
Extrapolation: 未见物体 (SR ↑)	0.80	0.80	0.30	0.58	0.86	0.86
Long Horizon: 长程多阶段 (SR ↑)	0.80	0.92	0.77	0.90	0.97	0.99

在兼顾通用大模型调用次数的消减上，TUD 在 Safety 领域仅消耗 $\pi_0$ 57% 的调用预算（减少 43%）即可取得相当甚至更优的成功率；在 Long-Horizon 任务中将通用模型调用次数降低 58%，显著优化了整体能耗与吞吐。

消融实验¶

为了严格检验预测动作离散度 $u_t$ 作为触发指标的优越性，研究在保持统一判定框架的前提下，对不同不确定性评估机制在匹配调用预算下的表现进行了严格受控消融（VLA-Arena L0）：

不确定性触发准则	高预算调用数 (次/ep)	高预算 SR (%) ↑	低预算调用数 (次/ep)	低预算 SR (%) ↑	单步端到端耗时 (s) ↓
Diff-DAgger（流匹配前向损失）	16.5	83.7	8.3	80.7	31.0
BayesDiff（贝叶斯扩散不确定性）	16.3	83.5	6.8	77.0	11.8
Visual（视觉特征余弦距离漂移）	17.2	83.0	9.3	79.8	11.3
AAC-ent.（动作离散分布熵）	16.4	82.7	10.1	77.2	27.7
MC-AleaUQ（步内蒙特卡洛方差）	19.1	80.2	8.3	73.5	10.8
GenUQ（后验集成离散度）	17.3	74.7	8.9	73.8	30.4
TUD (本文方法: 槽位跨步离散度)	17.8	86.7	9.0	82.8	7.9

真实机械臂（6-DoF SO-101，包含放入白桶、关抽屉、叠方块三项任务）实验表明，相较于表现最优的固定间隔基线（$\Delta=9$ 的 48.5 次调用、76.4s 耗时、46.7% 成功率），TUD (p90) 仅调用通用大模型 12.1 次（减少 75%），耗时缩短至 38.5s，而成功率大幅提升至 83.3%。

关键发现¶

离散度准确区分成功与失败轨迹：在成功与失败轨迹的末端分析中，$u_t$ 是唯一在所有四个基准域中均显现清晰分界线的信号——失败轨迹在终结前约 20 步 $u_t$ 呈剧烈阶跃上升，而成功轨迹保持平缓。这赋予了系统在滑向失败前自我纠偏的能力。
与关键操作瓶颈高度对齐：单轨迹难度跟踪显示，机械臂在平稳接近柜门时 $u_t$ 极低；而在定位拉手、接触把手等高精度关键几何交互瞬间，$u_t$ 产生显著波峰，自适应机制在最需要思考的关头精准给出了通用模型算力分配。
耗时极低与硬件加速友好：单张 H200 上通用模型前向耗时 105.91ms（9.44 Hz），专家模型仅耗时 13.53ms（73.91 Hz，比值为 1:7.8）。$u_t$ 运算完全来自既有专家前向，端到端延迟仅 7.9s，远优于需要重复采样的 GenUQ（30.4s）与 Diff-DAgger（31.0s）。

亮点与洞察¶

零额外开销的自适应触发设计：与以往需要训练专用判断器或做多重随机采样的不确定性评估不同，TUD 发掘了双系统自回归控制在时序推进中对未来槽位天然存在的重预测冗余，将纯计算转化为高价值的意图自洽度量。
百分位数门限解耦超参调优：通过维护 FIFO 窗口自适应计算经验百分位数 $\theta_p$，单一参数 $p$ 便可自洽映射整个算力-成功率权衡曲线，避开了不同任务环境绝对不确定性量纲不一致的工程痛点。
泛化至更广泛的系统级协同部署：将“慢思考-快行动”架构中的时序离散度作为认知刷新指标，能够无缝启发视频生成辅助决策、具身导航与自动驾驶等多速率分层系统的调度优化。

局限与展望¶

目标性能驱动的隐式映射尚缺：当前的百分位参数 $p$ 控制的是全局统计分布比例，尚无法直接按用户指定的具体硬件延迟预算（如严格限制在平均 15Hz 以上）或特定成功率底线进行自适应反向求参。
依赖专家模型底层预测稳定性：若专家模型本身策略方差极大（例如多模态策略分布在双峰抉择点跳跃），可能在无需大模型介入的对称操作时误触发离散报警。
未来方向：探索结合强化学习端到端微调分层触发边界，或将离散度信号作为强化微调阶段的内部内在探索奖励（intrinsic reward）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用跨步未来动作块槽位重预测离散度作为双系统 VLA 自适应推理触发信号，设计简洁巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个 VLA-Arena 仿真套件对比、多重不确定性基线严格消融以及真实 SO-101 机械臂验证，证据确凿。
写作质量: ⭐⭐⭐⭐⭐ 理论分析与工程实现结合紧密，实验设计层层递进，动机阐述极其清晰。
价值: ⭐⭐⭐⭐⭐ 为解决具身基础模型大参数慢推理与机器人高频低延迟控制的固有冲突提供了极具实用价值的范式。