Efficient Test-Time Adaptation For Robot Policies¶

会议: NeurIPS 2026
arXiv: 2610.20318
代码: https://github.com/qualcomm-ai-research/tempo
领域: 机器人
关键词: 测试时自适应, 强化学习, 具身智能, 双足/四足机器人, 无奖励自适应

一句话总结¶

针对真实环境分布漂移（负载变化、地形粗糙/湿滑）导致机器人强化学习策略崩溃的问题，本文提出了轻量级测试时自适应框架 TEMPO，通过冻结预训练 Critic 引导 Actor 在线更新，并结合 Critic 预测分布熵正则化与基于分数的困难样本优先重放机制，在无需真实环境奖励和零反向传播干扰主推理循环的严苛端侧约束下实现了稳定自适应。

研究背景与动机¶

基于深度强化学习训练的腿足式机器人运动策略在标准标称环境下表现优异，但在部署到未知的物理真实环境时，常常遭遇剧烈的分布漂移（distribution shift）。这种漂移来源于多重物理与动力学扰动：地面摩擦系数突降（如结冰或瓷砖地面打滑）、未知负重或偏载（如小腿悬挂异物或躯干负载变化）、非结构化崎岖地形（如乱石凸起与沟壑）以及传感器噪声和执行器动力学磨损等。在传统范式中，最普遍的防御手段是在仿真阶段通过大规模域随机化（Domain Randomization, DR）来增强零样本泛化能力。然而，域随机化本质上受限于预先指定和建模的扰动范围，面对开放现实中不可预见的复合极端工况，静态策略的性能仍然会发生断崖式下跌；而若每次遇到未知环境都中断运行并重新收集轨迹进行离线微调，则完全违背了具身系统对实时性与连续作业的严苛物理要求。

这一现实困境的核心矛盾在于：机器人在部署边缘端只有极窄的单机观测数据流和紧密的控制延迟预算（通常要求几十赫兹的高频控制循环），同时在测试时完全无法获取环境奖励信号（reward-free），导致常规基于奖励或大量试错的强化学习自适应方法不可行；另一方面，现有的自监督测试时自适应（TTA，如 Tent）方法多针对静态视觉分类任务，直接迁移到强时序相关、高度敏感的闭环控制系统时，极易造成策略发散甚至灾难性崩溃。如果仅简单地将预训练 Critic 输出的动作价值作为替代目标进行单步梯度上升（即朴素的 QMax 基线），在未知分布区域 Critic 的外推误差与过拟合往往会产生过于尖锐、过度自信的虚假高梯度，使 Actor 陷入狭窄的失效动作空间并丢失动作多样性。

本文的切入角度是：虽然分布漂移会破坏 Critic 的绝对标定精度，但预训练 Critic 内部的相对拓扑与不确定性分布依然蕴含着极具价值的自监督性能代理信号，关键在于如何从机制上规避过度自信的外推并聚焦关键失效观测。核心 idea：提出 TEMPO 框架，在端侧冻结对称观测的预训练 Critic，通过最大化 Critic 动作价值的同时引入其离散预测分布的熵正则化来抑制过度自信更新，并构建按 Critic 预测价值反比打分的优先级记忆库，以极小的内存与计算开销实现了针对困难状态的稳健端侧测试时自适应。

方法详解¶

整体框架¶

TEMPO 的整体管线专注于极轻量级的端侧实时流式部署。机器人搭载预训练的 Actor-Critic 策略（Actor \(\pi_{\theta}\) 与对称非特权观测的 Critic \(Q_{\psi}\)，两者均仅接收包含本体感知 IMU、关节角、关节角速度、历史动作与速度控制指令的相同观测向量）。在部署期间，Critic 参数 \(\psi_0\) 保持全程冻结，机器人以原策略 \(\pi_{\theta_t}(o_t)\) 与环境交互并执行高频控制。在后台，观测数据被连续送入容量有限（例如 16k 步，仅占约 3 MiB 内存）的打分记忆库 \(\mathcal{B}\) 中维护；每隔固定的控制周期 \(K\)（例如 128 步），系统利用重要性采样从记忆库中抽取一批集中于低价值（即困难/打滑/失稳）的观测小批量样本，执行单步梯度优化更新 Actor 参数 \(\theta\)，整个过程无缝嵌入部署流程，不需要真实环境奖励信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境流式观测输入<br/>本体感知+指令 ot"] --> B["Actor 策略网络 πθ<br/>生成关节控制动作 at"]
    B --> C["执行器执行<br/>闭环物理控制"]
    A --> D["基于价值分数的优先级记忆库<br/>S(o) = 1/(Q(o,a)+ε)"]
    D -->|按周期 K 抽取困难样本批次| E["分布熵正则化的 Critic 引导目标<br/>最大化 Q 价值 + 提升 Critic 预测熵"]
    E --> F["Actor 参数在线梯度更新<br/>冻结 Critic 仅更新 θ"]
    F -.->|热更新策略权重| B

关键设计¶

1. 冻结对称 Critic 的性能代理引导机制：摆脱对测试时外部奖励的依赖

在真实的机器人部署现场，环境奖励（如前进速度奖励、能耗惩罚、触地平稳性等）是不可测的外部特权信息。传统在线强化学习因缺乏监督信号而在测试时瘫痪。针对这一痛点，TEMPO 抛弃了传统将 Critic 在推理阶段直接丢弃的惯例，将其完整保留在边缘端。为确保 Critic 在部署时可用，论文在训练时采用非特权观测方案（Symmetric Observation），使 Critic 与 Actor 输入完全一致的本体感知向量 \(o_t \in \mathbb{R}^d\)（包含姿态欧拉角/四元数投影、角速度、关节状态与期望速度指令），无需任何仿真特权状态。当机器人陷入非标称分布时，虽然绝对价值存在偏差，但 Critic 的梯度方向在局部仍然能够区分更优与更劣的姿态恢复动作。系统以此构建自监督目标：

\[ \mathcal{L}_{\textsc{QMax}}(\theta; \mathcal{B}) = -\frac{1}{B}\sum_{i=1}^B Q_{\psi_0}(o_i, \pi_\theta(o_i)) \]

通过对策略输出 \(a_i = \pi_\theta(o_i)\) 链式求导，将 Critic 对动作的偏导反向传播回策略权重 \(\theta\)，使得 Actor 在没有外部奖励的前提下自发向 Critic 认可的高效姿态演进。

2. Critic 预测分布的熵正则化：抑制未知分布下的过度自信外推

单纯通过梯度上升最大化 \(Q_{\psi_0}(o_i, \pi_\theta(o_i))\) 存在严重的退化风险：由于测试环境超出了预训练分布，Critic 在未见区域的非线性拟合容易产生病态峰值；Actor 会迅速向这些过度自信的虚假极值点塌陷，导致动作方差骤降、局部动作覆盖度（action coverage）丧失，在真实物理世界中表现为关节震颤或激烈撞击。为了解决这一问题，TEMPO 基于分布式强化学习（Distributional RL，如 Fast-TD3 / Two-Hot 分布 Critic）的内在属性，直接提取 Critic 最后一层未折叠的离散概率分布 \(Z_{\psi_0}(o, a) \in \mathcal{P}(\mathcal{Z})\)。当状态处于强分布偏移区域或具有较大物理不确定性时，高熵的预测分布意味着模型保留了更开阔的行动可能性。TEMPO 在优化目标中显式引入 Critic 预测熵奖励：

\[ \mathcal{L}_{\textsc{TEMPO}}(\theta; \mathcal{B}) = -\frac{1}{B}\sum_{i=1}^B \left[ Q_{\psi_0}(o_i, \pi_\theta(o_i)) + \lambda \, \mathcal{H}\left(Z_{\psi_0}(o_i, \pi_\theta(o_i))\right) \right] \]

其中 \(\mathcal{H}(Z) = -\sum_{z} P(z) \log P(z)\) 是 Critic 对回报离散区间的预测熵，\(\lambda > 0\) 为熵正则化加权因子（默认设为 0.5）。该正则项强力惩罚过于尖锐的预测分布，迫使策略寻找兼具高价值且在分布上有充足支持度的动作区域，从而维持了宽广的有效梯度支撑面，使闭环控制保持稳定顺滑。

3. 基于反比价值打分的优先级记忆库与重要性采样：聚焦计算资源于关键失效工况

机器人端侧芯片的显存与实时计算预算极度紧张。若采用传统的先进先出（FIFO）经验回放池，正常平稳行走时的冗余观测会占据缓冲区绝大部分容量，稀释甚至冲刷掉偶尔发生的严重打滑、突发负载偏转等高信息量样本。针对这种样本利用率低下的瓶颈，TEMPO 借鉴优先经验回放思想，构建了仅针对观测状态的轻量级打分准则：

\[ S(o) = \frac{1}{Q_{\psi_0}(o, \pi_\theta(o)) + \varepsilon} \]

该分数与 Critic 预估的价值成严格反比。在机器人面临失稳、重心偏移或打滑等“困难状态”（Hard States）时，Critic 预估的 \(Q\) 值大幅下滑，对应的样本得分 \(S(o)\) 显著升高。在记忆库维护过程中，当缓冲区达到容量上限 \(N\)（16k）时，新样本仅在 \(S(o_t) > \min_{j} S_j\) 时触发淘汰并替换掉库内得分最低（即最平凡容易）的样本。在自适应梯度步骤中，TEMPO 采用重要性采样分布：

\[ p_j = \frac{\hat{S}_j}{\sum_k \hat{S}_k}, \quad \text{其中} \quad \hat{S}_j = S_j - \min_i S_i + \varepsilon \]

无放回地抽取批次大小为 \(B\)（2k）的训练数据。这样，宝贵且有限的单步反向传播计算完全聚焦于使系统濒临崩溃的边缘观测上，使策略在极少更新步数内迅速掌握纠偏动作。

损失函数 / 训练策略¶

更新目标: 最小化 \(\mathcal{L}_{\textsc{TEMPO}}(\theta; \mathcal{B})\)，仅对 Actor 参数 \(\theta\) 计算梯度，Critic 权重全程冻结。
优化器与学习率: 使用 Adam 优化器，学习率设为极保守稳定的 \(5 \times 10^{-6}\)，防止剧烈的参数漂移破坏已学到的基础运动先验。
更新频率与资源开销: 每 \(K=128\) 个环境控制步执行一次更新，单步批量大小 \(B=2048\)。在 49 维本体感知观测下，容量 \(N=16384\) 的打分记忆库仅消耗约 3.05 MiB 内存，完全契合低功耗端侧嵌入式平台。

实验关键数据¶

主实验¶

在 MuJoCo Playground 仿真平台中，以 Unitree Go2 四足机器人搭载 Fast-TD3 预训练基座策略为核心基准，分别测试了四大类部署分布漂移：摩擦力降低（1-friction）、小腿质量扰动（Mass on Calf）、崎岖地形（Rocky Terrain）和躯干质量扰动（Mass on Torso）。此外还在混合复合扰动环境（如同时施加重物与崎岖地形）下进行了全面对比。

评估工况 / 复合扰动配置	性能指标	无自适应 (No Adapt)	朴素价值最大化 (QMAX)	本文方法 (TEMPO)	相对无自适应提升
小腿负载 2kg + 摩擦系数 0.90	环境奖励	\(9.2 \pm 0.1\)	\(9.7 \pm 0.2\)	\(10.4 \pm 0.2\)	+13.0%
小腿负载 2kg + 摩擦系数 0.85	环境奖励	\(12.9 \pm 0.2\)	\(13.4 \pm 0.4\)	\(14.4 \pm 0.1\)	+11.6%
小腿负载 2kg + 崎岖地形 0.03m	环境奖励	\(19.9 \pm 0.1\)	\(20.7 \pm 0.1\)	\(21.2 \pm 0.3\)	+6.5%
小腿负载 2kg + 崎岖地形 0.06m	环境奖励	\(14.5 \pm 0.2\)	\(15.9 \pm 0.2\)	\(17.5 \pm 0.2\)	+20.7%
躯干负载 5kg + 摩擦系数 0.90	环境奖励	\(4.2 \pm 0.2\)	\(4.8 \pm 0.1\)	\(5.6 \pm 0.2\)	+33.3%
躯干负载 5kg + 摩擦系数 0.85	环境奖励	\(6.2 \pm 0.1\)	\(7.0 \pm 0.3\)	\(9.0 \pm 0.4\)	+45.2%
躯干负载 5kg + 崎岖地形 0.03m	环境奖励	\(14.7 \pm 0.3\)	\(17.3 \pm 0.5\)	\(20.1 \pm 0.2\)	+36.7%
躯干负载 5kg + 崎岖地形 0.06m	环境奖励	\(7.8 \pm 0.2\)	\(9.9 \pm 0.2\)	\(14.6 \pm 0.2\)	+87.2%

在真实硬件部署方面，团队使用 3D 打印夹具在物理 Unitree Go2 的前后左侧小腿各挂载配重块，进行完全在板端执行的 4 分钟在线 TTA。下表展示了不同期望速度指令下的无折现速度跟踪奖励（单步取值 \((0, 1]\)，150 步满分为 150）：

控制指令 \((v_x, w_z)\) (前进速度 / 角速度)	运动描述	无自适应 (No Adapt)	本文方法 (TEMPO)	硬件性能改善
\(v_x = 0.5, w_z = 0.0\)	中速直行	\(93.2 \pm 1.3\)	\(95.2 \pm 0.6\)	+2.1%
\(v_x = -0.5, w_z = 0.0\)	中速倒车	\(98.7 \pm 1.6\)	\(113.5 \pm 0.7\)	+15.0%
\(v_x = -0.7, w_z = 0.0\)	快速倒车	\(88.1 \pm 1.1\)	\(96.5 \pm 1.0\)	+9.5%
\(v_x = 0.7, w_z = 0.6\)	前进左转	\(88.4 \pm 3.3\)	\(101.6 \pm 1.4\)	+14.9%
\(v_x = 0.7, w_z = -0.6\)	前进右转	\(80.5 \pm 1.0\)	\(86.9 \pm 1.2\)	+8.0%
平均指标	全指令均值	\(89.8\)	\(98.7\)	+9.9%

消融实验¶

在三种具有挑战性的高扰动工况下逐步拆解验证 TEMPO 各核心模块的贡献（报告平均回合回报）：

实验配置	小腿负载 (4 kg)	小腿负载 (5 kg)	躯干负载 (5 kg)	躯干负载 (7.5 kg)	乱石地形 (7.5 cm)	乱石地形 (10 cm)
无自适应 (No Adapt)	15.3	13.0	17.5	12.7	14.0	7.0
基础价值最大化 (QMAX)	16.5	14.4	19.7	15.4	16.6	9.0
QMAX + 熵正则化 (+ Entropy Max.)	17.0	15.3	21.0	17.0	17.3	10.6
QMAX + 打分记忆库 (+ Score-Based Mem.)	17.5	15.9	21.0	17.1	17.8	11.3
完整模型 (+ ALL / TEMPO)	17.9	16.0	21.5	17.6	18.0	11.5

关键发现¶

双组件正交互补: 引入 Critic 预测分布熵正则化使回合回报提升了 0.5 到 1.6 点，打分记忆库带来了 1.0 到 2.3 点提升；两者结合的完整 TEMPO 在所有高难度极端配置下均达到最优，在严重崎岖乱石地形下（10 cm 凸起）将基线性能从 7.0 强力拉升至 11.5，提升达 64.3%。
保持宽广的动作覆盖度: 在严酷混合扰动工况下（躯干负载 5kg + 崎岖地形 0.06m），QMAX 在更新中使 Critic 分布预测熵由初始的 1.15 退化至 1.05，导致 Actor 陷入狭窄动作空间；而 TEMPO 将预测熵维持并拉升至 1.41（相对高出 34%），这种动作覆盖度的维持直接对应了显著的回合回报提升（14.0 vs 9.9）。
零灾难性遗忘: 在持续测试时自适应（Continual TTA）实验中，当机器人经历长时间重负荷扰动后突然切回标称平坦平地时，TEMPO 控制的策略能在第一步立即完全无缝恢复源域标称性能（回报稳定保持在 25.6，线速度/角速度追踪回报完全无损），参数更新具备极高的局部选择性。
与自身具备自适应能力的架构完美兼容: 将 TEMPO 叠加在使用潜在环境编码在线推理自适应的 RMA（Rapid Motor Adaptation）策略上，不仅未发生机制冲突，反而在所有扰动区间均进一步提升了 RMA 的运动表现。

亮点与洞察¶

将预训练 Critic 转化为测试时“无奖导师”: 绝大多数强化学习工作在策略部署阶段将耗费巨大算力训练的 Critic 当作“用后即弃”的废料。TEMPO 将其重新定义为无奖励测试时自适应的核心动力源，以极低的工程代价为边缘端构建了自监督反馈闭环。
从打分机制重构低配端侧内存利用率: 机器人在运行流中大部分时间处于非临界平稳状态，朴素 FIFO 极易被无用数据灌满。通过 \(S(o) = 1/(Q + \varepsilon)\) 的简洁公式将回放缓冲区直接改造成“险情过滤器”，配合重要性采样，让端侧微小的梯度算力精确打击关键致稳瓶颈。
即插即用且跨形态普适: 该方案不修改底层控制流网络架构，成功跨越了不同四足机器狗（Go1、Go2）、全尺寸双足人形机器人（Unitree G1）以及多种策略架构（Fast-TD3、SimBA-V2、RMA），具备极强的通用工业落地价值。

局限与展望¶

对初始 Critic 预训练质量存在先验依赖: TEMPO 的前提是预训练 Critic 在未见区域的相对梯度仍然具有指引意义。若预训练 Critic 在源域学习不充分或处于极端的域鸿沟之外导致其严重失真，指导 Actor 更新的自监督信号可能失效。
动作依赖确定性假设与计算滞后: 当前推导基于确定性策略假设；若在超高动态敏捷跳跃或剧烈碰撞工况下，周期 \(K=128\) 的自适应延迟可能会出现纠偏动作反应不够及时的情形。
未来方向: 探索在长时间非平稳流式环境中维护自适应打分衰减机制，并将视觉外感知（如小型深度相机高度图输入）引入端侧 TTA 框架以实现前瞻性越障自适应。

评分¶

新颖性: ⭐⭐⭐⭐☆ 巧妙地将分布式 Critic 的熵正则化与基于价值反比的打分记忆机制结合，成功将 TTA 稳定落地于闭环机器人控制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Go1/Go2 四足与 G1 双足人形机器人、三种策略架构、仿真四类单/混合严重扰动及物理 Go2 真实端侧负载验证，数据极为详实。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰，数学推导简洁克制，工程实现细节与超参权衡剖析透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能系统应对真实世界复杂扰动提供了完全不需要外部奖励、即插即用的端侧实时自适应范式。