Resilience Matters for Embodied Agents System: New Metrics, Systematic Evaluation, and Optimization¶

会议: NeurIPS 2026
arXiv: 2608.23839
OpenReview: https://openreview.net/forum?id=u2TS1Rxun2
代码: https://github.com/Eas-Resilience-Evaluation
领域: 机器人
关键词: 具身智能体, 弹性评测, 恢复代价, 策略稳定性, 优雅延展性

一句话总结¶

针对传统具身智能体仅依赖结果性指标掩盖动态执行病态的问题，本文借鉴韧性工程理念提出了涵盖复原力、稳定性和优雅延展性的弹性评测框架与评测层，并基于评测诊断实现了即插即用的执行层定向优化。

研究背景与动机¶

随着大语言模型与多模态模型被深度引入具身智能体系统（Embodied Agents System, EAS），具身系统在开放环境中的长程任务规划、环境理解和人机协作能力得到了飞跃式发展。然而，真实物理环境充满不可逆性、部分可观测性和不可预期的持续扰动（如物理接触偏离、物体状态突变或语义歧义），智能体在面临执行扰动时的可靠性直接决定了实际部署质量。现有的具身评测基准普遍采用结果导向指标（如任务成功率 SR、完成度）或粗粒度的安全违规聚合分数，将复杂多变的轨迹坍缩为单一离散数值。

这种唯结果论的评测范式隐藏了致命的执行过程盲区：两个智能体即使取得了完全相同的成功结果，其执行机理和动态行为可能天差地别。一个脆弱的系统可能在遭遇扰动后陷入反复试错、回溯重规划甚至产生濒临危险的动作，依赖极高代价实现“侥幸成功”；而一个真正可信赖的系统则应展现出从扰动中平滑恢复、在轻微扰动下保持决策一致、以及在超负荷压力下优雅衰退的能力。

为了打破静态结果对动态适应过程的遮蔽，本文将系统工程中的韧性工程（Resilience Engineering）理念引入具身交互领域，首次将具身系统的固有弹性（Resilience）形式化为过程级评价体系。核心 idea：将具身智能体弹性拆解为复原力（Rebound）、稳定性（Stability）与优雅延展性（Graceful Extensibility）三大正交维度，构建非侵入式弹性评测层提取过程信号，并以评测指标为诊断反馈直接指导执行优化。

方法详解¶

整体框架¶

本文构建了通用的非侵入式具身弹性评测层（Resilience Evaluation Layer）。对于任意具身智能体在环境中的执行轨迹 \(\tau=\{(o_t, a_t, r_t)\}_{t=1}^T\)、运行时日志 \(\mathcal{L}\)、安全监视器 \(\mathcal{C}\) 以及大模型评审信号 \(\mathcal{J}\)，评测层在不改变被测智能体内部架构的前提下，将其映射为三大弹性特征度量：

\[\mathcal{M}: (\tau, \mathcal{L}, \mathcal{C}, \mathcal{J}) \mapsto (\mathcal{M}_{\text{rebound}}, \mathcal{M}_{\text{stability}}, \mathcal{M}_{\text{GE}})\]

为了消除不同任务阶段的固有差异，框架首先基于标称执行构建局部执行锚点 \(a_t:=(f, b_t^p, b_t^q, m_t)\)，结合任务族 \(f\)、进度与剩余命题负荷，估算局部阶段基线（Stage Baseline）\(\mathcal{N}(a_t)\)，为认知、物理与债务消耗提供统一的对照基准。同时，引入 LLM-as-a-Judge 对环境反馈进行稠密化奖励整形，随后分别计算恢复代价 \(C_{\mathrm{rec}}\)、策略稳定性 \(\beta\) 以及延展性压力响应映射 \(M_f(\lambda)\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["具身执行过程数据<br/>轨迹/日志/监视器/LLM评审"] --> B["阶段基线对齐与锚定<br/>计算局部执行锚点与阶段基线"]
    B --> C["复原力评估：恢复代价<br/>认知/物理/状态债务马氏距离聚合"]
    B --> D["稳定性评估：策略敏感度<br/>TD残差加权与泛化优势扰动损失"]
    B --> E["优雅延展性：压力响应曲面<br/>多分位数边界监控与自适应应力容量"]
    C --> F["弹性画像诊断与闭环优化<br/>反馈引导恢复/一致性记录/长尾阻尼"]
    D --> F
    E --> F

关键设计¶

1. 复原力评估（Rebound）：多通道解耦的归一化恢复代价

当智能体因扰动偏离标称轨迹时，复原力衡量其返回可接受执行状态所需付出的额外工作量。框架将恢复窗口定义为 \([t_d, t_r]\)（偏离点到重新回到可接受阶段基线点），并将恢复代价显式解耦为三个正交通道：超额认知负担 \(\mathbf{z}_t^{\mathrm{cog}}\)（过度的规划重试与感知时延）、超额物理负担 \(\mathbf{z}_t^{\mathrm{phy}}\)（多余的导航步数与机械臂试错动作）、以及状态债务 \(\mathbf{z}_t^{\mathrm{deb}}\)（任务滞后导致的风险累积）：

\[\mathbf{z}_{t}^{\mathrm{cog}}=\frac{(T_{t}^{\mathrm{cog}}-\bar{T}^{\mathrm{cog}}(a_{t}))_{+}}{\bar{T}^{\mathrm{cog}}(a_{t})+\epsilon},\quad\mathbf{z}_{t}^{\mathrm{phy}}=\frac{(N_{t}^{\mathrm{phy}}-\bar{N}^{\mathrm{phy}}(a_{t}))_{+}}{\bar{N}^{\mathrm{phy}}(a_{t})+\epsilon},\quad\mathbf{z}_{t}^{\mathrm{deb}}=\frac{(r_{t}-\bar{r}(a_{t}))_{+}}{\bar{r}(a_{t})+\epsilon}\]

为消除不同量纲与通道间协方差影响，采用正则化马氏距离计算各通道偏离度 \(g_t^u=\sqrt{\mathbf{z}_{t}^{u\top}(\Sigma_u(a_t)+\eta I)^{-1}\mathbf{z}_{t}^u}\) 并取均方根汇总为瞬时恢复强度 \(g_t^{\mathrm{rec}}\)。最终的归一化恢复代价 \(C_{\mathrm{rec}}\) 以偏离点的标称剩余工作量 \(W_{\mathrm{rem}}^*(a_{t_d})\) 进行标准化：

\[C_{\mathrm{rec}}=\frac{1}{W^{*}_{\mathrm{rem}}(a_{t_{d}})+\epsilon}\sum_{t=t_{d}}^{t_{r}}\frac{\Delta\tau_{t}}{\tau^{*}(a_{t})+\epsilon}\cdot g_{t}^{\mathrm{rec}}\]

这种设计使得“轻微调整即恢复”的高效适应与“暴力穷举动作”的低效恢复得以清晰区分。

2. 稳定性评估（Stability）：基于价值波动的策略敏感度

系统在面对轻微环境噪声、语义同义替换或自身随机演化时，决策逻辑应当保持稳定，而非出现剧烈震荡、无效重复或目标漂移。框架训练价值网络 \(V(s_t)\) 拟合由 LLM 评审与剩余工作量整形的阶段奖励，并提取时间差分残差 \(\delta_t\) 与广义优势估计 \(A_t\)。通过构造状态扰动表征向量 \(\mathbf{x}_t\)，定义轨迹损失函数 \(\ell(\pi, z)\)：

\[\ell(\pi, z)=\frac{1}{T}\sum_{t=1}^{T}\sqrt{\mathbf{x}_{t}^{\top}\left(\Sigma(a_{t})+\eta I\right)^{-1}\mathbf{x}_{t}}\]

进而将任务族 \(f\) 上的策略稳定性指标 \(\beta_f\) 形式化为控制扰动集 \(\mathcal{P}_f\) 下的局部李普希茨敏感度上界：

\[\beta_{f}=\sup_{z\in\mathcal{Z}_{f},\rho\in\mathcal{P}_{f}}\frac{\left|\ell(\pi,\rho(z))-\ell(\pi,z)\right|}{\|\rho\|+\epsilon}\]

较低的 \(\beta\) 值意味着微小扰动不会引起智能体价值信念的剧烈震荡与策略跳跃，有效表征了决策鲁棒性。

3. 优雅延展性（Graceful Extensibility）：应力容量与操作裕度映射

优雅延展性刻画当外界扰动或复杂性持续增加并逼近系统承受极限时，智能体性能是“平滑优雅地降级”还是“灾难性雪崩坍塌”。框架引入应力算子 \(\mathcal{T}_\lambda\)（应力强度 \(\lambda \in [0, 1]\)），建立基于分位数的鲁棒裕度向量 \(\mathbf{r}_f(\lambda)\)。向量融合了进度效益指标的低分位数 \(Q_{\alpha}\) 与恢复代价、波动、违规代价的高分位数 \(Q_{1-\alpha}\)。为防止单点硬约束导致的数值脆弱，采用自适应 Bottom-\(K\) 均值构造操作裕度曲面 \(M_f(\lambda)\)：

\[M_{f}(\lambda)=\frac{1}{K}\sum_{j=1}^{K}r_{(j),f}(\lambda)-1,\qquad 1<K\leq K_{\mathrm{max}}\]

据此，将智能体在任务族 \(f\) 上的应力容量（Stress Capacity）定义为操作裕度保持非负的最大应力阈值：

\[\lambda_{f}^{*}=\sup\left\{\lambda\in[0,1]\mid M_{f}(\lambda)\geq 0\right\}\]

该指标为具身系统划定了明确的安全运作包线（operational boundary），揭示系统在严苛环境下的可延展弹性极限。

损失函数 / 训练策略¶

在价值网络表征学习中，框架通过带有正则项的阶段基线协方差矩阵对多维执行误差进行白化加权，损失函数如上文式 (5) 所示。在评测引导的闭环优化阶段，本文不替代被测主规划器，而是将评测指标映射为三种非侵入式的轻量执行层补丁： - 针对 Rebound 的反馈引导恢复（Opt1）：在中央 LLM 规划器之上挂载轻量监视模块，当检测到停滞或局部异常时，生成包含感知刷新、回溯和置信度重置的引导提示词注入规划上下文，减少无序尝试； - 针对 Stability 的一致性状态记忆（Opt2）：在重规划时强制挂载包含当前阶段、持有状态、已完成子目标的只读引导缓存，抑制决策震荡； - 针对 Extensibility 的长尾阻尼控制（Opt3）：实时监测双重等待与重复语义反馈，在边界停滞时主动注入有界重置或提前退出，截断无边界长尾试错。

实验关键数据¶

主实验¶

实验基于 Habitat-Sim 3.0 与 PARTNR 家务协作环境展开，涵盖 400 个包含导航、抓取和搬运的家务任务。评测选取了 10 种具有代表性的具身智能体架构（涵盖反应式 ReAct、反射式 Reflexion、具身大模型 SayCan/CoPAL/CLARE、自主演化 AgentEvolver 等）。

方法	恢复代价 \(C_{\mathrm{rec}}\) (↓)	策略波动 \(\beta\) (↓)	应力容量 \(\lambda^*\) (↑)	成功率 SR	任务完成度	仿真步数
ReAct	\(6.5 \pm 0.46\)	\(0.239 \pm 0.011\)	\(0.50 \pm 0.042\)	38.5%	57.8%	\(3374 \pm 285\)
Reflexion	\(57.3 \pm 5.07\)	\(0.299 \pm 0.021\)	\(0.66 \pm 0.035\)	56.3%	75.0%	\(4390 \pm 312\)
CycleVLA	\(35.5 \pm 2.91\)	\(0.400 \pm 0.026\)	\(0.72 \pm 0.047\)	22.2%	47.5%	\(4688 \pm 420\)
CLARE	\(21.6 \pm 1.68\)	\(0.344 \pm 0.016\)	\(0.72 \pm 0.052\)	28.4%	46.0%	\(4249 \pm 360\)
SayCan	\(38.5 \pm 2.49\)	\(0.283 \pm 0.013\)	\(0.78 \pm 0.046\)	57.0%	72.6%	\(4682 \pm 380\)
AgentEvolver	\(19.2 \pm 1.24\)	\(0.264 \pm 0.012\)	\(0.21 \pm 0.015\)	48.8%	66.8%	\(3084 \pm 250\)
InnerMono	\(43.5 \pm 2.69\)	\(0.149 \pm 0.007\)	\(0.53 \pm 0.026\)	49.5%	67.5%	\(3670 \pm 290\)
CoPAL	\(11.9 \pm 1.02\)	\(0.302 \pm 0.017\)	\(0.85 \pm 0.078\)	55.8%	72.6%	\(4846 \pm 410\)
SMART-LLM	\(28.2 \pm 2.20\)	\(0.339 \pm 0.018\)	\(0.40 \pm 0.036\)	55.7%	74.3%	\(5085 \pm 395\)
Baseline	\(25.0 \pm 2.03\)	\(0.200 \pm 0.009\)	\(0.79 \pm 0.042\)	53.0%	69.7%	\(3671 \pm 275\)

消融实验¶

基于评测框架指出的瓶颈，对基线智能体分别施加定向优化机制，验证弹性指标的诊断引导有效性及各弹性维度间的内在权衡关系。

优化目标	变体配置	\(C_{\mathrm{rec}}\) (↓)	恢复窗口 (↓)	\(\beta_{\mathrm{step}}\) (↓)	\(\beta\) (↓)	GE完成度 (↑)
复原力 (Rebound)	Baseline	59.11	3.13	0.2881	0.6834	0.887
	+ 反馈引导恢复 (Opt1)	33.73 (-42.9%)	2.38 (-24.0%)	0.2079	0.6870	0.819
稳定性 (Stability)	Baseline	51.01	2.63	0.3185	0.6788	0.903
	+ 一致性状态记忆 (Opt2)	43.01	3.00	0.2552 (-19.9%)	0.6772 (-0.2%)	0.750
优雅延展性 (GE)	Baseline	36.70	1.33	1.4594	0.6917	0.833
	+ 长尾阻尼控制 (Opt3)	99.59	2.25	0.7215 (-50.6%)	0.6371 (-7.9%)	0.917 (+10.1%)

关键发现¶

相同结果掩盖极端过程差异：Reflexion 与 CoPAL 的成功率几乎完全一致（56.3% vs. 55.8%），但 Reflexion 的恢复代价高达 57.3，是 CoPAL（11.9）的 4.8 倍。Reflexion 依靠大量冗余重试试错完成任务，展现出高度脆弱的适应特征。
弹性维度的结构性权衡（Trade-off）：实验证明目前不存在全维度主导的“完美”架构。例如 InnerMono 具备最佳的策略稳定性（\(\beta=0.149\)），但代价是高昂的恢复成本（\(C_{\mathrm{rec}}=43.5\)）；优化 GE 延展性虽然提升了极限应力承载，但会导致长尾探索期的恢复开销剧增 171.4%。
系统级属性与基模无关性：在 Qwen3-8B、Qwen2.5-7B 与 Llama3.1-8B 上进行骨干模型缩放测试表明，增大模型能提升整体胜率，但各架构的相对弹性特征剖面（Resilience Profile）保持稳定，证明弹性是智能体系统级的结构性属性，而非单纯的模型规模副产物。

亮点与洞察¶

从唯结果论到弹性工程学范式转移：首次将工程系统韧性概念（Rebound、Stability、Graceful Extensibility）严格形式化为具身智能体的过程性可量化指标，填补了具身可靠性领域缺少微观动力学评测的学术空白。
阶段基线与马氏距离消歧：巧妙利用局部执行锚点 \(\mathcal{N}(a_t)\) 动态归一化认知、物理与状态负荷，规避了直接累加步数或耗时导致的跨场景不可比问题。
评测即诊断的闭环落地：评测指标并非单纯用于打榜，而是能精确定位智能体在长程执行中的病态根因，并直接指导轻量化补丁设计，具备极高工程实操价值。

局限与展望¶

物理真机部署验证尚缺（Sim2Real Gap）：实验目前集中于 Habitat-Sim 仿真环境，物理机械臂执行中的机械磨损、传感器噪声与通信延迟对弹性恢复指标的影响仍需真机检验。
弹性维度权衡的理论边界未闭环：经验上观察到了 Rebound 与 Extensibility 之间的负相关权衡，但尚未从控制论或信息论角度给出理论极限证明。
多智能体协作弹性的拓展：当前评测侧重于单智能体或固定模式交互，未来可扩展至动态开放多智能体协同网络中的弹性共识与级联故障恢复。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将韧性工程三要素落地为具身智能体过程评测框架，视角独特且形式化严谨。
实验充分度: ⭐⭐⭐⭐⭐ 400 个长程任务、10 种前沿架构横向对比，评测指标具备极高区分度并完成了闭环优化验证。
写作质量: ⭐⭐⭐⭐⭐ 符号体系完备，动机逻辑清晰，散文与数理定义结合自然。
价值: ⭐⭐⭐⭐⭐ 为具身智能体从实验室 demo 迈向高可靠真实物理环境部署提供了亟需的度量衡与改进工具箱。