When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents¶

会议: NeurIPS 2026
arXiv: 2605.11928
OpenReview: https://openreview.net/forum?id=gsyvQACB3x
代码: https://github.com/WillChow66/robustbench-tc-release.git
领域: 机器人
关键词: 仿真到真实迁移, 领域随机化, 工具调用智能体, 部分可观测马尔可夫决策过程, 强化学习

一句话总结¶

将工具调用智能体的实际部署脆弱性形式化为 POMDP 的仿真到真实（Sim-to-Real）差距，提出包含 22 种真实生产故障扰动的评测基准 RobustBench-TC，并通过在静态扰动轨迹上进行领域随机化强化学习训练（ToolRL-DR），在不接触运行时动态错误的前提下零样本迁移并缩减了约 27% 的运行时状态转移崩溃差距。

研究背景与动机¶

现有的工具调用（Tool-Use / Function-Calling）语言智能体评估基准（如 BFCL V3、API-Bank、ToolAlpaca 等）普遍建立在一组过于理想化的假设之上：用户的输入清晰规整、工具注册表的命名与描述稳定且无歧义、后端 API 执行始终遵循确定性的成功响应。然而，一旦将智能体部署到真实的生产环境中，这些“仿真”假设就会被迅速击碎。生产流量中充斥着不可避免的物理现实摩擦：用户随手输入的微小拼写错误可能被错误地抄录为幻觉工具名并直接导致调度器崩溃；框架中默认未配置超时的客户端在面对慢请求时会陷入无限挂起；两个独立的微服务或 MCP 服务注册了同名工具时可能使整个 SDK 陷入死锁冻结。由于主流模型在训练与微调时仅见过干净纯粹的数据，面对真实部署中的异常扰动表现出极度的脆弱性。

针对训练分布与实际部署环境分布存在严重脱节的问题，机器人控制领域（Robotics）长期依赖的有效范式是“领域随机化”（Domain Randomization, DR）——通过在仿真训练时对物理参数、摩擦力、传感器噪声和纹理施加极其广泛的随机扰动，迫使策略网络学会在包含未建模现实动态的环境中稳定工作。类似地，智能体与数字化环境交互的工具调用过程本质上也是一个部分可观测马尔可夫决策过程（POMDP）。然而，以往研究往往将工具调用的鲁棒性孤立地看作个别局部失效（例如仅单独研究函数重命名或单纯混入无关干扰工具），缺乏系统的理论形式化，也从未与真实工业级生产事故建立严密的证据锚定，更未验证基于强化学习的领域随机化能否实现跨扰动模式的行为泛化。

本文将工具调用系统的现实部署脆弱性正式建模为 POMDP 框架下的 Sim-to-Real 鸿沟，系统性地将工业部署噪声映射到观测、动作空间、奖励相关元数据以及环境状态转移这四个正交的核心要素中。核心 idea：将机器人领域的领域随机化强化学习思想迁移至工具调用智能体，构建系统锚定真实生产事故的四元 POMDP 鲁棒性基准 RobustBench-TC，并在仅覆盖静态输入扰动的轨迹上进行强化学习（ToolRL-DR），借由诱导更具韧性的重试策略实现对未见运行时动态故障的零样本迁移防御。

方法详解¶

整体框架¶

本文的方法体系围绕“POMDP 框架解构”、“真实事故锚定的基准构建”以及“基于领域随机化的强化学习训练方案”三部分展开。首先，将智能体工具调用建模为部分可观测马尔可夫决策过程 $\langle\mathcal{S},\mathcal{A},\mathcal{P},\mathcal{R},\Omega,\mathcal{O}\rangle$，其中真实隐藏状态 $s_t$ 包含用户底层真实意图、工具实际实现细节与所有服务的运行健康度；智能体仅能通过观测函数 $\mathcal{O}(o_t\mid s_t)$ 获取对话上下文、可见工具注册表与历史工具输出；动作 $a_t$ 对应结构化工具调用（函数名及参数字典）；状态转移 $\mathcal{P}(s_{t+1}\mid s_t, a_t)$ 负责执行工具并触发环境状态更新；奖励 $\mathcal{R}(s_t, a_t)$ 评判调用的正确性与效用。基于该 POMDP 架构，作者设计了涵盖 22 种真实生产故障扰动的评测基准 RobustBench-TC，并进一步提出 ToolRL-DR 训练配方：在策略训练阶段仅利用静态可编码的三类扰动增强数据执行 GRPO 强化学习，测试其对全维度（特别是未参与训练的运行时状态转移动态异常）的泛化与迁移防御能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：用户意图与多基准干净工具调用样本"] --> B["POMDP 四元扰动注入体系<br/>映射 22 种真实 GitHub 生产事故"]
    B --> C["基准构建：RobustBench-TC<br/>3,721 个离线静态与在线动态评测样本"]
    C --> D["领域随机化强化学习：ToolRL-DR<br/>在 Obs/Act/Rew 静态轨迹上执行 GRPO"]
    D --> E["跨组件泛化评估<br/>检验静态对抗训练对未见运行时转移异常的策略迁移"]

关键设计¶

1. 四元 POMDP 故障解构与生产事故锚定体系：严密映射现实真实部署漏洞

针对传统基准人工设计扰动缺乏工业真实性、缺乏统一形式化框架的痛点，本文严格依照 POMDP 的四个组成部分将扰动划分为四类，且 22 种扰动类型全部直接溯源并验证自 LangChain、AutoGen、OpenAI Agents SDK、LlamaIndex、MCP Server 等主流框架的真实 GitHub Issue 或权威实证研究： - 观测扰动（Observation，4类）：破坏智能体读取的环境文本内容，包括用户查询的字符级打字噪声（Typo，如误将 occcra 打成 occrra 诱发调度器崩溃）、用户查询语义重述（QueryPara）、工具描述重述（ToolPara）与参数描述重述（ParamPara），均利用大语言模型在严格保持语义等价的条件下生成； - 动作空间扰动（Action，6类）：污染可用动作集合，模拟同名工具注入、参数名置换或重命名冲突（如两个 MCP 服务器提供同名工具导致 SDK 冻结）。具体划分为无描述同名干扰项（Dup-NoDesc）、正确描述无参数同名项（Dup-Desc）、无描述错误参数同名项（Dup-WrongP）、正确描述错误参数同名项（Dup-DescWP）、交换描述与错误参数项（Dup-SwapDP）以及功能高度相似但冗余的非真实工具（RedunTool）； - 奖励相关元数据扰动（Reward，6类）：破坏用于在相似工具间进行辨析的元数据，制造表面具有误导性诱惑的描述与命名偏置（如带有 _Budget 或 _Fast 后缀诱导模型优先选择，但描述中实际标注更高成本或隐蔽限制）。具体包括误导描述（MisDesc）、响应时间标注（TimeDesc）、及其分别结合中性后缀（MisDesc-N、TimeDesc-N）与缩写真值工具名（MisDesc-Abbr、TimeDesc-Abbr）的六种变体； - 环境状态转移扰动（Transition，6类）：在智能体发出首次工具调用后于运行时动态拦截，注入瞬态 API 错误以检验智能体的容错恢复与重试决策。包括执行超时（Timeout）、速率限制 HTTP 429（RateLim）、身份认证失效 HTTP 401/403（AuthErr）、服务端内部故障 HTTP 5xx（5xxErr）、解析崩溃畸形 JSON（Malform）以及接口参数变更模式漂移（SchemaD）。

2. 动静分离的标准化在线/离线评测机制：严格隔离轨迹干扰

为了在大规模评测中既能保持对复杂动态交互的测试能力，又排除由于执行时机不同引入的混淆变量，评测管道对不同类型的扰动采用了精密的动静隔离评估： - 离线静态评测：针对观测、动作空间与奖励相关元数据扰动，在评估前直接由确定性规则模板或轻量级模型预先生成静态数据集。为了防止高对齐强模型在生成拼写噪声时自动产生语义纠偏，针对真实打字错误专门采用拒绝性较低的模型生成； - 在线动态拦截评测：针对状态转移扰动，评测框架通过环境拦截器（Harness）在模型生成第一轮工具调用后以 100% 的受控概率拦截执行，强制将真实的工具执行结果替换为标准化的瞬态错误响应字符串，从而为智能体提供进入第二轮尝试（Recovery Turn）的机会。评分器采用完全确定的规则语法树进行单样本二元判别（正确重试则赋予满分，放弃重试或重复错误调用则计零分），彻底消除基于大模型作为评判者（LLM Judge）时产生的幻觉与打分方差。

3. ToolRL-DR 领域随机化强化学习策略：静态对抗训练诱发动态重试韧性

为了解决如何在低成本下提升智能体真实鲁棒性这一核心难题，作者提出了 ToolRL-DR 训练方法。该方法保持底层 GRPO（群相对策略优化）强化学习算法与基于工具名和参数准确率的结构化奖励函数完全固定，唯一的核心改动在于训练样本的数据分布：将原始 4,000 条干净轨迹完全替换为在 16 种静态可编码扰动（4 种观测 + 6 种动作 + 6 种奖励扰动）上均匀采样的增强轨迹。

尤其关键的设计在于，ToolRL-DR 在整个训练过程中完全排除了任何环境状态转移（Transition）扰动数据。这一设计的深层机制在于：如果智能体在从未见过运行时瞬态故障（Timeout、429、5xx 等）的前提下，仅依靠在静态混淆工具名、误导描述与文本噪声环境中进行强化探索，便能够显著提升在动态错误发生时的重试成功率，即可雄辩地证明策略网络并非机械记忆了特定的错误字符串，而是学到了一种更加具有抗逆性和持续性的重试先验分布（Persistent Retry Policy），实现了真正的行为级领域泛化迁移。

损失函数 / 训练策略¶

ToolRL-DR 采用基于 Qwen2.5-3B-Instruct 的 GRPO 目标进行策略优化，其核心损失函数形式为： $$ \mathcal{L}{\text{GRPO}}(\theta) = -\mathbb{E}}}}} \left[ \sum_{t} \min\left( \frac{\pi_\theta(a_t\mid h_t)}{\pi_{\theta_{\text{old}}}(a_t\mid h_t)} \hat{At, \, \text{clip}\left(\frac{\pi\theta(a_t\mid h_t)}{\pi_{\theta_{\text{old}}}(a_t\mid h_t)}, 1-\epsilon, 1+\epsilon\right) \hat{A}t \right) - \beta D) \right] $$ 其中优势函数 }}(\pi_\theta \parallel \pi_{\text{ref}$\hat{A}_t$ 通过对同一样本生成的多个采样轨迹的结构化匹配奖励（工具名命中 + 参数键值解析匹配）进行组内归一化计算，$D_{\text{KL}}$ 约束策略偏离参考模型的幅度。对比实验设置了两种主要数据配比方案：ToolRL-DR-Full（全部 3,984 条样本均为扰动样本）与 ToolRL-DR-Mixed（约 2,006 条干净样本与 1,994 条扰动样本混编）。

实验关键数据¶

主实验¶

论文对涵盖 1.5B 到 32B 参数量的 21 种代表性模型（包含开源 RL 工具模型、开源 Instruct 基础模型、开源推理模型以及闭源前沿模型 o4-mini）在 RobustBench-TC 上进行了系统评测。主要结果如下表所示：

模型家族 / 代表模型	参数量	干净准确率 (Clean ↑)	全扰动平均准确率 (Pert. Acc. ↑)	观测差距 ($\Delta_{\text{Obs}}$ ↓)	动作空间差距 ($\Delta_{\text{Act}}$ ↓)	奖励元数据差距 ($\Delta_{\text{Rew}}$ ↓)	状态转移差距 ($\Delta_{\text{Trn}}$ ↓)
ToolRL-DR-Full (本文)	3B	0.643 ± 0.065	0.463 ± 0.016	0.009 ± 0.075	0.147 ± 0.074	0.331 ± 0.076	0.231 ± 0.071
ToolRL-DR-Mixed (本文)	3B	0.658 ± 0.065	0.461 ± 0.017	0.049 ± 0.075	0.152 ± 0.075	0.364 ± 0.074	0.232 ± 0.072
ToolRL-Qwen2.5-3B (基线)	3B	0.638 ± 0.065	0.404 ± 0.016	0.020 ± 0.075	0.143 ± 0.075	0.450 ± 0.073	0.315 ± 0.071
SFT-Clean-4k-3B	3B	0.598 ± 0.068	0.267 ± 0.014	0.019 ± 0.075	0.184 ± 0.076	0.443 ± 0.074	0.577 ± 0.068
ToolRL-Qwen2.5-1.5B	1.5B	0.704 ± 0.063	0.432 ± 0.016	0.033 ± 0.072	0.174 ± 0.072	0.481 ± 0.071	0.379 ± 0.070
MUA-RL-8B	8B	0.678 ± 0.065	0.479 ± 0.016	0.023 ± 0.073	0.156 ± 0.072	0.401 ± 0.073	0.229 ± 0.070
LoopTool-8B	8B	0.714 ± 0.063	0.476 ± 0.017	0.049 ± 0.070	0.173 ± 0.072	0.429 ± 0.071	0.296 ± 0.069
MUA-RL-14B	14B	0.628 ± 0.068	0.470 ± 0.017	0.011 ± 0.075	0.090 ± 0.077	0.334 ± 0.075	0.202 ± 0.073
MUA-RL-32B	32B	0.683 ± 0.065	0.527 ± 0.016	0.028 ± 0.072	-0.010 ± 0.071	0.397 ± 0.072	0.218 ± 0.071
LoopTool-32B	32B	0.779 ± 0.058	0.508 ± 0.017	0.034 ± 0.065	0.120 ± 0.066	0.509 ± 0.067	0.396 ± 0.063
Qwen3-14B	14B	0.749 ± 0.060	0.529 ± 0.016	0.039 ± 0.068	0.143 ± 0.069	0.464 ± 0.070	0.250 ± 0.067
Qwen3-32B	32B	0.754 ± 0.058	0.524 ± 0.017	0.024 ± 0.067	0.104 ± 0.068	0.366 ± 0.070	0.377 ± 0.066
DeepSeek-R1-Distill-14B	14B	0.618 ± 0.065	0.442 ± 0.016	0.013 ± 0.077	0.160 ± 0.075	0.318 ± 0.074	0.213 ± 0.073
o4-mini (闭源前沿)	-	0.709 ± 0.063	0.502 ± 0.017	0.049 ± 0.071	0.157 ± 0.071	0.326 ± 0.072	0.276 ± 0.070

消融实验¶

为了进一步拆解数据随机化配比对模型鲁棒性与各项能力权衡的影响，在相同 3B 主干（Qwen2.5-3B-Instruct）下进行消融分析：

训练配置 (3B 主干)	干净集准确率	总体扰动准确率	奖励元数据差距 ($\Delta_{\text{Rew}}$)	状态转移差距 ($\Delta_{\text{Trn}}$)	失败样本中放弃调用比例	失败样本中错误调用比例
ToolRL-DR-Full (100% 静态扰动样本)	0.643	0.463	0.331	0.231	34.2%	65.8%
ToolRL-DR-Mixed (50% 干净 + 50% 扰动)	0.658	0.461	0.364	0.232	36.5%	63.5%
ToolRL-Clean (100% 纯净标准样本)	0.638	0.404	0.450	0.315	47.0%	53.0%
SFT-Clean-4k (监督微调基线)	0.598	0.267	0.443	0.577	68.2%	31.8%

关键发现¶

真实仿真鸿沟极度不均衡：在所有 21 个模型中，观测扰动（输入拼写错误与自然语言重述）引起的性能下降微乎其微（$\Delta_{\text{Obs}} < 5\%$）；而奖励元数据混淆与运行时状态转移崩溃则导致各模型准确率暴跌约 40% 和 30%。特别是缩写工具名与带有误导性省时/省钱标签的干扰项让大模型产生极高偏置。
纯粹扩大参数规模无法弥合核心鲁棒性缺口：从 8B 扩展到 32B（如 LoopTool 与 Qwen3 系列），虽然干净集基线得分有所提升，但模型在奖励和状态转移维度的准确率降幅（$\Delta$）几乎维持在相同高位，甚至由于更倾向盲信表面语义而在部分指标上表现得更为脆弱（例如 LoopTool-32B 的 $\Delta_{\text{Rew}}$ 达 50.9%，显著高于 8B 版本的 42.9%）。
静态领域随机化成功诱发零样本运行时恢复韧性：仅在静态文本/注册表扰动下训练的 ToolRL-DR-Full，不仅显著缩减了 11.9% 的奖励元数据差距，更在完全未见运行时错误注入的情况下，将状态转移崩溃差距缩减了 8.4%（相对基线差距缩小约 27%）。深度错误模式诊断表明，该增益源于放弃调用率（Omitted Call Rate）由 47.0% 骤降至 34.2%，模型在遭遇未建模的执行异常时表现出极强的持续重试倾向。

亮点与洞察¶

跨学科范式迁移（Robotics $\to$ LLM Agents）：将机器人强化学习中最成熟的 Sim-to-Real 思想完整投射到工具调用系统的 POMDP 形式化中，把物理传感器噪声与执行器延迟等效替换为文本拼写噪声、动作空间污染和 API 故障，为大模型可靠性研究提供了清晰的数学与系统视角。
完全锚定工业真实生产故障：不同于学术界自造的人工攻击，基准中全部 22 种扰动均严格映射至 LangChain、AutoGen、MCP 社区等真实排查的 GitHub Issue，使基准结果对实际软件工程落地具有立竿见影的指导意义。
对抗性静态环境诱导“持久重试先验”：研究发现强化学习在面对包含名称冲突与误导描述的“脏环境”时，能够自发学会在遭遇阻碍时保持调用格式并主动调换工具，展现了从静态元数据辨析向动态运行时异常恢复的跨模态行为泛化。

局限与展望¶

单轮调用评测的局限性：当前基准与训练配方主要集中在单轮工具调用与紧随其后的一次恢复重试上，尚未系统覆盖多轮长程规划（Multi-turn rollouts）中错误随交互步数级联累积的复杂退化。
缺乏显式动态重试奖励设计：ToolRL-DR 目前完全排除了转移扰动的显式训练，未能达成彻底弥合状态转移差距的目标（仍存在约 23% 的残差），未来若引入包含环境动态交互反馈的重试感知强化学习奖励，有望进一步突破天花板。
训练规模尚处中等量级：受限于对标基线的一致性控制，实验仅验证了 3B 参数骨干模型与 4,000 条轨迹规模，该领域随机化配方在 14B/32B 更大参数及海量数据上的可扩展性仍需进一步实证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将机器人领域的 Sim-to-Real 与领域随机化系统引入工具调用 POMDP，视角极为独到且深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 21 款横跨 1.5B 至 32B 的主流开源与闭源前沿模型，评测体系扎实严密，具备详尽的置信区间与错误模式归因分析。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨，理论建模与工程落地衔接极其流畅。
价值: ⭐⭐⭐⭐⭐ 对工业级 Agent 系统工程部署、可靠性评估以及防御训练具有极高的实用价值与启示意义。