ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation¶

会议: NeurIPS 2026
arXiv: 2602.01709
论文: https://arxiv.org/abs/2602.01709
领域: LLM Agent
关键词: 测试时扩展, 智能体推理, 交互式模拟, 风险感知世界模型, 工具调用

一句话总结¶

提出 ARTIS 框架，通过在真实执行前进行跨轮次全轨迹模拟、自我评估与经验提炼，并结合针对稀有失败样本加权的风险感知工具模拟器，实现无环境风险的测试时计算扩展。

研究背景与动机¶

近年来测试时计算扩展（Test-Time Scaling, TTS）在大语言模型复杂推理中展现出巨大威力，通过在推理阶段分配额外计算资源显著提升了最终回答的质量。然而，现有的大多数测试时扩展方法主要面向静态且以文本答案为中心的场景（如数学解题或代码编写），假设中间的搜索与尝试路径都是零成本且随时可回滚的。当大语言模型被作为智能体（Agent）部署到真实环境中时，模型的输出直接对应于外部工具调用，很多动作不仅会改变系统状态，而且具有高成本甚至不可逆的物理或环境后果。在此类智能体设置下，单次错误的工具调用无法轻易撤销，并会直接破坏后续执行上下文，引发灾难性的级联失败。

这种在真实环境执行与探索之间的核心矛盾在于：智能体在面临关键决策时极其需要测试时推理与试错来提升可靠性，但真实环境却无法承受盲目试错带来的不可逆风险。虽然部分模型预测控制（MPC）或基于世界模型的方法尝试在每一步执行前预测下一步动作的后果，但它们大多依赖滚动时域机制（receding-horizon schedule），即在真实环境中走一步、预测一步并立即提交，未能从长程任务和跨完整轨迹的全局视角评估累积错误。同时，实验表明直接使用通用大模型作为工具模拟器极易产生幻觉，甚至导致决策性能显著恶化。

面对上述困境，本文的切入角度是实现“探索”与“真实提交”的彻底解耦：在真正触碰外部环境之前，让智能体在可复用的内部模拟器中预先进行多轮次、跨轨迹的完整交互试错，并专门强化模拟器对稀有严重失败动作的建模保真度。本文的核心 idea 是：将测试时扩展从单步内部思维链转向动作级的全轨迹迭代模拟（ARTIS），通过多轮模拟-自评估-跨轮次经验提炼构建安全执行指导，并利用失败驱动与重平衡微调训练风险感知工具模拟器，实现面向不可逆环境的安全高效推理扩展。

方法详解¶

整体框架¶

ARTIS 将智能体的测试时计算从传统的答案搜索转向多轮次全轨迹环境模拟。在正式执行真实工具调用之前，智能体首先在构建的风险感知工具模拟器中展开多轮完整的工具调用尝试；每轮尝试结束后，模型对整条轨迹进行自评估并产生自然语言改进反馈；随后跨轮次提炼模块将所有模拟尝试的教训压缩为一个紧凑、稳健的执行策略建议；最后，智能体在真实环境中仅执行单次不可回滚的端到端调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务上下文与工具集合"] --> B["多轮全轨迹模拟探索<br/>顺序/并行采样 candidate attempts"]
    B --> C["轨迹级自我评估与反馈<br/>二元对错判定 + 改进建议生成"]
    C --> D["跨轮次经验提炼<br/>压缩模拟轨迹为紧凑执行策略 S"]
    D --> E["风险感知工具模拟器支持<br/>失败驱动生成与频率反比重平衡"]
    E --> F["真实环境单次提交执行<br/>无回滚安全执行 target trajectory"]

关键设计¶

1. 全轨迹跨轮次模拟机制：解耦探索与环境执行 传统智能体测试时扩展通常采用单步分支或滚动时域规划，每预测一步就必须与真实环境交互，容易过早触发不可逆操作。ARTIS 提出在真实执行前运行 $N$ 轮完整的全轨迹模拟。该过程支持两种模式：顺序迭代（Sequential Iteration）与并行迭代（Parallel Iteration）。在顺序迭代中，智能体第 $k$ 轮的动作生成显式依赖于前序所有轮次的完整模拟历史： $$a_{t}^{(k)} \sim \pi_{\mathcal{A}}\!\left(a \mid \mathcal{H}^{(k)}_{t}, \{\mathcal{H}^{(j)}\}_{j=1}^{k-1}\right)$$ 其中 $\mathcal{H}^{(k)}_{t}$ 为第 $k$ 次尝试中第 $t$ 步之前的局部历史，$\{\mathcal{H}^{(j)}\}_{j=1}^{k-1}$ 为前 $k-1$ 次完整尝试的轨迹记录。这种方式能够显式避免重复错误，高效探索动作空间；而在并行模式下，各轮模拟完全独立生成，兼顾推理延迟。

2. 轨迹级自我评估与跨轮次策略提炼：抑制噪声并指导安全执行 由于长程多步工具调用存在严重的级联误差，单步评分往往难以捕捉跨步骤的状态依赖性。ARTIS 在每次模拟尝试结束后引入任务级自评估机制，由模型自身对整条轨迹进行对齐性与目标达成度评估，输出二元正确性标签及具体的自然语言修改建议。若直接将多轮甚至相互冲突的长轨迹全部灌入最终执行 Prompt，不仅会急剧消耗上下文窗口，还会引入模拟幻觉噪声。因此，ARTIS 设计了策略提炼阶段，将 $N$ 轮模拟的成败轨迹与评估反馈浓缩为一个结构化的自然语言执行策略 $\mathcal{S}$。真实环境执行时，动作策略直接条件化于该提炼指导： $$a_{t}^{\mathrm{real}} \sim \pi_{\mathcal{A}}\!\left(a \mid \mathcal{H}_{t}^{\mathrm{real}}, \mathcal{S}\right)$$ 以此实现风险规避与最优路径的选择。

3. 风险感知工具模拟器：失败驱动生成与重平衡微调 常规大语言模型在充当世界模拟器时存在效用不对称（Asymmetric Utility）困境：绝大多数工具调用的输出较为平庸，而最致命的错误调用往往极为罕见，导致按常规数据微调的模拟器只学到了“平庸准确率”，对高风险失败盲目乐观。为构建高保真模拟器，本文提出失败驱动的数据构建与重平衡策略。首先收集覆盖 MCP 服务器与真实 Python 函数库的 524 种真实工具，利用多种不同规模智能体（Qwen3、Llama3 等）诱发广泛的真实调用失败，并直接从源码解析注入针对罕见边界条件的对抗性 Prompt。在训练阶段，根据工具与输出类型的经验频次对训练样本进行反比加权： $$w(a, o) \propto \frac{1}{\mathrm{freq}(\mathrm{tool}(a), \mathrm{type}(o))}$$ 将成功执行归为单类并大幅降权，对各类细分失败模式强力上采样，确保模拟器能够极其敏感地捕获参数缺失、类型不匹配或状态冲突等潜在危险。

一个完整示例¶

以 BFCL 多轮订票与日历管理任务为例： 1. 输入阶段：用户发出“取消明天早晨会议并改签至下午航班”的多步请求，涉及日程检索、会议删除、机票退改三个强依赖工具。 2. 模拟迭代探索：智能体在内部启动第 1 轮模拟，尝试在未核验航班余票状态的情况下直接调用退订 API，模拟器根据历史状态返回特定的业务错误；第 2 轮模拟时，智能体吸取前次反馈，先执行状态检查再进行操作，但参数日期格式错误被模拟器拦截；至第 3 轮模拟时成功完成无错全流程。 3. 策略提炼：提炼模块分析 3 轮尝试，生成策略 $\mathcal{S}$：“在调用改签机票 API 前必须先验证可用航班号与剩余座位，且严禁先删除原有会议以免改签失败导致日程丢失；日期格式严格遵循 ISO 标准”。 4. 真实提交：智能体在真实环境中严格遵循 $\mathcal{S}$ 指引，一次性平稳完成端到端任务，杜绝了中间试错带来的不可挽回损失。

损失函数 / 训练策略¶

工具模拟器基于 Llama3.1-8B-Instruct 等基座，采用 LoRA（秩 $r=16$，缩放因子 $\alpha=32$）在约 5 万条重平衡样本上进行有监督微调（SFT）。训练目标为在给定当前动作 $a_t$、初始环境状态 $s$ 及历史交互轨迹 $\{(a_i, o_i)\}_{i=1}^{t-1}$ 的条件下，自回归最大化真实工具输出 $o_t$（含系统抛出的具体异常堆栈与错误信息）的对数似然。优化采用 AdamW，初始学习率 $1\times 10^{-4}$，配合余弦衰减与 0.1 的预热比例，训练 3 个 epoch 避免对特定工具过拟合。

实验关键数据¶

主实验¶

在多轮多步评测基准 BFCL-v3 Multi-Turn 与 ACEBench Agent 上对直接执行、两种无模拟器基线（Weighted BoN、Sequential Revision）及 ARTIS 的并行与顺序变体进行系统评估（主要指标为任务完成准确率 %）：

基准与指标	模型 / 方法	直接执行	+ Weighted BoN	+ Sequential Revision	+ ARTIS (Parallel)	+ ARTIS (Sequential)
BFCL-v3 Multi-Turn Overall	Qwen3-8B	12.88	15.50	16.50	17.75	18.75
BFCL-v3 Multi-Turn Overall	Qwen3-14B	18.75	21.00	24.25	22.50	25.75
BFCL-v3 Multi-Turn Overall	Qwen3-32B	21.75	24.00	27.00	28.75	30.50
ACEBench Agent Process	Qwen3-8B	14.60	17.60	20.00	43.10	52.10
ACEBench Agent Process	Qwen3-14B	54.20	55.80	50.00	55.60	63.30
ACEBench Agent Process	Qwen3-32B	20.00	21.30	25.00	26.30	36.30

在极具挑战的 BFCL-v3 错误处理子项中，Qwen3-32B 配合 ARTIS (Sequential) 在缺失函数参数（Miss-Func）上的准确率从直接执行的 23.50% 跃升至 34.50%，在缺失参数（Miss-Param）上达到 24.00%。

消融实验¶

在 Qwen3-8B 动作模型下，检验不同模拟器配置、自评估（Eval）与策略提炼（Sum）模块对最终性能及模拟保真度的影响：

配置 / 模拟器方案	任务准确率 (%)	模拟输出相似度 (%)	高保真比例 (%)	危险动作错误率 RAER (%)	状态改变动作错误率 SAER (%)
无训练 Qwen3-8B 自身模拟	25.5	86.0	52.6	-	-
常规训练模拟器 (Llama3.1-8B)	27.0	97.7	93.4	24.52	52.25
失败驱动重平衡模拟器 (ARTIS 完整)	29.5	98.2	95.4	23.76	50.99
理想完美模拟器 (Perfect Simulator)	30.5	100.0	100.0	-	-
ARTIS w/o 评估反馈 (w/o Eval)	18.5	-	-	-	-
ARTIS 提炼替换为多数投票	27.5	-	-	-	-
直接执行 (Direct Baseline)	21.0	-	-	39.45	71.52

关键发现¶

失败驱动重平衡是模拟器的核心生命线：未经特定训练的通用模型充当模拟器时，高保真输出比例仅为 52.6%，导致模拟探索充斥幻觉；而采用失败驱动加权训练后，高保真比例提升至 95.4%，任务表现（29.5%）极为逼近真实环境执行的完美模拟器（30.5%）。
任务级评估与策略提炼不可或缺：若去除自评估反馈，多轮模拟反而因积累无用探索造成性能崩塌；若直接将多轮原始轨迹拼接输入（w/o Sum），模型在长上下文下受噪声干扰，在 $N$ 增大时反而退化。
扩展效率优势显著：相比在每步频繁调用的单步修正基线（Sequential Revision），ARTIS 将评估集中在整条轨迹级别，以显著减少的 API 调用次数与约 25% 的 Token 节约换取了更高的推理性能。

亮点与洞察¶

解耦试错与承诺的测试时计算范式：将传统面向思考过程的静态 TTS 拓展至面向动作交互的环境交互模拟，为涉及高风险、不可回滚操作的智能体场景提供了低风险扩展可能。
非对称效用与失败驱动微调：敏锐指出工具交互中“成功平庸、失败灾难”的非对称性，通过频率反比加权与对抗性失败样本合成，解决了通用大模型面对低频边界漏洞时的盲目乐观问题。
全轨迹评估与经验提炼的轻量化协同：避免了繁琐的单步回滚评估开销，通过结构化策略提炼将探索经验浓缩为高信息密度的先验，可无缝插拔于各类智能体骨干模型。

局限与展望¶

推理延迟与算力开销：多轮完整的轨迹模拟显著增加了端到端响应延迟，在对实时性要求苛刻的场景中受限，主要适合高价值、高风险、可容忍计算延时的自动化决策任务。
模拟器泛化能力的边界：尽管覆盖了数百种常见工具，对于完全未见且具有复杂黑盒私有状态转移的特种外部系统，若缺乏文档或接口抽象，离线训练的模拟器仍可能面临领域漂移。
未来方向：探索无须全量微调的轻量化自适应世界模型、融合强化学习验证器（RLVR）的多智能体交互模拟以及动态自适应终止模拟轮数（Early Stopping）机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 成功将测试时计算扩展从纯文本推理延伸到智能体不可逆交互模拟领域，构思巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多尺寸基座、严格的可见/未见工具划分、真实执行错误率评测及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，问题陈述与非对称效用分析深刻切中当前智能体痛点。
价值: ⭐⭐⭐⭐☆ 为高风险智能体落地、安全工具调用及决策时推理解码提供了极具实用价值的范式。