Ares: Adaptive Reasoning Effort Selection for Efficient LLM Agents¶
会议: NeurIPS 2026
arXiv: 2603.07915
OpenReview: https://openreview.net/forum?id=VbY7iyZuyN
论文: https://arxiv.org/abs/2603.07915
领域: Reasoning
关键词: 智能体推理, 推理开销优化, 动态计算分配, 路由器微调, 强化学习
一句话总结¶
Ares 针对大语言模型智能体长程多步交互中的高额思考开销问题，设计了一种轻量级路由机制，在每一步动作决策前自适应预测最低且充分的推理努力等级（low/mid/high），在保持甚至提升任务成功率的同时削减多达 52.7% 的推理 token 消耗。
研究背景与动机¶
近年来，具备慢思考与长思维链（Chain-of-Thought, CoT）推理能力的思考型大语言模型在工具调用、网页导航以及深度研究等复杂自主智能体任务中展现出了卓越的规划与决策能力。然而，这种能力的飞跃伴随着极其昂贵的推理计算代价：智能体在多轮交互轨迹中逐步累积海量推理 token，导致显存占用暴涨、延迟剧增且调用成本高企。虽然新一代模型（如 GPT-5、Gemini-3、gpt-oss-20b 等）逐步开放了可配置的思考等级（例如 high/medium/low 或 thinking/fast 模式），但现有策略大多停留在静态全局配置或简单的启发式规则层面。
采用均匀粗粒度的固定策略会带来严重的两难困境：若为了极低成本全程采用 low 等级，智能体会在关键分支与长程状态追踪中遭遇严重的逻辑崩溃，成功率骤降（例如在 gpt-oss-20b 上直接暴跌近 20%）；若全局维持 high 等级，则在诸如打开已知 URL、确认状态或简单参数填充等浅层决策步骤上造成极大的计算冗余。更关键的是，智能体任务具有长程依赖性，早期步骤一旦因算力不足产生微小失误，就会在后续轮次中引发雪崩式的误差传播；而跨异构模型路由（Model Routing）又存在能力-成本边界非单调、无法复用 KV Cache 等严重系统开销。
为了攻克这些瓶颈，本文的核心目标是利用模型内部固有的思考等级机制，在同一模型架构内实现步进级（per-step）的自适应推理算力分配。核心 idea：将多步长程规划的推理预算搜索解耦为逐步单轮标签辨识，通过轻量级路由模型在动作执行前预测足以成功的最优推理等级并生成简短理由，再结合组相对策略优化（GRPO）避免过度思考并最大化端到端效率。
方法详解¶
整体框架¶
Ares 的核心范式是在主智能体执行每一步环境动作前，引入一个轻量级路由器 \(\mathcal{M}_{\text{router}}\)（例如 Qwen3-1.7B）。在多步轨迹的离散时间步 \(t\) 上，环境返回观察 \(o_t\)，路由器接收完整的交互历史 \(h_t\) 与当前观察 \(o_t\)，先行生成简短的反思分析理由（Rationale）\(r_t\)，随后输出离散推理努力等级 \(e_t \in \{e_{\text{low}}, e_{\text{mid}}, e_{\text{high}}\}\)。主智能体 \(\mathcal{M}_{\text{agent}}\) 以 \(e_t\) 为参数启动内部思考并生成具体动作 \(a_t\)，整个决策流水线完整复用了同一智能体模型的 KV Cache，避免了跨模型切换带来的编码损耗。
为了训练高性能的路由器，Ares 提出了从自动化数据合成、监督微调（SFT）到强化学习（RL）闭环优化的完整流水线：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["交互历史与当前环境观察<br/>(h_t, o_t)"] --> B["阶段一：参考轨迹收集与单步解耦<br/>筛选最简成功轨迹并隔离单步"]
B --> C["阶段二：最低充分努力标注<br/>多轮鲁棒性验证与最低成本标签选取"]
C --> D["阶段三：教师理由生成与 SFT 微调<br/>合成 3-5 句状态复杂度理由与冷启动训练"]
D --> E["阶段四：GRPO 强化学习闭环优化<br/>归一化成本惩罚防过度思考与方差筛选"]
E --> F["轻量级路由器预测 e_t 与理由 r_t"]
F --> G["主智能体复用 KV Cache 生成动作 a_t"]关键设计¶
1. 参考轨迹解耦与单步鲁棒性努力标注：将指数级组合搜索降维为单步评估
在多步智能体决策中，直接在 \(|\mathcal{E}|^T\) 庞大组合空间中搜索全轨迹最优计算分配是极其昂贵的，且早期的算力欠缺会污染后续状态。Ares 首先在最高算力 \(e_{\text{high}}\) 下采样多条成功执行路径，并严格筛选出步骤数最少的最简成功轨迹 \(\tau^*=(o_1, a_1^*, \dots, o_T, a_T^*)\) 作为基准真值路径。这样不仅剔除了冗余探索步骤带来的噪声，更将长期序列优化问题分解为孤立的逐步标签获取任务。针对每个时间步 \(t\)，系统固定历史上下文 \((h_t, o_t)\)，对候选等级 \(e \in \{e_{\text{low}}, e_{\text{mid}}, e_{\text{high}}\}\) 分别独立进行 \(K\) 次采样测试（实验中设 \(K=3\)）。只有当某种等级在至少 \(M\) 次测试中均能精准复现与真值 \(a_t^*\) 等价的环境行为时，该等级才被纳入充分候选集 \(\mathcal{C}_t\)： $\(\mathcal{C}_t = \left\{ e \in \mathcal{E} \;\middle|\; \sum_{k=1}^K \mathcal{V}(\hat{a}_{t,k}^{(e)}, a_t^*) \ge M \right\}\)$ 其中环境验证函数 \(\mathcal{V}\) 针对工具调用（匹配函数名与参数）、网页交互（匹配元素与动作）及检索回答（利用语义裁判判断）进行了差异化语义等价校验。最终标签 \(y_t\) 严格选取 \(\mathcal{C}_t\) 中计算代价最低的等级，从而精准捕获了保障该步正确落盘的算力下界。
2. 状态复杂度理由生成与路由器监督微调：赋予轻量模型显式反思能力
轻量级小模型若直接从高维长上下文直接映射到离散标签类别，容易因缺乏中间认知状态而出现泛化失败。Ares 引入强力教师模型（如 GPT-5），结合历史上下文、当前观察及真值标签 \(y_t\)，针对性生成一段 3 到 5 句的简要理由 \(r_t\)。该理由显式解构当前观察的感知难度、全局任务进度以及下一步动作的核心难点（例如区分常规页面加载与包含复杂表格的交互）。通过构建四元组监督数据集 \(\mathcal{D}=\{(h_t, o_t, r_t, y_t)\}\)，以标准的自回归因果语言建模目标对轻量级基座（如 Qwen3-1.7B）进行端到端微调。微调后的路由器在输出离散等级前自发生成简短思考链，以极微小的 token 预测开销充当认知桥梁，显著提升了等级判别的准确性。
3. 基于 GRPO 的归一化成本驱动强化学习：破除局部贪心并抑制过度思考
单步贪心 SFT 存在两大固有局限：一是假设前序选择均为最优，缺乏历史次优决策下的容错与恢复信号；二是缺乏针对全序列总 token 开销的对比强化。为此，Ares 采用组相对策略优化（GRPO）对路由器展开序列级强化学习。设计了由终局结果奖励 \(R_{\text{out}}\)（成功得 \(+5.0\)，失败为 \(0\)）、步进推理成本惩罚 \(R_{\text{cost}}\) 以及格式约束惩罚 \(R_{\text{form}}\) 构成的复合奖励函数。其中步进惩罚明确对应 \(c(e_{\text{low}})=-0.2, c(e_{\text{mid}})=-0.5, c(e_{\text{high}})=-1.0\)： $\(R(\tau) = \begin{cases} R_{\text{out}} + \frac{1}{T}\sum_{t=1}^T c(e_t) + R_{\text{form}}, & \text{若任务成功} \\ R_{\text{out}} + R_{\text{form}}, & \text{若任务失败} \end{cases}\)$ 将成本惩罚严格限制在成功轨迹上，消除了路由器为避开步进扣分而故意诱导智能体快速失败的退化策略；采用步长归一化 \(\frac{1}{T}\) 确保了长轨迹与短轨迹间的奖惩公允。此外，训练前实施了零成功率样本剔除与高奖励方差（Top 30%）样本筛选，精准迫使策略聚焦于可通过算力分配优化撬动 Pareto 前沿的高信息量任务，彻底矫正了某些领域中 high 等级因过度发散（Overthinking）而导致逻辑漂移的严重缺陷。
损失函数 / 训练策略¶
SFT 阶段以 Qwen3-1.7B 为底座，全局批大小 64，学习率 \(5 \times 10^{-6}\)，预热比例 0.1，权重衰减 0.01，训练 3 个 epoch。RL 阶段以 SFT 权重初始化，采用 Adam 优化器，学习率 \(1.5 \times 10^{-6}\)，KL 散度惩罚系数设为 0.01 以约束策略偏离参考模型，每条 prompt 生成 \(G=16\) 条候选采样以估计组内基线优势，训练 5 个 epoch。
实验关键数据¶
主实验¶
基于开源基座模型 gpt-oss-20b，在工具调用智能体基准 TAU-Bench（包含 Retail 与 Airline 两大领域）、深度网页研究基准 BrowseComp-Plus 以及真实网页交互基准 WebArena 上开展了全面评估。评估涵盖任务准确率/成功率（Acc）、总推理 token 消耗（\(T_{\text{total}}\)）、每任务平均 token（\(T_{\text{task}}\)）及每步平均 token（\(T_{\text{step}}\)）。
| 任务场景 / 评测基准 | 策略方法 | 成功率/准确率 (%) | 总 token 数 (\(T_{\text{total}}\)) | 每任务 token (\(T_{\text{task}}\)) | 相对 High 算力节省 |
|---|---|---|---|---|---|
| TAU-Bench (Retail) | 固定 Low | 35.0 | 25k | 223 | -97.5% (准确率暴跌 19.8%) |
| 固定 Medium | 47.3 | 137k | 1,198 | -86.4% | |
| 固定 High | 54.8 | 1,007k | 8,756 | 基准 (0.0%) | |
| GPT-5 Router | 40.0 | 132k | 1,148 | 外部模型开销极高 | |
| Ares (SFT) | 54.8 | 652k | 5,677 | 节省 35.2% token (持平 High) | |
| Ares (RL) | 58.5 | 476k | 4,141 | 节省 52.7% token (反超 High 3.7%) | |
| TAU-Bench (Airline) | 固定 High | 38.0 | 873k | 17,472 | 发生过度思考 (低于 Medium) |
| 固定 Medium | 42.0 | 98k | 1,961 | 领域最优静态 | |
| Ares (RL) | 42.0 | 133k | 2,653 | 节省 84.8% token (持平最优 42.0%) | |
| BrowseComp-Plus | 固定 High | 42.7 | 1,841k | 12,276 | 基准 (0.0%) |
| 固定 Low | 8.0 | 5k | 332 | 严重失效 | |
| Ares (SFT) | 41.3 | 1,071k | 6,781 | 节省 41.8% token (几乎无损) | |
| WebArena | 固定 High | 45.0 | 2,763k | 21,424 | 存在过度发散风险 |
| Ares (SFT) | 46.5 | 1,512k | 11,723 | 节省 45.3% token (反超 High 1.5%) |
消融实验¶
在 TAU-Bench Retail 与 Airline 任务上针对核心模块、理由生成机制及强化学习归一化奖励设计展开消融验证：
| 实验场景 | 消融配置 | 准确率 (%) | 总 token 数 (\(T_{\text{total}}\)) | 关键观察与消融结论 |
|---|---|---|---|---|
| TAU-Bench Retail | Ares 完整配置 (SFT) | 54.8 | 652k | 完整模型兼顾准确率与高效 token 剪枝 |
| 去掉 SFT（直接使用未微调 Qwen3-1.7B） | 41.7 (-13.1) | 128k | 缺乏监督信号导致倾向于盲目预测 Low，准确率崩塌 | |
| 去掉 Rationale（直接判别分类） | 51.3 (-3.5) | 474k | 缺乏中间反思桥梁导致关键步骤算力误判率上升 | |
| TAU-Bench Airline | Ares 完整配置 (RL) | 42.0 | 133k | 归一化成本奖励成功压制过度思考并逼近最优算力 |
| RL 去掉步长归一化 (\(R_{\text{cost}}\) 未加权) | 41.3 (-0.7) | 157k | 未归一化惩罚导致多步时过度压制必要算力，收敛不稳定 | |
| 模型跨尺度迁移 | 120B 基座 + 固定 High | 67.8 | 558k | 120B 大参数基座的性能上限 |
| (在 gpt-oss-120b 上测试) | 120B 基座 + Ares Router (20B 上训练) | 65.2 | 428k | 在 6 倍模型尺度迁移下保留 96.2% 性能，节约 23.3% token |
关键发现¶
- 过度思考现象真实存在：在环境约束明确的场景（如 TAU-Bench Airline 和 WebArena 网页操作）中，全程使用 high 等级会导致智能体产生发散性思考链，进而引发格式失误或多余工具调用。Ares 动态将常规步骤降级至 low/mid，成功反超静态 high 表现。
- 动态算力时序偏序特性：在 WebArena 的行为阶段分析中，任务前 2 步（如主页进入、简单搜索）有超过 80% 被分配为 low 等级；而在遭遇错误后执行
go_back（回退重规划）或branch（分支调整）关键操作时，路由器有超过 70% 的概率指定 high 等级，充分印证了系统精准把握了“常规步骤节约算力、纠错决策深度思考”的认知规律。 - 跨模型尺度的零样本泛化能力：仅在 20B 模型数据上训练的轻量路由器，零样本直接插拔至 120B 级超大参数智能体上，依然能保持优异的算力分配能力，证明任务状态与难度的判别模式具备高度的模型规模无关性。
亮点与洞察¶
- 将内部思考模式与 KV Cache 复用有机结合：相比于维护多套不同尺度模型的 Model Routing 架构，Ares 直接调控模型自身的思考力度，不仅避免了多模型部署的工程沉重负担，更从根本上实现了长程多轮交互中 KV Cache 的 100% 原生复用。
- 单步解耦标注与多轮强化闭环的互补设计：利用最简参考轨迹做单步 \(K\) 次采样打标签，巧妙绕开了指数级组合空间的搜索诅咒；随后再以轨迹级 GRPO 弥补贪心标注在序列容错与过度思考上的不足，是一套极其优雅的智能体微调范式。
- 轻量理由作为认知中继：要求小路由器在给出等级前生成 3-5 句精简理由，仅增加了极其微小的计算预算，却为离散动作选择提供了强有力的语义依托，有效消除了小模型的幻觉误判。
局限与展望¶
- 依赖预设的离散思考等级：Ares 目前假设底层思考型大模型具备明确的离散模式控制接口（如 low/mid/high），无法直接无级调控无显式思考模式开关的自回归长 CoT 模型的 token 长度。
- 跨任务域泛化的先验依赖：路由器在未见过的全新复杂交互环境中的冷启动表现仍依赖一定数量的成功示范轨迹来提取基准真值。未来工作可进一步探索无监督测试时强化学习（Test-time RL），以及拓展到包含截图视线追踪的多模态智能体推理控制中。
相关工作与启发¶
- vs. 传统模型路由器 (Model Routing, 如 RouteLLM, ToolOrchestra)：传统路由通过在小模型与超大商业模型间分流请求，虽然直观，但在长程多轮智能体中每次切换模型都需要重复编码全量上下文（无法共享 KV Cache），延迟与显存开销极大；Ares 探索的是模型内源性思维深度调节，成本-性能曲面更平滑且系统友好度极高。
- vs. 单步自适应思考 (如 DAST, DiffAdapt)：单步自适应工作主要关注数学竞赛题或单轮问答的思考 token 截断，无法直接建模智能体任务中因多步误差级联带来的系统性风险；Ares 建立了面向多轮环境反馈的序列决策优化机制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向多步大模型智能体的步进级自适应推理力度路由与优化范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖工具调用、深度研究与真实网页三大经典智能体基准，涵盖主结果、RL 演进、消融及跨尺度泛化。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，问题建模严密，训练设计逻辑环环相扣。
- 价值: ⭐⭐⭐⭐⭐ 针对思考型智能体落地的推理开销这一核心产业瓶颈提供了高可用、低开销的即插即用解决方案。