llm agents already know when to call tools - even without reasoning¶

会议: NeurIPS 2026
arXiv: 2605.09252
代码: https://github.com/Trustworthy-ML-Lab/when2tool
领域: LLM Agent
关键词: 工具调用决策、隐状态探测、前缀引导、When2Tool、推理开销优化

一句话总结¶

本文提出针对工具调用决策的 When2Tool 基准，揭示大语言模型在生成前的隐状态中已经高精度线性编码了工具必要性，并据此设计了仅需轻量探针与提示前缀的 Probe&Prefill 方法，在几乎无损准确率的情况下削减近半的不必要工具调用。

研究背景与动机¶

工具增强的大语言模型（LLM Agent）近年来在深度调研、代码工程与复杂规划中展现出强大能力，但现有系统普遍存在无节制的工具滥用倾向。无论面对简单的四则运算还是基础常识问答，模型即使自身权重中已具备直接回答的能力，依然会盲目发起外部搜索或计算调用。这种无谓的调用在工业部署中不仅极大地增加了端到端推理延迟，还消耗了高昂的 API 调用成本，而现有的工具使用基准几乎全都在“每个任务都必须使用工具”的假定下评测模型调用格式的正确性，无法评测智能体在“直接解答”与“调用工具”之间的自省决策边界。

尝试控制工具调用的常规免微调方案主要受制于两类瓶颈：其一是提示词工程（Prompt-only），通过系统提示词劝阻模型调用工具往往呈现出无差别的全局压制，导致在真正需要工具的困难任务上准确率急剧劣化，节省单次调用所付出的准确率代价极大；其二是显式推理后行动（Reason-then-Act），促使模型在行动前用自然语言分析是否需要工具，但这种口语化推理不仅引入了额外的 Token 延迟开销，且在更困难的决策边界上依然产生严重的误判，甚至在部分模型上引发推理崩塌（如模型大篇幅陈述工具意图却无法输出规范调用语法）。

这一矛盾的核心在于：模型在文本生成层面表现出的工具决策失准，究竟是因为其内部完全缺乏对自身能力的判断信号，还是因为自回归生成过程未能将内部掌握的信息有效转换为最终的行动决策？通过对模型预生成隐状态的系统探针分析，本文发现模型隐层表征对任务是否需要工具具有高达 0.89–0.96 的 AUROC 线性可分性。核心 idea：利用预生成最后一个 token 隐状态经轻量线性探针解码得到的工具必要性概率，直接向前缀注入引导性语句（Probe&Prefill），以近乎零计算开销（<1ms）精准引导模型在无需工具时直接作答、必要时发起调用，打破传统提示与显式推理在效率与精度上的负向权衡。

方法详解¶

整体框架¶

Probe&Prefill 是一种完全无需改动基座模型权重、无需多轮显式思维链推理的推理期干预方法。整个决策流程建立在单次常规前向传播的基础之上：当用户输入任务提示后，系统提取输入序列末尾 token 在各层的前向隐状态，交由离线训练的轻量线性探针完成二分类推断，随后根据判定结果向生成序列开头预填（prefill）一段极短的引导性文本（如“我可以直接解答无需工具”或“该问题需要使用工具”），模型随后基于该前缀顺畅完成自回归生成。

整个流水线由输入表征捕获、探针概率映射与阈值门控、以及前缀定向引导三个阶段紧密级联，其数据流与决策机制如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务输入 Prompt<br/>(含工具描述与任务要求)"] --> B["输入隐状态提取<br/>共享 KV Cache 前向计算，取末尾 token 各层激活"]
    B --> C["线性探针解码<br/>全层特征拼接过正则化 Logistic 回归计算概率 p"]
    C -->|决策阈值门控| D{"工具必要性判别<br/>p < tau ?"}
    D -->|是: 无需工具| E["前缀定向引导: 直接作答<br/>Prefill: 'I can solve this directly without using a tool.'"]
    D -->|否: 需调工具| F["前缀定向引导: 启用工具<br/>Prefill: 'I need to use a tool for this question.'"]
    E --> G["自回归生成最终答案<br/>直接输出解答并封装至 \\boxed{}"]
    F --> G2["自回归生成工具调用<br/>输出标准 JSON 工具调用参数并等待响应"]

关键设计¶

1. 输入隐状态提取：零额外前向开销的表征捕获

传统基于外部判别器或多代理反思的方法通常需要启动独立的判别模型或引入二次提示，带来成倍的延迟。本文指出，在现代自回归 LLM 推理架构中，处理输入 Prompt 并构建初始 Key-Value 缓存（Prefill 阶段）是不可或缺的标准步骤。Probe&Prefill 直接复用这一次前向传播，在最后一个输入 token 位置提取所有 Transformer 层的隐藏状态向量 \(h^{(l)} \in \mathbb{R}^{d}\)（其中 \(l \in [1, L]\)），并将其拼接为一个高维特征向量 \(\mathbf{x} = [h^{(1)}; h^{(2)}; \dots; h^{(L)}] \in \mathbb{R}^{L \cdot d}\)。由于该特征提取完全附着于原生的 KV Cache 计算过程，无需执行任何额外的神经网络前向计算，为毫秒级快速决策提供了基础保障。

2. 线性探针解码：全层隐空间的工具必要性判别

为了验证模型内部对自身能力边界的感知，本文通过在无需工具（No-Tool）强制直答设定下评估模型是否能独立解题来构建二元标签：若模型直答正确，则标注为无需工具（\(y=0\)）；若直答失败，则标注为必须依赖工具（\(y=1\)）。随后在少量训练样本（仅需 900 条甚至低至 90 条）上训练带 \(L_2\) 正则化的 Logistic 回归探针。探针计算线性输出 \(z = \mathbf{w}^\top \mathbf{x} + b\)，并引入温度系数 \(T\) 计算预测概率：

\[p = \sigma\left(\frac{\mathbf{w}^\top \mathbf{x} + b}{T}\right) = \frac{1}{1 + \exp\left(-\frac{\mathbf{w}^\top \mathbf{x} + b}{T}\right)}\]

通过调节决策阈值 \(\tau \in (0, 1)\)，该线性探针赋予了系统一条平滑可控的操作曲线：当 \(p < \tau\) 时判定为自身可解，反之判定为需调工具。探针消融表明，相较于仅取中间层或最终层，全层拼接能捕获分布在不同深度阶段的语义与计算容量信号，以平均高达 0.89–0.96 的 AUROC 稳定解码出模型的“隐式自我认知”。

3. 前缀定向引导：柔性与刚性约束下的生成对齐

在获得判别概率后，如何无损地将隐式信号转化为实际的文本生成动作是关键所在。本文提出在自回归生成开始前，直接向模型的输出缓冲区预填（prefill）一句简短的启动前缀。默认的“柔性引导（Soft Prefill）”采用自然语言句子，当判决不需工具时预填 I can solve this directly without using a tool.，当判决需调用工具时预填 I need to use a tool for this question.。这种机制赋予了基座模型在极端情况下通过上下文注意力覆盖探针判决的自校正弹性。而对于指令遵循较弱、倾向于忽视自然语言引导的场景（如 Llama 系列），本文进一步提出了“刚性引导（Hard Prefill）”，在判定直答时直接强行预填格式符 \boxed{，在判定调用工具时预填 JSON 字段首部 {"name":，强力锁死解码路径，从而彻底避免了模型因表述漂移而导致的调用失控。

损失函数 / 训练策略¶

探针模型的训练完全解耦于基座 LLM，仅需在离线收集的训练集特征上执行凸优化求解。对于包含 \(N\) 个样本的数据集 \(\{(\mathbf{x}_i, y_i)\}_{i=1}^N\)，训练目标为带 \(L_2\) 正则项的标准二元交叉熵损失：

\[\mathcal{L}(\mathbf{w}, b) = -\frac{1}{N} \sum_{i=1}^N \left[ y_i \log \sigma(\mathbf{w}^\top \mathbf{x}_i + b) + (1 - y_i) \log (1 - \sigma(\mathbf{w}^\top \mathbf{x}_i + b)) \right] + \frac{\lambda}{2} \|\mathbf{w}\|_2^2\]

其中权重衰减系数默认设为 \(\lambda = 10000\)（对应 scikit-learn 中正则化强度 \(C = 10^{-4}\)），温度缩放默认设为 \(T = 2.0\)。该凸优化问题在标准 CPU 上数秒内即可收敛，完全不占用 GPU 训练资源。

实验关键数据¶

主实验¶

主实验在作者提出的 When2Tool 基准（包含 15 个单跳与 3 个多跳环境，涵盖计算规模、知识边界与执行追踪三大维度，共 2,250 个单跳测试任务）上展开，对比了提示词模式（Default、Sparse）、显式推理（Reason-then-Act）以及所提出的 Probe&Prefill。

模型	方法 / 模式	单跳准确率 Acc (%)	总工具调用量 TC	困难任务单位节省代价 \(\frac{\Delta\text{Acc}}{-\Delta\text{TC}}\)	综合效率评注
Qwen3-1.7B	Default (Prompt-only)	88.2	2709	基准面	存在大量简单任务过度调用
Qwen3-1.7B	Sparse (Prompt-only)	70.2	1611	-37.7	困难任务掉点剧烈，代价高昂
Qwen3-1.7B	Sparse + Reason-then-Act	73.2	1161	-30.0	显式推理带来额外token开销
Qwen3-1.7B	Probe&Prefill (\(\tau=0.5\))	88.3	2128	+5.3	准确率无损前提下净削减21.4%调用
Qwen3-4B-Inst.	Default (Prompt-only)	89.2	2118	基准面	基准配置
Qwen3-4B-Inst.	Sparse (Prompt-only)	70.7	484	-42.4	严重误伤困难任务工具调用
Qwen3-4B-Inst.	Sparse + Reason-then-Act	72.5	535	-36.6	推理未能解决困难样本自省失准
Qwen3-4B-Inst.	Probe&Prefill (\(\tau=0.5\))	88.5	1309	+73.9	工具调用削减38.2%，精度仅微降0.7%
Qwen3-14B	Default (Prompt-only)	93.7	2211	基准面	基准配置
Qwen3-14B	Sparse (Prompt-only)	77.3	1020	-58.4	困难任务代价极高
Qwen3-14B	Sparse + Reason-then-Act	85.5	1034	-34.7	较提示词有所改善但仍偏粗糙
Qwen3-14B	Probe&Prefill (\(\tau=0.5\))	92.4	1227	+1.4	工具调用削减44.5%，精度保持92.4%
Llama-3.3-70B	Default (Prompt-only)	83.1	4377	基准面	70B模型默认严重滥用工具
Llama-3.3-70B	Sparse + Reason-then-Act	47.9	0	-31.7	推理崩塌：仅输出意图无有效调用
Llama-3.3-70B	Probe&Prefill (\(\tau=0.5\))	88.3	2871	+7.6	准确率反超5.2%，削减34.4%工具调用

消融实验¶

针对 Probe&Prefill 的核心组件、特征层选择与温度配置，论文给出了细致的消融分析数据（如下表所示）：

消融维度	具体配置	探针 AUROC (Qwen-14B)	测试准确率 Acc (%)	工具调用量 TC	机制与性能说明
特征层选择	All Layers (全层拼接)	0.957	92.4	1227	全网络分层表征联合决策最佳
特征层选择	Mid Layer Only (仅第20层)	0.920	88.5	1340	中间层已具备大部分自省能力
特征层选择	Last Layer Only (仅第40层)	0.929	89.1	1315	最后一层略优于中间层但弱于全层
引导模式 (Llama-70B)	Soft Prefill (\(\tau=0.5\))	0.936	88.3	2871	大模型部分抵抗自然语言前缀
引导模式 (Llama-70B)	Hard Prefill (\(\tau=0.5\))	0.936	56.0	1830	强行截断格式可实现大幅调用压制
训练数据规模	10% 训练集 (仅90样本)	0.882	89.2	1450	仅90条样本即可学到极强判别面
训练数据规模	50% 训练集 (450样本)	0.937	91.8	1280	样本规模增益在50%后趋向平缓
全参数微调对比 (SFT)	SFT (4×GPU 全参微调)	N/A (生成式)	91.3	2140	耗时数小时，准确率虽升但调用未降

关键发现¶

工具必要性在表征层面完全线性可解：跨 6 款主流模型（1.7B 到 70B），预生成最后一个 token 的隐状态均能被极简的线性分类器以 0.89–0.96 的超高 AUROC 准确解码，证明模型“心知肚明”何时必须依赖外部工具。
显式推理在工具决策上存在天然缺陷与脆弱性：让模型在文本中“先推理再行动”并未显著改善决策质量，其语言表述常常掩盖了内部表征判断；在 Llama 系列模型中，Reason-then-Act 甚至诱发致命的输出格式损坏，导致工具调用完全失效。
自适应削减避免了困难任务的灾难性掉点：传统的 Prompt 压制会导致困难任务的单位节省代价 \(\frac{\Delta\text{Acc}}{-\Delta\text{TC}}\) 达到 -40 至 -60（每省一个调用损失大量准确率），而 Probe&Prefill 在困难任务上的该项代价仅为 -3.4 甚至呈现正向收益（反向剔除干扰）。
极佳的外推泛化性与极低的推理开销：探针提取与推断延迟在全部模型上均小于 0.7ms，仅占前向 Prefill 耗时的不足 1%；且在真实多跳搜索基准 Search-o1 上，未经针对性重训的探针依然降低了 20–56% 的真实搜索引擎 API 请求。

亮点与洞察¶

揭示了“表征认知”与“文本生成”之间的校准脱节：论文最具启发性的洞见在于证明了 LLM Agent 的工具滥用并非由于其缺乏自省能力，而是文本解码路径未能有效采纳前向隐状态中已有的置信度信号。
优雅轻量的免微调引导范式（Probe&Prefill）：规避了成本高昂且容易破坏通用能力的全参数 SFT，仅以一个不到 1ms 的 CPU 线性探测搭配极短 Prompt Prefill，便达成了传统方法即便微调也难以实现的平滑Pareto前沿。
控难基准 When2Tool 为 Agent 自省研究设立了标尺：构建了首个涵盖计算规模、知识边界、执行追踪三大维度的严格梯度评测集，消除了既往基准“只要评测就默认必调工具”的固有偏差。

局限与展望¶

作者承认的局限：当前的探针判定依赖于模型针对该任务的直答二元标签，对于完全无法程序化确定直答正误的极复杂开放生成任务，构建训练探针标签需依赖额外的启发式或标注规则。
潜在的研究局限：在某些对 Prompt 敏感度极高或输出前缀受严格 API 格式锁定的托管云端闭源模型（如无法获取 Logits 与隐状态的纯黑盒 API）上，Probe&Prefill 无法直接从外部署，其必须依赖能够访问第一轮 Prefill 隐状态的白盒/灰盒推理引擎。
未来改进方向：可进一步探索将探针的线性能量信号动态耦合进解码阶段的 Logit 偏置（Logit Bias）或采样分布调节，或者将隐状态探针作为强化学习（如 PPO/GRPO）的密集内在奖励（Intrinsic Reward），从训练端直接拉齐生成行为与内部表征。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严密证明了工具必要性在 LLM 隐状态中的高度线性可解性，提出的 Probe&Prefill 构思巧妙且极其实用。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款主流开源模型、18 个控制基准环境、单跳与多跳对比，外加消融、时延分析及 Search-o1 真实场景泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨流畅，从现象发现、失败机理剖析到机制探针与轻量方案设计，层层递进。
价值: ⭐⭐⭐⭐⭐ 极具工业落地价值，能以几乎为零的工程成本为各类 Agent 落地应用削减 30%–50% 的外部 API 调用与推理延迟。