Triage: Evaluating Prospective Metacognitive Control in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.13414
领域: LLM 评测
关键词: 前瞻性元认知控制、计算资源分配、投资组合规划、TRIAGE 基准、思考模型不可行识别

一句话总结¶

提出评估大模型在有限 Token 预算下前瞻性元认知控制（选题、排序与预算分配）能力的评测框架 TRIAGE，并在 20 款主流模型上证实：模型扩展思考提升了解题准确率，却未提升甚至恶化了前瞻性元认知规划能力，且推理模型对不可解任务的识别敏感度显著下降。

研究背景与动机¶

随着大语言模型在自主智能体与长链条复杂推理领域的深入部署，测试时计算（Test-Time Compute）缩放带来了严重的资源配置挑战。现有具备深度思考能力的大模型在实际应用中经常表现出两种病态行为：面对简单直白的问题仍耗费数千甚至上万 Token 陷入“过度思考”（Overthinking），而在高难度问题上却过早放弃潜力分支；在智能体部署场景下，模型因缺乏对自身能力边界的感知而发生计算浪费与分析瘫痪，导致任务整体吞吐量与成功率急剧恶化。人类在面对限时考试或多任务队列时，能够基于元认知控制（Metacognitive Control）在前瞻阶段自主规划精力分配，精准放弃不可解难题并合理为可解题目预留充裕时间，然而当前大模型是否具备这种在执行前联合协调“选什么题、按什么顺序、各分配多少计算预算”的前瞻控制能力仍是未解之谜。

这一能力的评测难点在于以往研究的割裂：传统的模型校准与自我认知评测（如置信度估计或拒答基准 AbstentionBench）均停留在逐题单任务的事后监控或孤立拒答层面，无法检验全局共享有限预算下的组合权衡；而系统侧的批处理调度器虽有资源分配策略，却完全脱离了模型对自身能力与解题代价的内在自知。智能体真正自主规划的核心痛点在于：在未获得任何执行阶段中间反馈的前瞻时刻，模型必须将自身可行性评估、Token 代价预测、子集选择与执行排序联合优化，任何一处预测失准（如严重低估某题代价导致中途预算耗尽截断，或误选不可解任务）都会直接导致全局效用崩溃。

本文从认知心理学经典的元认知监控与控制双层框架切入，首次在实验中将前瞻规划决策与执行反馈彻底解耦，构建了无先验难度提示且具备模型特定基线成本校准的投资组合评测范式。核心 idea：构建前瞻性元认知控制评测框架 TRIAGE，令模型在执行前为异质任务池提交包含题目选择、执行顺序与 Token 预算分配的全局决策计划，并通过与掌握模型真实可行性与代价的预言机对比计算分诊效率比，标准化量化大模型在建议与强制双重执行机制下的资源理性控制能力。

方法详解¶

整体框架¶

TRIAGE 的核心目标是直接以行为后果量化模型的前瞻性元认知控制水平。对于评测模型 \(M\) 和包含 \(n\) 道任务的任务池 \(\mathcal{P} = \{p_1, \ldots, p_n\}\)，每个问题 \(p_i\) 具有公开且均等的价值 \(v_i = 1\)（消除基于表面分值的提示泄露）。在执行任何规划前，系统首先通过阶段 0 的基线运行获取模型对每道题目的真实客观解题标记 \(y_i \in \{0, 1\}\) 和标准输出 Token 代价 \(c_i\)。随后，在总预算 \(B = \lfloor \alpha \cdot \sum_{i=1}^n c_i \rfloor\) 约束下（\(\alpha \in (0, 1]\)），模型作为规划器直接输出一份前瞻执行计划 \(\pi = (i_1, \ldots, i_k)\) 及其对应的单题分配预算 \(a_{i_j}\)，并分别在“建议分配”与“强制截断”两种物理执行机制下进行模拟评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务池 P 与统一单分值设置<br/>v_i = 1, 无难度线索泄露"] --> B["基线标定与预算校准<br/>单步离线获真实 (y_i, c_i), 设 B = floor(α Σ c_i)"]
    B --> C["前瞻投资组合规划<br/>一次性提交有序计划 π 与预算分配 a_i"]
    C --> D["双重执行机制模拟<br/>建议机制 U (自然跑完) vs 强制机制 E (硬上限截断)"]
    D --> E["标准化分诊效率比评估<br/>与 0-1 背包预言机对比得出 η_M 与归一化遗憾 R_M"]

关键设计¶

1. 基线标定与预算校准：消除模型能力基底差异的严格自平衡

由于不同架构和推理扩展模型的基线输出长度和解题能力存在巨大悬殊，若采用全局固定 Token 数，会导致不同模型面临完全不对等的规划难度。TRIAGE 在阶段 0 采用贪心采样（Temperature 0）离线运行评测模型 \(M\)，精准记录其独立求解每道题目的真实正确性 \(y_i\) 与耗费 Token 数 \(c_i\)。在阶段 1 派发给规划器时，总预算设定为 \(B(M, \alpha) = \lfloor \alpha \cdot \sum_{i=1}^n c_i \rfloor\)。引入比例系数 \(\alpha \in \{0.25, 0.50, 0.75, 1.00\}\) 施加不同程度的资源压缩：\(\alpha = 0.5\) 意味着预算仅能覆盖该模型全部题目基线耗费的一半，强制模型必须做出前瞻取舍与优选排序；\(\alpha = 1.0\) 则检验模型是否会无端放弃可解任务。这一设计确保了跨模型、跨尺寸横向比较时，预算压力的严格自洽与公平。

2. 前瞻投资组合规划：四重元认知判断的联合决策动作

规划器接收任务池各题面文本以及全局标定预算 \(B\)，要求直接输出单次结构化 JSON 计划，联合编码四项前瞻元认知基语：可行性判断（自己能否解出）、成本估计（预计需要多少 Token）、子集选择（选哪几道题）和序列排序（按什么顺序执行）。计划形式定义为有序元组 \(\pi = (i_1, \ldots, i_k)\)，满足显式分配和约束 \(\sum_{j} a_{i_j} \le B\)。该过程不允许在解题途中根据中间思考结果进行动态重规划（Execution Feedback），实现了方法论层面上对“前瞻判断能力”的纯净隔离，直接模拟了深度研究智能体将子任务并行分派给下游 Agent 且无法在运行中修改配额的真实工业落地场景。

3. 双重执行机制模拟：建议机制与强制承诺机制的解耦对照

为辨析模型是“选不对题目”还是“控不住自己的生成长度”，TRIAGE 构建了两种对照执行模式： - 建议机制（Unconstrained Regime, U）：执行器按计划顺序 \(\pi\) 执行任务，模型求解时允许自然生成至其内在结束符（消耗真实代价 \(c_i\)），计划中的分配值 \(a_i\) 仅作参考。全局预算池持续扣除真实消耗，一旦剩余预算不足以支付下一道题的真实代价，执行立即终止。该模式纯粹检验模型的选题与排序监控质量。 - 强制机制（Constrained Regime, E）：执行器将模型自行声称的配额 \(a_{i_j}\) 作为 API 硬性 max_tokens 截断上限施加于求解器。若模型在该硬限制内完成生成并输出正确答案，则获得分值；若超出配额被强制截断，不仅得分直接记为 0，且整个声称的配额 \(a_{i_j}\) 均从全局预算中扣除。该模式严格检验前瞻元认知控制的承诺兑现力（Self-Commitment），即模型是否能恪守自己制定的预算承诺。

4. 标准化分诊效率比评估：基于 0-1 背包预言机与随机基准的双重归一化

由于不同任务池的固有难度和总分存在天然波动，直接比较获得的绝对分数 \(V_M(\pi)\) 毫无意义。TRIAGE 引入完美信息预言机（Oracle）与无知随机基准（Random Reference）进行两极归一化。在统一分值 \(v_i = 1\) 下，预言机转化为无难度先验泄漏的整数背包问题，其理论最高得分为在预算 \(B\) 内贪心选择所有可解题目（\(y_i = 1\)）按真实成本 \(c_i\) 升序排列的最大容纳量：

\[V_{\text{oracle}} = \max \Bigl\{ m \;\Big|\; \sum_{j=1}^m c_{i_{(j)}} \le B \Bigr\}\]

随机基准 \(V_{\text{random}}\) 为无任何自我认知下从任务池中随机均匀抽取顺序并在建议机制下耗尽预算的期望得分（由 \(10^3\) 次蒙特卡洛模拟求得均值）。最终标准化分诊效率比（Triage Efficiency Ratio）定义为：

\[\eta_M = \frac{V_M(\pi) - V_{\text{random}}}{V_{\text{oracle}} - V_{\text{random}}}\]

若 \(\eta_M = 1\) 说明达到完美自我知晓的最优规划，\(\eta_M = 0\) 说明完全不具备自我认知（等同于瞎猜），而 \(\eta_M < 0\) 则说明模型存在反向技能（Anti-Skill）——其盲目选择比随机打乱还要低劣。此外，论文引入无奇点边界的归一化遗憾度 \(\tilde{R}_M = (V_{\text{oracle}} - V_M) / V_{\text{oracle}} \in [0, 1]\)（越低越好）作为全预算区间的鲁棒互补指标。

一个完整示例¶

假设某任务池包含 3 道题，某模型在其单题基线中表现为： - 题目 1（竞赛代数）：真实耗费 \(c_1 = 2000\) Token，结果正确 \(y_1 = 1\)； - 题目 2（基础常识）：真实耗费 \(c_2 = 200\) Token，结果正确 \(y_2 = 1\)； - 题目 3（超难组合）：真实耗费 \(c_3 = 4000\) Token，结果错误 \(y_3 = 0\)。

在 \(\alpha = 0.5\) 约束下，该模型的基线总成本为 6200 Token，获得可用预算 \(B = 3100\) Token。预言机识别出可解集为 \(\{1, 2\}\)，按成本升序排列总成本仅需 \(200 + 2000 = 2200 \le 3100\)，可解得 \(V_{\text{oracle}} = 2\) 分。若模型规划失误，过度自信地将题目 3 排在首位并乐观预估 \(a_3 = 2500\) Token，在建议机制 U 下，模型执行题目 3 耗费真实 4000 Token，瞬间突破总预算截断，最终 \(V_M = 0\) 分，表现显著弱于优先抽中题目 2 的随机基准，产生严重的负分诊效率 \(\eta_M < 0\)；在强制机制 E 下，模型在 2500 Token 处被硬截断导致题目 3 失败，剩余预算仅剩 600 Token，同样无法支持题目 1，全盘归零。

实验关键数据¶

主实验¶

评测涵盖 20 款主流模型架构（Qwen 2.5/3/3.5 全系列、GPT-OSS 20B/120B、Gemini 2.5 Flash、Claude Haiku 4.5、DeepSeek V3、GLM 5.1、GPT-5 Mini、Kimi K2.5 等），跨越数学竞赛（AIME 2024-2025）、研究生科学（GPQA Diamond）、代码生成（LiveCodeBench 2025+）以及人类最后考验（Humanity's Last Exam, HLE）四大领域。下表展现了中等预算压力（\(\alpha = 0.5\)）下代表性模型的分诊效率比 \(\eta_U\)（建议机制）、\(\eta_E\)（强制机制）与基准解题准确率（Base Acc）：

模型	思考模式	AIME (η_U / η_E)	GPQA (η_U / η_E)	LCB (η_U / η_E)	HLE (η_U / η_E)	Base Acc (%)
Gemini 2.5 Flash	标准推理 [std]	+0.48 / +0.18	+0.42 / +0.22	+0.51 / +0.15	+0.38 / +0.12	48.5
Gemini 2.5 Flash	扩展思考 [ext]	+0.45 / -0.32	+0.39 / -0.45	+0.48 / -0.28	+0.41 / +0.14	64.2
Qwen 3.5 27B	标准推理 [std]	+0.38 / -0.16	+0.35 / -0.15	+0.44 / -0.12	+0.31 / +0.08	41.2
Qwen 3.5 27B	扩展思考 [ext]	+0.33 / -0.48	+0.34 / -0.55	+0.36 / -0.62	+0.29 / -0.15	58.7
Kimi K2.5	标准推理 [std]	+0.53 / -0.25	+0.46 / -0.21	+0.42 / -0.30	+0.34 / +0.05	45.0
Kimi K2.5	扩展思考 [ext]	+0.46 / -0.71	+0.41 / -0.69	+0.39 / -0.82	+0.32 / -0.22	61.8
GPT-OSS 20B	扩展思考 [ext]	+0.28 / -0.65	+0.22 / -0.78	+0.31 / -0.71	+0.18 / -0.42	52.3
GPT-OSS 120B	扩展思考 [ext]	+0.31 / -0.58	+0.24 / -0.82	+0.22 / -0.79	+0.21 / -0.38	59.4
Oracle 理论最优	完美自知	1.00 / 1.00	1.00 / 1.00	1.00 / 1.00	1.00 / 1.00	100.0
Random 随机基准	无自知	0.00 / 0.00	0.00 / 0.00	0.00 / 0.00	0.00 / 0.00	—

消融实验：不可解问题注入与自定预算遵从性分析¶

论文针对元认知控制的两大核心维度展开了深度分析： 1. 不可解题目注入（Infeasible Injection）：使用 AbstentionBench 构造不可解题注入任务池，测定模型在不同替换比例 \(r\) 下的检测率 \(D\)（正确排除率）与浪费率 \(W\)（在不可解题上的 Token 分配比例）； 2. 预算声明提示下的重求解遵从性（Compliance & Re-solve）：在标准解题 Prompt 中直接向模型展示其先前自主声明的预算配额，检验模型是否能在不加硬截断时自我约束长度。

分析维度 / 模型配置	核心指标表现	详细说明
不可解注入: Gemini 2.5 Flash	\(D \in [0.60, 0.79]\)，跨比例平稳	无论全注入还是轻度注入，均能稳定剔除绝大部分无解题目，浪费率极低
不可解注入: Qwen 2.5 32B (标准)	\(r=0.25\) 时 \(D=0.67\) (GPQA), \(0.88\) (Math)	标准推理模型在低注入下具有较强的不可行性感知能力
不可解注入: Qwen 3 32B (思考)	\(r=0.25\) 时 \(D=0.08\) (GPQA), \(0.54\) (Math)	开启推理训练后，模型盲目自信，不可解题剔除率发生断崖式暴跌
预算遵从: Gemini 2.5 Flash (std)	遵从率 36.6%，准确率增 +1.9 pp	仅少数生成长度能落在自己承诺的配额内，配额主要充当简明先验
预算遵从: GLM 5.1 (std)	遵从率 16.0%，AIME 准确率 10% \(\to\) 61%	自身预算提示有效抑制了数学题上的无休止漂移，但仍有 84% 样本超限
预算遵从: Kimi K2.5 (std)	遵从率 6.0%，准确率增 +4.9 pp	94% 的任务生成超出其自己制定的分配，自我配额控制完全形同虚设

关键发现¶

元认知控制与基础认知能力的显著解耦：扩展长链条思考（Extended Reasoning）显著推高了基线解题准确率，但对于前瞻分诊效率 \(\eta_U\) 毫无改善甚至产生反作用；在强制机制 \(\eta_E\) 下，思考模型由于生成不受控的冗长思维链，更易遭遇硬截断，导致得分全盘崩塌。
强制约束下的全面溃败：在 30 种测试配置中，仅有 Gemini 2.5 Flash 标准推理版能在四大领域保持正向的 \(\eta_E\)，其余绝大部分模型在 \(\alpha=0.5\) 时的 \(\eta_E\) 均为严重的负数，表明当前模型根本无法承诺并恪守自己制定的计算配额。
推理强化训练削弱了对不可行任务的敏感度：在同家族对比中，未经过度推理微调的模型能较好识别并跳过不可解问题，而长思维链推理模型展现出普遍的过度自信，执着于在注定失败的题目上耗尽算力。
分诊能力缺乏跨参数规模扩展性（Non-scaling）：在 Qwen 与 GPT-OSS 家族内，更大参数的模型（如 120B vs 20B、32B vs 14B）并未展现出单调上升的 \(\eta\)，元认知控制属于独立于模型参数量的稀缺能力。

亮点与洞察¶

将元认知控制转化为标准化投资组合优化问题：巧妙将认知心理学中的前瞻元认知控制形式化为受限预算下的多任务排序与组合决策，并借助 0-1 背包预言机实现跨模型解题能力的去偏归一化。
揭示了“思考越深、自控越差”的反直觉困境：明确指出当前 RL 增强的思考模型过分强化了“不撞南墙不回头”的执念，严重丧失了前瞻评估难易、主动放弃与按算力规划节奏的元认知自控力。
为工业级自主智能体设计提供关键警示：如果智能体在派发下游耗时耗算力的任务时仅依赖自身单次规划，极易因乐观错估配额导致整个管道雪崩，亟需在上层引入独立的显式资源分配与硬性截断护栏。

局限与展望¶

单轮离线前瞻设定的现实局限：TRIAGE 刻意排除了执行途中的动态反馈（In-the-loop Revision），虽然纯化了前瞻控制的测度，但无法反映支持中间反思修正的渐进式智能体表现。
资源维度的单一性：当前主要以生成 Token 作为唯一的资源度量，尚未囊括工具调用次数（Tool Calls）、API 金钱开销以及端到端物理延迟等多元混合资源约束。
缺乏情节性历史记忆：模型在无历史答题统计先验的情况下预测单次运行的自己，其自我评估本质上是在评估“这一类通用模型”，而非具备自我经验记忆的真正主体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将前瞻元认知控制形式化为有限预算下的大模型投资组合决策，构思新颖且极富启发性。
实验充分度: ⭐⭐⭐⭐⭐ 跨 20 款模型、四大严苛学术基准、覆盖长短推理模式及不可解注入消融，分析极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 认知心理学理论背景与现代大模型架构结合紧密，公式严谨，论证层层递进。
价值: ⭐⭐⭐⭐⭐ 揭示了长思维链大模型在资源受限落地中的核心软肋，为测试时计算调度与 Agent 编排指明了全新方向。