Triage: Evaluating Prospective Metacognitive Control in LLMs under Resource Constraints¶

会议: NeurIPS 2026
arXiv: 2605.13414
OpenReview: https://openreview.net/forum?id=Rsyi3nwmf6
领域: LLM 其他
关键词: 元认知控制、测试时算力分配、大语言模型评估、自主智能体、前瞻性规划

一句话总结¶

本文提出首个评估大语言模型前瞻性元认知控制能力的基准框架 TRIAGE，通过在有限 Token 预算下对任务池进行联合选择、排序与预算分配，对照 0-1 背包 Oracle 揭示出当前模型难以自律遵守自身预算、推理增强反而损害无解题识别能力的本质缺陷。

研究背景与动机¶

随着测试时计算扩展（Test-Time Compute Scaling）成为增强大语言模型复杂推理的主流范式，自适应算力分配已演变为制约实际部署的瓶颈问题。现有的强推理模型在简单问题上往往过度思考并生成数千无用 Token，而在真正困难的问题上又过早放弃有希望的分支；在自主智能体处理长任务队列或 GitHub Issue 时，不受约束的计算消耗极易陷入分析瘫痪，导致算力耗尽却一无所获。理想的资源理性智能体必须在投入资源前，根据自身知识边界和任务预期回报合理分配预算——做它能做出的题，在容易题上减少开销，并坚决放弃无法解答的任务。

然而，已有对大模型元认知的研究大多局限在孤立的单任务后验评估上：例如事后校准模型输出的置信度，或者在无预算约束下判断单道题是否应该拒答。现实中智能体面临的核心挑战在于「任务组合管理（Portfolio Management）」：在一个有限的全局 Token 预算下，尝试任何一道题目所消耗的算力，都会直接剥夺后续任务的尝试机会。模型不仅要判断单题的可行性，还必须在前瞻状态下（即没有任何代码执行或环境反馈之前）权衡多道异质任务的成本、成功概率与执行顺序。这种在行动前利用自我认知调节行为的能力，在认知心理学中被称为前瞻性元认知控制（Prospective Metacognitive Control），但在大模型领域此前完全处于未经系统评估的空白状态。

为了填补这一评估鸿沟，本文将经典的元认知理论转化为可证伪的计算机评测协议。核心 idea：通过向大模型提供任务池及按其自身基线开销校准的 Token 预算，迫使模型在无执行反馈前生成一份联合编码「做哪些题、按什么顺序做、单题分配多少 Token」的前瞻性规划，并在咨询（Advisory）与强制（Enforced）双轨执行体制下对照 0-1 背包理想 Oracle 与随机基准计算分流效能比，全面量化大模型自我认知与资源调控能力的差距。

方法详解¶

整体框架¶

TRIAGE 的评测管线由四个阶段构成：基线成本与正确性测定（Phase 0）、前瞻性规划生成（Phase 1）、双轨模拟执行（Phase 2）以及效能归一化评估（Phase 3）。在 Phase 0 中，被测模型在温度为 0 的孤立会话中执行任务池内的所有题目，记录其天然输出 Token 成本 \(c_i\) 与解答正确性 \(y_i \in \{0, 1\}\)。在 Phase 1 中，规划器模型接收题目文本、单题分值（固定为 \(v_i = 1\) 以防难度泄露）以及根据模型自身基线总消耗校准的局部预算 \(B(M, \alpha) = \lfloor \alpha \sum c_i \rfloor\)（\(\alpha \in \{0.25, 0.5, 0.75, 1.0\}\)），要求输出一份包含所选题目 ID 及对应整数 Token 预算 \(a_i\) 的有序 JSON 规划 \(\pi\)。在 Phase 2 中，系统分别在无约束咨询体制和单题强约束体制下执行该计划；最后在 Phase 3 中，将实际获得的积分与理想 Oracle 和随机基线对比，计算综合分流效能。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入任务池 P 与自身基线校准预算 B(M, α)"] --> D1["前瞻性组合分流协议<br/>输入题目与预算，联合规划选择、排序与分配"]
    D1 --> D2["双轨执行约束机制<br/>咨询体制 U 检验监控，强制体制 E 检验自律控制"]
    D2 --> D3["规范化分流效能指标体系<br/>基于 0-1 背包 Oracle 与随机基准计算 η 和 R"]
    D2 --> D4["注入式不可解陷阱探针<br/>梯度置换无解题，评估检测率 D 与浪费率 W"]
    D3 --> Out["最终元认知控制与资源分配评估结果"]
    D4 --> Out

关键设计¶

1. 前瞻性组合分流协议：统一建模多任务选择、排序与预算分配的前瞻决策

以往的元认知评测往往割裂了监控与控制，或仅考察单题标量置信度。本设计针对真实智能体面对异质任务积压时的组合调度痛点，将认知心理学中 Nelson & Narens (1990) 的三项控制原语（选择 Selection、分配 Allocation、终止 Termination）统一整合为一次性前瞻规划。模型必须在未开始解答任何题目、无中间反馈的前提下，输出有序规划 \(\pi = (i_1, \ldots, i_k)\) 及单题分配 \(a_{i_j} \ge 0\)，满足全局预算约束 \(\sum_j a_{i_j} \le B\)。为了避免模型通过提示中的显式分值走捷径读取难度，协议强制所有题目分值均等（\(v_i = 1\)），迫使规划器必须完全依据题目文本自身理解来隐式推断该题对自身是否可行（Feasibility）以及需要耗费多少算力（Cost）。

2. 双轨执行约束机制：正交解耦预测性元认知监控与承诺性自律控制

模型口头宣称的算力分配究竟只是随口预测，还是可以作为硬性自律承诺？为了厘清这一本质差异，TRIAGE 设计了双轨执行体制： - 无约束咨询体制（Unconstrained Regime, U）：执行器按计划顺序运行模型解答，每道题均允许模型自然生成至结束（实际消耗基线成本 \(c_i\)），规划中的 \(a_i\) 仅作参考。当某道题的真实成本导致累计消耗超出全局预算 \(B\) 时截断停止。该体制排除了单题截断对生成的干扰，纯粹检验模型挑选题目与排序的「监控灵敏度」。 - 强约束执行体制（Enforced Regime, E）：执行器将模型自行分配的 \(a_i\) 作为该题实际调用的硬性 max_tokens 上限。若模型未能在 \(a_i\) 限制内完成有效解答，则直接判为 0 分，且全额 \(a_i\) 从剩余全局预算中扣除。该体制检验模型能否遵守自身设立的预算承诺，是衡量严格「前瞻控制力」的试金石。

3. 规范化分流效能指标体系：基于 0-1 背包 Oracle 消除底座难度与能力的尺度依赖

不同模型的基础解题能力差异极大，任务池本身的绝对难度也不一致，直接对比获得的分数 \(V_M(\pi)\) 毫无横向可比性。本设计借鉴选择性预测（Selective Prediction）的评估范式，将模型得分归一化到理想 Oracle 与无知随机基准之间： - 理想 Oracle 解（\(V_{\text{oracle}}\)）：拥有对当前模型在该题真实表现 \((y_i, c_i)\) 的完备先验，通过求解 0-1 背包问题获得在预算 \(B\) 内可解出的最大题数：

\[V_{\text{oracle}} = \max_{x \in \{0, 1\}^n} \sum_{i=1}^n v_i y_i x_i \quad \text{s.t.} \quad \sum_{i=1}^n c_i x_i \le B\]

随机基准（\(V_{\text{random}}\)）：在无任何自我认知的情况下，对任务池随机打乱并按体制 U 规则执行，取 1000 次蒙特卡洛采样的期望得分。
分流效能比（\(\eta_M\)）与规范化遗憾（\(\tilde{R}_M\)）：

\[\eta_M = \frac{V_M(\pi) - V_{\text{random}}}{V_{\text{oracle}} - V_{\text{random}}}, \qquad \tilde{R}_M = \frac{V_{\text{oracle}} - V_M}{V_{\text{oracle}}}\]

\(\eta_M = 1\) 代表达到完美自我认知的理论上限，\(\eta_M = 0\) 代表等同盲目随机，\(\eta_M < 0\) 代表产生负向抗技能（反向选择了昂贵或不可解的题目）。\(\tilde{R}_M \in [0, 1]\) 则提供了无分母奇异性的稳健损失度量。

4. 注入式不可解陷阱探针：在闭环组合规划中显式探测不可行性敏感度

在实际任务队列中，不可解问题（题目有误、缺少条件或逻辑自相矛盾）会造成致命的算力黑洞。本设计将 AbstentionBench 中的不可解题目（GPQA-Abstain 和 MMLU-Math-Abstain）以置换比例 \(r \in \{0, 0.25, 0.50, 0.75, 1.00\}\) 注入任务池，并统计两个核心指标：检测率 \(D = |U \setminus S| / |U|\)（成功排除在计划外的无解题占比）和浪费率 \(W = \sum_{i \in S \cap U} a_i / \sum_{i \in S} a_i\)（分配给无解题的 Token 占计划总预算的比例）。在 \(r = 1.0\) 的极端情况下，最优规划应为空集（\(D=1.0, W=0\)），以此剥离模型客观解题能力，纯粹度量模型对不可行性的辨识本能。

一个完整示例¶

假设任务池包含 3 道题，某模型在基线测试下的真实成本与表现为： - 题 1（竞赛代数）：\(c_1 = 500\) Token，\(y_1 = 1\)（可解） - 题 2（复杂物理推理）：\(c_2 = 2500\) Token，\(y_2 = 0\)（不可解） - 题 3（高阶离散数学）：\(c_3 = 1000\) Token，\(y_3 = 1\)（可解）

基线总开销为 4000 Token。在 50% 预算约束（\(\alpha = 0.5\)）下，给定模型全局预算 \(B = 2000\) Token： - Oracle 行为：先验已知题 2 不可解，将预算精准分配给题 1（500）与题 3（1000），总消耗 1500 \(\le 2000\)，获得满分 \(V_{\text{oracle}} = 2\)。 - 随机选择基准：随机排列若先抽中题 2，立即消耗 2500 导致全局预算耗尽截断，期望得分 \(V_{\text{random}} \approx 0.67\)。 - 模型 A 规划输出：\(\pi = [(\text{题 1}, 400), (\text{题 2}, 1600)]\)（严重误判自身能力，低估了题 1 成本且尝试了不可解的题 2）。 - 在咨询体制 U 下：按顺序执行，题 1 实际耗费 500 Token 得到 1 分；接着执行题 2，由于剩余预算仅剩 1500，题 2 执行至 1500 时被全局截断（未完成且不可解，0 分）。最终得分 \(V_U = 1\)，\(\eta_U = \frac{1 - 0.67}{2 - 0.67} \approx 0.25\)。 - 在强制体制 E 下：题 1 被施加 \(a_1 = 400\) 的硬性上限截断，因未达完整推理长度（需要 500）而崩塌判 0 分；题 2 被分配 1600 上限，但其不可解同样得 0 分。最终得分 \(V_E = 0\)，\(R_E = 1.0\)，分流效能比骤降为负值 \(\eta_E = \frac{0 - 0.67}{2 - 0.67} \approx -0.50\)。这个例子生动体现了为什么「自律约束」是击溃当前大模型的最大杀手。

实验关键数据¶

主实验¶

评测涵盖 20 种主流模型架构（共 30 种推理配置，含 Qwen 2.5/3/3.5、GPT-OSS、Claude Haiku 4.5、DeepSeek V3、Gemini 2.5 Flash、GLM 5.1、GPT-5 Mini、Kimi K2.5 等），跨越 AIME 2024-2025、GPQA Diamond、LiveCodeBench（LCB 2025+）和 Humanity's Last Exam (HLE) 四大高难度基准。下表汇总了在适度预算约束（\(\alpha = 0.5\)）下的分流效能比 \(\eta\) 与规范化遗憾 \(\tilde{R}\) 的代表性模型表现：

模型架构	推理模式	基础准确率	咨询效能 \(\eta_U\)	强制效能 \(\eta_E\)	咨询遗憾 \(\tilde{R}_U\)	强制遗憾 \(\tilde{R}_E\)
Gemini 2.5 Flash	标准推理 [std]	中等	0.68	+0.18	0.32	0.48
Gemini 2.5 Flash	扩展思维链 [ext]	较高	0.62	-0.22	0.38	0.81
Qwen 3.5 27B	标准推理 [std]	中等	0.38	-0.16	0.44	0.69
Qwen 3.5 27B	扩展思维链 [ext]	高	0.33	-0.48	0.49	0.88
Kimi K2.5	标准推理 [std]	中等	0.53	-0.25	0.39	0.74
Kimi K2.5	扩展思维链 [ext]	极高	0.46	-0.71	0.42	0.94
GLM 5.1	标准推理 [std]	中等	0.64	-0.19	0.35	0.70
GPT-OSS 20B	扩展思维链 [ext]	较高	0.29	-0.52	0.55	0.91
Qwen 2.5 32B	标准推理 [std]	较低	0.21	-0.34	0.62	0.82
随机基线 (Random)	-	-	0.00	-	0.72	-
理想上限 (Oracle)	-	-	1.00	1.00	0.00	0.00

消融实验：提示敏感性、不可解题识别与自律合规度¶

下表整合了论文中的三个关键剖析维度：提示敏感性跨框架稳定性（Neutral vs Agent vs Timed Exam）、不可解题目检测率 \(D\) 与浪费率 \(W\)（置换比例 \(r \in [0.25, 1.00]\)），以及告知自身预算后的重解合规率（Compliance）：

剖析维度	测试配置 / 模型	核心观测指标	实测数值表现	核心结论与说明
提示敏感性 (Prompt Ablation)	Kimi K2.5 / Qwen 3.5 27B (全部 α 扫描)	单元格跨提示极差 < 0.1 占比	\(\eta_U\): 11/16 (68.8%) \(\eta_E\): 14/16 (87.5%)	Kendall's \(\tau_b \ge 0.667\)，排名高度稳定，元认知不足源于模型内在能力而非 Prompt 措辞
提示敏感性 (Prompt Ablation)	思维链模式极端预算 (α=1.0)	最大效能极差 (Kimi K2.5 ext)	\(\Delta \eta_U = 0.383\)	强推理模型在无显式「存在无解题」提示时，易过度自信尝试全部题目
不可解检测 (Unsolvable Probe)	Gemini 2.5 Flash (\(r=0.25 \to 1.00\))	检测率 \(D\) 跨区间	\(0.60 \to 0.76\) (高稳态)	唯一能稳定排除不可解题目的模型，全注入时排除 73%~76%
不可解检测 (Unsolvable Probe)	Qwen 2.5 32B [std] (\(r=0.25 \to 1.00\))	检测率 \(D\) (MMLU-Math)	\(0.88 \to 0.40\) (单调下降)	标准推理具备较好初始拒答能力，但随陷阱比例增加出现疲劳
不可解检测 (Unsolvable Probe)	Qwen 3 32B [ext] (\(r=0.25 \to 1.00\))	检测率 \(D\) (GPQA-Abstain)	\(0.08 \to <0.08\) (接近于零)	扩展推理训练极大削弱了可行性敏感度，产生致命的过度尝试倾向
不可解检测 (Unsolvable Probe)	GPT-OSS 20B [ext] (\(r=0.25 \to 1.00\))	浪费率 \(W\) (所有区间)	\(W > 0.85\) (极高浪费)	绝大部分规划 Token 被白白倾泻进无法解决的陷阱题目中
自律合规重解 (Budget Re-solve)	Gemini 2.5 Flash (声明自身 \(a_i\))	实际生成 \(\le a_i\) 合规率	36.6% (正确率 +1.9 pp)	提示自身预算能轻微提升紧凑性，但多数情况下依然无法自控截断
自律合规重解 (Budget Re-solve)	GLM 5.1 (声明自身 \(a_i\))	实际生成 \(\le a_i\) 合规率	16.0% (正确率 +8.3 pp)	AIME 正确率从 10% 飙升至 61%，说明预算声明起到了抑制长推论发散的作用
自律合规重解 (Budget Re-solve)	Kimi K2.5 (声明自身 \(a_i\))	实际生成 \(\le a_i\) 合规率	6.0% (正确率 +4.9 pp)	仅 6% 的生成遵守了自己许下的 Token 承诺，言行严重脱节

关键发现¶

强制执行导致分流效能彻底崩塌（The Enforced Collapse）：在适度预算下，绝大多数模型的强制效能 \(\eta_E\) 均为严重负值，规范化遗憾 \(\tilde{R}_E\) 趋近于 1.0。在全套 30 种评测配置中，仅有 Gemini 2.5 Flash 标准推理版本在所有基准上保持正向 \(\eta_E\)。这表明当前大模型虽然能相对合理地挑选该做哪些题（咨询体制有效），但完全无法给出自己能够切实遵守的 Token 预算。
思维链扩展割裂了对象级能力与元认知控制：长思维链推理显著提升了单题准确率，但咨询效能 \(\eta_U\) 几乎无明显改善甚至恶化；同时思维链带来的超长生成轨迹极易突破自身设定的分配阈值，导致扩展推理模型的 \(\eta_U - \eta_E\) 鸿沟显著大于标准推理模型。
元认知控制不遵循模型参数扩展律（No Clean Scaling）：增大参数量并不能自动获得元认知规划能力。例如 Qwen 2.5 家族中 32B 在 GPQA 上的表现反而垫底；Qwen 3.5 密集型 27B 在标准推理下全面超越更大的 MoE 版本；GPT-OSS 120B 在代码生成 LCB 上大幅落后于 20B。
推理微调反噬了对不可解题目的拒答敏感度：同门对比显示，Qwen 2.5 32B 标准推理在低注入率下能识别 88% 的无解题，而引入强推理微调的 Qwen 3 32B 检测率骤降至 8%~54%；在全注入极端测试下，除 Gemini 外的推理模型几乎将所有预算耗尽在必败题目上。

亮点与洞察¶

从孤立自信走向组合预算规划的范式跃迁：传统研究将元认知简化为「对单一答案打分」，而 TRIAGE 首次在严格的有限算力约束下，通过 0-1 背包博弈系统形式化了前瞻性元认知控制，为智能体算力治理树立了坚实的基准。
精巧的咨询与强制双轨解耦设计：通过 Regime U 与 Regime E 的镜像对比，清晰证明了大模型「认知预测（Monitoring）」与「自律落实（Control）」之间的严重解离——模型在说大话与失控冗长生成之间难以自洽。
反直觉的推理训练负面效应发现：长思维链不仅带来了 Overthinking，更在强化学习对齐中灌输了「不惜一切代价推理到底」的盲目冲动，使模型丧失了对无解任务的战略性放弃（Abstention）能力。这一洞察对下一代 Test-Time Compute 调度算法设计具有重大警示意义。

局限与展望¶

作者承认的局限：TRIAGE 采用静态一次性前瞻规划，排除了智能体在执行过程中根据中间观察（如单元测试失败、工具报错）进行动态自适应重规划（Adaptive Replanning）的交互场景；算力单维度固定为 Token 数量，尚未综合考量端到端墙钟延迟（Latency）、货币成本（API Cost）及工具调用轮次。
自身发现的局限：基线成本与正确性仅基于温度为 0 的单次采样测定，未建模模型固有的采样随机性与输出长度方差；此外，闭源前沿模型的训练集可能存在部分公开基准的潜在污染风险。
未来改进方向：可将协议扩展至支持多步检查点式前瞻重规划（Checkpoint-based Prospective Replanning），并引入多资源复合约束（Token + 工具调用次数 + 外部 API 延迟），构建更贴近生产环境的真实 Agent Triage 管线。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出评估大语言模型前瞻性元认知控制的组合分流理论与基准协议。
实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 20 种主流架构 30 种配置与四大权威领域，配套双轨消融、陷阱注入与重解实验。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨扎实，理论根基深厚，实验图表与逻辑论证极其清晰有力。
落地价值: ⭐⭐⭐⭐⭐ 对降低大模型 Agent 长程推理的算力浪费与防止死循环分析瘫痪具有深远的指导意义。
综合评分: ⭐⭐⭐⭐⭐ NeurIPS 2026 极具启发性与方法学沉淀的经典评测代表作。