跳转至

LLMs Show No Signs Of Individuated Metacognition

会议: NeurIPS 2026
arXiv: 2605.24299
OpenReview: https://openreview.net/forum?id=yPoH9lr0AD
领域: LLM评测
关键词: 大语言模型, 元认知, 校准性, 因子分析, 成对校准

一句话总结

通过对 20 个前沿大语言模型在 6 个基准上的二元置信度进行四分因子分析与成对校准测试，研究发现 LLM 的置信度仅反映族群共享的题目难度估计，完全缺乏模型特异性的个体化元认知。

研究背景与动机

当前基于置信度的模型路由、选择性弃答以及模型集成加权等下游应用，都普遍建立在一个核心假设之上：模型表达的置信度能够真实反映该特定模型在当前问题上的解题能力。换言之，学界与工业界默认大语言模型具备功能性元认知（Functional Metacognition），即在不实际执行完整解题的前提下评估自身的认知与推理边界。然而，尽管宏观层面的聚合校准已有大量研究，置信度在不同模型之间的潜在表征结构、校准信号是否真正属于模型私有，仍缺乏深入的机制性探究。

现有评估往往将校准性混同于模型的个体化自我认知。事实上，如果所有模型只是共同感知到一道题目的表面难易度，且仅仅因为各自的回答偏好阈值不同而输出不同的肯定/否定判断，那么所谓的置信度优势就会沦为群体共识伪影。更核心的矛盾在于：高能力模型说「我能做」而低能力模型说「我不能做」时，其准确性往往完全由宏观基准胜率差（Base-rate difference）主导；而在控制了模型综合性能后，模型表达的置信度差异是否还能预测具体单题上的相对胜负，从未得到严格验证。

本文的切入角度是引入心理测量学与潜变量统计工具，将二元置信度矩阵进行四分相关分解，并结合成对校准（Pairwise Calibration）分析模型置信度与实际表现的深层一致性。核心 idea：大语言模型的置信度本质上只反映群体共享的单维度题目难度启发式感知与模型特异的输出阈值，在去除全员共识样本或控制基准胜率后，模型展现出的个体化元认知信号完全崩溃，所谓的个体内省优势在数学任务中更被证实为通过思维链偷跑实际解题的符号化混淆。

方法详解

整体框架

本文构建了一套用于解构模型二元置信度潜在结构与检验个体化元认知的系统评测流水线。实验覆盖 20 个前沿模型与 6 大基准数据集（SQuAD、MMLU-Pro、LegalBench、MathBench、OmniMath、SciCode），涵盖事实检索、多领域知识、法律推理、竞赛数学与科学代码生成。评测设置前瞻式探针（Prospective Probe）与反事实探针（Counterfactual Probe），要求模型在不看提示/选项/上下文或假设无辅助条件下，二元判断自身能否正确解题（yes/no），并输出推理轨迹。随后通过四分因子分析提取潜变量方差，利用成对校准与控制基准胜率分析置信度跨模型预测力，最后训练轻量外部分类器探测模型推理轨迹中未被利用的确定性信息。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["评测输入<br/>6个基准数据集 × 20个前沿大模型"] --> B["前瞻式与反事实探针<br/>单步零温二元置信度提取"]
    B --> C["四分因子分解<br/>潜在相关特征值与阈值拟合"]
    C --> D["成对校准与基准率控制<br/>跨模型肯德尔tau与排列检验"]
    D --> E["内联求解混淆消除<br/>思维链符号计算行为剥离"]
    E --> F["轨迹表层特征探测<br/>未被最终判断利用的不确定性"]

关键设计

1. 潜在四分因子分解：剥离边际回答倾向并提取共享难度维度

由于二元输出判断受到模型固有肯定率（yes-rate）的严重扭曲，直接进行连续主成分分析（PCA）会导致两模型即使对题目难易顺序完全认同也呈现虚假低相关。为此，研究采用四分相关矩阵（Tetrachoric Correlation Matrix）建模二元判断背后的双变量正态连续潜在变量。假设潜变量 \(Z_A, Z_B \sim \mathcal{N}(0, \mathbf{R})\)，模型观测输出受阈值 \(h=\Phi^{-1}(p_A), k=\Phi^{-1}(p_B)\) 切分：

\[P(X_A=1, X_B=1) = \int_{h}^{\infty}\int_{k}^{\infty} \phi_2(z_1, z_2; \rho_{\text{tet}}) \, dz_1 dz_2\]

对该四分相关矩阵进行特征分解后，前瞻式事实性任务（SQuAD、MMLU-Pro）均呈现极端的主因子主导（\(\lambda_1\) 占总方差 36%~55% 以上），且各模型的 PC1 载荷与响应阈值 \(\tau_i\) 呈现极强的倒抛物线分布（二次拟合 \(R^2 \in [0.63, 0.95]\)）。这证实所有前沿模型在事实知识任务上共享同一条题目难度坐标轴，彼此差异仅在于决策截断阈值的高低，不存在高维度的独特自我认知。

2. 区分性成对校准：检验置信度差异对相对表现的真实预测力

为了验证模型置信度是否包含属于其个体的特异能力信息，研究定义了跨模型的成对肯德尔 \(\tau\)-b（Kendall's \(\tau\)-b）。对任意题目与模型对 \((A, B)\)，考察两模型置信度差值 \(\Delta \text{conf} = \text{conf}_A - \text{conf}_B\) 能否预测实际得分胜负 \(\Delta \text{perf} = \text{perf}_A - \text{perf}_B\)。通过构建两类零假设检验：一类是独立打乱向量的胜率匹配零假设（Base-rate-matched null），另一类是保持每个模型自身校准曲线不变但打乱跨模型题目映射的校准保留零假设（Calibration-preserving null）。结果显示，实际成对校准的平均 \(\tau\) 显著低于校准保留零假设，表明绝大多数校准信号为全模型共享。进一步当限制模型对的整体准确率差距 \(\delta = |\text{perf}_A - \text{perf}_B| \to 0\) 时，事实任务上的成对 \(\tau\) 迅速归零，说明模型在同水平对手面前，其置信度高低对谁能做对该题完全没有预测价值。

3. 争议子集因子对齐与思维链内联求解混淆剥离：伪特异性的破除

尽管宏观上模型的置信度主因子与能力主因子具有正相关，但在过滤掉全员做对与全员做错的极端样本、仅保留中间争议题目（Contentious-item subset，两指标通过率均在 \([0.1, 0.9]\)）后，潜变量因子一的一致性 Pearson \(r\) 彻底瓦解（SQuAD 从 0.591 跌至 0.230，MathBench 从 0.209 跌至 -0.000，LegalBench 跌至 -0.028）。而在唯一表面上保留成对校准信号的数学推理基准（MathBench）中，分析发现显著信号完全集中在「推理训练模型 vs 非推理模型」（R-NR）组合中（中位数 \(\tau = 0.129\)），而在两个同为推理训练模型（R-R）或同为非推理模型（NR-NR）之间不具备统计显著性。通过正则表达式检测模型置信度判断理由中的运算符号、推导步骤与收敛词汇，证实推理模型是在给出置信度的思维链（CoT）中直接尝试解题并依赖草稿结果给答案，这是符号化代数计算而非对自身能力的内在非符号感知。

4. 探针轨迹未利用信息探测：外部分类器对模型输出的降维反超

为了探究模型在输出二元决策时是否遗弃了内部已有信号，实验使用岭逻辑回归在模型自我评估的文本推理轨迹（M）和问题文本（Q）上提取表层词法特征（包括否定词、对冲词如 "maybe"、因果词、自校正词 "wait" 及 CoT 困难指示词等共 40 维特征）。在 20 次随机采样的代表模型上，简单的表层分类器 QM 在 3 个基准（LegalBench、MathBench、MMLU）上预测答题正确率的 ROC-AUC 明显超过模型自身的二元置信度判断（例如 LegalBench 上 Gemini Flash 自身仅 0.474，而 QM 达到 0.788；MMLU 上 GPT-4o 自身为 0.632，QM 达到 0.706）。这表明模型在生成判断推理时已产生了大量反映不确定性的线索，但在最终投射至二元标记时被机制性丢失。

实验关键数据

主实验

在代表性测试模型上，比较模型单体二元置信度期望（Internal，20 次采样平均）、群体置信度均值（Pop）以及利用问题（Q）、自我评估推理轨迹（M）和实际做题轨迹（P）训练的表层分类器的预测 ROC-AUC。

基准数据集 代表评估模型 Internal (自身二元) Pop (全模型均值) QM (问题+评估推理) QP (问题+答题轨迹) QMP (全轨迹特征)
LegalBench Gemini 2.0 Flash 0.474 0.532 0.788 0.766 0.861
MathBench GPT-4o 0.630 0.742 0.703 0.756 0.773
MMLU-Pro GPT-4o 0.632 0.630 0.706 0.657 0.717
SciCode Llama 3.1-70B 0.590 0.657 0.539 0.858 0.731
OmniMath Mistral Medium 3.1 0.664 0.728 0.619 0.754 0.718
SQuAD Claude 3 Haiku 0.622 0.750 0.657 0.582 0.664
SQuAD GPT-4o 0.731 0.751 0.683 0.579 0.691

消融实验

评估置信度与实际能力第一主成分因子分（Factor 1 scores）的相关性，展示未过滤全集与过滤掉全员共识题目的争议子集（Contentious subset）之间的对比。

基准数据集 探针类型 未过滤相关系数 \(r\) 未过滤拟合度 \(R^2\) 争议子集相关系数 \(r\) 争议子集拟合度 \(R^2\) 说明
SQuAD Prospective +0.591 0.349 +0.230 0.053 争议题上相关性断崖式下降
SQuAD Counterfactual +0.290 0.084 +0.032 0.001 反事实条件下争议题相关归零
MMLU-Pro Prospective +0.376 0.141 +0.189 0.036 解释方差急剧收缩至 3.6%
MMLU-Pro Counterfactual -0.312 0.097 -0.148 0.022 反向相关，无一致能力校准
LegalBench Prospective +0.038 0.001 -0.028 0.001 法律条款判断上置信度与能力无关
MathBench Prospective +0.209 0.044 -0.000 0.000 争议数学题上线索彻底解耦
OmniMath Prospective +0.431 0.186 +0.075 0.006 争议奥数题上仅剩 0.6% 解释力
SciCode Prospective +0.277 0.077 +0.149 0.022 科学编程争议子集几乎无校准

关键发现

  • 绝大多数基准上，群体共识均值（Pop）对单个模型能否答对该题的预测准确率，显著高于该模型自身的二元置信度汇报（例如在 SQuAD 上 Claude 3 Haiku 的 Internal 为 0.622，而群体均值达到 0.750）。这表明模型自身的置信度不包含独有的自我洞察。
  • 成对校准在同等能力模型间消失：随着允许的模型总体正确率差距 \(\delta\) 缩窄至 0，模型间的肯德尔 \(\tau\) 曲线迅速贴近 0，证明跨模型二元判断优势几乎全部来源于宏观胜率差异在共享难度轴上的投影。
  • 推理模型的元认知假象源于内联计算（Inline Solving）：MathBench 上所谓成对校准显著仅存在于 Reasoning 模型对比 Non-reasoning 模型时；当两个 Reasoning 模型对比时，肯德尔 \(\tau\) 无统计学显著性，因为两者均通过在思维链中尝试做题来推测自身能否做对。

亮点与洞察

  • 证伪了 LLM 路由系统的个体特异性假设：当前流行的按模型声明置信度分流（Routing）与集成机制，其实质相当于调用了一个粗糙的群体难度打分器；模型在被问及「你能否解决」时，评估的是「这类题目一般语言模型是否容易做」，而非「我这特定权重能否解决」。
  • 推理轨迹的表层特征包含未压缩的丰富确定性信号：简单的弱分类器仅凭对冲词、句长与否定词计数就能击败模型深思熟虑给出的二元答案，表明模型在 token 离散决策环节存在显著的信息损失瓶颈。
  • 揭示了强化学习奖励设计对内在元认知的抑制：可验证奖励的强化学习（RLVR）偏向鼓励模型直接展开推演计算，且惩罚对冲（对冲等同于放弃得 0 分，瞎猜可能碰对），导致模型无法自发演化出不依赖显式执行的潜意识自我认知能力。

局限与展望

  • 实验采用温度为 0 的单次离散采样，掩盖了模型在边界题目上的 logits 概率变化与采样方差，尽管设计了代表模型的 20 次随机采样 tall 分析，但跨全量模型的细粒度概率密度仍受 API 限制。
  • 剥离上下文的操作虽然构建了反事实实验条件，但也可能放大了问题本身表述不全所带来的噪声，使模型对语境缺失的敏感性与纯粹的能力评估产生交织。
  • 未来方向应探索在 RL 阶段引入非对称置信度校准奖励或概率对齐损失，促使大模型建立真正的亚符号级（Sub-symbolic）自我监控与能力边界感知机制。

相关工作与启发

  • vs Kadavath et al. (2022) / Lin et al. (2022): 早期工作发现大语言模型在宏观上具备一定的校准性（know what they know）；本文进一步证明这种校准是群体共享的题目难度感知，而非各个模型对其私有能力的个体化认知。
  • vs Yoon et al. (2025) / Podolak & Verma (2025): 先前研究认为长思维链显著提升了推理模型的置信度校准；本文澄清这并非元认知觉醒，而是模型在思维链中直接尝试解题并依赖计算结果回答的符号偷跑。
  • vs Burnell et al. (2023) / Kipnis et al. (2025): 既有工作证实 LLM 能力空间具有低秩 \(g\) 因子特征；本文将因子分析扩展到元认知领域，发现置信度轴虽然同样低秩，但在非全员共识的题目上与能力轴发生正交解耦。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从心理测量学因子分解与成对校准视角系统解构 LLM 置信度结构，证伪个体化元认知。
  • 实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 20 个主流商业与开源大模型、6 个认知维度各异的基准，分析逻辑严密完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证清晰严谨，深入剥离了内联计算等混淆因素，统计工具运用成熟专业。
  • 价值: ⭐⭐⭐⭐⭐ 对基于置信度的模型分流、智能体协作、选择性弃答及可靠性评测具有极为重要的基石指导意义。

相关论文