The Cost of Reasoning: Chain-of-Thought Induces Overconfidence in Vision-Language Models¶
会议: ECCV2026
论文: ECCV 原文
领域: VLM 推理(多模态 VLM)
关键词: 不确定性量化、思维链、选择性生成、视觉语言模型、过度自信
一句话总结¶
本文在 4 个多模态基准、4 个开源 VLM 上系统评测推理对不确定性估计的影响,发现思维链提示与推理型模型在提升准确率的同时,会让依赖答案 token 似然(ATL)的估计器排序能力大幅退化,并把原因归结为推理轨迹对最终答案的「隐式答案条件化」,而基于答案一致性的估计器在推理下依然稳健、甚至变得更好。
研究背景与动机¶
视觉语言模型正在进入高风险场景——从医学影像判读到自动驾驶决策,这些场景里「知道自己不知道」和「答得对」同样重要。工程上对应的是选择性生成(selective generation):给每个样本算一个置信度 \(g(x)\),只对 \(g(x)\geq\tau\) 的样本作答,其余弃答,通过调整阈值 \(\tau\) 在覆盖率与风险之间取舍。在这套范式下,不确定性估计的好坏不取决于它是不是一个标定良好的概率,而取决于它能不能把「答对的样本」稳定地排在「答错的样本」前面,因此主流指标是排序导向的 PRR、AUGRC 与 Spearman 相关。与此同时,现代 VLM pipeline 已经普遍把推理前置:要么用思维链(CoT)提示让模型先写出中间步骤,要么直接用推理原生训练的「Thinking」模型。
一个自然的直觉是:推理既然让模型想得更清楚,就应该同时提升准确率与不确定性的可靠性。本文的结果说明这个直觉常常是错的。作者在多个 VLM 家族与基准上观察到,推理确实普遍提高了任务准确率,却系统性地破坏了依赖答案 token 似然的估计器——最大序列概率(MSP)、困惑度(PPL)、平均 token 熵(MTE)、蒙特卡洛序列熵(MC-SE)——的排序质量:PRR 从 0.5~0.7 掉到 0.1~0.3,Spearman 相关甚至掉到接近 0。问题不只是「多了一段上下文当然会改变 token 概率」这种预期内的变化,而是答案 token 似然所代表的语义变了:它不再衡量「这个答案对不对」,而是越来越衡量「这个答案和我自己刚写下的推理轨迹有多自洽」。
多模态场景让这种错位格外危险。文本模型里推理与结论共享同一套符号系统,而 VLM 的结论必须落在可能本身就模糊的视觉证据上:推理轨迹完全可以在一张看不清的图上收敛出一个自信的结论。token 级概率能表达「与自身推理一致」,却表达不了「视觉信号本身有歧义」。后果是模型在困难、视觉歧义大的样本上反而更少弃答,在平均准确率提升的同时制造出更多「高置信度的错误」。本文的核心 idea 是:把这种退化归因于「隐式答案条件化」——推理轨迹在最终答案被写出来之前就已经在语义上锁定了某个结论,使答案 token 变得高度可预测、似然被系统性抬高,且这种抬高与答案是否正确无关;因此在推理型 VLM 上应当改用不依赖 token 似然的答案一致性估计。
方法详解¶
整体框架¶
这篇论文不提出新模型或新训练目标,它的「方法」是一套诊断协议:在固定模型、固定数据的前提下把「是否推理」变成唯一变量,观察各类不确定性估计器的行为如何变化,再用相关性分析与受控干预去定位机制。协议自上而下分四层:先构造推理条件的对照(同一 instruct 模型的 No CoT vs. CoT 提示,以及同一基座的 Instruct 模型 vs. Thinking 模型);再在每条输出上并行计算三类共 9 个不确定性估计器;然后用选择性生成框架下的 PRR / Spearman / AUGRC 度量排序质量;最后针对「排序为什么退化」做机制分析——按正确性变化分组看信心位移、控制正确性后算推理长度与信心的偏相关、统计答案在推理轨迹中出现的频率,并对轨迹做 [MASK] 干预。评测覆盖 OK-VQA、MathVista、MMMU-Pro-Vision 和 Oxford-IIIT Pet(纯视觉分类的对照任务,推理在这里基本无收益),模型覆盖 Gemma3-4B-IT、InternVL3-9B、Qwen3-VL-8B/32B-IT。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["4 个基准:OK-VQA / MathVista<br/>MMMU-Pro-Vision / Oxford-IIIT Pet"] --> B["三类估计器 × 三档推理条件<br/>ATL / 自我探测 / 一致性"]
B --> C["选择性生成评测<br/>PRR / Spearman / AUGRC"]
C -->|ATL 排序退化| D["隐式答案条件化<br/>与正确性无关的信心偏移"]
D --> E["答案频率与 [MASK] 干预"]
E --> F["结论:推理型 VLM 改用一致性估计"]
关键设计¶
1. 三类估计器 × 三档推理条件的对照:让推理成为唯一变量
要判断「推理有没有让不确定性变差」,必须先把不确定性估计的家族分清楚,否则不同机制的效果会互相抵消。本文把 9 个估计器归为三类。答案 token 似然(ATL)一类把答案跨度的 token 概率压成一个标量:MSP 直接取答案序列的联合概率(逐 token 连乘,所以随答案长度指数衰减,对长度敏感),PPL 用序列长度归一化对数似然以缓解这一偏置,MTE 取答案各位置 next-token 分布的 Shannon 熵的平均,MC-SE 则是对 \(K\) 条采样序列的负对数似然取平均(另有长度归一化的 MC-NSE 变体)。这里有个容易被忽略的细节:MC-SE / MC-NSE 仍然是在单条序列内部聚合 token 概率,并没有显式度量不同采样之间的分歧,所以多条序列只要各自似然高,熵依然是低的。自我探测一类只用 SRC:把问题、图像与模型自己的答案拼成新上下文,问模型「上面的答案正确吗?回答 yes 或 no」,置信度取归一化后的 yes 概率
一致性一类用 Self-Consistency 的思路:采 \(K\) 条答案,取与多数票一致的比例
一致性是这三类里唯一的黑盒估计器,只需要最终答案文本,不需要访问 token 概率。
在这个估计器网格上,推理条件被设计成三档,用来分离「提示诱导」与「模型固有的推理能力」:同一 instruct 模型分别在不给 CoT 指令与给 CoT 指令下评测(MathVista、OK-VQA 用数据集专属指令,OK-VQA 另给 4 个纯文本 in-context 例子);另外把 Qwen3-VL-8B-IT 与同一基座的 Qwen3-VL-8B-Thinking 直接对比,后者在与前者完全相同的 prompt 下自行产出推理轨迹。所有多采样估计器统一取 \(K=10\),且所有置信度都只在最终答案跨度上计算,绝不把中间推理轨迹算进去——否则「推理变长」本身就会污染分数。
2. 选择性生成评测:用 PRR 把排序质量从准确率里解耦出来
只报 AUGRC 会得出错误的结论,这是本文方法上的关键一手。在选择性生成框架下,模型对低于阈值 \(\tau\) 的样本弃答,\(\tau\) 扫一遍就得到风险-覆盖率曲线。通用的 AURC(以及本文采用的广义版本 AUGRC)同时受模型准确率和不确定性排序质量两个因素影响:准确率一提升,AUGRC 自然下降,即使排序能力在恶化。本文的实验正好撞上这个陷阱——在 MathVista、MMMU-Pro-Vision 这类推理密集基准上,CoT 让 AUGRC 变好看了,但那只是因为准确率涨了(MathVista 63.6→70.4),同一批设置下的 PRR 和 Spearman 却一致变差。因此作者把 PRR 作为主指标:它用随机排序与 oracle 排序夹出参考区间,只保留不确定性估计相对随机基线多出来的那部分排序收益,
其中 \(AR_{\text{unc}}\) 是估计器产生的拒绝曲线与随机基线之间的面积,\(AR_{\text{orc}}\) 是完美排序(oracle)曲线与随机基线之间的面积。因为分子分母共享同一个准确率背景,PRR 在很大程度上与模型整体准确率无关,正好用来回答「准确率之外,推理还改变了什么」。作者同时补一个非参数的 Spearman 秩相关作为旁证,并明确说明不使用 ECE 作为主指标:在选择性生成里大量有效的估计器本来就不是标定概率,标定好也不等于排序好(ECE 结果放在附录 A)。
3. 隐式答案条件化:把信心膨胀刻画成与正确性无关的偏移
这是本文对现象的解释。推理轨迹是一段自回归生成的文本,它一旦写出了「因此答案是 3 英寸」这类句子,后续答案 token 就已经被自己前面的文本强烈约束住了——答案在给定推理轨迹的条件下变得高度可预测。token 层面,这种「可预测性」与「模型真的有把握」在数值上无法区分,于是答案似然被抬高,而这种抬高反映的是模型对自己推理的承诺(commitment),不是对答案正确性的把握。把这一点写成可检验的形式:记 \(s(\hat y\mid x,r)\) 为带推理轨迹 \(r\) 时预测答案 \(\hat y\) 的 ATL 置信度,\(s(\hat y\mid x)\) 为无推理时的同名分数,定义推理带来的信心位移
推理整体上抬高 ATL 信心(\(\mathbb{E}[\Delta s]>0\))。隐式答案条件化的特征签名是这种抬高与正确性无关:
因为多出来的置信度不跟正确性挂钩,它就无法帮助把答对和答错的样本分开,ATL 作为正确性指示器因此变得不可信——这与观察到的 PRR / Spearman 退化是同一件事的两种说法。
这一解释还必须排除一个显然的竞争假设:会不会只是「推理越长、模型越啰嗦,所以概率分布被摊平/抬高」?作者的做法是控制正确性后计算推理 token 数与各估计器置信度的偏 Spearman 相关,结果是负相关:轨迹越长,置信度越低。这与「更长的推理往往对应更难的问题、模型也确实更没把握」的已有观察一致(Devic 等把 trace 长度本身当作不确定性信号),方向恰好与信心膨胀相反——如果长度是主因,长轨迹应该更自信。所以退化来自推理上下文的条件化作用,而非长度这一表面属性。
4. 答案频率与 [MASK] 干预:从相关证据推进到干预证据
要证明条件化真的在起作用,光有「更长→更不自信」还不够,需要正面证据。本文先用答案在推理轨迹中出现的频率作为条件化强度的代理:模型反复提到某个答案,说明它在上下文里对这个结论的承诺越强。在 OK-VQA 上用 Qwen3-VL-32B-IT 加 CoT 直接画置信度随答案频率的变化曲线,频率越高置信度越高;再把这一相关性推广到所有数据集与模型上——ATL 估计器与答案频率呈稳定正相关,而且只在错误样本上重算相关性,正相关依然存在,这正是「与正确性无关的信心膨胀」的直接体现;作为对照,一致性与 SRC 与答案频率几乎零相关,说明它们不吃这套条件化。
相关不等于因果,于是作者做了一个受控干预:对每条已生成的 CoT 轨迹,把其中预测答案的每一处精确出现替换为 [MASK],其余 token 一律不动,然后在该掩码轨迹上重新给固定的答案序列打分。因为答案本身被固定住了,CoT 与 Masked-CoT 两个条件下的准确率按构造完全相同,PRR 的任何变化都只能归因于置信度的改变。控制组是 Random Mask:掩掉同等数量的随机推理 token,用来排除「删 token 本身就会改善排序」这种平凡解释。结果(OK-VQA,\(n=3900\),仅取答案确实出现在轨迹中的子集)是 MSP 的 PRR 从 0.141 涨到 0.475、翻了三倍以上,Spearman 提升 0.17~0.28,而随机掩码只带来温和变化(PRR 0.210)。不过掩码并没有完全恢复无 CoT 的水平(0.475 vs. 0.498),说明显式提及只是条件化最露骨的那一部分,隐式条件化仍然存在——这是作者自己也强调的边界。
一个完整示例:一条错误推理轨迹上的信心爬升¶
论文 Fig. 1 给了一个很适合理解上述机制的例子。输入是「把尺子移到钉子旁,测量钉子长度,最接近的英寸数是几」。不给 CoT 时,模型直接输出 <answer>3</answer>;给 CoT 时,模型先写出 <thought>:钉帽对齐 0 英寸刻度,钉尖超过 3 英寸但没到 4 英寸,所以四舍五入是 3 英寸 </thought>,再输出同一个 <answer>3</answer>。两种情况下答案都错了(真值是 2),但关键在于:随着推理 token 一个个生成,模型对最终答案 3 的置信度 \(\big(P(\hat a\mid x,r_{\leq t},\theta)\),即只看已生成的推理前缀时对答案 3 的概率\(\big)\) 单调爬升,在轨迹收敛到「所以是 3」之后已经明显超过无 CoT 时的置信度。也就是说,模型是被自己写下的推理说服的:错误的结论在轨迹内部先被锁定,答案 token 于是获得了一个错误但极高的似然。这个画面和 [MASK] 干预的结果是同一枚硬币的两面——把轨迹里那些锁定结论的提及抹掉,置信度立刻回落,排序质量随之恢复大半。
实验关键数据¶
主实验¶
主实验以 Qwen3-VL-8B-IT 为骨架,对比同一模型在无 CoT 与 CoT 提示下的表现(Table 1;Gemma3-4B-IT、InternVL3-9B、Qwen3-VL-32B-IT 的结果在附录 F,趋势一致)。表中 AUGRC 越低越好、PRR 越高越好,Acc 为该设置下的准确率(No CoT / CoT)。
| 数据集 | Acc (No CoT / CoT) | 估计器 | AUGRC↓ 无 CoT | AUGRC↓ CoT | PRR↑ 无 CoT | PRR↑ CoT |
|---|---|---|---|---|---|---|
| Oxford-IIIT Pet | 79.3 / 76.2 | MSP | 0.056 | 0.110 | 0.710 | 0.231 |
| Oxford-IIIT Pet | 79.3 / 76.2 | MTE | 0.053 | 0.112 | 0.735 | 0.205 |
| Oxford-IIIT Pet | 79.3 / 76.2 | SRC | 0.060 | 0.100 | 0.709 | 0.314 |
| Oxford-IIIT Pet | 79.3 / 76.2 | Consistency | 0.081 | 0.100 | 0.525 | 0.264 |
| OK-VQA | 55.9 / 52.1 | MSP | 0.167 | 0.208 | 0.525 | 0.241 |
| OK-VQA | 55.9 / 52.1 | MTE | 0.168 | 0.216 | 0.510 | 0.174 |
| OK-VQA | 55.9 / 52.1 | SRC | 0.175 | 0.194 | 0.465 | 0.441 |
| OK-VQA | 55.9 / 52.1 | Consistency | 0.167 | 0.171 | 0.436 | 0.478 |
| MMMU-Pro-Vision | 38.1 / 46.0 | MSP | 0.264 | 0.256 | 0.450 | 0.123 |
| MMMU-Pro-Vision | 38.1 / 46.0 | MTE | 0.263 | 0.234 | 0.479 | 0.376 |
| MMMU-Pro-Vision | 38.1 / 46.0 | SRC | 0.276 | 0.234 | 0.380 | 0.409 |
| MMMU-Pro-Vision | 38.1 / 46.0 | Consistency | 0.285 | 0.215 | 0.107 | 0.434 |
| MathVista | 63.6 / 70.4 | MSP | 0.143 | 0.126 | 0.432 | 0.219 |
| MathVista | 63.6 / 70.4 | MTE | 0.146 | 0.130 | 0.413 | 0.171 |
| MathVista | 63.6 / 70.4 | SRC | 0.143 | 0.094 | 0.473 | 0.557 |
| MathVista | 63.6 / 70.4 | Consistency | 0.148 | 0.068 | 0.345 | 0.684 |
第二组主实验把「提示诱导的推理」换成「模型固有的推理」:Qwen3-VL-8B-IT(不给 CoT 指令)对 Qwen3-VL-8B-Thinking(同样不给 CoT 指令,自行推理),Acc 为 Instruct / Thinking。
| 数据集 | Acc (Instruct / Thinking) | 估计器 | PRR↑ Instruct | PRR↑ Thinking | ΔPRR |
|---|---|---|---|---|---|
| Oxford-IIIT Pet | 79.3 / 77.2 | MSP | 0.710 | 0.120 | −0.590 |
| Oxford-IIIT Pet | 79.3 / 77.2 | MTE | 0.735 | 0.086 | −0.649 |
| Oxford-IIIT Pet | 79.3 / 77.2 | MC-SE | 0.645 | −0.057 | −0.702 |
| Oxford-IIIT Pet | 79.3 / 77.2 | Consistency | 0.525 | 0.223 | −0.302 |
| OK-VQA | 55.9 / 56.0 | MSP | 0.525 | 0.110 | −0.415 |
| OK-VQA | 55.9 / 56.0 | MTE | 0.510 | 0.065 | −0.446 |
| OK-VQA | 55.9 / 56.0 | MC-SE | 0.515 | 0.278 | −0.236 |
| OK-VQA | 55.9 / 56.0 | Consistency | 0.436 | 0.502 | +0.066 |
| MMMU-Pro-Vision | 38.1 / 56.6 | MSP | 0.450 | 0.357 | −0.093 |
| MMMU-Pro-Vision | 38.1 / 56.6 | MTE | 0.479 | 0.403 | −0.077 |
| MMMU-Pro-Vision | 38.1 / 56.6 | MC-SE | 0.447 | 0.556 | +0.109 |
| MMMU-Pro-Vision | 38.1 / 56.6 | Consistency | 0.107 | 0.455 | +0.348 |
| MathVista | 63.6 / 80.3 | MSP | 0.432 | 0.011 | −0.421 |
| MathVista | 63.6 / 80.3 | MTE | 0.413 | −0.056 | −0.469 |
| MathVista | 63.6 / 80.3 | MC-SE | 0.440 | 0.036 | −0.403 |
| MathVista | 63.6 / 80.3 | Consistency | 0.345 | 0.767 | +0.422 |
消融实验¶
用 [MASK] 干预验证「答案提及」这一条件化通道(OK-VQA,Qwen3-VL-8B-IT,\(n=3900\))。四个条件的准确率按构造一致(掩码不改变答案),因此 PRR / Spearman 的差异只能来自置信度分布本身。
| 估计器 | 指标 | No CoT (Acc 59.7) | CoT (57.7) | Masked-CoT (57.7) | Random Masked-CoT (57.7) |
|---|---|---|---|---|---|
| MSP | PRR↑ | 0.498 | 0.141 | 0.475 | 0.210 |
| MSP | Spearman↑ | 0.375 | 0.115 | 0.378 | 0.161 |
| PPL | PRR↑ | 0.469 | 0.075 | 0.436 | 0.146 |
| PPL | Spearman↑ | 0.345 | 0.059 | 0.340 | 0.113 |
| MTE | PRR↑ | 0.481 | 0.071 | 0.329 | 0.137 |
| MTE | Spearman↑ | 0.364 | 0.057 | 0.230 | 0.102 |
关键发现¶
- ATL 的退化与准确率提升是两件事。 MMMU-Pro-Vision 与 MathVista 上 CoT 让 AUGRC 变好(如 MathVista MSP 0.143→0.126),但同一格里的 PRR 从 0.432 掉到 0.219、Spearman 从 0.284 掉到 0.170。由于 AUGRC 同时吃准确率与排序两个因素,只看它会把「排序崩了但准确率涨了」误读成不确定性变好;这也是作者坚持用 PRR 做结论的原因。
- 推理型模型把效应放大。 Thinking 模型相对 Instruct 的 PRR 跌幅普遍大于 CoT 提示相对 No CoT 的跌幅,MTE 在 Oxford-IIIT Pet 上从 0.735 掉到 0.086、在 MathVista 上从 0.413 掉到 −0.056(负 PRR 意味着排序比随机还差)。这说明问题不是 prompt 写法的产物,而是推理本身在这些模型中的一般性质。
- 一致性是唯一在推理下普遍受益的估计器。 MathVista 上 PRR 0.345→0.684、MMMU-Pro-Vision 上 0.107→0.434(CoT 与 Thinking 两个设置都成立),OK-VQA 上小幅提升(0.436→0.478 / 0.436→0.502)。需要如实指出边界:在作为对照的 Oxford-IIIT Pet 上,一致性也退化了(0.525→0.264),只是退化幅度小于 ATL;Pet 恰好是推理不带来准确率收益的纯分类任务,此时所有估计器都在变差。
- SRC 表现混合。 它在推理密集基准上明显受益(MathVista 0.473→0.557、MMMU 0.380→0.409),在 OK-VQA 上基本持平(0.465→0.441),而在 Pet 上虽从 0.709 掉到 0.314,却成为该设置下与一致性相当的最优选择。
- [MASK] 干预显示显式提及解释了大部分但不是全部。 掩掉答案提及后 MSP 的 PRR 恢复到 No CoT 基线的 95%(0.475 vs. 0.498),随机掩码只有 0.210,说明增益来自「答案提及」这一语义通道而非删除 token 这一操作本身;但残留的差距说明隐式条件化还在。
- 掩码在结构化推理任务上可能有害。 MathVista(附录 L)上随机掩码会导致 UQ 排序质量大幅下降,作者的解释是掩码破坏了数学解题所依赖的结构化 token。这提示干预类方法要考虑任务对推理连贯性的依赖程度。
- 一致性的代价是算力,且恰好在最需要它的时候最贵。 MSP / PPL / MTE 只需一次前向,一致性需要 \(K=10\) 次随机采样;MC-SE / MC-NSE 有同样的开销却依然不可靠。缓解手段是这 \(K\) 次生成相互独立可批处理(吞吐足够时墙上时间不随 \(K\) 线性增长,但总 token 成本仍会),且 \(K\) 可以按算力预算调小、性能下降平缓(附录 D);完全无法多采样时,SRC 是更便宜但稳定性较弱的替代。
亮点与洞察¶
- 把「不确定性好不好」正确地定义成排序问题,并识破了 AUGRC 的陷阱。 先说明 ECE 在选择性生成里不适用(有效估计器未必标定、标定好也未必排序好),再用 PRR 的分子分母共享准确率背景来剥离准确率影响。这个「先定义清楚被测量,再谈现象」的操作是本文最有价值的方法论示范,可以直接迁移到任何 UQ 评测复现工作。
- 机制解释给出了可证伪的签名,而不只是讲故事。 「隐式答案条件化」如果只是说「推理让模型更自信」,就是一句废话;本文把它写成 \(\mathbb{E}[\Delta s\mid \hat y=y^{\ast}]\approx\mathbb{E}[\Delta s\mid \hat y\neq y^{\ast}]\) 这一与正确性无关的偏移,并且用「长度负相关」排除了啰嗦假说、用「错误样本上答案频率依然正相关」验证了签名,论证链条是闭合的。
- 两级证据设计可复用。 相关性(答案频率 × 置信度)→ 受控干预([MASK] vs. Random Mask,且答案固定使准确率按构造不变)这套模板,可以搬到任何「某因素是否在抬高模型置信度」的问题上,比如检验格式指令、检索到的上下文或角色设定是否在制造虚假信心。
- 一个很实际的部署结论:推理型 VLM 上应换用一致性估计。 在推理已经写进 pipeline 的前提下,继续用 MSP/MTE 这类单次前向的 token 似然做弃答门控,会在最难的样本上给出最危险的自信;多花 \(K\) 次生成的算力换来的是可用的不确定性信号,而不是像 MC-SE 那样白花的算力。
局限与展望¶
- 作者承认的局限:掩码干预只能覆盖「显式提及答案」这一种最露骨的条件化形式,掩码后仍无法完全恢复到无 CoT 水平,说明隐式条件化还有未被干预触及的部分;同时掩码需要精确匹配答案字符串,只能在 OK-VQA / MathVista 这类开放格式上做。
- 我自己看到的问题:主实验只详细展示 Qwen3-VL-8B 一档,Gemma3-4B、InternVL3-9B 与 32B 全部推给附录,跨模型结论的证据厚度有限;模型全部为开源权重模型,缺少闭源强推理模型(o 系列、Gemini Thinking 等)的验证。作为对照任务的 Oxford-IIIT Pet 上推理反而掉点(79.3→76.2),此时「所有估计器都退化」与「准确率下降导致风险结构改变」难以完全分离,因此 Pet 上一致性的退化不宜直接读成条件化的证据。掩码实验的子集(\(n=3900\))是按「答案出现在轨迹中」筛出来的,存在选择偏差:这些样本本身就是条件化最强的一批,掩码收益可能有高估。
- 机制层面缺一条内因证据:全文的干预都作用在上下文文本上,没有触碰模型的内部表示,因此「答案 token 似然被自身轨迹污染」这一说法仍是行为层面的推断。若能同时给出中间层探针或对隐藏状态的条件化度量,论证会更硬。
- 可直接尝试的改进方向:(1) 把「抑制答案提前出现」做成生成时的约束或轻量惩罚,看能否在保留 ATL 低成本优势的同时恢复排序;(2) 用推理轨迹内部「答案何时首次出现、之后被提及多少次」构造一个显式的条件化强度特征,作为置信度的校正项;(3) 训练一个只吃轨迹统计量的小校准器,在无法多采样时替代一致性;(4) 把分析扩展到多轮 agent 场景——附录 K 已经显示模型在同一上下文里反复推理作答时条件化会被进一步放大,这正是长程 agent 最危险的失效模式。
相关工作与启发¶
- vs Semantic Entropy(Kuhn 等): 他们靠采样多条生成并用外部 NLI 模型把它们聚成语义等价类、再在类上算熵,捕捉的是采样之间的语义多样性;本文分析的是单条被条件化的生成内部 token 似然如何被扭曲,且刻意不用任何辅助模型,所有信号都从模型自身输出直接算出,以便在多模态下做一致对比。
- vs Devic 等(trace 长度作为不确定性信号): 他们在纯文本推理模型上提出把推理轨迹长度直接当不确定性信号;本文则证明长度与置信度是负相关的,因此长度既不能解释信心膨胀,也不能替代排序型不确定性估计——两个结论方向相反但互补:长度可以指示难度,却无法捕捉「模型被自己说服」这一失效模式。
- vs Khan & Fu(提示改写下的答案一致性): 他们用黑盒一致性做非推理 VLM 的选择性 VQA;本文把一致性推广到推理型 VLM,并给出它为何在推理下反而不退化的解释——它度量的是答案之间的一致性,而不是模型对自身轨迹的承诺,因此天然不受条件化影响。
- vs LM-Polygraph 及其后续大规模 UQ 评测: 这些工作系统比较了 LLM 的白盒/黑盒不确定性方法,但评测的是非推理静态设置;本文补上了「推理会系统性改写这些方法可靠性」这一维度。
- vs 面向 VLM 的 conformal prediction(Kostumov 等): conformal 方法假设答案集合固定,无法处理开放式生成,也拿不到 token 级似然;本文覆盖的是开放式生成 + token 似然 + 自省式三类估计器。
- vs Kadavath 等的 P(True) / Srinivasan 等的选择性预测: 本文的 SRC 直接沿用它们的自省式提问与归一化写法,但把评测搬到排序型的选择性生成指标下,并发现它在多模态、带推理的设置里表现混合(在结构化推理基准上受益,在纯分类上退化),说明自省信号在推理 VLM 上还没有稳定结论。
评分¶
- 新颖性: ⭐⭐⭐⭐ 首次系统刻画推理对多模态不确定性排序可靠性的破坏,并给出可证伪的机制归因与干预证据。
- 实验充分度: ⭐⭐⭐⭐ 4 个基准 × 4 个模型 × 9 个估计器,外加提示诱导与模型固有两条推理路径的对照和掩码干预;扣分在于主表只展开 8B 一档、无闭源模型、子集筛选带来选择偏差。
- 写作质量: ⭐⭐⭐⭐ 三条贡献与实验一一对应,机制部分的「排除竞争假设 → 正面证据 → 干预验证」组织得很清楚;图表偏多、大量结果推到附录,主文对跨模型趋势只能靠文字概括。
- 价值: ⭐⭐⭐⭐ 对任何在推理型 VLM 上做弃答/选择性生成的系统都是直接的部署级警告,并给出一条明确可用的替代方案(一致性)。