Robustness of Internal Signals for Hallucination Detection in Vision-Language Models¶
会议: NeurIPS 2026
arXiv: 2610.27041
OpenReview: https://openreview.net/forum?id=f0yvSUpbJA
代码: https://github.com/princetonvisualai/hallucination-detection-robustness
领域: 幻觉检测
关键词: 视觉语言模型, 幻觉检测, 内部信号鲁棒性, 词元位置捷径, 视觉接地
一句话总结¶
本文系统评估了基于视觉语言模型（VLM）单次前向内部信号的幻觉检测方法的鲁棒性，揭示了主流白盒检测器高度依赖“词元位置（Token Position）”表面捷径且缺乏真实视觉接地，并通过渐进集成证明结合黑盒与不同机理的白盒信号可将 LLaVA-1.5-13B 上的检测 AUPRC 大幅提升至 0.71（相对位置基线提升 +0.20）。
研究背景与动机¶
视觉语言模型（VLM）在图像描述等视觉理解任务中表现出色，但经常会在输出文本中凭空捏造图像中不存在的物体（即物体幻觉），这在自动驾驶、医疗诊断等高风险场景中会带来严重隐患。为了在推理时低成本地拦截幻觉，近年来涌现出一批单次前向（single-pass）、免训练的“白盒”检测方法（如 IC、CL、GLSim、SVAR 和 PAS）。这类方法直接提取 VLM 生成文本过程中的跨模态注意力权重或中间层表征相似度，无需外部裁判模型或多次采样，且在标准基准测试（如 MSCOCO 上的 CHAIR 评测）中展现出远超输出对数似然（NLL）和信息熵（Entropy）等“黑盒”方法的 AUROC 与 AUPRC 指标。
然而，这些白盒方法用于检测幻觉的内部信号，恰恰来自产生幻觉的同一个模型前向过程。现有研究普遍满足于在固定图像描述基准上报告聚合后的高分指标，却忽略了一个根本矛盾：白盒检测器的优异表现究竟源于真正捕捉到了视觉与语言之间的跨模态语义对齐信号，还是仅仅利用了生成文本中的某种表面统计捷径？已知 VLM 在生成图像描述时通常先描述显著的大物体，越往后越容易因语言先验主导而产生幻觉，这意味着单纯的“词元在句子中的先后位置”本身就与幻觉率强相关。如果检测器只是隐式地编码了词元位置偏置，一旦下游任务的提示词或生成顺序发生改变，这类看似强大的白盒检测器就会瞬间失效。
为了打开这一黑箱，本文跳出单一指标刷榜的评测范式，横跨 6 个主流开源 VLM（加上附录中扩展的 2 个新模型）对 5 种代表性白盒检测器与 2 种黑盒检测器展开了系统性的因果干预与鲁棒性剖析。核心 idea：通过构建纯词元位置盲基线，结合上下文移除与替换干预、空白图像模态解耦与逆序提示压力测试，揭示现有白盒幻觉检测方法对位置捷径的依赖与视觉接地缺失，并利用渐进式分类器集成验证多源内部与外部信号的互补增益。
方法详解¶
整体框架¶
本文构建了一套面向 VLM 内部信号幻觉检测器的四阶段鲁棒性诊断与互补性分析框架。给定输入图像、提示词以及待评测的 VLM，模型首先通过单次前向自回归生成图像描述，并同步提取 2 种黑盒方法（NLL、Entropy）和 5 种白盒方法（IC、CL、GLSim、SVAR、PAS）在每个候选物体首词元处的幻觉分数；随后依次通过“词元位置盲基线与上下文干预”、“空白图像双模态敏感性解耦”、“小物体优先逆序提示压力测试”以及“渐进式多信号互补集成”四个模块，全面检验各类检测信号的因果机理与真实鲁棒性边界。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像与提示词<br/>VLM 单次前向生成描述"] --> B["提取 7 种检测器分数<br/>黑盒(NLL/Ent) + 白盒(IC/CL/GLSim/SVAR/PAS)"]
B --> C["词元位置盲基线与上下文干预<br/>前序句子移除 vs 无关文本替换"]
C --> D["空白图像双模态敏感性解耦<br/>幻觉源划分与视觉接地检验"]
D --> E["小物体优先逆序提示压力测试<br/>打破默认显著性生成顺序"]
E --> F["渐进式多信号互补集成<br/>按位置依赖度由高到低逐组融合"]关键设计¶
1. 词元位置盲基线与上下文干预：剥离语义干扰以量化位置捷径依赖
针对现有基准无法区分“真实跨模态理解”与“生成位置偏置”的痛点，本文首先定义了一个完全无视图像和文本内容的“词元位置盲基线（Token Position Heuristic）”：直接将描述中每个被提及物体（仅统计首次出现）的第一个词元距离描述开头的索引位置 \(t\)（或其除以描述总长度 \(T\) 的归一化值 \(t/T\)）作为幻觉分数。与此同时，作者将全部 7 种待测方法的物体级分数统一对齐为数值越大代表幻觉概率越高，其中最具代表性的两类注意力白盒方法——累加生成词元对所有 \(N\) 个图像块跨层注意力的 SVAR，以及累加第 0 层生成词元对前序描述词元注意力的 PAS——分别定义为：
为了严格证明白盒方法不仅与词元位置高度相关（Spearman \(\rho \ge 0.70\)），而且在机制上直接依赖位置捷径，本文对位于第 5 句及之后的物体设计了成对的上下文干预实验。第一种是“前序移除干预（Remove）”，直接删去目标物体所在句子之前的所有完整句子，这会同时抹除前序语义信息并大幅减小物体的词元位置索引；第二种是“无关文本替换干预（Replace）”，用预生成的、与图像内容无关但符合语法且词元长度相近的通用描述句（例如关于构图或光影的泛泛之谈）替换前序句子，这同样抹除了前序语义信息，但严格保持了目标物体的词元位置不变。通过对比两种干预下检测分数的变化差值，即可精确剥离出纯粹由词元位置贡献的分数变化比例。
2. 空白图像双模态敏感性解耦：检验竞争优势来源与真实视觉接地
为了弄清白盒方法相比黑盒方法的性能优势究竟来自捕捉视觉缺陷还是捕捉语言先验，并检验它们是否真正具备视觉接地（Visual Grounding）能力，本文利用等尺寸的空白灰色图像（代表均值像素）设计了双模态解耦实验。首先在“幻觉源模态划分”中，保持原模型生成的描述前缀不变，将原图替换为空白灰图送入 VLM 重新预测每个幻觉物体词元：若在无图条件下模型依然预测出相同的幻觉词，说明该幻觉完全由语言共现先验驱动，归入“语言源幻觉（Language-based）”子集；若预测词发生改变，则归入受图像表征影响的“图像敏感型幻觉（Image-sensitive）”子集。
其次，在“视觉接地敏感性检验”中，作者直接将空白灰图与原始描述配对，重新计算各检测器在原始真值标签下的 AUPRC。其核心判别逻辑在于：一个真正依赖图像信号进行跨模态核验的检测器，在面对空白灰图时应当判定所有物体均缺乏视觉支撑，其分类性能必然坍缩至随机猜测水平（即基础幻觉率）；反之，如果把真图换成空白灰图后某个检测器的 AUPRC 几乎不下降，则直接证明该检测器在推理时根本没有看图，而是完全依赖语言侧的位置或上下文捷径做出判断。
3. 小物体优先逆序提示压力测试：打破显著性顺序以暴露位置检测器的脆弱性
为什么依赖词元位置的白盒检测器在常规数据集中总能奏效？作者指出这是因为常规图像描述存在固有的“显著性-生成顺序偏置”：VLM 倾向于先描述画面中大而清晰的显著物体（不易幻觉），最后才补充小而模糊的背景细节（极易幻觉）。为了验证当这一表面偏置被打破时位置依赖型检测器是否依然可靠，本文设计了逆序提示压力测试。
具体而言，作者将标准提示词“Describe this image in detail”修改为要求模型逆序输出的指令：“Describe the least obvious, smallest, or hardest-to-see elements of the image first. Then describe the most prominent objects.”（先描述最不明显、最小或最难看清的元素，再描述最显著的物体）。为了排除不同提示词生成物体集合差异带来的干扰，评测严格限制在原始提示与逆序提示下共同提及的交集物体上进行。在这一干预下，难以识别的小物体被强制推到句子开头，导致幻觉大量提前出现，从而直接检验各检测器在位置先验反转时的抗崩溃能力。
4. 渐进式多信号互补集成：融合异构内外信号突破单一机制瓶颈
鉴于部分白盒方法高度依赖位置捷径，而基于 Logit Lens 探针的内部置信度（IC，\(s_{\text{ic}} = 1 - \max_{l,i}\{\text{softmax}(\text{LogitLens}(I_{li}))_o\}\)）以及外部黑盒方法（NLL、Entropy）与位置相关性很低且具备良好的视觉敏感性，本文提出通过渐进式集成（Progressive Ensembling）来验证不同机理信号之间的互补性。作者将全部方法按位置依赖程度从高到低划分为四组：（1）强位置依赖注意力组 \(\{\text{SVAR}, \text{PAS}\}\)；（2）中等位置依赖表征相似度组 \(\{\text{CL}, \text{GLSim}\}\)；（3）位置独立的图像探针组 \(\{\text{IC}\}\)；（4）外部输出分布黑盒组 \(\{\text{NLL}, \text{Entropy}\}\)。
在此基础上，以归一化词元位置（Token Position）为起点，按照上述顺序每次累加一组方法的归一化分数，在 MSCOCO 训练集随机采样的 5,000 张图像上训练带 L2 正则化（\(C=1.0\)）的逻辑回归分类器，并在 5,000 张验证集图像上评估性能增益。如果加入某组单测指标较弱的方法（如黑盒方法）后集成模型的 AUPRC 依然显著上升，则证明该组方法提供了强位置依赖方法无法覆盖的正交判别信息。
损失函数 / 训练策略¶
本文所评测的 7 种基础幻觉检测方法（NLL、Entropy、IC、CL、GLSim、SVAR、PAS）以及词元位置盲基线均为免训练（Training-free）的单次前向推理算法，仅对需要选层或加权的方法（GLSim、SVAR、CL、PAS）在 500 张 MSCOCO 训练图像上进行了网格超参数搜索（优先最大化 AUPRC）。仅在 §6 的互补性验证实验中，针对提取出的多维归一化检测分数特征，使用标准二元交叉熵损失与 L2 正则化（正则化强度 \(C=1.0\)）训练了轻量级的逻辑回归（Logistic Regression）线性集成分类器。
实验关键数据¶
主实验¶
主实验在 MSCOCO 2014 验证集的 5,000 张随机图像上开展，基于过滤了多义词“orange”噪声后的 CHAIR 框架标注物体幻觉，横跨 6 个不同架构的开源 VLM 对比了黑盒方法、白盒方法与词元位置盲基线的 AUROC 与 AUPRC（单位为百分比 %，源自原文 Table 1）：
| 模型 | 指标 | Random | NLL (黑盒) | Entropy (黑盒) | IC (白盒) | CL (白盒) | GLSim (白盒) | SVAR (白盒) | PAS (白盒) | Token Pos. | Token Pos. (norm.) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| LLaVA-1.5-13B | AUROC / AUPRC | 50.0 / 22.8 | 72.2 / 44.7 | 73.6 / 45.1 | 74.8 / 50.4 | 82.3 / 53.6 | 82.8 / 54.4 | 81.4 / 49.3 | 83.4 / 51.4 | 83.2 / 50.9 | 84.6 / 56.3 |
| LLaVA-1.5-7B | AUROC / AUPRC | 50.0 / 25.1 | 72.4 / 47.2 | 73.4 / 46.4 | 78.6 / 57.5 | 79.3 / 55.5 | 83.5 / 60.7 | 81.1 / 51.9 | 84.0 / 56.5 | 83.4 / 54.7 | 84.7 / 59.8 |
| InstructBLIP-7B | AUROC / AUPRC | 50.0 / 26.2 | 81.1 / 61.0 | 82.5 / 62.1 | 88.1 / 73.1 | 86.7 / 64.1 | 86.3 / 64.9 | 88.7 / 68.7 | 89.1 / 69.3 | 88.5 / 66.3 | 88.7 / 67.9 |
| Qwen3VL-8B | AUROC / AUPRC | 50.0 / 20.8 | 66.5 / 35.7 | 68.5 / 38.9 | 69.1 / 38.2 | 67.4 / 33.3 | 64.7 / 30.4 | 79.3 / 50.5 | 77.1 / 44.0 | 73.9 / 37.2 | 74.2 / 39.1 |
| InternVL2-8B | AUROC / AUPRC | 50.0 / 18.3 | 64.3 / 30.4 | 65.8 / 31.2 | 77.1 / 43.5 | 69.6 / 34.6 | 79.2 / 44.9 | 81.0 / 48.1 | 78.8 / 39.8 | 77.0 / 37.0 | 77.8 / 41.2 |
| Gemma-4-E4B-it | AUROC / AUPRC | 50.0 / 15.1 | 65.4 / 27.0 | 67.3 / 29.7 | 69.8 / 25.6 | 53.9 / 19.2 | 80.2 / 40.5 | 76.2 / 33.7 | 74.9 / 31.1 | 72.2 / 27.2 | 72.7 / 29.7 |
| 6 模型平均 | AUROC / AUPRC | 50.0 / 21.4 | 70.3 / 41.0 | 71.9 / 42.2 | 76.2 / 48.1 | 73.2 / 43.4 | 79.5 / 49.3 | 81.3 / 50.4 | 81.2 / 48.7 | 79.7 / 45.5 | 80.5 / 49.0 |
消融与机制分析实验¶
下表汇总了本文在 LLaVA-1.5-13B 上开展的核心机制干预消融、模态解耦对比以及渐进式分类器集成实验的定量结果（数据源自原文 §4.2、§5.1、§6 与 Figure 6）：
| 分析维度 / 实验配置 | 核心定量结果 (LLaVA-1.5-13B) | 机制与鲁棒性结论 |
|---|---|---|
| 前序上下文干预：位置归因占比 (§4.2) | 移除前序句子再扣除语义替换影响后，纯词元位置解释了 PAS 98%、SVAR 93%、GLSim 67%、CL 20% 的分数下降；而对 IC 为 0%，对 NLL 则引起约 46% 的反向分数上升 | 注意力类白盒方法（PAS、SVAR）几乎完全被词元位置捷径主导；IC 因仅用视觉表征而对文本位置完全免疫 |
| 模态源解耦：语言源 vs 图像敏感型幻觉 (§5.1) | 在语言源幻觉上，所有白盒方法比黑盒方法高出 +0.12 至 +0.24 AUPRC；但在图像敏感型幻觉上，黑盒方法反超部分白盒达 +0.12 AUPRC 并追平最优白盒 | 白盒方法的表面优势主要来自捕捉无图时依然存在的语言先验幻觉，而非真正解决了视觉感知错觉 |
| 渐进集成 Step 1: Token Pos. 单独基线 (§6) | AUPRC = 0.51，AUROC = 0.83 | 仅靠词元在句中的位置即可达到与主流白盒方法相当的基线水平 |
| 渐进集成 Step 2: + {SVAR, PAS} (§6) | AUPRC = 0.53 (+0.02 over TP) | 叠加两个强位置依赖的注意力白盒方法，由于信号高度冗余，几乎无实质增益 |
| 渐进集成 Step 3: + {CL, GLSim} (§6) | AUPRC = 0.61 (+0.08 over Step 2) | 加入跨模态表征余弦相似度方法，引入了位置之外的局部与全局对齐信号 |
| 渐进集成 Step 4: + {IC} (§6) | AUPRC = 0.66 (+0.05 over Step 3) | 加入基于纯视觉块 Logit Lens 的内部置信度，进一步补齐纯视觉存在性信息 |
| 渐进集成 Step 5 (Full): + {NLL, Entropy} (§6) | AUPRC = 0.71 (+0.05 over Step 4 / 相对提升 +7.6%，较纯位置基线总计 +0.20)，AUROC = 0.89 (+0.06 over TP) | 叠加单测最弱的黑盒输出不确定性信号后依然取得显著跃升，证明内外异构信号高度互补 |
关键发现¶
- 词元位置盲基线惊人地强大：完全不看图像和文字内容的归一化词元位置（Token Pos. norm.）在 6 个模型上的平均 AUROC 达到 80.5%、AUPRC 达到 49.0%，不仅全面击败所有黑盒方法，更在 LLaVA-1.5-13B 上以 84.6% AUROC 和 56.3% AUPRC 击败了全部 5 种精巧设计的白盒方法。
- 注意力白盒检测器缺乏视觉接地且极易崩溃：在空白灰图替换实验中，NLL、Entropy 和 IC 的 AUPRC 正常跌至随机水平（证明其真正看图），CL 和 GLSim 大幅下跌至略高于随机水平，而 SVAR 和 PAS 在 LLaVA 与 InstructBLIP 上几乎保持原判别性能不变；当使用“先描述最小最不明显物体”的逆序提示打破生成顺序偏置时，SVAR 和 PAS 的 AUPRC 直接跌至接近随机猜测水平，排位被 IC、CL 和 GLSim 反超。
- 跨数据集、新模型与去噪评测的泛化一致性：在包含更复杂场景的 Objects365 数据集（5,000 张验证图，6 模型平均归一化位置 AUPRC 达 54.3% vs 白盒 PAS 56.1% / CL 51.1%）、更新一代的 Qwen3.5-9B 与 InternVL3.5-8B 模型、采样温度
temp=1.0的多次随机种子试验，以及引入 Claude-sonnet-4.6 过滤约 10%~15% 非实体名词（如“phone number”中的 phone）的上下文感知评测中，上述位置捷径依赖与视觉接地规律均稳定复现。
亮点与洞察¶
- 四两拨千斤的“移除 vs 替换”双干预归因设计：为了验证检测器是否偷学了词元位置，如果只删掉前面的句子，审稿人必然质疑“你也删掉了前序上下文语义”。作者巧妙地引入长度匹配的“图像无关通用句子替换”作为语义控制组，用（移除变化量 − 替换变化量）干净利落地算出了 PAS 和 SVAR 高达 98% 与 93% 的纯位置归因占比，这一因果干预范式极具说服力。
- 最令人“啊哈（Aha）”的空白图像照妖镜：SVAR 的定义明明是“计算生成词元对所有图像块的注意力之和”，直觉上它必然是高度视觉接地的；但把原图换成一张毫无信息的空白灰图后，SVAR 居然还能在原描述上维持几乎一样高的幻觉检测 AUPRC！这一反直觉现象一针见血地揭穿了真相：随着解码步数增加，VLM 分配给图像词元的总注意力会随位置自然衰减，因此对图像注意力求和本质上只是充当了一个昂贵的“词元位置计时器”。
- 评测准则与多信号融合的可迁移启示：本文提出的三大准则（必测词元位置盲基线、必用空白图验证视觉敏感度、融合低相关异构信号）不仅适用于 VLM 物体幻觉检测，还可以直接迁移到长文本大模型事实性幻觉检测、多模态思维链（CoT）步骤纠错以及视频理解时序定位等任务中，防止长序列生成中的位置衰减效应伪装成有效的探针信号。
局限与展望¶
- 任务与幻觉类型的覆盖面受限：本文的所有实验均聚焦于图像描述（Image Captioning）任务中的“物体存在性幻觉（Object Hallucination）”，尚未涵盖属性错误（如颜色、数量）、物体间空间关系幻觉，也未在多选视觉问答（VQA）或复杂多轮对话场景中评测内部信号的表现。
- 检测方法范围与模型规模约束：分析对象仅限于单次前向、免训练的内部/输出信号评分方法，排除了对比解码（Contrastive Decoding）、多轨迹语义熵（Semantic Entropy）或基于外部大模型裁判的方法；同时受算力限制，实验集中在 4B~13B 参数量的开源模型，尚未在百亿/千亿级闭源前沿多模态模型上检验。
- 具体改进方向：未来工作可基于本文 §4.2 和 §6 的发现，设计“位置去偏（Position-debiased）”的内部信号提取器——例如按解码步数对跨模态注意力或余弦相似度进行条件归一化（Conditional Normalization），扣除随位置自然衰减的基线趋势，并将去偏后的注意力信号与 Logit Lens 视觉探针（IC）及输出分布不确定性（NLL/Entropy）进行端到端非线性校准融合。
相关工作与启发¶
- vs SVAR [29] 与 PAS [23]（基于注意力的白盒检测）：SVAR 汇总生成词元对图像块的注意力，PAS 汇总生成词元对前序文本词元的注意力，二者在标准 MSCOCO 评测中均声称取得了顶尖检测性能；本文通过上下文干预与空白图实验揭示，这两种方法在 LLaVA 等模型上高达 93%~98% 的分数变化源于词元位置捷径，缺乏真实的视觉接地，在逆序提示下极易失效。
- vs CL [55] 与 GLSim [53]（基于表征相似度的白盒检测）：CL 计算生成词元与图像块跨层表征的最大余弦相似度，GLSim 进一步结合了提示词末尾全局相似度与 Logit Lens 筛选的 Top-\(k\) 局部图像块相似度；本文发现它们虽然也与词元位置存在中等程度相关（GLSim 位置归因占 67%、CL 占 20%），但在空白图像下性能显著下降，具备一定视觉接地能力，且在渐进集成中能提供注意力方法之外的互补增益（+0.08 AUPRC）。
- vs IC (Internal Confidence) [28] 与黑盒 NLL [90] / Entropy [45]：IC 仅对图像块表征做 Logit Lens 投射以预测物体词最大概率，黑盒方法仅看输出层词元概率分布，它们在常规排行榜上往往落后于注意力与相似度白盒方法；但本文证明唯有 IC、NLL 和 Entropy 在空白图像下彻底跌至随机水平（真正对图像敏感），且不受后段位置捷径欺骗，融入集成模型后能带来 +0.10 AUPRC 的关键互补提升。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 切入角度极其犀利，用“词元位置盲基线”与“空白图像视觉接地测试”一举戳破了当前 VLM 白盒幻觉检测领域繁荣背后的位置捷径假象。
- 实验充分度: ⭐⭐⭐⭐⭐ 横跨 8 个多模态模型（6 主模型 + 2 新版本）、2 大数据集（MSCOCO 与 Objects365），包含双干预控制、模态解耦、逆序提示、随机采样及 Claude 去噪等全方位验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑递进如抽丝剥茧，从现象发现、因果归因、弱点暴露到互补集成改进环环相扣，图表设计清晰直观，结论发人深省。
- 价值: ⭐⭐⭐⭐⭐ 为多模态幻觉检测确立了不可或缺的“位置盲基线”与“视觉敏感度检验”新标准，对后续内部探针与可信 VLM 研究具有极高的指导价值。