Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting¶
会议: NeurIPS 2026
arXiv: 2609.38979
OpenReview: https://openreview.net/forum?id=ek5KY0D3CL
代码: https://changliu1993-cl.github.io/CORAL/
领域: 幻觉检测
关键词: 视觉语言模型, 物体幻觉缓解, 虚假发现率控制, 视觉数据分割, 镜像统计量
一句话总结¶
本文提出无需训练的后处理框架 CORAL，通过对视觉特征施加正负对称扰动构建镜像视图并计算镜像统计量，在图像级显式控制虚假发现率（FDR），从而在抑制物体幻觉的同时保持对真实视觉物体的高检出功效（Power）。
研究背景与动机¶
大视觉语言模型（LVLM）在回答视觉问答或生成图像描述时，常受解码阶段视觉不确定性的影响而产生“物体幻觉”——当局部视觉证据模糊或微弱时，模型容易退化为依赖语言先验，自信地输出统计上合理但图像中并不存在的物体。尤其在同一张图像面临多次查询或包含多个异构物体时，模型往往会将虚构物体（如在只有西兰花和胡萝卜的盘子里凭空预测出“虾”）与真实物体混杂输出。现有免训练解码改进方法（如 VCD、AGLA、MARINE）主要通过向图像注入噪声或融合全局-局部注意力来构造对比信号，在逐个查询或逐个 token 的 logit 层面施加启发式惩罚。
然而，这类逐点对比方法存在一个核心矛盾：它们只对单个查询做孤立的 logit 重加权，缺乏在整张图像层面上对“假阳性比例”进行全局且有统计学保证的显式控制。如果惩罚过重，模型会连带压制真实存在但视觉响应较弱的物体，导致检出率（Power）大幅下降；如果惩罚不足，对抗性或高频共现的幻觉物体依然会漏网。能否将多物体幻觉消解重新表述为一个统计学上的多重假设检验问题，在无需真值标签的前提下直接估计并约束单张图像内虚构物体的期望比例？
本文的切入角度是引入高维统计中的高斯镜像（Gaussian Mirrors）与数据分割思想：如果对视觉特征施加一对符号相反的同源随机扰动，真正有视觉支撑的物体在正负扰动下会表现出方向一致的响应偏移，而缺乏视觉依据、纯靠语言先验驱动的幻觉物体则会呈现出以零为中心的正负对称随机波动。核心 idea：通过不确定性感知的视觉数据分割生成成对的正负对称扰动视图，构造在零假设下近似正负对称的镜像统计量（Mirror Statistic），利用负尾样本量无偏估计正尾中的虚假发现数，从而在图像级自适应设定阈值以严格控制虚假发现率（FDR）。
方法详解¶
整体框架¶
CORAL 是一个无需训练的解码后统计筛选框架。给定输入图像与文本提示，模型首先通过视觉编码器提取块级（patch-level）视觉特征，并对其进行不确定性感知的视觉数据分割，生成一对正负对称扰动的镜像视觉视图。随后，LVLM 在原始视图与两个镜像视图下分别评估候选输出 token 的 logit 响应，计算每个候选单元的镜像统计量（以及多 token 物体的聚合统计量）。最后，基于镜像统计量负尾分布估计虚假发现比例，求解满足目标 FDR 水平 \(q\) 的数据驱动阈值，保留统计量达标的真实视觉物体并过滤掉幻觉预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像与文本提示<br/>视觉编码器提取特征 v"] --> B["不确定性感知视觉数据分割<br/>生成正负对称扰动视图 f_v^+, f_v^-"]
B --> C["镜像统计量构造与物体聚合<br/>对比正负视图 logit 偏移计算 Δ_t"]
C --> D["图像级自适应 FDR 阈值控制<br/>利用负尾估计假阳性并设定阈值 T_q"]
D -->|Δ_t ≥ T_q 保留 / 其余抑制| E["输出视觉对齐的去幻觉结果"]关键设计¶
1. 不确定性感知视觉数据分割：构造同源正负对称的视觉扰动视图
传统的对比解码（如 VCD）通常只用单向的扩散加噪图像作为负样本，这种单边破坏无法区分“视觉信号被削弱”与“随机噪声引起的偶发波动”。为此，CORAL 在视觉编码器输出的 patch 级视觉特征 \(\mathbf{v}\) 上直接引入同源符号对称随机化（sign-symmetric randomization）。具体而言，独立采样一个与视觉特征同维度的标准高斯噪声向量 \(Z_v \sim \mathcal{N}(0, \mathbf{I}_v)\)，按预设扰动幅度 \(\tau_v > 0\)（实验中固定为 \(0.1\)）沿同一随机方向构造一正一负两个镜像视觉特征：
这种成对对称设计保证了两个镜像视图保留完全相同的底层视觉语义，同时在感知过程中注入了幅度相等、方向相反的受控随机偏差。当某个预测依赖真实的视觉证据时，正负扰动对原始特征的偏离会在两个视图上产生结构性的一致影响；而当预测完全脱离图像、仅由语言先验驱动时，正负噪声带来的扰动效应在分布上互为镜像，为后续无监督估计假阳性奠定了对称性基础。
2. 镜像统计量构造与物体聚合：分离一致性视觉证据与扰动噪声
在获得原始视觉特征 \(\mathbf{v}\) 及一对镜像视图 \(f_{\mathbf{v}}^{+}, f_{\mathbf{v}}^{-}\) 后，模型在相同文本提示 \(\mathbf{x}\) 和解码历史 \(\mathbf{y}_{<t}\) 下，分别计算第 \(t\) 步候选 token \(y_t\) 在原始视图与正、负镜像视图下的 logit 差值 \(\Delta_t^{+} = \text{logit}_\theta(y_t \mid \mathbf{v}, \mathbf{x}, \mathbf{y}_{<t}) - \text{logit}_\theta(y_t \mid f_{\mathbf{v}}^{+}, \mathbf{x}, \mathbf{y}_{<t})\) 与 \(\Delta_t^{-} = \text{logit}_\theta(y_t \mid \mathbf{v}, \mathbf{x}, \mathbf{y}_{<t}) - \text{logit}_\theta(y_t \mid f_{\mathbf{v}}^{-}, \mathbf{x}, \mathbf{y}_{<t})\)。在此基础上，借鉴高斯镜像方法定义 token 级镜像统计量：
该式前一项 \(|\Delta_t^{+} + \Delta_t^{-}|\) 捕捉正负扰动下的一致性信号强度，后一项 \(|\Delta_t^{+} - \Delta_t^{-}|\) 则刻画噪声抵消效应。如等价形式所示，只有当 \(\Delta_t^{+}\) 与 \(\Delta_t^{-}\) 符号相同且均显著非零时，\(\Delta_t\) 才会取得较大的正值；若候选 token 缺乏视觉支撑（即处于零假设 \(H_{0t}\) 下），正负视图的 logit 变化主要由随机扰动主导，满足近似条件符号翻转不变性 \((\Delta_t^{+}, \Delta_t^{-}) \overset{d}{\approx} (\Delta_t^{+}, -\Delta_t^{-})\)，从而使 \(\Delta_t\) 围绕零点呈对称分布（原文在 LLaVA-v1.5 的 1500 个 POPE 负样本查询上实测验证了 \(\Delta_t\) 与 \(-\Delta_t\) 的 KS 检验统计量仅为 \(0.0167, p=0.99\)）。此外，针对图像描述（如 CHAIR 评测）中单个物体类别 \(i\) 可能跨越多个子词 token 集合 \(\mathcal{T}_i\) 的情况，CORAL 采用最弱支撑 token 进行物体级聚合，定义 \(\Delta_i = \min_{t \in \mathcal{T}_i} \Delta_t\)，防止因局部子词的高置信度而误留整个幻觉物体词组。
3. 图像级自适应 FDR 阈值控制：用负尾计数界定假阳性边界
有了在零假设下近似正负对称的镜像统计量 \(\Delta_t\)，单张图像内候选物体集合 \(\mathcal{S}\) 的去幻觉问题就转化为多重假设检验。由于真阳性物体集中在正尾（\(\Delta_t \ge s\)），而无视觉支撑的幻觉物体（零假设子集 \(\mathcal{S}_0\)）在正尾和负尾出现的概率近似相等，因此正尾中混入的幻觉物体数量 \(\#\{y_t \in \mathcal{S}_0 : \Delta_t \ge s\}\) 可以直接用可观测的总负尾数量 \(\#\{y_t \in \mathcal{S} : \Delta_t \le -s\}\) 来保守估计。给定任意候选阈值 \(s > 0\)，经验虚假发现率定义为：
对于用户指定的目标 FDR 上限 \(q \in (0, 1)\)（本文实验统一取 \(q = 0.1\)，即控制单图期望假阳性比例不超过 \(10\%\)），算法搜索满足约束的最小数据驱动截断阈值 \(T_q = \min_s \{\widehat{\mathrm{FDR}}(s) \le q\}\)，仅保留 \(\Delta_t \ge T_q\) 的候选输出并抑制其余项。与在自回归循环内每步修改概率分布的对比解码不同，CORAL 仅需对三个视觉视图做前向评估并在后处理阶段并行计算镜像统计量，既避免了步进式的解码延迟累积，又实现了图像级的全局错误率控制与高检出功效（Power）。
损失函数 / 训练策略¶
CORAL 是完全无需训练（training-free）的推理期方法，不涉及任何模型参数微调或损失函数优化。核心超参数仅有两项：一是视觉特征分割的扰动尺度 \(\tau_v = 0.1\)（在验证集上校准后对所有视觉骨干网络固定使用）；二是图像级目标 FDR 控制水平 \(q = 0.1\)。
实验关键数据¶
主实验¶
本文在 MSCOCO、A-OKVQA 和 GQA 三个数据集（均含 Random、Popular、Adversarial 三种负采样设置）以及 MME、MMBench、CHAIR 上进行了全面评估，涵盖 LLaVA-OneVision-7B、Qwen2.5-VL-7B、InternVL3-8B（及附录中的 LLaVA-v1.5、Qwen-VL、InstructBLIP）共 6 种主流 LVLM。下表汇总了 MSCOCO 上 3000 次随机试验的图像级平均 FDR 与 Power（表 1）以及 POPE 准确率与 F1 分数（表 2）：
| 数据集与设置 | 指标 (三模型平均) | Regular | VCD (2024) | MARINE (2025) | AGLA (2025) | CORAL (本文) | 相比最优基线提升 |
|---|---|---|---|---|---|---|---|
| MSCOCO Random | Overall FDR \(\downarrow\) / Power \(\uparrow\) | 0.0942 / 75.44 | 0.0900 / 78.83 | 0.0867 / 80.38 | 0.0810 / 83.50 | 0.0736 / 90.97 | -0.0074 / +7.47 |
| MSCOCO Popular | Overall FDR \(\downarrow\) / Power \(\uparrow\) | 0.0937 / 69.31 | 0.0893 / 75.14 | 0.0786 / 83.57 | 0.0778 / 83.83 | 0.0676 / 87.82 | -0.0102 / +3.99 |
| MSCOCO Adversarial | Overall FDR \(\downarrow\) / Power \(\uparrow\) | 0.0971 / 52.76 | 0.0913 / 56.69 | 0.0888 / 64.01 | 0.0833 / 77.04 | 0.0755 / 86.52 | -0.0078 / +9.48 |
| POPE Random | Accuracy \(\uparrow\) / F1 \(\uparrow\) | 86.41 / 86.32 | 87.28 / 88.99 | 88.72 / 89.52 | 90.23 / 91.56 | 92.12 / 92.96 | +1.89 / +1.40 |
| POPE Popular | Accuracy \(\uparrow\) / F1 \(\uparrow\) | 83.74 / 84.40 | 85.28 / 87.25 | 87.73 / 88.96 | 88.95 / 90.10 | 90.57 / 91.59 | +1.62 / +1.49 |
| POPE Adversarial | Accuracy \(\uparrow\) / F1 \(\uparrow\) | 82.68 / 83.15 | 84.17 / 85.06 | 86.64 / 87.38 | 89.31 / 89.23 | 91.02 / 89.78 | +1.71 / +0.55 |
此外，在考察细粒度感知（存在性、计数、颜色、位置、常识关系）的 MME 基准与通用多模态理解基准 MMBench 上，CORAL 同样全面领先（表 3、表 4）：
| 模型骨干 | 方法 | MME Existence \(\uparrow\) | MME Count \(\uparrow\) | MME Color \(\uparrow\) | MME Position \(\uparrow\) | MME Commonsense \(\uparrow\) | MME Total \(\uparrow\) | MMBench \(\uparrow\) |
|---|---|---|---|---|---|---|---|---|
| LLaVA-OneVision-7B | Regular | 190.33 | 145.53 | 170.66 | 160.25 | 70.16 | 736.93 | 80.77 |
| LLaVA-OneVision-7B | AGLA (2025) | 190.54 | 153.32 | 178.42 | 170.35 | 84.36 | 776.99 | 85.76 |
| LLaVA-OneVision-7B | CORAL (本文) | 193.67 | 160.43 | 180.35 | 175.24 | 85.52 | 795.21 | 86.70 |
| Qwen2.5-VL-7B | Regular | 185.52 | 140.46 | 165.16 | 155.22 | 80.53 | 726.89 | 83.50 |
| Qwen2.5-VL-7B | AGLA (2025) | 190.15 | 158.33 | 179.35 | 168.13 | 87.28 | 783.24 | 87.02 |
| Qwen2.5-VL-7B | CORAL (本文) | 194.24 | 161.35 | 182.53 | 170.86 | 88.91 | 797.89 | 87.90 |
| InternVL3-8B | Regular | 192.25 | 150.22 | 175.48 | 165.16 | 95.38 | 778.49 | 83.40 |
| InternVL3-8B | AGLA (2025) | 193.17 | 165.26 | 183.85 | 177.96 | 95.15 | 815.39 | 90.15 |
| InternVL3-8B | CORAL (本文) | 193.46 | 168.36 | 185.29 | 178.54 | 96.28 | 821.93 | 94.50 |
消融实验¶
作者在 MSCOCO 数据集上以 LLaVA-OneVision-7B 为骨干进行了核心组件消融（表 5，10 次运行均值）：
| 配置 | Accuracy \(\uparrow\) | Precision \(\uparrow\) | Recall \(\uparrow\) | F1 Score \(\uparrow\) | 说明 |
|---|---|---|---|---|---|
| Regular | 85.87 | 83.41 | 88.08 | 85.72 | 原始模型基线，无幻觉抑制机制 |
| w/o Visual Uncertainty Splitting | 88.12 | 86.78 | 89.07 | 87.90 | 移除正负对称视觉分割后 F1 下降 3.74%，贡献最大 |
| w/o Mirror Statistic | 88.76 | 87.07 | 90.33 | 88.67 | 移除镜像统计量后 Recall 较完整模型下降 4.54% |
| w/o Overall FDR Control | 89.36 | 86.42 | 92.37 | 89.27 | 移除全局 FDR 控制后 Precision 降至 86.42%，假阳性明显反弹 |
| CORAL (完整模型) | 92.17 | 88.25 | 94.87 | 91.64 | 全部组件协同达到最佳精度与召回平衡 |
关键发现¶
- 对抗设置下检出功效（Power）优势极显著：在 MSCOCO Adversarial 设置下，Regular 与 VCD 的三模型平均 Power 暴跌至 52.76% 和 56.69%，说明传统方法在抑制高频共现干扰物时严重误伤了真实物体；而 CORAL 将平均 FDR 严格压在 0.0755（低于 \(q=0.1\) 目标线）的同时，将平均 Power 大幅拉升至 86.52%（比次优 AGLA 高出 9.48 个百分点）。
- 三大核心组件缺一不可且分工明确：消融实验表明，去掉视觉不确定性分割会导致整体性能退化最严重（F1 从 91.64 跌至 87.90）；去掉全局 FDR 控制会导致 Precision 从 88.25 降至 86.42，验证了负尾阈值截断对拦截假阳性的直接作用；去掉镜像统计量则会明显拉低 Recall（从 94.87 降至 90.33）。
- 推理延迟开销低于现有对比解码方法：在单张 RTX 6000 GPU 上对 LLaVA-v1.5 生成描述的延迟测试中，CORAL 的单 token 平均延迟为 50.26 ms/token，优于 AGLA（51.42 ms/token）、MARINE（52.21 ms/token）和 VCD（53.42 ms/token），因为它无需在自回归每一步动态重加权词表概率。
亮点与洞察¶
- 将高维统计中的高斯镜像（Gaussian Mirrors）优雅迁移至多模态解码：此前对比解码把视觉扰动当作纯粹的“负样本惩罚项”，而本文洞察到在视觉特征上注入一对符号相反的同源高斯噪声（\(\mathbf{v} \pm \tau_v Z_v\)），能够让无视觉支撑的幻觉 token 自然呈现出以零为中心的对称分布。这一设计巧妙地用负尾计数充当了不可观测假阳性的“镜像标尺”。
- 从逐查询启发式打分升级为图像级有界错误率控制：通过显式定义图像级 FDR 与 Power，本文解释了为什么很多去幻觉方法在实际场景中“按下葫芦浮起瓢”（压住了幻觉却丢失了大量真实细节），并用数据驱动阈值 \(T_q\) 在统计理论上给出了假阳性比例的上界保证。
- 可迁移性极强的免训练不确定性探针：这种“特征层正负对称微扰 + 镜像统计量 \(|\Delta^+ + \Delta^-| - |\Delta^+ - \Delta^-|\)”的范式不局限于物体存在性判断，还可直接迁移到 RAG 文档归因验证、多模态思维链步骤可靠性筛选以及视觉定位（Grounding）候选框过滤等需要无监督控制假阳性的任务中。
局限与展望¶
- 无法直接用于闭源黑盒 API：CORAL 需要不仅访问 token 级的输出 logit，还要向视觉编码器输出的 patch 特征层注入正负高斯扰动 \(\pm \tau_v Z_v\)，因此无法直接应用于仅开放文本/图像接口且隐藏内部特征与完整 logit 的商业闭源大模型。
- 单图候选集规模与弱依赖假设的理论边界：负尾估计器 \(\widehat{\mathrm{FDR}}(s)\) 的理论渐近有效性依赖于单图测试单元数量足够多且零假设统计量之间满足弱依赖条件（\(\sum |\text{Cov}| = o(|\mathcal{S}_0|^2)\)）。在开放式长文本生成中，若单张图像提及的候选物体总数较少（小样本场景），经验负尾计数的离散波动可能会放大阈值 \(T_q\) 的方差；且当场景上下文导致多个幻觉物体强耦合共现时，弱依赖假设可能受到挑战。
- 正尾异常区间的潜在混叠：正如作者在附录 B.4 中坦诚指出的，当 \(\Delta_t^+ < 0\) 且 \(\Delta_t^- < 0\)（即加噪后的两个镜像视图 logit 反而都高于干净原图）时，镜像统计量同样为正值。未来工作可进一步结合符号方向约束（仅保留 \(\Delta_t^+ > 0, \Delta_t^- > 0\) 的区间）以及跨子词层级的层次化 FDR 控制（Hierarchical FDR Control），以更精准地适配开放式自由长文本生成。
相关工作与启发¶
- vs VCD (Visual Contrastive Decoding, CVPR 2024): VCD 通过对原始图像施加多步扩散高斯噪声构造单向退化视图，在每步解码时用原始 logit 减去退化 logit；CORAL 则在特征层构造 \(\pm \tau_v Z_v\) 正负对称双视图并计算镜像统计量，不仅避免了单向破坏带来的信号损失，还实现了 VCD 所缺乏的图像级 FDR 显式控制与更低的推理延迟。
- vs AGLA (CVPR 2025) & MARINE (ICML 2025): AGLA 融合全局与局部注意力特征，MARINE 引入外部检测器（RAM++/DETR）提供图像引导信号，二者均侧重于在生成过程中增强视觉表征；CORAL 不依赖外部检测器或注意力重装，而是从多重假设检验视角对生成结果做分布无关（distribution-free）的统计筛选，在 Adversarial 高难设置下保留真实物体的 Power 高出二者 9~22 个百分点。
- vs Gaussian Mirrors (JASA 2023) & Data Splitting (JASA 2023): 经典的镜像统计量与数据分割方法主要面向高维线性回归或广义线性模型中的特征选择（Feature Selection）；本文首次将该统计推断框架推广至高度非线性的深度多模态自回归生成模型中，并通过大规模负样本查询的 KS 检验与 QQ 图实证了近似条件零对称性在 LVLM 中的成立。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 将多重假设检验中的高斯镜像与 FDR 控制引入 LVLM 幻觉消解，理论视角独特且切中图像级假阳性控制痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 个主流 LVLM、3 个数据集的 3 种负采样难度以及 POPE/MME/MMBench/CHAIR/延迟与对称性诊断，统计验证极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学定义清晰严密，附录中对条件零对称性假设、多 token 聚合边界及弱依赖条件的讨论非常诚实且深入。
- 价值: ⭐⭐⭐⭐⭐ 无需训练、无需外部模型、低延迟开销且具备明确统计错误率界限，对多模态可信解码具有很高的实用与启发价值。