Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models¶

会议: ECCV2026
论文: ECCV 原文
项目: Entropy-Gradient Grounding
领域: 多模态 VLM
关键词: 视觉定位、熵梯度、多区域证据、迭代缩放、视觉问答

一句话总结¶

把首个待生成 token 的预测熵反向传播到视觉嵌入，据此检索多个图像区域并自适应放大，在不更新模型参数的条件下，将 Qwen2.5-VL 7B 的 V* 准确率从 73.30 提升至 86.91，但需要额外前向与反向计算。

研究背景与动机¶

视觉语言模型回答错误，不一定是不会推理，也可能是没有看到真正决定答案的细节。整页文档压缩成有限数量的视觉 token 后，小字、表格中的某一行、远处标牌上的数字容易消失；有些问题还需要把相隔很远的线索结合起来。提高全图分辨率或密集切块能增加覆盖，却也会引入大量与问题无关的视觉输入。

ViCrop 等免训练方法尝试从模型内部提取定位线索，再把局部裁剪作为额外输入。然而，注意力图依赖层与头的选择，注意力强也未必代表该区域决定答案；单个裁剪更容易只抓住最显眼的线索。本文因此不把热图仅当解释结果，而是让热图直接决定下一轮模型能看到什么。这样，定位错误、遗漏次要证据和过度放大就成了同一条推理流程中必须处理的问题。

核心 idea：用下一 token 分布的熵对视觉特征的敏感性寻找候选证据，保留多个空间分离区域，再根据定位掩码的空间熵控制是否继续缩放，而不是训练新的检测器或相信单次生成置信度。

方法详解¶

整体框架¶

输入是一张图像和一个问题，输出仍是原 VLM 的文字回答。算法先从模型自身取得查询相关的热图，经区域提取获得额外裁剪，再在原图与局部视图上反复定位；最终把保留的裁剪和全局视图共同交给模型回答。原图提供上下文，局部图则把视觉分辨率集中到可能决定答案的内容。

三个核心设计依次是熵梯度定位、多区域选择、空间熵控制细化。它们分别解决“用什么信号找证据”“怎样保留分离证据”和“何时停止继续放大”，不是三个独立训练模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["图像与问题"] --> B["熵梯度定位"]
B --> C["多区域选择"]
C --> D["空间熵控制细化"]
D -->|空间熵下降，更新视图| B
D -->|空间熵上升，保留上一轮| E["原图与保留裁剪"]
E --> F["最终回答"]

关键设计¶

1. 熵梯度定位：找出影响预测不确定性的视觉 patch

模型先对图像和问题做前向计算，但不需要先生成完整答案。默认使用第一个解码位置的完整词表分布，计算 Shannon 熵，再把这个标量反向传播到视觉语言投影器之后的图像 token 嵌入。每个 token 对应一个空间 patch，把该 token 梯度向量的二范数作为强度，就能还原出与图像对齐的热图。下面合并写出原文式 (1) 至式 (4) 的核心关系，其中 \(p_1(y)\) 是首 token 概率，\(\mathcal{Y}\) 是词表，\(\mathbf v_i\) 是第 \(i\) 个投影后视觉嵌入：

\[ \mathcal L_{\mathrm{ent}}=-\sum_{y\in\mathcal Y}p_1(y)\log p_1(y),\qquad s_i=\left\|\frac{\partial\mathcal L_{\mathrm{ent}}}{\partial\mathbf v_i}\right\|_2. \]

与只观察某个注意力头不同，这个信号从最终预测分布出发，测量视觉特征变化对输出不确定性的局部影响。它不需要正确答案标签，也不需要单独学习定位头。不过，“梯度大”表示敏感，不等于该区域已经被证明是正确证据；取范数还丢弃了梯度方向，因此算法并不是沿梯度方向编辑图像以降低熵，而是利用其大小选择真实图像裁剪。

首 token 的选择也有实际含义：后续 token 的预测已经受到先前生成文字的影响，容易沿着模型既有解释继续找证据。只用首 token 可以减少这种自我强化，同时避免为获得定位信号先展开多步解码。原文表 6 中，首 token 的 TextVQA 为 67.96，第二个 token 为 65.27；这支持默认选择，但不意味着首 token 在每个数据集上都最佳。

2. 多区域选择：让热图变成少量可读的证据视图

梯度热图可能有零碎高峰，直接框住最大值容易追随噪声。因此先做高斯平滑，再排序平滑后的强度，用肘部法选阈值：找到排序曲线偏离最小值与最大值连线最大的点，将较强响应转成二值支持区域。这免去了手工指定保留百分位，但整个流程仍包含平滑、二值化和连通域处理，不能理解成完全没有后处理。

接着在视觉 token 网格上提取连通域，并按每个连通域内“原始、未平滑显著性分数之和”排序，而非只按峰值大小排序。保留前 \(K\) 个区域，分别映射回原图的紧致边界框，并作为独立裁剪与全局视图一起输入模型。默认 \(K=2\)；其目的不是让整个图像只剩一个大框，而是让空间分离的两处证据都获得较清晰的表示。

这个排序规则偏好累计证据较强的连通区域。高斯平滑负责空间连贯，肘部阈值负责筛去背景，原始分数累计负责候选排序，三者作用不同。表 4 中，从一个区域增加到两个区域，LLaVA-1.6 的 DocVQA 从 61.25 回升至 65.07，符合文档问答可能同时依赖行标签与对应数值的直觉；但这只是聚合结果，不能直接证明每个样本都使用了互补证据。

3. 空间熵控制细化：检查下一次缩放是否仍让证据更集中

初始框可能过宽，也可能漏掉细小或次要线索。算法保留原图作为全局上下文，把选出的局部图加入当前视图集；每轮在各视图上重新计算熵梯度、二值化，再围绕激活支持区域裁剪。局部视图支持继续放大，全局视图则给重新发现其他区域留下入口，避免流程只能沿初始错误裁剪不断向内缩。

停止规则使用的是掩码连通域的面积分布，不是语言输出熵，也不是所有像素强度的熵。原文式 (7)、式 (8) 中，\(C_i\) 是二值掩码的连通域，\(|C_i|\) 是其中激活位置的数量：

\[ P(C_i)=\frac{|C_i|}{\sum_j|C_j|},\qquad H_{\mathrm{sp}}(\mathbf M)=-\sum_iP(C_i)\log P(C_i). \]

实际跟踪最重要视图对应的空间熵。熵下降时继续细化；上升时停止，并按原文图 2 使用上一轮裁剪，避免继续放大丢掉有用上下文。正文没有明确交代熵相等或空掩码时的实现分支，因此不能把这些情况的处理补写成作者算法。

这个度量主要反映连通域面积占比是否分散，并非完整的几何紧致度：如果掩码只有一个连通域，无论该区域宽窄，空间熵都是零。因而它是停止代理信号，而不是“已经看到足够证据”的数学保证；其合理性主要来自停止规则消融，而非定理。

一个完整示例¶

原文图 3 给出一张统计表，问题询问私人服务下神经科有多少患者出院。相对注意力定位得到错误区域，回答为 6；熵梯度图集中在与问题相关的表格行，裁剪后回答为 696。这说明裁剪改变的是模型读取的证据，而不是在答案文本上做修补。

放到完整流程中理解，算法先在整页上寻找敏感区域，保留排名靠前的连通域，再用放大的局部内容重新定位，直到空间熵不再支持继续细化。这里的迭代解释用于说明机制；图 3 没有报告该样本的实际迭代次数或区域分数，不能据此编造逐轮轨迹。

损失函数 / 训练策略¶

不存在额外训练集、优化器或参数更新。这里的“损失”只是测试时反向求导的标量目标，模型权重保持不变；最终回答仍由一次正常生成得到。因此“免训练”不等于“仅前向推理”，部署端必须能取得视觉嵌入并运行自动微分。

默认采用首 token、完整词表熵、两个额外区域和空间熵停止。原文表 5 还比较不同 transformer 层的梯度设置，最后一层作为统一默认；但第 20 层的 V* 为 78.01，高于最后一层的 73.30，不能把默认层描述为所有指标最优。缓存未包含文中提到的补充材料，精确实现超参数与定位指标不在本笔记中补猜。

实验关键数据¶

主实验¶

原文第 4.1 节评估 LLaVA-1.5 7B、LLaVA-1.6 Mistral 7B、InternVL-3.5 8B 和 Qwen2.5-VL 7B，共七个基准。TextVQA 使用标准 VQA accuracy；DocVQA 与 InfoQA 使用官方测试服务器 ANLS；V*、GQA、RWQA 使用 top-1 accuracy；POPE 使用各 split 的平均 accuracy。下表摘自表 1，沿用论文的百分制展示，增量是分数点而非相对百分比。

骨干与数据集	指标	原模型	本文	增量
LLaVA-1.5 7B / DocVQA	ANLS	22.32	33.70	+11.38
LLaVA-1.6 Mistral 7B / V*	Accuracy	57.59	73.30	+15.71
LLaVA-1.6 Mistral 7B / InfoQA	ANLS	24.66	33.93	+9.27
InternVL-3.5 8B / DocVQA	ANLS	58.73	79.54	+20.81
Qwen2.5-VL 7B / V*	Accuracy	73.30	86.91	+13.61
Qwen2.5-VL 7B / GQA	Accuracy	61.01	59.49	-1.52
Qwen2.5-VL 7B / RWQA	Accuracy	67.84	66.93	-0.91

同骨干竞争并非全胜：LLaVA-1.5 上，ZoomEye 的 V* 为 72.25，高于本文的 56.02；LLaVA-1.6 上，ViCrop 的 TextVQA 为 68.65，高于本文的 67.96。训练型 TEVA 的参数量与训练条件也不同，不应直接把跨模型分数差归因于定位方法。

消融实验¶

下表为原文表 4，统一使用 LLaVA-1.6，比较追加区域数量；DocVQA 是 ANLS，其余为 accuracy，均沿用论文分数尺度。

配置	POPE	V*	DocVQA	RWQA
不追加区域，原模型	87.80	57.59	64.94	58.30
追加 1 个区域	88.79	69.63	61.25	60.39
追加 2 个区域	89.31	73.30	65.07	60.39
追加 3 个区域	89.06	72.25	64.87	59.87
追加 4 个区域	89.19	72.25	65.14	58.82

两处区域是整体较好的折中，而不是每列严格最优：四处区域的 DocVQA 略高，两处区域与一处区域的 RWQA 持平。更多裁剪可能带来冗余，不能仅凭增加视觉 token 数量推断性能上升。

下表摘自原文表 2，仍使用 LLaVA-1.6，比较停止规则。计时保留该表口径，不能与表 7 混为同一组测量。

停止配置	V*	DocVQA	RWQA	表 2 推理时间
空间熵	73.30	65.07	60.39	4.80 s
首 token 最大概率下降时停止	70.16	64.26	58.69	3.84 s
固定 1 次迭代	60.73	65.42	59.08	2.22 s
固定 2 次迭代	65.96	63.34	60.39	2.70 s
固定 3 次迭代	65.96	61.80	59.22	3.84 s

关键发现¶

空间熵停止比置信度停止的 V* 高 3.14 分，但更慢；固定一次的 DocVQA 又高于自适应停止，因此没有一种规则逐指标占优。
表 3 的完整熵与最大概率目标分别取得 V* 73.30 与 73.29，差异很小。证据更支持整个检索流程有效，而非“只有熵目标才有效”。
表 7 单独在 726–1536 px 的 RealWorldQA 图像上报告平均单样本时间：LLaVA-1.6 单次检索为 2.04 s，完整迭代为 3.37 s。它与表 2 的 2.22 s、4.80 s 不同；当前正文不足以统一两表计时条件，也未提供可复核的硬件配置。

亮点与洞察¶

将归因图用于下一轮输入选择，而非只做事后解释。真正的收益来自模型能重新读取被放大的证据，因此定位与回答形成了闭环。
生成不确定性与定位分散度分工明确。前者产生热图，后者控制迭代，避免把语言模型对下一个词的自信直接等同于视觉证据充分。
多区域检索保留空间上分离的线索，原图保留场景关系。对于表格、信息图和小字问答，这比只裁出一个最强峰值更符合信息需求。

局限与展望¶

作者报告的主要代价是重复前向、反向带来的延迟。需要白盒梯度访问也是部署约束，不能直接套用到仅提供文字生成接口的封闭 VLM。
图 6 显示较弱骨干更容易把梯度分配到错误位置。模型自身表示与不确定性失准时，裁剪可能进一步强化错误解释，而不是自动纠正它。
空间熵只是连通域面积占比的熵，不衡量区域语义正确性，也不区分单个连通域的不同尺度。这是根据公式得出的适用边界；可进一步结合定位稳定性或上下文保留约束，但本文未验证这些扩展。
通用理解有回退，且部分同骨干基线仍更强；没有报告误差条的微小差异不宜解读为显著优势。补充材料未在缓存中，定位精度、具体后处理参数与完整复现条件仍需原始实现核实。

评分¶

新颖性: 4/5。将熵梯度、多区域证据与停止控制组合成可执行的免训练检索流程。
实验充分度: 4/5。四类骨干、七个基准和多组消融较全面，但计时条件与统计可靠性仍需补充。
写作质量: 4/5。机制和实验脉络清楚，部分“无后处理”表述及计时口径需要谨慎解读。
价值: 4/5。适合能访问梯度、愿意用推理成本换取细节感知能力的 VLM 应用。