Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/ExplainableML/ug-framework
领域: 多模态 VLM
关键词: 不确定性估计、视觉搜索、视频帧采样、时序定位、免训练推理

一句话总结¶

UG 将 MLLM 的回答熵或肯定置信度变成视觉证据选择信号，在不更新参数的情况下完成局部搜索、视频选帧和时序定位，使 InternVL2.5-8B 的 V*Bench 准确率从 71.7% 提升至 91.1%，但需要额外的候选评分计算。

研究背景与动机¶

多模态大语言模型（MLLM）能够描述图像和回答视频问题，却常常看不到真正决定答案的细节。高分辨率图像缩小后，小物体可能只剩很少的视觉信息；长视频均匀采样后，关键动作可能根本没有进入上下文。时序定位又多了一层困难：即使模型知道发生了什么，也未必能直接输出准确的起止时间。这三类失败共同指向一个问题：有限视觉上下文应该优先容纳哪部分证据，而不只是语言推理需要多长。已有方法通过生成裁剪框、外部视觉模型评分或专门的时序指令微调弥补这一缺口，但会引入额外模型、数据或任务专用机制。

本文关注的是模型自身能否为视觉输入提供一个与问题相关的筛选信号。过去的输出熵常用于回答生成后的错误或幻觉检测；UG 则把这个信号提前，用候选视觉输入诱发的回答不确定性来决定下一次看哪里。作者在 V*Bench 上将图像划成边长为短边 1/6 的区域，发现包含目标的区域通常产生更低的回答熵，图 1 展示了分布差异与空间热图。这支持“相关视觉证据可以减少回答的不确定性”，但并不等于“模型越自信，答案就必然越正确”。特别是询问动作是否出现时，模型对“不出现”也可能非常自信，因此仅最小化熵会选中明确无关的片段。

UG 的选择是保留预训练 MLLM，把任务改写成候选区域或时间窗口之间的比较，再用选中的证据回答或定位。它统一的是评分原则和两阶段流程，而不是取消裁剪、选帧和连续区间搜索之间的任务差异。 核心 idea：利用问题条件下的回答不确定性寻找有效视觉证据；开放式问题选低熵输入，事件定位则选支持肯定回答的连续时间段。

方法详解¶

整体框架¶

输入是一幅图像或一段视频，以及一个问题或事件描述；输出是问答答案，或者事件的起止时间。框架先为候选视觉输入运行评分，再执行最终决策，评分阶段生成的临时回答不直接作为最终答案。三个分支分别是熵引导视觉搜索、熵引导视频采样和肯定置信度时序定位，对应原文的 UG-Search、UG-Sample、UG-Ground。前两个分支重新组织视觉上下文后再调用模型作答；第三个分支直接从置信度序列求出时间区间，并不依赖第二次自由生成时间戳。以下图中的三个中间节点是按任务选择的替代分支，不是必须依次执行的步骤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["视觉输入 + 问题"] -->|高分辨率图像| B["熵引导视觉搜索<br/>候选裁剪 → 最低熵区域"]
        A -->|视频问答| C["熵引导视频采样<br/>候选帧 → 低熵帧集合"]
        A -->|事件描述| D["肯定置信度时序定位<br/>窗口评分 → 最大和区间"]
        B --> E["选中区域重新作答"]
        C --> F["按时间排序后作答"]
        D --> G["输出起止时间"]

这里的“不确定性”来自生成时的 token 概率分布，不是另训一个置信度预测头，也不是要求模型在文本中自报分数。因此，实际部署需要访问模型输出概率；只返回文字、不给 token 概率的接口不能直接复现这一机制。候选之间独立评分使计算原则上可以批处理，但不意味着正文报告的实现已经完成了全面并行化。

关键设计¶

1. 熵引导视觉搜索：用回答分布判断哪块图像值得放大看

UG-Search 用正方形滑动窗口产生候选裁剪，针对同一个原始问题逐个评分。评分时同时输入原图和当前裁剪：原图提供全局上下文，裁剪保留局部细节，随后计算生成回答的平均熵。这个分数并非只看模型最终选中的词有多大概率，而是对每一步的整个词表分布计算 Shannon 熵，再对回答长度取平均。设 \(T\) 为生成长度，\(N\) 为词表大小，\(p_{i,j}\) 为第 \(i\) 步词表项 \(j\) 的概率，其定义可写为：

\[ \mathcal{H}(v,q)=-\frac{1}{T}\sum_{i=1}^{T}\sum_{j=1}^{N}p_{i,j}\log p_{i,j}. \]

这是依据第 3.2 节文字定义规范转写的公式；本次原文文本抽取中的公式排版有损坏，并非逐字符复原印刷版。平均处理避免长回答仅因 token 更多就累积更大的总熵，但它本身不保证不同回答内容之间具有完美可比性。分数越低，表示模型在当前视觉条件下越少犹豫，作者据此把该区域视为更可能包含问题需要的证据。所有候选评分完成后，仅选择熵最低的一个裁剪，并只使用该裁剪进行最终作答。这一区别很重要：评分时存在全局参照，最终答案却不是把原图和全部候选共同塞回模型。

视觉搜索实验使用边长比例为 1/6 的裁剪，标准 QA 则使用 1/2，步长统一为裁剪边长的一半。动机实验明确以图像短边定义 1/6；正文实验设置用较简略的“图像的 1/6”表述，精确实现细节仍需参考代码或附录。这些设置在各自任务组内固定，不按单个基准另调参数。为减少重复成本，作者缓存原图的键值状态（KV cache），让多个裁剪评分复用原图部分的计算。这节约的是重复上下文处理，不会消除裁剪编码和临时回答生成的成本。相较于先要求 MLLM 生成一个精确框，UG 用候选枚举和比较绕开了直接坐标预测这一能力要求。

2. 熵引导视频采样：把有限帧预算留给最能回答当前问题的画面

UG-Sample 将长视频中的帧或短窗口作为候选，仍然使用同一个问题条件下的平均熵评分。默认实验先均匀抽取 256 个候选帧，每次只输入一帧计算分数，再选择熵最低的 8 帧用于最终问答。基线直接均匀选取 8 帧，因此最终回答的帧数量相同，但 UG 在前面额外检查了更大的候选池。不能把这组对比称为总推理计算量完全相同；相同的是最后一轮的帧预算。选中的帧在合并上下文前按原始时间排序，模型才有机会利用先后关系理解动作，而不是按置信度大小误读顺序。中间表示是“帧及其问题条件熵”的列表，最终生成阶段看到的是筛选后的图像序列，而不是这些分数的自然语言说明。

这种策略适合关键证据稀疏的问题，例如某次进球后运动员如何庆祝。它未必适合统计整个视频中某个动作重复了几次，因为同一段特别清晰的动作可能占据多个低熵名额。作者据此构造 UG-Sample+AKS：保留 AKS 分段采样的时间覆盖策略，但以熵分数替换 CLIP 相似度。这个混合版本不是额外训练，也不是更换最终回答模型，而是约束证据选择应覆盖哪些时间段。其意义在于区分“某帧很相关”和“一组帧足以支持答案”，二者在计数与全局概括任务中并不相同。窗口扩展实验也会用多帧上下文评分，再选窗口中心帧进入最终候选集合；默认单帧设置不能与这些扩展配置混为一谈。

3. 肯定置信度时序定位：从事件存在分数恢复连续片段

UG-Ground 的问题不是挑一个最确定的回答，而是判断指定事件在哪些时间位置确实出现。如果只计算二元回答的熵，坚定回答“没有事件”的背景窗口也会得到很低的分数，因而与目标窗口混淆。作者改用二元回答置信度（Binary Response Confidence, BRC），对每个窗口询问所述事件是否出现在视频中。根据第 3.2 节明确的“概率差”文字定义，分数为首个生成分布中 yes 与 no 两个 token 的概率差：

\[ \operatorname{BRC}(v,q)=p_1(\mathrm{yes})-p_1(\mathrm{no}). \]

缓存的公式 (2) 丢失了中间运算符；上式依据文字定义转写，不将抽取结果中的相邻概率误读为相乘。正分表示更支持事件存在，负分表示更支持不存在；它也不是 yes/no 两项重新归一化后的概率或置信度校准结果。沿视频滑窗计算后，模型输出被转化为一条带正负号的时间分数序列。第 3.3 节将后续选择定义为最大和连续子数组问题，下面用 \(s_t\) 表示第 \(t\) 个窗口的 BRC 分数来说明该目标：

\[ (a^*,b^*)=\arg\max_{a\leq b}\sum_{t=a}^{b}s_t. \]

这是对原文算法描述的记号化说明，不是另一个作者编号公式。连续约束使输出形成事件区间而非散落的高分帧，负分背景通常会阻止区间向无关部分扩张。 Kadane 算法在线性时间内求出这个区间；模型前向评分才是主要开销，不应把整个系统称为低成本线性扫描。默认采用 15 帧窗口、步长 1；Charades-STA 按 3 FPS 采样，ActivityNet Captions 按 1 FPS 采样。最终把最佳子数组的起止索引映射为时间戳，而不是要求通用 MLLM 学会直接生成时间坐标。连续区间假设意味着若同一事件多次间断发生，一个最大和片段未必能完整表达所有实例，这属于方法形式带来的适用边界。

一个完整示例¶

原文图 2 给出了“一个人坐在椅子上”的时序定位示意，时间位置依次为 1.0 至 8.0 秒。对应 BRC 序列为 \([-0.77,-0.79,-0.69,0.78,0.91,0.93,-0.83,-0.92]\)。前三个位置更支持否定，4.0 至 6.0 秒连续支持肯定，其区间和为 \(0.78+0.91+0.93=2.62\)。加入两侧任意负分位置都会降低总和，因此最大和区间为 4.0 至 6.0 秒，与图中输出一致。这些数值是框架示意，不是数据集整体性能，也不证明在所有窗口映射规则下都达到秒级准确边界。

损失函数 / 训练策略¶

UG 不增加训练损失，不更新 MLLM 参数，也不需要为三个任务建立新的监督微调数据。基础模型仍然是已经预训练和指令微调的 MLLM，“免训练”仅指加上 UG 这一过程。评分模型与回答模型可以相同，也可以分开，例如用较小 InternVL2.5 为固定的 8B 回答模型选证据。其他效率选择包括用外部视觉模型预筛选候选、增大时间步长、复用原图 KV 状态以及候选级批处理。这些是部署选项而非默认方法都依赖的组件；尤其外部预筛选会重新引入漏掉细小目标的风险。作者明确说明当前实现因资源与稳定性约束采用顺序评分，完全并行化仍属于后续优化方向。

实验关键数据¶

主实验¶

下表摘录正文表 1（第 6 页）、表 4（第 8 页）和表 5（第 9 页）的代表结果。 QA 为准确率百分数，时序定位为 mIoU 的百分制分数；增益均为绝对点数而非相对百分比。视频问答采用 256 个候选中选 8 帧，Video-MME 不使用字幕；时序定位基线输入上限为 64 帧，UG 使用上述滑窗设置。

任务 / 数据集	模型	指标	基线	UG	增益	来源
视觉搜索 / V*Bench	InternVL2.5-8B	准确率	71.7	91.1	+19.4	表 1
视觉搜索 / HR8K	InternVL2.5-8B	准确率	58.0	73.6	+15.6	表 1
长视频 QA / Video-MME	Qwen2.5-VL-7B	准确率	53.7	59.8	+6.1	表 4
长视频 QA / LongVideoBench	Qwen2.5-VL-7B	准确率	52.7	60.5	+7.8	表 4
时序定位 / Charades-STA	LLaVA-OV-7B	mIoU	10.4	46.8	+36.4	表 5
时序定位 / Charades-STA	InternVideo2.5-8B	mIoU	32.3	51.0	+18.7	表 5
时序定位 / ActivityNet Captions	InternVideo2.5-8B	mIoU	14.0	38.5	+24.5	表 5

表 5 还报告不同 IoU 阈值的召回率；不能把较低阈值的提升直接视为严格边界定位质量的同等提升。这些结果支持跨骨干模型和跨任务有效，但任务的候选预算、基线能力及指标不同，不应横向比较增益大小来排名任务难度。

消融实验¶

正文表 6（第 13 页）固定回答模型为 InternVL2.5-8B，仅改变评分模型规模。吞吐量单位为样本/秒，越高越好；它与准确率一起揭示额外评分的实际成本。

评分模型	V*Bench 准确率	搜索吞吐量	Video-MME 准确率	选帧吞吐量
无评分	71.7	1.961	57.8	0.476
InternVL2.5-1B	75.4	0.139	58.5	0.107
InternVL2.5-2B	79.1	0.097	59.0	0.097
InternVL2.5-4B	89.0	0.078	60.1	0.070
InternVL2.5-8B	91.1	0.060	60.6	0.054
InternVL2.5-26B	92.0	0.037	61.8	0.036

4B 评分器在 V*Bench 上比 8B 自评分低 2.1 点，但吞吐量是其 1.3 倍；两者仍明显慢于不做候选评分的基线。更强评分器确实有帮助，但该现象本身不是概率已经充分校准的证明。

正文表 3（第 7 页）的选帧对比使用 LLaVA-OV-7B，三个指标均为问答准确率百分数。该表用于分析评分与时间覆盖的互补性，不是同一模型去掉单个网络模块的训练消融。

选帧方法	Video-MME	MLVU	LongVideoBench
AKS	56.1	64.8	56.8
UG-Sample	58.6	62.0	59.5
UG-Sample+AKS	59.2	65.0	59.4

关键发现¶

大幅提升集中在原本容易遗漏局部证据的任务；普通 QA 的增益更小，不能据此宣称所有视觉能力都获得同等增强。
纯 UG-Sample 在 MLVU 上低于 AKS，作者将其归因于 Action Count 需要全视频覆盖；混合采样说明低熵排序并不足以代替覆盖约束。
表 8b（第 14 页）将 15 帧窗口的步长从 1 增至 3，Charades-STA mIoU 均为 51.0，吞吐量由 0.150 升至 0.403，说明密集评分存在冗余。

亮点与洞察¶

不确定性从事后告警变成主动感知信号。模型不必先学会输出好坐标，也能借助候选比较找到更有用的证据。
BRC 保留“是否支持事件存在”的方向信息。它修正了低熵同时奖励自信肯定与自信否定的具体缺陷。
评分与回答可解耦，因此测试时计算可以分别分配给证据查找和最终生成。表 6 让这种分配的质量与成本都可见。

局限与展望¶

作者承认多次前向评分带来显著推理成本；候选可并行不等于总计算免费，报告实现也尚未全面并行。
读者判断：低熵仍可能来自语言先验或错误自信，图 1 的相关性不能保证任意分布、问题和裁剪下都可靠。
读者判断：单一区域、全局低熵帧集合及单个连续区间分别可能遗漏跨区域关系、重复动作和分离的事件实例。
来源边界：本次提供的全文包含正文和参考文献，但没有正文提及的附录；不能据此确认完整提示词、熵评分生成长度或所有实现边界条件。
原文不一致：LLaVA-OV-7B 的 V*Bench UG-Search 在表 1/2 为 86.9，而表 7a 为 81.2；第 4.5 节未在所提供正文中充分交代配置差异，不能合并为同一设置。
原文第 4.3 节设置段落将 BRC 滑窗配置称为 UG-Sample，但上下文明确属于 UG-Ground；本笔记按任务含义解释，不沿用该名称混淆。

评分¶

以下为笔记作者的主观评价，不是会议评分。 - 新颖性: 4/5，将现成的不确定性信号用于主动视觉定位，方向性 BRC 的选择有明确任务依据。 - 实验充分度: 4/5，涵盖多任务、多骨干及成本分析，但仍需更系统的错误自信与失败样本研究。 - 写作质量: 4/5，统一原则和任务实例清楚，个别公式抽取、配置表述及表间差异需要谨慎核对。 - 价值: 4/5，适合作为可接入输出概率的开放模型基线，实际使用需明确额外评分预算。