SIEVES: Selective Prediction Generalizes through Visual Evidence Scoring¶
会议: NeurIPS 2026
arXiv: 2604.25855
OpenReview: https://openreview.net/forum?id=j7Y9kxJJPM
代码: https://github.com/hector-gr/SIEVES
领域: 其他
关键词: 选择性预测, 视觉问答, 视觉证据评分, 拒答机制, 多模态思维链
一句话总结¶
针对闭源与前沿多模态大模型无法获取内部 logits 且传统置信度泛化差的痛点，SIEVES 让推理模型借助缩放工具生成带裁剪图的多模态思维链，并训练轻量判别选择器显式打分定位质量、图文一致性与答案正确性，在严苛风险限制下将跨域 VQA 覆盖率提升达三倍。
研究背景与动机¶
多模态大语言模型（MLLMs）在各类视觉与语言基准上的准确率正迅速逼近饱和，并在智能文档理解、视障辅助等高价值场景中广泛落地。然而，在真实开放环境与分布外（OOD）场景中，模型的误答往往伴随着严重的财务损失甚至人身安全风险。可靠部署的核心在于选择性预测（Selective Prediction）——系统需要根据用户预设的可容忍风险水平（Risk），对答案赋予精准的置信度标量并主动弃权（Abstain），从而在满足错误率约束的前提下最大化回答覆盖率（Coverage）。
然而，现存的选择性预测方案面临双重阻碍：一方面，主流方法严重依赖模型内部表征（如最大 Softmax 概率、Logit 差值或隐层特征激活），而 GPT-5、o3 或 Gemini-3-Pro 等前沿闭源模型通过 API 提供服务时已普遍封禁 Logprobs 与隐层访问；另一方面，纯文本零样本置信度输出或自洽性采样要么耗费倍增推理算力，要么在分布外难以校准，更容易过拟合于特定提问风格或推理模型的语言习惯。当推理模型以黑盒形式存在时，选择器若仅凭题目、原始图像和最终文本答案做二分类预测，本质上是在被迫从头重新解一遍视觉任务，导致置信度排序严重失真。
本文的切入视角在于：既然前沿多模态模型已经具备调用工具进行细粒度视觉推理的能力，就应当要求推理模型在给出答案前，通过缩放裁剪（Zoom-in Crop）工具主动“出示”局部视觉证据。核心 idea：将选择性预测解耦为「具证推理」与「证据判别」，让推理模型通过缩放工具输出包含视觉裁剪的多模态思维链，并构建轻量级判别选择器对视觉定位准确度、裁剪-回答一致性与答案正确性进行显式联合打分，仅依赖黑盒可观测输入输出实现高鲁棒性拒答。
方法详解¶
整体框架¶
SIEVES（Selective Prediction through Visual Evidence Scoring）的运行流程包含两个协同角色：一个配备缩放工具（Zoom-in Tool）的主推理模型 \(f\)，以及一个紧凑且无需访问模型内部表征的选择器模型 \(s\)（基于 Gemma-3-4B-it）。针对输入的问题 \(Q\) 和高分辨率图像 \(I\)，推理模型首先在多模态思维链（MM-CoT）中多次调用缩放工具生成一系列局部高分辨率裁剪图 \(\{R^j_{\text{crop}}\}\) 与中间思考，随后输出最终答案 \(A\)。选择器 \(s\) 接收完整的对话元组 \(\{Q, I, R, A\}\)，无需生成冗长文本，而是通过轻量级多任务预测头一次性输出三项细粒度置信度指标，加权融合后作为最终置信度 \(c_{\text{sel}}\)，通过设定拒答阈值 \(\tau\) 决定是否接受回答。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入：问题 Q 与原始图像 I"] --> Reasoner["工具增强推理模型 f<br/>执行多模态思维链推理"]
Reasoner --> Tool["1. 视觉证据生成<br/>缩放工具提取局部裁剪图"]
Tool --> Evidence["多模态证据元组 {Q, I, R, A}"]
Evidence --> Selector["轻量级选择器 s (Gemma-3-4B)<br/>多任务线性投影头"]
Selector --> Score["2. 细粒度视觉证据评分<br/>定位 cloc / 一致性 ccoh / 正确性 ccorr"]
Score --> Fuse["置信度融合 csel 与阈值判定"]
Fuse -->|csel ≥ τ| Accept["接受预测并输出答案 A"]
Fuse -->|csel < τ| Abstain["置信度不足：主动弃权拒答"]关键设计¶
1. 缩放驱动的视觉证据生成：迫使推理轨迹显式暴露关注区域 以往研究通常仅将缩放工具视为提升高分辨率视觉感知精度的辅助模块，而 SIEVES 则首次将其定义为“可验证的证据来源”。推理模型 \(f\) 被强制在给出回答前调用工具至少缩放一次，从原始高分辨率图像中定位并截取与问题核心目标相关的局部区域 \(R^j_{\text{crop}}\)。这一过程将原本封闭在多模态注意力矩阵中的隐式关注转化为显式的局部像素片段，不仅使回答可追溯，而且极大减轻了下游置信度评估的计算负担——选择器无需在整张超大图像中盲目搜寻微小细节，而是直接审核推理模型所依据的视觉切片。
2. 细粒度视觉证据评分：解耦定位质量与图文一致性 直接训练选择器预测答案是否正确（\(c_{\text{corr}}\)）极易过拟合于特定领域的文本表达风格或容易误判“凭空蒙对”的无依据回答。SIEVES 将证据评估显式分解为三个维度：答案正确性 \(c_{\text{corr}}\)、视觉定位质量 \(c_{\text{loc}}\) 与裁剪-答案一致性 \(c_{\text{coh}}\)。对于定位质量，传统目标检测的 IoU 指标要求裁剪框与标注紧致贴合，但 VQA 中合理的缩放框通常包含目标及其周围环境上下文，导致 IoU 数值常年偏低（仅 <5% 样本 IoU>0.25）。因此，本文提出以平均地面真值交集比（mIoGT）定义定位标签： $$ \text{mIoGT} = \frac{1}{N}\sum_{i=1}^{N}\max_{j}\frac{B^{i}{\text{gt}}\cap B^{j} $$ 并通过空间召回阈值将其二值化为监督信号 }}}{B^{i}_{\text{gt}}\(g_{\text{loc}} = \mathbf{1}[\text{mIoGT} \ge 0.75]\)。对于一致性信号 \(g_{\text{coh}}\)，它衡量模型是否在正确定位后依然给出与裁剪内容相悖的胡言乱语；若定位错误则 \(g_{\text{coh}}=0\)，若定位正确则借助外部 VLM（如 Qwen2.5-VL-7B）判断裁剪图与最终推理和答案是否自洽。
3. 跨模型黑盒置信度聚合：纯观测态推理泛化 由于选择器不依赖任何推理模型的注意力权重、隐层激活或 Log-probabilities，它天然具备极佳的跨模型迁移泛化能力。在推理阶段，选择器利用与训练目标相同的权重因子线性汇总三项置信度标量： $$ c_{\text{sel}} = \lambda_{\text{corr}}\cdot c_{\text{corr}} + \lambda_{\text{loc}}\cdot c_{\text{loc}} + \lambda_{\text{coh}}\cdot c_{\text{coh}} $$ 设定默认超参数为 \(\lambda_{\text{corr}}=0.6, \lambda_{\text{loc}}=0.3, \lambda_{\text{coh}}=0.1\)。当用户指定目标风险等级 \(r\) 时，系统动态选取最优拒答阈值 \(\tau^*(r) = \arg\max_\tau C(\tau) \text{ s.t. } R(\tau) \le r\)。这种机制使得仅在开源微调模型 Pixel-Reasoner 轨迹上训练出的选择器，能够无缝零样本迁移至闭源商业模型 o3 和 Gemini-3-Pro。
损失函数 / 训练策略¶
选择器采用紧凑的 Gemma-3-4B-it 作为骨干，在最后输出 token 的隐状态上外挂三个独立的标量预测头。训练数据集由 Pixel-Reasoner 在高分辨率图像问答数据集 Thyme（自然图像）和 TAT-DQA（金融图表文档）上采集的轨迹构成，配合全线性层 LoRA（rank=512）进行微调。整体多任务优化目标采用加权二值交叉熵（BCE）损失，引入 10% 标签平滑（Label Smoothing）： $$ \mathcal{L} = \lambda_{\text{corr}}\cdot \text{BCE}(c_{\text{corr}}, y) + \lambda_{\text{loc}}\cdot \text{BCE}(c_{\text{loc}}, g_{\text{loc}}) + \lambda_{\text{coh}}\cdot \text{BCE}(c_{\text{coh}}, g_{\text{coh}}) $$ 模型使用 LLaMA-Factory 训练 74,880 步，配合余弦学习率衰减（最大学习率 \(1\times 10^{-6}\)，预热 211 步）与 FlashAttention-2。在保留的 10% Thyme 验证集上选取对应风险下的最优检查点。
实验关键数据¶
主实验¶
评估涵盖 5 个兼具极端挑战性与多样性的分布外（OOD）基准：V* Bench（高分辨率细粒度搜索）、HR-Bench-8k（8K 超高分辨率图表与场景）、MME-RealWorld-Lite（涵盖遥感、驾驶、高难图表）、VizWiz（视障用户拍摄的低质真实模糊图像）以及 AdVQA（针对 VQA 模型的对抗性样本）。报告各基准在双位数覆盖率的关键风险水平 \(C@r\)、平均覆盖率 \(\overline{C@r}\) 以及风险-覆盖曲线下面积（AURC，越低越优）。
| 推理模型与方法配置 | V* Bench (C@5 / \(\overline{C@r}\) / AURC↓) | HR-Bench-8k (C@1 / \(\overline{C@r}\) / AURC↓) | MME-RW-L (C@5 / \(\overline{C@r}\) / AURC↓) | VizWiz (C@20 / \(\overline{C@r}\) / AURC↓) | AdVQA (C@10 / \(\overline{C@r}\) / AURC↓) |
|---|---|---|---|---|---|
| Pixel-Reasoner (无定位) | |||||
| Logprobs 内置概率 | 0.2 / 52.7 / 14.7 | 0.0 / 6.2 / 30.3 | 0.1 / 8.3 / 35.3 | 0.0 / 0.1 / 48.8 | 0.1 / 0.3 / 42.5 |
| 仅正确性选择器 | 2.3 / 54.6 / 15.7 | 0.9 / 30.8 / 20.3 | 0.0 / 17.8 / 30.4 | 1.6 / 3.5 / 45.6 | 0.0 / 7.7 / 33.7 |
| Pixel-Reasoner (带定位) | |||||
| 零样本 Logit 判别 | 0.0 / 47.1 / 15.6 | 0.0 / 32.8 / 21.3 | 0.0 / 4.7 / 36.4 | 0.0 / 0.0 / 53.1 | 0.0 / 0.0 / 38.6 |
| 仅正确性选择器 | 1.4 / 53.1 / 14.1 | 0.0 / 42.7 / 17.4 | 0.0 / 16.9 / 31.9 | 0.1 / 1.5 / 44.2 | 0.2 / 6.3 / 33.0 |
| SIEVES (本文方法) | 9.7 / 59.5 / 12.8 | 2.3 / 41.1 / 18.1 | 4.0 / 18.7 / 31.0 | 7.6 / 6.6 / 42.3 | 2.8 / 9.3 / 32.2 |
| o3 (前沿闭源推理器) | |||||
| 无定位仅正确性选择器 | 0.1 / 21.8 / 23.4 | 0.3 / 33.3 / 19.2 | 1.1 / 13.4 / 29.3 | 6.3 / 3.8 / 40.9 | 0.0 / 19.4 / 25.2 |
| 带定位零样本 Logit | 1.7 / 65.1 / 9.9 | 0.0 / 56.3 / 13.1 | 0.0 / 4.8 / 35.3 | 0.0 / 0.0 / 39.0 | 0.0 / 30.6 / 21.9 |
| 带定位仅正确性选择器 | 0.0 / 61.0 / 9.7 | 1.0 / 61.7 / 10.5 | 0.1 / 16.6 / 28.6 | 0.0 / 3.7 / 35.2 | 3.8 / 33.3 / 20.1 |
| SIEVES (零样本迁移) | 23.1 / 70.8 / 8.4 | 8.0 / 67.7 / 9.3 | 1.7 / 17.5 / 28.4 | 11.7 / 12.4 / 33.3 | 8.2 / 36.5 / 19.6 |
| Gemini-3-Pro (前沿闭源推理器) | |||||
| 无定位仅正确性选择器 | 8.8 / 68.4 / 8.8 | 5.8 / 74.5 / 5.4 | 5.1 / 34.7 / 21.9 | 3.8 / 4.2 / 41.9 | 15.0 / 55.0 / 12.8 |
| 带定位零样本 Logit | 93.5 / 84.8 / 2.9 | 1.4 / 79.9 / 4.9 | 0.0 / 19.5 / 26.4 | 0.0 / 0.0 / 47.7 | 0.0 / 42.9 / 17.3 |
| 带定位仅正确性选择器 | 40.7 / 77.6 / 3.5 | 4.5 / 80.1 / 3.5 | 1.2 / 28.2 / 22.8 | 0.0 / 2.7 / 39.5 | 32.5 / 58.9 / 11.9 |
| SIEVES (零样本迁移) | 95.0 / 85.6 / 3.1 | 14.4 / 80.8 / 4.4 | 12.2 / 32.3 / 21.5 | 8.1 / 8.7 / 37.2 | 33.3 / 59.8 / 11.5 |
消融实验¶
在 Pixel-Reasoner 架构下，针对训练目标加权系数 \((\lambda_c, \lambda_l, \lambda_h)\)、弱监督一致性标注模型以及边界框伪标签来源进行消融（结果包含分布内 Thyme 与 5 个 OOD 数据集的平均表现）：
| 实验组别 | 变体配置 | 分布内 \(\overline{C@r}\uparrow\) | 分布内 AURC↓ | 分布外 \(\overline{C@r}\uparrow\) | 分布外 AURC↓ |
|---|---|---|---|---|---|
| (a) 目标权重消融 | 仅正确性 (1.0, 0.0, 0.0) | 26.7 | 25.8 | 24.1 | 28.1 |
| 仅定位质量 (0.0, 1.0, 0.0) | 3.0 | 38.4 | 17.3 | 33.0 | |
| 仅一致性 (0.0, 0.0, 1.0) | 9.1 | 34.9 | 21.4 | 29.9 | |
| 正确性 + 定位 (0.6, 0.4, 0.0) | 24.3 | 27.0 | 27.0 | 27.4 | |
| 正确性 + 一致性 (0.6, 0.0, 0.4) | 21.4 | 28.0 | 25.2 | 27.6 | |
| 默认配置 (0.6, 0.3, 0.1) | 26.6 | 25.7 | 27.0 | 27.3 | |
| 均衡配置 (0.33, 0.33, 0.33) | 19.4 | 29.6 | 24.2 | 28.9 | |
| (b) 一致性标注器 | Qwen2.5-VL-7B (默认) | 26.6 | 25.7 | 27.0 | 27.3 |
| Gemma-3-4B (轻量级) | 24.4 | 27.1 | 25.5 | 28.1 | |
| Qwen2.5-VL-72B (超大型) | 26.8 | 25.5 | 25.5 | 27.8 | |
| (c) 边界框标注源 | 人工真实标注 (默认) | 26.6 | 25.7 | 27.0 | 27.3 |
| Gemini-3-Flash 伪标注 | 24.2 | 27.5 | 26.3 | 27.6 |
关键发现¶
- 低风险容忍度下优势显著：在严格的错误率约束下（如 VizWiz 的 \(C@20\)、V* Bench 的 \(C@5\)），仅靠正确性打分的选择器甚至退化为 0% 覆盖率，而 SIEVES 凭借可信的视觉定位证据实现了 2 至 3 倍的覆盖率跃升。
- 纯正确性选择器的退化陷阱：在带有定位裁剪的多模态 CoT 上训练的纯正确性选择器，在 OOD 数据集上的表现有时甚至不如未进行定位的基线，原因是它将模型偶发的幻觉模式与多轮视觉输入强行拟合；只有显式加入定位（\(c_{\text{loc}}\)）与一致性（\(c_{\text{coh}}\)）监督，才能纠正这一倾向。
- 零样本无缝跨模型迁移：选择器完全未在 o3 或 Gemini-3-Pro 的轨迹上微调，但当迁移至这些闭源强模型时，覆盖率获得了比准确率增幅更大的提升。这归功于 o3 能够产生更高质量、更多频次（平均 2.3 次 vs 1.1 次）的缩放裁剪，使视觉证据评分的判别力更加突出。
- 全自动数据合成的可行性：用 Gemini-3-Flash 替代人工边界框标注仅使 OOD 平均覆盖率从 27.0% 微降至 26.3%，证实了该范式在大规模工业部署中自监督构建训练集的潜力。
亮点与洞察¶
- 将工具调用由精度手段升级为可靠性依据：传统观念仅将视觉缩放视作感知辅助，本文巧妙地将其定义为外显置信度锚点，把原本不可观测的模型注意机制具象化为离散像素图块，为黑盒置信度评估开辟了新路径。
- IoGT 代替 IoU 的度量适配：精准识别出 VQA 任务中视觉证据“重在包含而非贴合”的特质，提出以 \(g_{\text{loc}} = \mathbf{1}[\text{mIoGT} \ge 0.75]\) 代替 IoU，从理论和统计上解释了为何目标检测的框回归指标在视觉证据评分中失效。
- 完全解耦模型内部表征的判别架构：在 Logprobs 普遍被商业 API 弃用的时代，仅凭输入输出与思维链实现可靠拒答，使得小模型（4B）能可靠裁决 10 倍以上体量乃至黑盒前沿模型的决策，极具实用价值。
局限与展望¶
- 依赖推理模型的工具使用能力：对于无法生成有效缩放裁剪或缺少工具调用接口的基础多模态模型，该方法无法直接获取外显证据。
- 一致性监督依赖外部判别器：尽管消融显示标注器模型大小对性能影响有限，且人工抽检一致率达 92%，但弱监督标注机制仍可能引入系统性偏差。
- 复杂空间逻辑与反事实问答的泛化边界：论文指出在高度抽象的关系推理中，局部裁剪框无法完整呈现长距离交互线索，未来可结合全局掩码与层次化视角缩放进行拓展。
相关工作与启发¶
- vs HARMONY / SelectiveNet (白盒选择性预测)：此类方法依赖模型内部 Logits 边际或隐层激活进行表征探测，绑定特定架构且对闭源 API 完全失效；SIEVES 转向黑盒多模态交互轨迹，具备完全的架构不可知性与强泛化性。
- vs Consistency / Zero-shot Verbalized (黑盒自洽性与语言拒答)：多次采样自洽性评估成本倍增且仅能提供粗粒度分数；直接输出置信度 token 则严重受制于 LLM 的过度自信偏差。SIEVES 复用单次推理中的思维链，以极低判别开销输出高辨识度的连续标量置信度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将多模态思维链中的缩放工具调用转化为外显视觉证据评分，构思精巧且切中闭源模型黑盒化痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 大代表性 OOD 评测集，横跨开源与两大顶级商业闭源模型，消融实验涵盖权重、阈值、标注模型与合成数据全链路。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，深入剖析了 IoGT 与 IoU 的本质区别，图表详实且论证逻辑极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 解决了大模型落地核心场景下的低风险高覆盖拒答问题，为高可靠性安全部署提供了通用范式。