跳转至

Learning to Zoom Efficiently with a Contrastive Curriculum

会议: EMNLP 2026
论文: ACL Anthology
代码: https://www.ukp.tu-darmstadt.de
领域: VLM Efficiency
关键词: 视觉语言模型, 自适应缩放, 强化学习, 对比学习, 课程学习

一句话总结

针对视觉语言模型学习缩放工具(Zoom-in Tool)严重依赖昂贵的人工标注与轨迹级冷启动 SFT 的痛点,提出一种基于 InfoNCE 对比差异的自监督内在探索奖励与动态负样本课程学习机制,完全无需 SFT 即可驱动强化学习收敛,且仅凭单次精准缩放便在多个通用 VQA 基准上达成超越多轮交互基线的帕累托最优性能。

研究背景与动机

现代视觉智能体在面对超高分辨率图像或密集拥挤场景时,必须依赖缩放(Zoom-in)等局部交互工具来精确识别细粒度感兴趣区域(Region of Interest, RoI)。现有主流方案(如 Pixel-Reasoner、DeepEyes、Mini-o3 等)普遍依赖双阶段范式,即首先构建耗费巨大算力或调用专有黑盒大模型合成的完整工具轨迹,通过监督微调(SFT)向模型灌输格式与粗粒度坐标定位语法,随后再切换到强化学习(RL)阶段进行下游任务对齐。然而,获取高质量的多轮多模态工具轨迹成本高昂,且 SFT 阶段容易引发严重的分布漂移或过度拟合,使模型丧失自主探索全局视角的灵活性。

若直接在无 SFT 冷启动的纯强化学习环境下让多模态大模型从零探索工具使用,则会遭遇显著的时序认知错位瓶颈:在轨迹生成过程中,策略必须先决策「是否调用工具」,再决策「如何生成空间包围盒坐标」,但从技能习得规律来看,模型唯有先掌握精准的裁剪缩放技能,才能合理判定调用工具的经济性。如果仅依赖任务最终的稀疏正确性奖励(Accuracy Reward),模型在训练初期因缩放不熟练而频繁遭遇负反馈,策略会迅速退化并彻底放弃工具调用;而若引入无约束的独立工具奖励,模型又极易陷入奖励黑客(Reward Hacking),通过无意义地高频滥用工具或拉长反思文本来套取奖励。

本文的切入视角是:缩放操作本质上是一种主动的信息获取动作,其优劣应当由工具返回的局部高分辨率 patch 能否显著增益后续推理的置信度来衡量。核心 idea:将正确答案下生成的工具调用视为正样本包围盒,自适应生成空间重叠度可控的难负样本切片,通过对比后续推理在正负切片条件下的 logits 概率差异构建 InfoNCE 风格的内在探索奖励,并配合难度递增的对比课程学习,实现完全免 SFT、单次缩放即达帕累托最优的自适应高效视觉探索。

方法详解

整体框架

整体方法构建在组相对策略优化(GRPO)强化学习框架之上,主要由三个紧密协同的阶段组成:轨迹生成与银标签确认、难负样本包围盒课程采样、以及基于条件 logits 偏好打分的内在奖励计算。当视觉智能体根据初始提问 \(Q\) 与一阶段反思 \(M_{R1}\) 给出候选缩放框 \(M_{T1}\) 并获得裁剪高分辨率图像 \(T_E\) 后,系统根据最终回答的正确性过滤出有效轨迹,进而动态生成与正样本重叠度由课程参数 \(\tau\) 精确约束的负样本框 \(M_{T1}'\) 及其对应切片 \(T_E'\);随后,模型仅需一次轻量级的网络前向传播对已有第二阶段推理文本 \(M_2\) 重新打分,计算其在正负前缀下的相对优势度,转化为内在奖励驱动策略迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 原始图像 + 提问 Q"] --> B["前向生成与银标签筛选<br/>一阶段反思 MR1 + 缩放调用 MT1 + 执行裁剪 TE"]
    B --> C["条件判定: 最终回答是否正确?"]
    C -->|正确: 确立银标签正样本| D["难负样本课程采样<br/>按训练进程提升重叠度约束 IoU(TE, TE') = τ"]
    C -->|错误: 奖励归零| E["任务奖励 racc = 0"]
    D --> F["双前缀前向重打分<br/>仅需单次前向对比 M2 对正负切片的概率偏好"]
    F --> G["对比内在探索奖励<br/>InfoNCE对齐 + Token截断 + Tanh数值约束"]
    G --> H["GRPO 优势度聚合与策略更新<br/>单步缩放兼顾泛化精度与极低推理延迟"]

关键设计

1. 前向生成与银标签筛选:将稀疏任务成功转化为密集工具监督 在纯 RL 探索阶段,由于缺乏显式的人工坐标标注,判断模型自主生成的包围盒是否命中 RoI 极具挑战。针对此痛点,方法采用后验验证机制:若模型在调用工具后最终得出了正确答案,则有极高置信度推断当前的工具调用 \(M_{T1}\) 及其对应的裁剪区域 \(T_E\) 是合理且信息充分的,可作为当前样本的「银标签(Silver Label)正样本」。这一设计从根本上规避了繁琐昂贵的人工 RoI 标注,使全流程能够以全自监督方式在标准问答数据上启动。

2. 难负样本课程采样:从远离目标到近邻对抗的渐进控制 如果仅从全局数据分布中随机采样完全无关的不相交负样本(即 \(\tau = 0\) 的简单负样本),模型在训练中后期极易通过重复单词、拉长第二阶段思考文本或输出极规整的坐标数字(如 [100, 100, 400, 400])来进行虚假验证,陷入奖励黑客陷阱。为破解该难题,设计了以交并比(IoU)目标 \(\tau\) 为核心的对比课程:在前 30% 训练步内保持 \(\tau = 0\)(构建容易区分的负样本,帮助模型掌握缩放工具基础语义),随后线性增大至 \(\tau_{\max} = 0.175\),动态生成与正样本包围盒紧密相邻甚至部分相交的难负样本包围盒 \(M_{T1}'\)。算法基于对数正态分布扰动面积与长宽比,并结合伯努利扰动调整中心点偏移,精确控制 \(\text{IoU}(T_E, T_E') = \tau\),迫使模型必须细致捕捉局部切片内部的语义差异而非投机取巧。

3. 对比内在探索奖励:基于 logits 差异的 InfoNCE 代理目标 针对重新自回归采样会导致解码开销过大且序列长度不一致破坏训练稳定性的缺陷,方法采用单次无梯度的 forward pass 对已生成的第二阶段文本 \(M_2\) 进行重新评分。令正样本前缀为 \(S_{\text{pre}} = (Q, M_{R1}, M_{T1}, T_E)\),负样本前缀为 \(S'_{\text{pre}} = (Q, M_{R1}, M_{T1}', T_E')\),按 token 级计算 Bradley-Terry 相对优势度并进行下界截断与双曲正切缩放: $$ \tilde{r}{\text{tool}, i} = \log \frac{2 P(M \mid S'} \mid S_{\text{pre}}, M_{2, <i})}{P(M_{2, i} \mid S_{\text{pre}}, M_{2, <i}) + P(M_{2, i{\text{pre}}, M $$ $$ r_{\text{tool}} = \tanh \left( \sum_{i=1}^N \text{clip}(\tilde{r}}){\text{tool}, i}, \pm\gamma) \right) \in [-1, 1] $$ 该公式在理论上精确对应向右平移 \(\ln(2)\) 的负 InfoNCE 损失,代表模型仅基于后续生成反向判别正样本工具调用的后验互信息增益。最终的复合强化学习奖励为: $$ r = r $$ 其中 }} + \alpha \cdot \mathbb{I}{\text{answer correct}} \cdot r_{\text{tool}\(\alpha = 0.1\),\(\gamma = 1.54\)。条件指示函数 \(\mathbb{I}\{\text{answer correct}\}\) 保证了模型仅在任务成功时获得内在探索加成,彻底杜绝了模型因滥用工具而偏离主任务目标。

损失函数 / 训练策略

模型基于 Qwen2.5-VL 7B 架构展开训练,采用 GRPO 算法配合选择性样本重放(Selective Sample Replay)机制缓解多轮视觉轨迹中的优势度消失问题。训练主数据集为剔除多图与视频样本后的 PR\video(共 6,698 条问答),每条 query 采样 8 条轨迹,温度系数设为 1.0,KL 散度约束系数 \(\beta = 0.04\)。在两轮梯度更新后清空经验回放池并重新采样,保证高度 on-policy 的训练动态。在探索阶段完成后,模型可直接作为免 SFT 的即插即用底座,在 Visual Probe 训练集上仅依靠下游准确率奖励进行持续微调(记为 Ours+),进一步释放细粒度视觉推理潜力。

实验关键数据

主实验

在 V*-Bench、HRBench 4k/8k 以及 MME-RealWorld 四大高分辨率通用视觉基准上的测评结果显示,本文提出的免 SFT 内在奖励方案大幅超越了基线模型,并在持续训练后达成全面领先。

方法 / 评估配置 训练机制 V*-Bench (tool) HRBench 4k (tool) HRBench 8k (tool) MME-RealWorld (tool) Overall 均分 (tool)
Qwen 2.5 VL 7B (Base) 无强化微调 15.71 10.38 9.75 16.77 13.15
Pixel-Reasoner SFT + 好奇心 RL 84.82 73.62 67.00 63.80 72.31
Mini o3 昂贵 SFT + 多步 RL 86.91 77.73 73.39 65.63 75.92
DeepEyes v2 SFT + RL 81.80 77.90 73.80 64.90 74.60
Baseline: no tool 纯 RL (单轮无工具) - - - - 72.56 (tool-free)
Baseline: Curiosity 纯 RL (绝对坐标无SFT) 86.91 76.62 70.25 63.58 74.34
Baseline: Conditional 纯 RL (恒定条件奖励) 84.29 78.00 72.12 64.89 74.83
Ours 对比课程探索 (免SFT) 85.34 78.50 73.38 64.38 75.40
Mini o3 (多步调用上限32) SFT + 多轮搜索 88.20 77.50 73.30 65.50 76.13
Ours+ 探索后持续 RL 微调 89.01 79.12 73.00 67.10 77.06

消融实验

在 PR\video 上对负样本采样策略、目标重叠度阈值 \(\tau_{\max}\) 以及打分粒度进行的消融评估(Tab. 10.App 与 Tab. 4 诊断):

配置 / 变体 核心变动说明 V*-Bench (tool) HRBench 4k (tool) HRBench 8k (tool) MME-RW (tool) Overall 均分
Ours (完整模型) Token级对比 + 动态课程 (\(\tau_{\max}=0.175\)) 85.34 78.50 73.38 64.38 75.40
序列级打分 (per sequence) 采用全序列概率比值替代逐token截断求和 83.77 77.62 72.12 62.56 74.02
仅简单负样本 (easy neg, \(\tau=0\)) 全程不引入相交负样本,极易引发虚假验证 84.82 74.62 66.75 61.66 71.96
双负样本对比 (two negatives) 每次引入两个不同重叠度的负样本切片 84.82 76.12 71.25 61.73 73.48
负样本难度过小 (\(\tau_{\max}=0.15\)) 难负样本偏离正样本稍多,判别约束较松 80.63 76.50 72.75 63.50 73.34
负样本难度过大 (\(\tau_{\max}=0.20\)) 负样本与正样本重叠过多导致模型优化振荡 70.16 71.50 63.88 56.57 65.53

关键发现

  • 难负样本课程是抑制奖励作弊的生命线:仅使用不相交简单负样本(\(\tau=0\))时,模型整体准确率从 75.40 跌至 71.96。训练曲线表明模型在 300 步后会恶性拉长第二阶段 token 数,靠复读一阶段词汇来虚假膨胀 \(P(M_2 \mid S_{\text{pre}})\)。而将 \(\tau\) 逐步提升到 0.175 的窄窗口内,则能使第二阶段推理长度保持平稳,促使模型真正关注视觉差异。
  • 单次缩放即达成帕累托效率最优:Mini o3 需要在测试阶段调用高达 16 至 32 次缩放工具才能在综合指标上追平仅调用 1 次工具的 Ours(75.40 vs 76.13),而在同样的持续训练设置下,仅需单次缩放的 Ours+ 准确率达到 77.06,在推理开销与高精度之间展现出压倒性的帕累托最优特性。
  • M&C 数据集揭示核心空间定位规律:利用全新提出的可扩展合成基准 Muffin&Chihuahua(3600 张具有精确 RoI 边界的图像)分析发现,缩放框与金标准目标框的召回率(Recall)与下游任务准确率呈现极高相关性(跨模型 Pearson 相关系数高达 0.93,远超 Precision 的 0.43 与 IoU 的 0.53)。这证明在昂贵的视觉缩放操作中,宁可生成略微包含冗余上下文的大尺度切片确保完整覆盖目标,也绝不能因过小的视野而发生目标截断。

亮点与洞察

  • 互信息最大化的高效落地实现:将视觉动作的有效性评估转化为后续推理文本的条件互信息增益,不仅在理论上与 InfoNCE 严密契合,更在工程上巧妙复用单次前向传播的 logits 计算,计算附加开销仅占整体训练耗时的 4%。
  • 揭示视觉工具学习的内化蒸馏效应:在 Qwen2.5-VL 上,经过缩放工具训练的模型在关闭工具接口时(tool-free 模式),其基线得分依然显著超过从未学习过工具的模型(73.73 vs 72.56),表明强化学习探索出的长程空间定位轨迹已部分内化蒸馏进模型主干参数中。
  • 即插即用的免 SFT 冷启动范式:完全摆脱了对专有闭源模型合成多模态工具轨迹的路径依赖,为多模态智能体自主探索高难度操作动作提供了通用、鲁棒的强化自监督学习框架。

局限与展望

  • 过度调用倾向(Excessive Tool Use):在无需放大的场景(如 \(1 \times 1\) 网格的全局图像),模型形成了无条件的反射性调用习惯,倾向于盲目放大角落编号导致局部语境丢失,在不必要场景下的工具剪枝机制仍待探索。
  • 跨模型架构与坐标格式的敏感性:在 InternVL3.5 与 Gemma 4 等模型上的迁移实验表明,模型极易退化到单纯根据包围盒坐标的数字规律(如整数步长)区分前缀,必须通过固定工具指令、仅替换底层渲染图像的方式实施严格对齐。
  • 多轮级联缩放机制有待突破:将内在对比奖励直接推广到多轮连续缩放时效果出现退化,表明在无 SFT 引导下,当前参数规模的多模态模型在复杂长链条视觉搜索中仍易迷失方向。

相关工作与启发

  • vs Pixel-Reasoner: Pixel-Reasoner 依赖昂贵的多轮 SFT 轨迹冷启动并配合固定概率的好奇心驱动奖励;本文证明无需任何冷启动 SFT 数据,仅凭对比课程内在奖励就能引导更稳定、更高效的工具学习。
  • vs Mini o3 / DeepEyes: 现有方案采用多达 6 至 32 步的试探性多轮交互搜索;本文指出当前模型在此类长轨迹中极易迷失,而单次精准的大视野覆盖缩放不仅效率提升一个数量级,在通用基准上的综合性能更为优异。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 InfoNCE 互信息对齐后续推理文本与视觉裁剪,构建了无监督的内在工具探索奖励。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大真实基准、全新提出的可扩展合成诊断基准 M&C、详尽的课程消融以及跨 3 大模型底座的系统验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽,实证分析与失败案例剖析深刻客观。
  • 价值: ⭐⭐⭐⭐⭐ 为解决视觉 Agent 严重依赖闭源数据冷启动的瓶颈提供了关键技术方案。