Foveated Reasoning: Stateful, Action-based Visual Focusing for Vision-Language Models¶
会议: ECCV2026
论文: ECCV 原文
领域: 视觉语言推理
关键词: 视觉语言模型、视觉聚焦、有状态解码、连续动作、证据获取
一句话总结¶
FoveateR 让视觉语言模型在同一自回归轨迹中按需触发连续裁剪动作并吸收高分辨率证据，在低分辨率输入下以更少视觉 token 改善多项视觉问答结果，而不要求人工标注聚焦轨迹。
研究背景与动机¶
视觉语言模型（VLM）处理文档、小字或细粒度属性时，错误不一定来自推理能力不足，也可能是输入压缩时已经丢掉了决定答案的像素。 把整张图提高到高分辨率可以恢复细节，却会增加视觉编码和后续注意力计算的成本。 相反，只给低分辨率全图，再要求模型输出更长的思维链（CoT），无法凭空恢复看不清的表格数值。 视觉聚焦方法因此采用先看全局、再读取局部的策略，但不同系统如何把新证据接入推理过程，仍然影响效率和可靠性。
多轮方法通常先定位区域，再对裁剪图重新运行回答模型，每次聚焦都可能启动新的解码轨迹。 文本定位方法能够把看图与推理交错起来，但要在离散词表中生成坐标、工具参数或定位 token，带来额外文本开销和格式约束。 本文关注的不是再加一种裁剪启发式，而是把“何时需要证据”和“去哪里取证据”嵌入正在进行的解码。 这要求模型既记住已经读过的内容，又能通过独立于语言输出的几何动作访问原始高分辨率图像。
FoveateR 借鉴中央凹视觉的过程：粗略全景负责指引注意方向，局部高精度观测只在需要时进入已有记忆。 训练还必须防止模型用越来越大的裁剪框取得奖励，否则选择性观察会退化为整图高分辨率输入。 核心 idea：共享持续更新的推理状态，让文本策略决定何时看、连续区域策略决定看哪里，再用任务奖励和有条件的面积约束学习少而有效的视觉证据获取。
方法详解¶
整体框架¶
输入是原始高分辨率图像、它的低分辨率全局视图以及问题；最初送入 VLM 的是后两者。
高分辨率原图保留在环境侧，只有模型请求的区域才被编码并送回解码上下文。
输出仍然是带有 <think> 和 <answer> 结构的回答，聚焦动作则在生成过程中执行。
方法包含有状态解码、连续动作聚焦和任务驱动的两阶段学习，前两者负责推理，后者负责训练它们。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Input["低分辨率全图 + 问题"] --> Memory["有状态解码"]
Memory -->|触发 fov| Focus["连续动作聚焦"]
Original["高分辨率原图"] -->|按框裁剪编码| Focus
Focus -->|证据写入原上下文| Memory
Memory -->|生成答案并终止| Answer["最终回答"]
Focus -.->|仅训练：采样轨迹| Learn["任务驱动的<br/>两阶段学习"]
Learn -.->|仅训练：更新两策略| Memory这里的单次解码轨迹不等于只编码一次图像：新增裁剪仍需视觉编码，节省的是重复启动完整回答过程的开销。 图中的训练虚线也不表示推理时在线更新权重；部署时执行已经学到的文本与区域策略即可。 聚焦次数由问题及当前证据决定，而不是给所有样本预先指定相同的裁剪轮数。 如果整个生成过程都没有触发聚焦，系统就退化为以低分辨率图像为条件的普通自回归 VLM。
关键设计¶
1. 有状态解码：让新增证据接着已有推理往下走
论文将过程建模为部分可观测马尔可夫决策过程（POMDP）：高分辨率图像固定不变，但模型没有一开始就观察全部细节。 问题是完全可见的，尚未查询的局部图像内容则属于未观察的信息。 初始观察包含全局视图和问题，此后观察来自刚生成的文本 token 或新裁剪出的视觉证据。 实现上，历史不是另一个单独训练的记忆网络，而是 Transformer 的 KV-cache。 它保留全局视觉信息、文本前缀和先前获取的局部证据，从而使后续动作依赖完整交互历史。
论文式（5）的记忆更新可写为：
其中 \(o_t\) 是当前观察，\(\oplus\) 表示追加到历史；这描述的是缓存承载的输入历史，而不是把未经编码的像素直接拼进 KV 张量。 解码器在该历史上得到隐藏状态，作为当前已知信息的摘要，同时服务文本生成和区域选择。 论文把这一状态解释为 belief summary，但没有额外构建显式的概率信念分布。 新证据回到同一缓存后，模型可以利用之前的推理继续回答，也可以再次请求其他区域。 因此，多次观察具有状态连续性，并不需要把每次裁剪都包装成一个全新的问答任务。
2. 连续动作聚焦：用触发 token 调度几何动作，而非生成坐标句子
文本策略通常预测普通词表 token，也可以选择特殊的 <fov> 触发标记。
只有出现该标记时，轻量 MLP 聚焦策略才根据共享隐藏状态预测连续区域动作。
动作采用 \([x,y,w,h]\) 框参数，但这些参数不是通过逐个生成数字和分隔符来表达。
环境根据框在原始图像上裁剪，将裁剪图编码成视觉 token，再以 <fov> 和 </fov> 包围的证据块接入原上下文。
之后的推理读取新细节，直到下一个动作或最终答案产生。
这一拆分把“什么时候需要再看”交给语言策略，把“看哪一块”交给连续动作头，两者通过同一隐藏状态通信。 因此，非语言动作不代表系统完全没有新增特殊 token，而是指坐标本身不走文本通道。 区域头也不是另一个自回归定位 VLM，不需要独立生成一段定位回答。 裁剪尺寸影响新增视觉 token 数，所以预算不仅受动作次数影响，也受每个动作查询的面积影响。 正文没有完整说明动作分布、越界框处理及位置编码实现，不能据此假定某一种具体分布或缓存插入细节。
3. 任务驱动的两阶段学习：先学会取证据，再学习何时值得取
直接用任务奖励训练新初始化的区域头较困难，预训练 VLM 也不知道 <fov> 的含义，因此先进行冷启动监督微调（SFT）。
教师 VLM 为图像与问题生成中间推理，再把推理拆成句子，并为每句定位对应区域。
每个区域先被裁剪编码，随后与该句推理交错组织成监督序列，使学生先接收证据、再生成依赖证据的文字。
这不需要人工标注聚焦轨迹，但仍依赖教师产生的定位与推理伪标签，不能称为完全无监督学习。
文本交叉熵只覆盖非视觉 token 和特殊标记；检索回来的视觉 token 是条件输入，不是模型需要逐个预测的目标。
区域头在聚焦触发位置接受框回归监督，从而同时启动触发行为与空间选择能力。
第二阶段使用组相对策略优化（GRPO），让同一问题的多条采样轨迹通过最终回报相互比较。 文本策略使用答案正确性与格式正确性之和，区域策略只使用答案正确性，因为标签格式不是区域好坏的直接依据。 正文将组内优势定义为奖励减去该组的平均奖励；这里不额外补入未写明的标准差归一化。 如此一来，学生可以摆脱“每句推理之前都必须聚焦”的教师节奏，选择不聚焦、连续聚焦或交替推理。 但只奖励答对会鼓励扩大裁剪区域，因此作者对正确轨迹增加查询面积惩罚，错误轨迹不激活这一项。 该门控让学习先保留找到答案的机会，再要求成功策略减少不必要的高分辨率观察。
一个完整示例¶
论文图 4（第 13 页）给出一个财务文档问题：询问 2007 年的现金及现金等价物数值，对应 Notes 1 and 14。
模型先从低分辨率全图获得表格布局，但不足以可靠读取目标单元格。
第一次聚焦获取“流动资产”中的目标行，证据进入当前缓存后，推理确认了行名。
第二次聚焦进一步读取年份与金额的对应关系，然后输出 $7,770。
这两次查询在同一轨迹中完成，第二次不是抛弃第一次观察后重新回答。
同图还给出一个主体显著的车辆类别问题，其答案为 Motorbike，轨迹不调用聚焦。
这说明零次聚焦是设计允许的行为，而不意味着每道题都必须额外裁剪才能作答。
损失函数 / 训练策略¶
训练使用 Visual CoT 的 438K、RefCOCO/+/g 的 321K 和 ScienceQA 的 6K 样本，总计 765K 图像、问题、答案三元组。 骨干是 Qwen2.5-VL 3B 或 7B；冷启动训练 3 个 epoch，随后进行 70k 步 RL。 两阶段 batch size 都为 16，学习率分别为 \(3\times10^{-5}\) 和 \(10^{-6}\)。 正文的简化奖励描述使用二元正确性，但实现部分说明 VQA 采用语义匹配的 \([0,1]\) 分数，定位任务按 IoU 至少 0.5 判对，ScienceQA 按选项是否相同判对。 因此，二元奖励表述与具体任务评分不能不加区分地混用。 区域正则的确定机制是按正确性加权累计框面积，主实验选用 \(\lambda_{\mathrm{reg}}=0.2\)。 缓存中式（12）至式（16）存在数学排版缺失，这里不猜补精确回归范数、完整策略比率或裁剪项；上述说明依据相邻正文。
实验关键数据¶
主实验¶
下表摘录原文表 1（第 11 页）的 \(336\times336\) 低分辨率输入设置，分数采用 Visual CoT 的 GPT-based 评价协议，越高越好。 视觉 token 列是该表报告的模型视觉 token 用量；FoveateR 使用均值与标准差表示按样本变化的预算。
| 模型 | 人工聚焦框监督 | 视觉 token | DocVQA | TextVQA | DUDE | SROIE | V7W |
|---|---|---|---|---|---|---|---|
| VisCoT 7B | 是 | 1,152 | 47.6 | 77.5 | 38.6 | 47.0 | 55.8 |
| FoveateR 3B | 否 | 307.0 ± 156.0 | 74.0 | 83.0 | 58.2 | 75.4 | 56.1 |
| FoveateR 7B | 否 | 322.5 ± 162.7 | 83.3 | 86.2 | 62.7 | 83.2 | 61.3 |
DUDE、SROIE 和 V7W 按原文采用零样本设置；这不是所有列都无训练分布接触的声明。 3B 模型相对 VisCoT 7B 的 DocVQA 得分高 26.4 分，但该跨模型比较同时改变骨干与训练方式，不能把差值全部归因于状态连续性。
消融实验¶
下表摘录原文表 3（第 12 页），固定 7B 与 \(336\times336\) 输入，考察 DocVQA 上的冷启动和面积正则强度。 \(N_{\mathrm{fov}}\) 是额外聚焦视觉 token 数，\(\rho\) 是向模型揭示的高分辨率图像面积比例，\(T_{\mathrm{fov}}\) 是聚焦次数；它们不等同于主表的整体视觉 token 统计。
| 配置 | \(\lambda_{\mathrm{reg}}\) | \(N_{\mathrm{fov}}\) | \(\rho\) | \(T_{\mathrm{fov}}\) | DocVQA 得分 |
|---|---|---|---|---|---|
| 低分辨率 Qwen2.5-VL 基线 | 不适用 | 不适用 | 0% | 不适用 | 55.1 |
| 仅冷启动 | 不适用 | 35.9 | 3% | 2.3 | 64.2 |
| 冷启动 + RL | 1.0 | 62.5 | 5% | 2.2 | 61.5 |
| 冷启动 + RL | 0.5 | 269.3 | 22% | 2.3 | 81.5 |
| 冷启动 + RL | 0.2 | 354.8 | 25% | 2.3 | 83.3 |
| 冷启动 + RL | 0.0 | 377.8 | 28% | 2.4 | 74.8 |
原始分辨率 Qwen2.5-VL 的参考得分为 90.4，说明选择性观察虽然恢复大量性能，但没有完全消除文档细节损失。 从 0.2 改为 0.0 时，额外 token 从 354.8 增加到 377.8，得分反而由 83.3 降至 74.8；更多证据并不自动更有效。 作者将这种下降解释为无约束观察可能引入干扰，这属于机制解释，表格本身不单独证明具体干扰来源。
关键发现¶
原文表 6（第 14 页）在单张 H100 上测量 V7W，延迟从 tokenization 到最终预测；吞吐量指每秒处理的总 token。 下面保留是否生成中间推理这一关键条件，避免把不同输出长度的速度混为一谈。
| 模型 | 中间推理 | 聚焦视觉 token | 文本 token | 吞吐量（tok/s） | 显存（G，原文单位） | 延迟（s） |
|---|---|---|---|---|---|---|
| VisCoT 7B | 否 | 576 | 0 | 58.9 | 25 | 9.78 |
| FoveateR 3B | 否 | 80.6 | 0 | 76.0 | 24 | 1.06 |
| FoveateR 3B | 是 | 76.6 | 121.9 | 75.8 | 25 | 2.62 |
表 6 的文本 token 列用于这里的中间文字开销，不能把值为 0 解读为没有最终答案。 原文表 4（第 13 页）还显示，去掉冷启动中间推理并不必然损害 RL 后结果：3B 的 DocVQA 从 74.0 变为 77.3，但 OpenImages 从 77.6 降至 71.4。 因此，正确观察往往比额外叙述重要，但结果不支持“所有任务都不需要中间推理”的绝对结论。
亮点与洞察¶
- 证据获取被纳入生成策略，而不是外挂一个固定裁剪流程。已有文本和视觉证据共同决定下一次观察，适合需要逐步确认细节的任务。
- 连续动作头绕开坐标文本的解析协议，却仍通过隐藏状态与语言推理配合。可迁移的设计是共享状态、分离输出空间，而不是增加更多定位专用词表。
- 面积约束只作用于正确轨迹，表达了“答对后再节约”的学习顺序。读者可以将这一原则用于其他按需信息检索，但具体奖励门控仍需重新验证。
局限与展望¶
- 效率依赖任务和输出策略：表 6 只测量 V7W 与单张 H100，不能直接推断其他分辨率、批量大小或设备上的相同比例加速。
- 主要系统对比跨越骨干大小与训练方式；正文没有单独移除共享缓存、但保持其他条件不变的消融，因此状态连续性的独立收益仍待隔离。
- 不使用人工聚焦框监督不等于不使用定位数据，训练混合中仍包含 RefCOCO/+/g，冷启动还依赖教师伪框。
- 原文正文把动作分布与若干实现细节留给补充材料，而当前依据是正文缓存；这些缺口限制了仅凭本文笔记复现全部训练细节。
- 读者建议进一步测试严格逐样本 token 上限、重复区域惩罚和证据压缩，因为当前结果主要反映自适应预算的平均收益，KV-cache 仍随历史增长。
相关工作与启发¶
- 与 VisCoT、UV-CoT 的关系：它们代表多轮视觉聚焦路线，FoveateR 改为在同一解码轨迹内接入新证据；优势不仅是裁剪更小，还涉及是否重启推理。
- 与 VPT 等文本定位路线的关系：定位 token 或坐标文本仍占用离散输出空间，本文将几何参数交给连续策略，但保留触发标记以调度动作。
- 与 token pruning / merging 的关系：压缩已编码表示无法找回首次观察时遗漏的细节，主动获取与压缩可以互补；组合后的收益是研究方向，并非本文已验证结果。
- 与早期循环视觉注意力的关系：依靠记忆整合局部 glimpse 的思想并非全新，本文的增量是把该过程落实到预训练 VLM 的交错解码与任务驱动训练中。
评分¶
以下为阅读者主观评分，不是会议或作者给出的评价。 - 新颖性: 4/5。共享解码状态与连续几何动作的组合清晰，中央凹和主动感知思想本身已有先例。 - 实验充分度: 4/5。多任务、预算消融和端到端速度都有覆盖，但状态机制与骨干差异尚未完全隔离。 - 写作质量: 4/5。POMDP 解释和实例有助于理解，精确实现仍依赖补充材料，缓存公式另有抽取损坏。 - 价值: 4/5。对低视觉预算下的文档和细节问答有启发，部署收益需按任务和硬件重新测量。