Magnifying What Matters: Attention-Guided Adaptive Rendering for Visual Text Comprehension¶

会议: NeurIPS 2026
arXiv: 2606.12898
OpenReview: https://openreview.net/forum?id=Ck587Z7t03
代码: https://github.com/ShenglaiZeng/AGAR
领域: 多模态大模型
关键词: 视觉文本理解、视觉文本压缩、注意力引导渲染、自适应排版、免训练增强

一句话总结¶

针对视觉文本理解（VTC）中多模态大模型“能定位证据却难以有效利用”的瓶颈，提出免训练的自适应排版渲染框架 AGAR，利用中后层注意力反向映射并物理放大关键证据字符，以极低 token 增量显著提升问答准确率。

研究背景与动机¶

随着大语言模型（LLM）在长上下文场景中的广泛应用，输入文本激增带来的注意力计算复杂度与上下文窗口限制成为显著瓶颈。近年来兴起的视觉文本理解（Visual Text Comprehension, VTC，亦称光学上下文压缩）范式，通过将密集文本预先渲染为图像并交由多模态大模型（VLM）直接读取，借助单个视觉 patch 承载多字符的特性，能够实现 3× 至 20× 的 token 级高效压缩，在长文档 OCR、长上下文多跳问答、智能体视觉长程记忆等前沿领域展现出巨大潜力。然而，现有 VTC 流水线几乎无一例外地将排版渲染视作完全脱离下游语义的静态、内容无关预处理步骤，忽略了版式与字体本身作为视觉引导线索的核心价值；同时，学术界对 VLM 在内部如何解析被渲染的长文本依然缺乏机理性认知。

针对这一机制黑盒，本研究系统探索了 VLM 在解析渲染文本时的内部注意力流动与错误成因，发现了一个普遍存在的反直觉现象——“定位但未利用”（localization-without-utilization）。通过对 HotpotQA 等任务的逐层注意力与 NDCG 指标分析，研究发现 VLM 在中后层解码器中已经能够以极高对比度精准定位到包含真实答案的证据 patch，且错误样本与正确样本在前向传播中对证据区域的注意力聚集程度几乎完全一致；模型之所以输出错误，主要原因在于小字号下局部信息密度过高导致细粒度字符无法被下游充分消费。进一步的 Oracle 放大实验证实，若将真实证据文字在排版中物理放大至 1.5 倍，错误样本的修复与破坏比（fix-to-break ratio）高达 4:1，显著挽回了大量失败样例。

基于“模型本身已知道看哪里，只是看不清/用不好”的洞察，本文的核心挑战转变为如何在无需人工标注与监督微调的前提下，自适应利用模型自身的先验引导视觉重渲染。核心 idea：利用 VLM 中后层天然涌现的证据定位注意力反向索引关键字符跨度，以自适应字体放大二次渲染页面，在不改变模型权重与提示词的前提下实现端到端免训练推理增强。

方法详解¶

整体框架¶

AGAR（Attention-Guided Adaptive Rendering）是一个纯推理时、模型无关的即插即用增强框架，整体分为两个阶段：第一阶段进行基线排版渲染与单次前向传播，从中后层解码器抽取最后的查询 token 对视觉 patch 的注意力分数，并借助渲染器的词-边界框映射表将 top-$K$ 关键视觉 patch 反向映射为文本字符跨度；第二阶段以放大的字号对关键字符跨度执行局部放大重渲染，保持其余非关键文本及排版布局不变，交由同一 VLM 执行二次前向推理得到最终答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长文本上下文 T 与问题 q"] --> B["基线排版渲染器 R<br/>生成图像 I0 与词框映射表 W0"]
    B --> C["VLM 首轮前向推理<br/>获取层级自注意力权重"]
    C --> D["中后层注意力聚合与关键 patch 筛选<br/>计算 patch 分数 s 并取 Top-K"]
    D --> E["跨模态坐标映射与字符跨度重组<br/>patch 映射至词框并合并为字符跨度 E^"]
    E --> F["自适应放大重渲染与二次前向推理<br/>重排版图像 I1 放大字符推理出最终答案 a^"]
    F --> G["最终回答 a^"]

关键设计¶

1. 中后层注意力聚合与关键 patch 筛选：基于多头注意力深层涌现的稳健证据定位

机理分析揭示，在前半层（$0\sim 50\%$ 深度），视觉自注意力主要执行底层的字形特征聚集与页面基础感知，证据与非证据 token 的注意力权重几乎重合于基线水平；直到进入后半层（$50\sim 100\%$ 深度），伴随问题 token 在深层语义构建完毕，模型开始显著将注意力向能够支撑回答的证据 patch 迁移。如果将浅层注意力纳入计算，反而会引入巨大的噪声并稀释定位精度。

为此，AGAR 抽取最后一个 query token $q_{\text{last}}$ 指向所有图像 patch 序列 $\mathcal{P}=\{p_1,\ldots,p_N\}$ 的注意力矩阵。设层区间为 $\mathcal{L}_{[a,b]}=\{\ell: \lceil aL \rceil \le \ell \le \lfloor bL \rfloor\}$（默认截取 $a=0.5, b=1.0$），首先在每层内对全部注意力头取平均以平滑单个头的方差，随后跨中后层求和并归一化，得到每个视觉 patch 的综合显着性评分向量 $\mathbf{s}\in\mathbb{R}^N$： $$\mathbf{s} = \tilde{\boldsymbol{\alpha}}_{[a,b]} = \frac{1}{|\mathcal{L}_{[a,b]}|} \sum_{\ell \in \mathcal{L}_{[a,b]}} \frac{1}{H}\sum_{h=1}^{H} \boldsymbol{\alpha}^{(\ell,h)}$$ 随后按照分数降序排序选取 top-$K$ 个关键视觉 patch 构成高置信度候选集合 $\mathcal{P}^\star = \text{TopK}(\mathbf{s}; K)$。在单页短问答中设置固定的 $K=8$，在多页长文档中将 $K$ 自适应设为总 patch 数的约 $2\%$。

2. 跨模态坐标映射与字符跨度重组：消除离散 patch 与连续排版文本的跨模态鸿沟

选定的 top-$K$ 图像 patch 存在于视觉编码器的离散网格特征空间中，无法直接指导文字排版引擎进行重渲染。为弥合这一跨模态表征差异，排版渲染器 $\mathcal{R}$ 在基线渲染阶段同步记录并输出一份词级别图像坐标与原始文本字符索引的双向映射词表 $\mathcal{W}^{(0)} = \{(w, \beta_w, [c_w^s, c_w^e))\}$，其中 $\beta_w$ 为词 $w$ 在像素空间的二维边界框，$[c_w^s, c_w^e)$ 为该词在文本上下文 $T$ 中的起始与终止字符索引。

映射算子 $\text{Map}(\mathcal{P}^\star, \mathcal{W}^{(0)})$ 将视觉空间中的 patch 区域反投影并缩放回原始渲染图像空间；凡是其边界框 $\beta_w$ 与任意被选中的关键 patch $p_i \in \mathcal{P}^\star$ 存在空间交叠的单词，均被标记为目标证据词。随后，算法提取对应的字符区间 $[c_w^s, c_w^e)$，并将相邻、连续或重叠的字符区间执行并集融合，构建出整套连续且边界对齐的预测关键字符跨度集合 $\hat{\mathcal{E}} \subseteq T$。这种字符级重组不仅避免了局部补丁切割断裂单词或短语的问题，还完全复刻了端到端 Oracle 证据放大的排版连续性。

3. 自适应放大重渲染与二次前向推理：以局部排版显式引导消费证据

在获取预测证据跨度 $\hat{\mathcal{E}}$ 后，渲染引擎 $\mathcal{R}$ 重新调用排版流程生成第二阶段图像 $\mathcal{I}^{(1)} = \mathcal{R}(T, \hat{\mathcal{E}}, s_{\text{font}})$。在此过程中，目标跨度 $\hat{\mathcal{E}}$ 内的文本以缩放因子 $s_{\text{font}} = 1.5$ 的大字号渲染，而背景无关文本及页面边距等排版参数严格保持不变。随后，VLM 接收第二阶段增强图像 $\mathcal{I}^{(1)}$ 与原始问题 $q$ 展开二次前向推理，直接输出最终答案 $\hat{a} = \mathcal{M}(\mathcal{I}^{(1)}, q)$。

与传统 VQA 中采用的高斯虚化、注意力掩码或对比度调整方法（如 CGR、VAR）不同，单纯压制周围文本会在长文本理解中破坏全局语法与篇章上下文逻辑；AGAR 的物理放大排版保留了背景文本的完整可读性，同时利用排版显着性使模型的自注意力在第二轮推理中天然聚焦于关键信息，有效打破了“只定位不利用”的死锁，且仅增加约 8%~10% 的图像 token 消耗（整体仍维持约 3× 压缩率）。

损失函数 / 训练策略¶

AGAR 属于纯免训练（Training-Free）、模型无关的推理加速与增强策略，主流程不修改基础 VLM 的任何参数，亦不调整输入的文本 prompt。在扩展实验中，本文进一步探索了 AGAR 与参数高效微调（SFT）的组合应用：在由 20k 篇平衡采样文章组成的 mix4 数据集上对 Qwen3-VL-8B 采用 LoRA 监督微调，微调过程仅使用标准 99px 渲染图，不融入注意力增强数据；在推理阶段叠加 AGAR 仍可带来显著的正交增益，证明其与后训练策略高度互补。

实验关键数据¶

主实验¶

评估涵盖 4 款代表性开启动态 VLM（主模型为 Qwen3-VL-8B-Instruct，以及 InternVL3.5-8B、GLM-4.1V-9B-Thinking 与 Glyph），横跨 9 个基准数据集共 12 项评测子任务，包括单页短问答（NQ、HotpotQA、NewsQA、TriviaQA）、LongBench 多页长文本长上下文（LB-HQA、LB-2WMQA、LB-MSQ、LB-QP）以及 LoCoMo 多页记忆问答。对比基线包括直接输入的 Plain VQA、随机放大等量 patch 的 Random 基线、等量放大整页字体的 Uniform 基线，以及来自传统 VQA 领域的显式引导基线（VEA-Br、VEA-Con、CGR、VAR、AGLA）。

下表展示 Qwen3-VL-8B 在单页短问答（EM/F1）与多页长上下文基准（F1）上的核心主实验对比数据：

数据集 / 任务类别	评测指标	Plain VQA	Random 基线	Uniform 基线	最优传统基线 (AGLA/VEA)	AGAR (本文)	相对基线提升
NQ (单页)	EM / F1	47.3 / 63.8	47.1 / 63.7	48.2 / 64.4	48.8 / 64.6 (AGLA)	50.2 / 66.5	+6.1% / +4.2%
HotpotQA (单页)	EM / F1	29.2 / 39.7	30.4 / 41.8	30.3 / 41.4	30.2 / 41.2 (AGLA)	34.3 / 46.9	+17.5% / +18.1%
NewsQA (单页)	EM / F1	36.7 / 58.3	37.6 / 58.7	37.6 / 58.7	37.2 / 58.7 (AGLA)	39.0 / 60.3	+6.3% / +3.4%
TriviaQA (单页)	EM / F1	61.4 / 67.9	63.2 / 70.4	62.6 / 69.6	63.2 / 70.2 (AGLA)	64.7 / 72.2	+5.4% / +6.3%
LB-HQA (多页)	F1	39.8	40.8	39.8	42.1 (VEA-Con)	44.3	+11.3%
LB-2WMQA (多页)	F1	37.5	37.3	37.5	39.1 (AGLA)	40.8	+8.8%
LB-MSQ (多页)	F1	17.2	17.6	16.9	21.7 (AGLA)	22.1	+28.5%
LB-QP (多页)	F1	29.5	33.8	33.3	31.5 (AGLA)	34.2	+15.9%
LoCoMo SingleHop (记忆)	F1	26.1	28.0	26.5	29.4 (VEA-Br)	32.0	+22.6%
LoCoMo MultiHop (记忆)	F1	20.5	19.0	18.5	20.3 (VEA-Br)	21.9	+6.8%
LoCoMo OpenDomain (记忆)	F1	12.1	14.8	12.2	15.4 (VEA-Br)	16.8	+38.8%

消融实验¶

消融实验围绕注意力选择层区间聚合策略、超参数敏感性（放大预算比例 $k$ 与放大倍率 $\alpha$）以及跨模态输入退化鲁棒性展开。

1. 注意力层区间聚合消融（不同解码层聚合下的 NDCG 证据定位精度）：

模型	数据集	浅层聚合 (Early, 0~50%)	全层聚合 (All, 0~100%)	后半层聚合 (Late, 50~100%, AGAR 默认)	结论
Qwen3-VL-8B	NQ	0.439	0.535	0.606	浅层严重稀释定位能力
Qwen3-VL-8B	HotpotQA	0.634	0.689	0.709	深层聚合 NDCG 全面占优
Qwen3-VL-8B	NewsQA	0.264	0.396	0.469	纯后半层较浅层提升超 77%
InternVL3.5-8B	HotpotQA	0.609	0.629	0.643	跨模型架构展现一致规律
Glyph	NQ	0.497	0.520	0.555	后训练专有模型中后层依然最优

2. 核心设计对比消融（在 HotpotQA 上验证局部放大 vs 随机/整页缩放）：

配置方案	平均 Visual Tokens	HotpotQA F1	相对 Plain 变化	说明
Plain VQA (无增强)	268	39.7	-	基线输入
Random 放大 ($K=8$)	301	41.8	+5.3%	证明单纯增补随机 token 增益极微
Uniform 全局缩放 (等 token)	292	41.4	+4.3%	证明等 token 预算下均匀放大不具备选择性优势
AGAR ($K=8, s_{\text{font}}=1.5$)	291	46.9	+18.1%	结合中后层注意力实现高信噪比局部放大
Oracle 黄金标注放大 ($s_{\text{font}}=1.5$)	~295	55.7	+40.3%	理论上限（SubEM 增益达 16 个点，修复比 4:1）

关键发现¶

定位与利用解耦：在错误样本中，模型后半层的注意力在真实证据上的聚集程度与正确样本几乎同等显著，证明 VLM 在长渲染文本理解中的主要瓶颈并非“找不到证据”，而是受限于视觉分辨率与细粒度字符消费能力，难以直接将局部视觉信号转化为正确回答。
排版局部放大的非对称修复收益：通过对 1000 个 HotpotQA 样本的转移矩阵分析，局部放大将 21.9% 的原有错误样本成功挽救纠正为正确，而仅有 5.5% 的原有正确样本因放大遭到破坏，修复比近 4:1。
抗干扰与抗退化鲁棒性极高：在图像遭到强模糊（$\sigma=2$ 像素）时，AGAR 带来的 F1 提升幅度高达 +65%（$\Delta=+17.6$）；在引入 56 个强负样本段落的极端文本噪声下，AGAR 仍维持显著正向增益；当分辨率下采样 50%（视觉 token 降至 79 个）时，AGAR 依然能达到 Plain VQA 在 25% 下采样（185 个 token）时的性能水平，相当于在低 token 预算下免费购回一个等级的图像画质。

亮点与洞察¶

发现“定位未利用”现象并精准转化为排版干预：文章跳出了“答错必然是由于模型没看见”的惯性思维，通过严谨的逐层注意力追踪揭示出 VLM 内部已经成功定位的事实，进而借鉴人类阅读习惯采用自适应局部放大，思路直击痛点且极其自然。
免训练且与 SFT/RL 展现优异正交性：AGAR 无需调整任何模型权重或 Prompt，在各基础模型与后训练模型（如 Glyph）上均能即插即用，甚至在经 SFT 微调的模型上还能进一步叠加上百个基点的绝对增益，工程落地代价极低。
排版信息作为可编程模态接口的潜力：证明了在视觉文本压缩（VTC）范式中，渲染排版不应只是死板的格式转换器，而可以作为模型注意力与输入表征之间的动态反馈控制通道。

局限与展望¶

依赖白盒模型自注意力权重导出：AGAR 需要在第一轮推理中读取 Decoder 各层的注意力矩阵，这使得该方法无法直接应用于闭源商业 API（如 GPT-4o、Claude 3.5 Sonnet）等仅提供输入输出黑盒的服务。
二次前向带来的计算延迟代价：尽管 token 数量仅有约 8% 的微小增加，但由于必须顺序经历两轮前向传播（首轮提取注意力、次轮生成最终结果），整体推理端到端时延翻倍，在延迟极其敏感的高并发在线场景下需要权衡。
更深层次的回路分析尚未完备：当前工作主要基于注意力权重与 NDCG 进行统计层面的机制观察，尚未深入到具体的诱导头（Induction Heads）或神经元回路激活层面，未来可进一步进行细粒度的因果归因分析。

评分¶

新颖性: ⭐⭐⭐⭐ [首次揭示 VTC 中“定位但未利用”机制，并提出注意力驱动的自适应排版重渲染]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 4 种代表性 VLM 架构，系统覆盖 9 个基准和 12 个任务，消融与鲁棒性验证极深]
写作质量: ⭐⭐⭐⭐⭐ [机理实验层层递进，从 RQ1-RQ3 到系统设计的逻辑链条极为清晰扎实]
价值: ⭐⭐⭐⭐ [在视觉文本压缩和长文本代理记忆方向具有极高的即插即用落地价值]