LensVLM: Selective Context Expansion for Compressed Visual Representation of Text¶

会议: NeurIPS 2026
arXiv: 2605.07019
代码: https://github.com/apple-aiml-research/ml-lensvlm
领域: 模型压缩
关键词: 视觉文本压缩, 上下文自适应展开, 工具增强推理, 强化学习, 长上下文优化

一句话总结¶

LensVLM 提出将文本渲染为低分辨率图像实现高倍压缩全局粗扫，并在推理中通过后训练学习到的 Expand 工具按需自适应展开关键图像为无损文本，在 4.3× 有效压缩比下近乎无损逼近全文本精度上限。

研究背景与动机¶

在大语言模型（LLM）处理长文本与长文档的实际部署中，自注意力机制的计算与显存开销随序列长度呈二次方增长，使得上下文压缩成为长文本研究的核心瓶颈。现有文本压缩技术存在明显的结构性短板：基于检索增强生成（RAG）的方案必须依赖离线的全篇文本切块与向量索引构建，静态选定 top-$k$ 块后不可逆地抛弃了全局视野，极易在多跳推理中丢弃分散在各处的证据链；文本剪枝方法（如 LLMLingua-2）以离散丢弃 token 为代价，被裁剪掉的信息彻底无法找回；而调整分词器扩大词表则不仅缺乏连续可调性，还需要极高昂的模型重训成本。

作为替代方案，近期兴起的“视觉文本压缩”（Visual-Text Compression，如 Glyph、PIXEL）将长文本直接排版渲染为多张图片输入视觉语言模型（VLM）。利用视觉编码器将固定尺寸图像映射为固定数量 visual token 的特性，仅通过调整渲染分辨率或排版即可获得连续精细的压缩率调节阀门，且天然保留对全文的完整空间覆盖。然而，该路线不可避免地撞上了“视觉保真度墙”：当压缩率提升时，渲染字号缩小到低于视觉编码器的有效分辨率，文字严重失真模糊。模型若仅靠纯视觉直接读取，在 5× 压缩下准确率就从 72.4% 暴跌至 31.3%，在更高压缩比下甚至彻底不可读。

本文认为，长文本压缩不应是一次性且不可逆的全局信息损毁过程，模型应当内化一种在低保真全局视图中定位线索并在需要时主动“撤销”压缩的能力。低分辨率图像虽无法逐字识读细节，却保留了足够辨识段落主题与答案区域的粗粒度轮廓线索。核心 idea：将视觉文本压缩重构为“全局粗扫定位 + 工具按需反解”框架，让 VLM 先快速通读高倍压缩图片，再通过多轮交互自主调用 Expand 工具将关键图片恢复为原始高保真文本，将上下文压缩率转化为模型的动态自适应控制。

方法详解¶

整体框架¶

LensVLM 由两部分构成：基于确定性渲染与工具调用的推理框架，以及从合成轨迹到对齐强化的后训练配方（SFT + RL）。

在推理阶段，输入的长文本首先通过 CPU 渲染器以指定压缩预设（固定字体、行距与图宽）切片渲染为 $K$ 张压缩图像序列 $\mathcal{V}=(v_1, \ldots, v_K)$。冻结的视觉编码器将每张图像映射为 $n_k$ 个 visual token 并连同用户问题 $q$ 馈入语言模型主干。此时输入压缩率（Input Compression Rate, ICR）为原始文本 token 数除以总 visual token 数： $$C_{\mathrm{in}} = \frac{N}{\sum_{k=1}^K n_k}$$

模型通过多轮采样交替执行思考推理、调用学习到的 Expand 工具恢复特定图像的原始内容、并在扩展内容拼入上下文后继续推理，直到输出最终答案。整个流水线支持连续多轮扩展，每次决策均基于此前已展开的上下文动态调整。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长文本输入<br/>原始长文档 (≤32K tokens)"] --> B["确定性文本渲染<br/>CPU 排版生成 K 张低分辨率图像"]
    B --> C["视觉全局粗扫<br/>低视觉 token 占用输入 VLM"]
    C --> D["选择性动态展开<br/>模型自主触发 Expand 工具"]
    D --> E["跨轮次迭代推理<br/>无损文本拼入上下文并重前缀预填"]
    E -->|需要更多证据| D
    E --> F["答案生成与校验<br/>输出语义对齐的最终回复"]

关键设计¶

1. 确定性文本渲染：构建连续可调的无损到高倍压缩视觉表征

针对传统分词压缩需要重新离线重训词表的痛点，方法采用确定性排版将文本字符转为图像序列。通过将图像宽度对齐为 32 的整数倍（匹配视觉编码器步长 16 与 2×2 空间合并），确保 visual token 数量为严格整数且完全确定。设计了三种典型预设：5×（72 VT/图）、10×（48 VT/图）和 15×（24 VT/图），呈现清晰的 3:2:1 视觉 token 阶梯缩减。该设计使得压缩率成为推理时无需修改模型架构的连续调节旋钮。对于同一万词文档，高倍压缩通过缩小单图 visual token 预算，使全局 token 消耗急剧降至原本的数分之一。

2. 选择性动态展开：将展开工具定义为压缩变换的功能反函数

纯视觉读取受限于像素分辨率下限，而 LensVLM 并不苛求视觉模型在高压缩下看清字迹，而是将压缩图片视为“粗粒度导航索引”。模型通过调用 $\textsc{Expand}(k)$ 工具请求第 $k$ 张图像对应的原始形式 $\tau_k$。在文本问答任务中，$\tau_k$ 直接为该图片所承载的原始文本内容；在多模态原生文档场景中，则可自适应选择高分辨率图像切片（Zoom）或 OCR 抽取文本。该工具在语义上并不引入外部私有知识，而是作为压缩映射 $f$ 的功能反函数（Functional Inverse），在模型确信目标区域包含答案时局部注入完全可读的高保真证据。为了公平衡量系统综合效率，定义有效压缩率（Effective Compression Rate, ECR）： $$C_{\mathrm{eff}} = \frac{N}{T_{\mathrm{reader}}}$$ 其中 $T_{\mathrm{reader}}$ 精确计入初始视觉 token 与多轮展开追加的全部 token 消耗。

3. 困难样本引导的合成轨迹生成：克服超长与高压缩失真下的蒸馏幻觉

直接让前沿闭源 VLM 面对高度模糊的压缩图片生成工具轨迹极其容易引发严重幻觉，因为现成模型完全不具备对模糊图像的反求意图。针对该瓶颈，论文提出反向合成管道：首先利用基础 VLM 在无工具纯视觉模式下筛选样本，过滤出直接能看清回答的简单样本，仅保留必须借助工具定位的“困难子集”。接着，由超强合成模型（Qwen3.5-397B）在直接接触问题、黄金答案与未压缩真实证据文本的特权环境下，生成连贯的多轮思维链与包含恰当 $\textsc{Expand}(k)$ 调用的合成轨迹 $y^\star$。这种特权合成规避了教师模型在视觉受损条件下的读图失败，提供了高质量的冷启动引导数据。

4. 答案门控奖励驱动的强化学习：弥合分布偏移并抑制盲目工具调用

经过 SFT 后的模型往往机械拟合教师分布，在自身推断策略产生定位偏差时缺乏自我纠偏能力。为此，论文引入基于 DAPO 的 on-policy 强化学习，在不向判别器泄露真实证据页标签的前提下，直接根据最终生成答案的语义正确性（由 LLM Judge 判定）反馈奖励。为了鼓励模型在真正模糊时勇敢调用工具、同时遏制无意义的展开开销，构建了答案门控的工具奖励机制： $$R(y, a^\star) = 0.7 \cdot c + 0.3 \cdot c \cdot u$$ 其中 $c \in \{0, 1\}$ 表示最终答案的语义正误，$u = \mathbb{I}[\textsc{Expand} \in y]$ 为是否调用工具的指示变量。只有当最终回答正确时，调用工具的行为才能获得额外 0.3 的奖励增益。这一门控设计迫使模型将注意力从无关背景图片上剥离，仅在需要验证和提取证据时精准展开，使模型在平均仅进行 1.3 次展开调用的极低额外预算下达成极高定位准度。

损失函数 / 训练策略¶

训练过程严格冻结视觉编码器和投影层参数，仅微调 9B 语言模型主体以优化显存与训练速度。第一阶段为监督微调（SFT），在合成的困难多轮轨迹上仅对模型自生成的思维和工具调用 token 计算自回归交叉熵损失，展开工具返回的文本内容被严格 mask 排除在损失计算之外： $$\mathcal{L}_{\mathrm{SFT}}(\theta) = -\sum_{i \in \mathcal{A}} \log \pi_\theta(y_i^\star \mid \mathcal{V}, q, y_{<i}^\star)$$

第二阶段基于 SFT 检查点初始化，采用 DAPO 算法在 15K 样本上进行 on-policy 强化学习。使用 16 个采样 rollout、温度系数 0.8、学习率 $10^{-7}$，且不施加熵正则化。每轮最大工具调用交互上限截断为 $T=6$ 轮。

实验关键数据¶

主实验¶

实验基于 Qwen3.5-9B-Base 构建，在涵盖单跳、多跳长文本的 7 个基准数据集（含域内 NQ、HotpotQA、MuSiQue、HELMET 及域外 Qasper、LongBench v1、RULER）上进行全量评测。输入控制在 32K 文本 token 预算内。评测指标为 LLM Judge 评定的宏平均 QA 准确率、有效压缩率（ECR）以及证据图像命中选择准确率（Sel. Acc.）。

方法	标称压缩	ECR (有效压缩)	QA 准确率 (%)	选择准确率 (%)	预处理成本
Text (全量文本上限)	1×	1.0×	72.4	–	无
Comp. Image (纯视觉直读)	5×	5.0×	31.3	25.8	CPU 渲染
Glyph (GLM-4.1V-9B)	5×	4.5×	47.2	–	专用排版
LLMLingua-2 (文本剪枝)	5×	5.5×	47.2	–	CPU 困惑度剪枝
Base + Expand (未训练基线)	5×	4.5×	39.2	34.0	CPU 渲染
ColPali (先进多模态检索)	5×	4.7×	56.1	–	离线 GPU 向量索引
BGE-M3 (稠密文本检索)	5×	4.5×	65.1	–	离线 GPU 向量索引
LensVLM (本文)	5×	4.3×	68.9	76.8	轻量 CPU 渲染
Comp. Image (纯视觉直读)	10×	10.0×	21.0	18.0	CPU 渲染
Glyph (GLM-4.1V-9B)	10×	8.6×	36.4	–	专用排版
BGE-M3 (稠密文本检索)	10×	8.3×	57.1	–	离线 GPU 向量索引
LensVLM (本文)	10×	7.4×	62.1	71.0	轻量 CPU 渲染
Comp. Image (纯视觉直读)	15×	15.0×	18.1	18.3	CPU 渲染
Glyph (GLM-4.1V-9B)	15×	10.8×	32.8	–	专用排版
BGE-M3 (稠密文本检索)	15×	11.9×	51.9	–	离线 GPU 向量索引
LensVLM (本文)	15×	10.1×	52.1	52.1	轻量 CPU 渲染

消融实验¶

1. 训练阶段消融（SFT vs. RL）

模型配置	5× QA Acc.	10× QA Acc.	15× QA Acc.	5× Sel. Acc.	10× Sel. Acc.	15× Sel. Acc.	说明
Base (未经微调)	31.3	21.0	18.1	25.8	18.0	18.3	无法主动反解
+ SFT	63.7	56.9	45.7	75.4	64.7	45.9	建立格式与初级定位能力
+ SFT + RL (LensVLM)	68.9	62.1	52.1	76.8	71.0	52.1	高压缩下选择准度显著提升

2. 展开工具模态与推理方式消融

工具设计变体	5× 准确率 (%)	10× 准确率 (%)	核心观察说明
无工具直接回答 (Direct)	31.3	21.0	强压缩下图像完全不可识读
无工具思维链推理 (CoT)	31.5	20.8	无法获取清晰信息时，CoT 容易放大幻觉
图像放大工具 (High-Res Zoom)	48.2	39.5	文本渲染图放大后仍受制于视觉 token 编码保真度
文本 OCR 提取工具	65.4	58.7	无原始文本时极其有效的替代方案
原始文本直接展开 (Original Text)	68.9	62.1	最优配置，兼顾高保真度与语言模型原生长处

关键发现¶

对排版敏感度的免疫性：未微调的基础模型对渲染排版参数极度脆弱，相同压缩比下更换字体与宽高比可能导致高达 18 点至 32 点的准确率剧烈波动；经过 LensVLM 训练后，模型学会依赖展开文本而非死磕模糊像素，排版引起的跨配置准确率极差从 18.0 点收敛至 0.5 点以内，彻底免除了昂贵的渲染超参网格搜索。
注意力权重的动态转移机制：注意力图谱分析证实，在 8 个标准注意力层中，训练使模型对干扰背景图像的注意力分配下降 4–6 个百分点，并将注意力大幅重定向至工具返回的展开文本（增幅达 15–16 个百分点）；且压缩倍率越高，向展开文本倾斜的权重越显著（15× 下占 41.0%）。
多跳分布式推理对检索的全面超越：单跳任务（如 NQ）中密集检索可与 LensVLM 打平，但在需要跨多页串联线索的多跳复杂任务 MuSiQue 上，静态 top-$k$ 检索因丢弃非 top 候选而出现严重证据链断裂，LensVLM 在 5× 和 10× 压缩下分别大幅领先最佳检索基准 10.6 点和 14.2 点。
长上下文推理效率拐点：在长上下文（32K–140K tokens）部署场景下，LensVLM 在 15× 预设下的 KV Cache 占用仅为全文本基线的 $1/14$；虽然多轮展开引入了少许 re-prefill 延迟，但在端到端服务吞吐量上实现了 3.7 倍的飙升，并将每千次请求的计算成本降低了 68%。

亮点与洞察¶

将压缩变换重塑为可逆操作：摒弃传统“强迫 VLM 读懂微缩文字”的硬碰硬范式，独辟蹊径地把低清渲染图转化为全局紧凑索引，将图像展开工具设计为有损压缩算子的功能逆映射，用极低的调用频次破除视觉分辨率瓶颈。
证据与答案特权下的多轮合成设计：在构建训练冷启动数据时，不强迫前沿模型在受损图像上猜测，而是将黄金证据与答案显式赋予生成教师，专门规训其结构化决策与工具调用步调，巧妙绕过视觉蒸馏中的幻觉死结。
工具模态的场景自适应经验法则：实验严谨揭示了工具选择的分水岭规律——对于纯文本渲染生成的图像，展开为文本 token 的保真度与计算效率远胜于二次放大为视觉 token；但在包含复杂排版、表格边框的原生 PDF 文档中，高分辨率图像切片（Zoom）则反超 OCR，因其保全了版面拓扑与空间几何信息。

局限与展望¶

短上下文场景存在延迟开销：在 7K–32K 的较短上下文范围内，由于单次全文本前向计算本身耗时较短，LensVLM 多轮推理引起的 CPU 图像渲染与额外前向预填（re-prefill）会导致单请求首字延迟略逊于直接输入全文。
极度模糊下的初始选择盲区：在 15× 极致压缩下，单图 visual token 骤降至 24 个，像素信息极度贫乏导致定位选择准确率下滑至 52.1%，初始候选定位的失败会直接引发后续展开的链式误判。
未来改进方向：可进一步探索层次化多分辨率级联展开（如先展开中等分辨率缩略图再锁定精确文本段落），并将端到端轻量渲染算子用 CUDA 深度融合以压降 CPU 排版开销。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将可控图像渲染与工具反解深度融合，彻底打破了长文本上下文压缩与读取保真度不可兼得的长期固有矛盾]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7 项权威长文本 QA、跨领域代码与原生文档迁移、20 种排版敏感性测试及硬件级全栈端到端性能剖析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密递进，动机叙述清晰流畅，工具模态与注意力机制的机理解析深具启发性]
价值: ⭐⭐⭐⭐⭐ [为端侧或显存受限场景下的超长文本高吞吐部署提供了极具工业落地潜力的实用新路径]