Visual Text Compression as Measure Transport¶

会议: NeurIPS 2026
arXiv: 2605.06708
论文: https://arxiv.org/abs/2605.06708
领域: 模型压缩
关键词: visual text compression, measure transport, push-forward map, path routing, foveation

一句话总结¶

将视觉文本压缩（VTC）建模为测度输运过程中的前推映射（push-forward map），通过无须下游标签的探针估计 patch 内聚合精度损失与跨 patch 碎片化覆盖损失，实现了高准确率的视觉/文本双路径路由及代价引导的高分辨率局部注视（foveation）修复。

研究背景与动机¶

视觉文本压缩（Visual Text Compression, VTC）近期成为处理超长文本上下文的新兴路线。它将原始长文本渲染为高分辨率图像，再利用多模态视觉语言模型（VLM）的视觉编码器重新编码，通常能将传递给自回归解码器的 token 数量缩减 3 到 20 倍。然而在实际下游评估中，VTC 表现出极其剧烈的任务非均匀性：在某些多跳问答或事实核验任务上，视觉路径甚至超越了纯纯文本 LLM；但在逻辑推理、微小词汇差异敏感任务或长文本摘要上，性能却发生严重崩溃。更棘手的是，token 压缩倍率本身对这种崩溃或增益完全不具备预测能力——压缩率极高的任务可能表现提升，而压缩率平平的任务性能却可能腰斩。

这种现象的核心矛盾在于：压缩率仅仅是一个统计意义上的效率指标，只记录删除了多少 token，却无法衡量视觉编码究竟丢弃了哪些任务关键信息，更无法预先判定视觉路径何时值得信赖。既有研究要么将其归咎于 OCR 缺陷，要么将其视为单纯的特征退化，缺乏从输入几何与表征映射机理出发的公理化解释，从而使得工业界无法在无标注的实际推理场景中安全部署 VTC。

本文的切入视角是跳出经验性压缩率统计，将带有空间二维布局的文本图元与输出视觉 token 视为离散概率测度，将 ViT 编码器建模为一个将细粒度图元聚合重排的前推映射。核心 idea：将视觉文本压缩形式化为测度输运过程，将输运信息损失因式分解为 patch 内细粒度精度损失与跨 patch 空间碎片化覆盖损失两项无监督可估计成本，据此构建免下游标注的自适应路径路由准则与局部注视（foveation）反向修复机制。

方法详解¶

整体框架¶

对于输入文本 $x$，文本路径产生 $n$ 个子词 token $(x_1, \ldots, x_n)$，对应经验概率测度 $\mu_x = \frac{1}{n}\sum_{i=1}^n \delta_{x_i}$。经过排版渲染后，文本单元在图像上获得具体的二维空间支撑，随后被视觉编码器处理为 $m$ 个视觉 token $(z_1, \ldots, z_m)$（其中 $m \ll n$），形成视觉测度 $\nu_x \approx \frac{1}{m}\sum_{j=1}^m \delta_{z_j}$。整体流水线被建模为多对一映射 $T$，诱导前推测度 $(T_{\#}\mu_x)(B) = \mu_x(T^{-1}(B))$。

该前推映射天然分解为局部块内聚合 $T_{\text{intra}}$ 与全局块间排列 $T_{\text{inter}}$。作者在推理前先通过轻量探针无监督计算输入实例的输运效率得分 $\mathrm{TE}(x)$；若 $\mathrm{TE}(x) \ge \tau$ 则选择视觉路径，否则回退到纯文本路径。在视觉路径内部，若检测到高输运代价区域，则触发局部注视模块进行多分辨率细化重编码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入长文本 x"] --> B["免标注特征探测<br/>提取 W(x), L(x), TRR(x), VCR(x)"]
    B --> C["测度输运损失分解<br/>计算 C(x) = α·W(x) + β·L(x)(1 - TRR(x))"]
    C --> D["输运效率评分与双路径路由<br/>TE(x) = (1 + γ - C(x)) · VCR(x)"]
    D -->|TE(x) < τ| E["纯文本路径 LLM 推理"]
    D -->|TE(x) ≥ τ| F["渲染为图像并输入视觉路径 VLM"]
    F --> G["Patch 级空间代价分布 Cq 计算"]
    G --> H{"局部反向输运注视触发<br/>∑ ΔCk / ISR(x) > nc / nv ?"}
    H -->|是| I["代价感知局部注视修复<br/>对高代价 Patch 细粒度重编码"]
    H -->|否| J["基础视觉 token 序列"]
    I --> K["合并视觉测度并交由 VLM 解码"]
    J --> K

关键设计¶

1. 测度输运损失分解：解耦 patch 内精度与跨 patch 覆盖

利用最优输运（Optimal Transport）的 Wasserstein 距离虽在数学上优美，但面临基准度量循环定义（需预先知晓词汇差异重要性）以及缺乏免标签真实目标的困难。作者以文本路径与视觉路径在同一任务上的分值差距 $\Delta(x) \triangleq s_{\text{text}}(x) - s_{\text{vis}}(x)$ 作为经验目标，并基于 ViT 的两阶段因式分解 $T_{\#} = T_{\text{inter}} \circ T_{\text{intra}}$ 将总输运代价建模为加和形式： $$C(x) = \underbrace{\alpha \cdot W(x)}_{\Delta_{\text{intra}}(x)} + \underbrace{\beta \cdot L(x) \cdot (1 - \mathrm{TRR}(x))}_{\Delta_{\text{inter}}(x)}$$ 其中精度敏感度特征 $W(x) \in [0, 1]$ 仅依据下游任务要求（生成精确数字、抽取实体词、还是粗粒度分类）直接确定，刻画 $T_{\text{intra}}$ 对细粒度词汇平均化所造成的破坏；证据覆盖特征 $L(x) \in [0, 1]$ 利用 BM25 计算问题与文本段落的关联度离散度，表征跨 patch 全局重排对长程线索的离散化影响；文本冗余率 $\mathrm{TRR}(x) \in [0, 1]$ 由 gzip 压缩比估计，作为对多份副本冗余的缓冲扣除；模型标量系数 $\alpha$ 和 $\beta$ 则完全通过合成无监督独立探针离线拟合获得，推理时不接触下游测试标签。

2. 输运效率评分与双路径路由：建立几何双曲线判别边界

在选择是否走视觉路径时，必须在所损失的信息量与所得的 token 缩减收益之间进行权衡。将纯文本路径的信息基准设为 1，视觉路径在承受代价 $C(x)$ 的同时，由于图像能直观表达表格和列表等 2D 空间排版，还能额外获得结构增益 $\gamma \ge 0$。由此定义信息存活率 $\mathrm{ISR}(x) \triangleq 1 + \gamma - C(x)$。乘以视觉压缩比 $\mathrm{VCR}(x) \triangleq n(x) / m(x)$，即可构造输运效率（Transport Efficiency, TE）： $$\mathrm{TE}(x) \triangleq \mathrm{ISR}(x) \cdot \mathrm{VCR}(x) = (1 + \gamma - C(x)) \cdot \mathrm{VCR}(x)$$ 路由策略规约为一个简单的标量阈值判断：$\mathrm{TE}(x) \ge \tau$ 时进入视觉路径，否则使用纯文本。在 $(\mathrm{VCR}, \mathrm{ISR})$ 决策平面中，等值线 $\mathrm{ISR}(x) = \tau / \mathrm{VCR}(x)$ 形成一条双曲线，直观地划分出“视觉压缩划算”与“退化过重需回退”的两个几何区域。

3. 代价感知局部注视：有界局部反向输运

全局判定选择视觉路径后，输运信息损失在图像空间并非均匀分布。某些局部文字图元聚集了关键实体与细微数值，而其他背景段落则平缓。作者将输入级代价公式空间化到每个图元 patch $q$： $$C_q = \alpha \cdot W_q + \beta \cdot L_q \cdot (1 - \mathrm{TRR}_q)$$ 其中 $W_q$ 为 patch 内 ViT 特征归一化方差，$L_q$ 为局部 BM25 贡献。由于排版字体与字号已知，文字行到 patch 的映射是确定性的。为了使局部细粒度多分辨率重编码引入的额外 token 开销 $n_c$ 确实带来正向收益，推导出了极其简洁的注视触发不等式： $$\frac{\sum_k \Delta C_k}{\mathrm{ISR}(x)} > \frac{n_c}{n_v}$$ 只有当恢复的相对信息量比例高于增加的 token 开销比例时，才执行贪婪非极大值抑制（NMS）剪枝并对高代价局部进行高分辨率裁切重编码，并将额外视觉测度拼接为 $\nu_{\text{fov}} = \nu_{\text{base}} + \sum_k \Delta \nu_k$，在严格约束预算的前提下完成有界的局部修复。

实验关键数据¶

主实验¶

在 24 个 NLP 基准数据集（涵盖 S2: 视觉友好任务，n=10；S3: 文本友好任务，n=14）上，使用 Qwen3-4B 模型对 LLM、VLM、VLM+Foveation、自适应决策路由（Ours）及后验 Oracle 进行了系统测试：

方法	S2 宏平均分 (10个)	S3 宏平均分 (14个)	全局宏平均分 (24个)	平均输入 Token 数	相比纯 LLM 变化
纯文本 LLM	34.7	54.0	45.9	2,092	基准
视觉路径 VLM	44.0	44.6	44.4	1,486	-1.5 分 / -29.0% Tokens
VLM + Foveation	44.7	44.8	44.8	1,521	-1.1 分 / -27.3% Tokens
决策路由 (Ours, τ=1.28)	41.1	51.9	47.4	1,876	+1.5 分 / -10.3% Tokens
Oracle-routed (上限)	44.7	54.0	50.2	1,894	+4.3 分 / -9.5% Tokens

消融与分析实验¶

在 Qwen3-4B 尺度下，评估不同路径选择预测器在 24 个基准任务上的选择正确率（对比后验 Oracle 判定）：

预测器分类方案	是否需要下游标签	留一交叉验证正确率 (%)	说明
纯 VCR (最佳阈值)	是 (Label-aware)	66.7%	单纯按压缩率切分，无法预测信息损失
纯 W 敏感度 (最佳阈值)	是 (Label-aware)	66.7%	仅利用精度特征，忽略跨区域长程覆盖
逻辑回归 (4 特征: W, L, TRR, VCR)	是 (LOOCV 监督)	66.7%	监督分类受样本量限制，与单特征打平
逻辑回归 (5 特征: 增加文本长度)	是 (LOOCV 监督)	70.8%	最好监督分类器
决策树 (深度 3) / MLP (隐藏层 16)	是 (LOOCV 监督)	37.5% / 50.0%	小样本过拟合，泛化受限
OT 测度输运规则 (本文免标注)	否 (Label-free)	70.8%	无需任何下游标签，直接匹配最优监督基线

关键发现¶

朴素 VTC 存在严重任务偏置：在 S2 视觉友好场景中，纯 VLM 大幅领先 LLM（+9.3 分），但在 S3 文本偏好场景中严重倒退（-9.4 分），直接证明单纯依赖压缩比会产生严重误判。
本文的免下游标签输运规则在 17/24 (70.8%) 个数据集上完全命中 Oracle 最优选择，使得端到端性能从纯 LLM 的 45.9 分提升至 47.4 分（相对提升 +3.3%），同时节省了 10.3% 的输入 token 开销。
局部注视机制展现了明确的局部修补特性：在 S2 场景中提升了 0.7 分，且仅额外引入不到 3% 的 token，然而在证据广泛弥散的长文档摘要（如 BillSum、GovReport）中，该机制能自适应拒绝触发，避免盲目消耗计算预算。

亮点与洞察¶

将视觉编码从经验压缩升华至测度输运理论：打破了过去将 VTC 视作“OCR 图像自编码器”或单纯粗暴算子的研究范式，清晰定义了前推映射下的块内精度折损与块间覆盖折损，理论解释力强。
免标注先验推断与双曲线决策边界：通过合成离线探针拟合与输入直接特征计算，建立了完全不需要下游真实任务标签或运行后验输出的几何判别面，工程落地极为优雅。
共享代价模型的两级控制：全局路径路由与局部 patch 注视共享同一组代价模型参数，从粗粒度模型分流到细粒度注意力重编码实现了一体化闭环。

局限与展望¶

测度输运代价 $C(x)$ 是对经验表现鸿沟 $\Delta(x)$ 的工程化代理度量，而非直接在数值上高精度求解高维连续最优输运连续规划方程。
当前乘法形式的输运效率得分 $\mathrm{TE}(x) = (1 + \gamma - C(x)) \cdot \mathrm{VCR}(x)$ 缺乏对文本路径自身得分“天花板”的感知；在某些文本路径极强但压缩比巨大的极限任务中，可能会产生假阳性分流。
渲染配置仍采用 Roboto-Regular 12pt 的全局统一设定，未来可探索内容感知的动态自适应字体排版与输运优化的联合联合学习。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从测度输运与前推映射视角形式化视觉文本压缩并成功解耦双重失真。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 24 个 NLP 基准、3 种参数规模（4B/8B/32B）及 cross-architecture 跨视觉编码器验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学表述与工程实现自洽，图表信息充实且逻辑紧凑。
价值: ⭐⭐⭐⭐⭐ 为超长文本上下文的高效混合路径推理与视觉长上下文的安全部署提供了关键的理论与路由基础。