LoMo: Local Modality Substitution for Deeper Vision-Language Fusion¶

会议: NeurIPS 2026
arXiv: 2605.30265
论文: https://arxiv.org/abs/2605.30265
代码: https://maplebb.github.io/LoMo
领域: 多模态VLM
关键词: 视觉语言模型, 模态载体敏感性, 局部模态替换, 跨模态表征对齐, 交错图文序列

一句话总结¶

针对视觉语言模型在文本问题渲染为图像输入时性能剧烈崩塌的“载体敏感性”缺陷，本文提出无需改动架构的局部模态替换数据范式 LoMo，将纯文本指令重塑为细粒度图文交错序列，为模型注入跨模态表征不变性的隐式对齐监督。

研究背景与动机¶

近年来视觉语言模型（VLMs，如 LLaVA-OneVision、Qwen-VL、InternVL 等）凭借大规模图文对齐与多模态指令微调，在视觉问答、文档理解、数学推理和细粒度感知等任务上取得了长足进步。从理论上看，当输入问题的语义完全一致时，将纯文本提示替换为其像素渲染图像，模型的推理表现与答案预测理应保持稳定与不变。然而经验评测揭示了一个普遍且严峻的现象：主流开源 VLM 在面对像素渲染的文本问题时，在各大基准上均遭遇灾难性的性能滑坡。

这一“载体敏感性”（Carrier Sensitivity）失效的核心矛盾在于多模态训练语料固有的角色不对称偏差。在现有的图像描述、视觉问答、OCR 及网页图文数据中，文本与图像承担着截然不同的分工——文本天然充当语言指令与查询，而图像则作为视觉背景与证据参考。这种功能割裂导致 VLM 的多模态融合停留在浅层，模型在深层表征空间中未能将语义对等的文本 token 与视觉 token 对齐。作者对文本及其渲染图像的隐状态进行成对余弦距离分析，发现二者的模态间隙与下游准确率下降呈现出严格的单调对应关系（表征距离越远，准确率跌幅从 7.75% 剧增至 21.23%）。

以往尝试将文本像素化（Text-as-Pixels）的工作（如 Pix2Struct、DeepSeek-OCR、Glyph）主要聚焦于无 OCR 解析或利用视觉压缩扩展上下文窗口，本质上是用视觉载体替代离散文本以追求效率，并未解决载体间语义对齐的瓶颈。本文的切入角度是：不再将文本像素化视为孤立的替代方案，而是利用其语义等价性，在单个训练样本中构建图文交织的局部上下文依赖。核心 idea：提出局部模态替换（LoMo）数据构建范式，通过结构感知片段定位、内容自适应渲染与感知扰动，将纯文本指令动态重塑为“文本 → 渲染视觉载体 → 文本”的细粒度交错序列，将标准 SFT 损失转化为推动跨载体语义不变性的隐式对齐监督信号。

方法详解¶

整体框架¶

LoMo 是一种轻量、无须修改模型架构且不增加推理开销的数据构建流水线。其目标是将原有的纯文本指令样本 \((x, a)\)（其中 \(x\) 为文本问题，\(a\) 为目标答案）转换为图文交错的局部替换样本 \((\mathcal{T}(x), a)\)。整个转换流水线包含三个严格串联的处理阶段：结构感知片段定位（Structure-Aware Span Localization \(\mathcal{S}\)）、视觉渲染（Visual Rendering \(\mathcal{R}\)）以及感知扰动（Perceptual Distortion \(\mathcal{A}\)）。

整体数据流如下所示：首先由定位模块识别出输入长文本中语义连贯且不破坏数学公式完整性的中间片段；随后渲染引擎自适应选择 LaTeX 渲染器或文本渲染器将其转换为图像；接着通过引入真实世界采集噪声的几何与光学扰动，最终将扰动后的图像嵌入原文本位置，构造出环绕式的“前缀文本 → 视觉载体 → 后缀文本”序列。模型在根据该交错输入预测原始目标答案 \(a\) 时，必须联合解析两侧的离散上下文与中段的视觉像素，从而强行拉近跨载体表征距离。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["纯文本样本 (x, a)<br/>包含公式/长文本指令与标签答案"] --> B["结构感知片段定位<br/>公式感知分块并提取中间三分之一语义块"]
    B --> C["内容自适应视觉渲染<br/>LaTeX渲染与标准文本渲染路由并裁剪留白"]
    C --> D["真实感知扰动增强<br/>旋转/模糊/污渍阴影/局部波纹形变"]
    D --> E["局部替换样本 ((x_pre, I', x_suf), a)<br/>构建 文本→视觉载体→文本 细粒度交错序列"]
    E --> F["标准 SFT 优化<br/>实现隐式跨载体表征对齐"]

关键设计¶

1. 结构感知片段定位：基于公式原子性的语义片段抽取 针对粗暴截断文本容易切碎数学公式和关键逻辑实体的问题，该设计旨在从纯文本实例中抽取最具连贯性的局部替换跨度。对于句子数量不超过 3 句的短文本指令，模块直接将整个文本保留为待替换片段 \(x_{\text{mid}}\)；而对于长文本指令，模块引入轻量级的公式感知分块策略，将 LaTeX 行内公式、行间数学环境以及常见数学命令解析为不可分割的原子单元，把原始文本表示为文本块与公式块交错的序列 \(((t_1, l_1), (m_1, l_2), \dots, (t_n, l_{2n-1}))\)。在此表示基础上，算法在块级粒度截取中间三分之一长度的内容作为 \(x_{\text{mid}}\)，保留前缀 \(x_{\text{pre}}\) 与后缀 \(x_{\text{suf}}\)。这种设计既保证了公式语义的完整性，又强制生成了被文本上下文左右夹持的视觉岛屿，迫使模型跨越离散 token 与连续视觉 patch 建立语义连续性。

2. 内容自适应视觉渲染：双轨路由与优雅降级的高保真渲染 针对不同内容类型的排版差异，视觉渲染模块设计了内容自适应路由机制。当定位到的片段 \(x_{\text{mid}}\) 包含数学公式时，系统将其路由至基于 LaTeX 的数学专用渲染引擎（使用标准 Latin Modern Math 字体，字号设为 26pt），以确保分式、上标、根号等复杂符号排版的绝对保真；对于纯文本片段，则路由至标准的 Python 文本渲染引擎（字号 20pt，行高 22pt）。为应对大规模数据处理中偶发的 LaTeX 编译异常，系统内置了异常捕获与优雅降级机制，一旦编译失败立即自动回退至普通文本渲染器，杜绝样本丢弃。渲染完成后进一步执行温和的留白边缘裁剪，在保留全部文字边界的前提下压缩无意义的空白背景，避免浪费视觉注意力开销。

3. 感知扰动增强：模拟物理拍摄劣化的鲁棒性注入 为了防止模型退化为仅记住纯净排版字形的浅层 OCR 模板匹配器，感知扰动模块为渲染得到的图像引入贴近真实物理场景的语义不变性扰动。模块定义了四大类退化算子：旋转操作（包含微小倾斜与大角度旋转，模拟拍照手抖与歪斜）、模糊操作（包含高斯模糊、均值模糊和运动模糊，模拟失焦与运动轨迹）、阴影污渍覆盖（在图像边缘叠加阴影或表面污损，模拟不均匀光照与纸张污染）以及波纹形变（模拟纸张折痕与曲面扫描形变）。在数据生成时，系统以类别分布从干净原图及上述四种退化算子中随机抽样应用，生成最终的视觉载体 \(I' = \mathcal{A}(\mathcal{R}(x_{\text{mid}}))\)，确保跨模态对齐紧紧锚定在深层语义而非浅层低频纹理上。

损失函数 / 训练策略¶

在训练优化层面，LoMo 完全沿用标准的监督微调（SFT）机制，不需要增加额外的对比损失或蒸馏头。然而在数学本质上，局部模态替换将标准的负对数似然损失转化为了包含显式 SFT 目标与隐式分布对齐项的复合形式：

\[ \mathcal{L}_{\text{LoMo}}(\theta; x, a) = -\log p_{\theta}(a \mid \mathcal{T}(x)) = \underbrace{-\log p_{\theta}(a \mid x)}_{\text{标准 SFT 监督项}} + \underbrace{\log \frac{p_{\theta}(a \mid x)}{p_{\theta}(a \mid \mathcal{T}(x))}}_{\text{跨载体表征对齐项}} \]

当对模型在纯文本输入下的预测分布 \(a \sim p_{\theta}(\cdot \mid x)\) 取期望时，对数比值项严格等价于两种载体预测分布之间的 Kullback-Leibler 散度：

\[ \mathbb{E}_{a \sim p_{\theta}(\cdot \mid x)} \left[ -\log p_{\theta}(a \mid \mathcal{T}(x)) \right] = \mathbb{E}_{a \sim p_{\theta}(\cdot \mid x)} [-\log p_{\theta}(a \mid x)] + \mathrm{KL}\Big(p_{\theta}(\cdot \mid x) \,\Big\|\, p_{\theta}(\cdot \mid \mathcal{T}(x))\Big) \]

因此，优化交错多模态样本的目标函数，数学上等价于在最大化原始预测精度的同时，强制要求模型在纯文本载体与“文本-像素交错载体”下输出一致的预测分布，无需显式对齐损失即实现了跨模态表征不变性。

实验关键数据¶

主实验¶

论文在 LLaVA-OneVision-1.5-8B 和 Qwen3.5-9B 两个主流底座上，跨越综合推理、数学推理、事实性、指令遵循、文档/OCR 与视觉感知等 6 大类共 13 个多模态基准进行了全面评测，同时对比了标准评估（原图 + 文本问题）与渲染评估（原图 + 文本渲染为纯图片问题）两种协议。

模型	评测协议	综合推理 (MMMU / MMMU-P)	数学推理 (MathV / ZeroB / WeMath)	指令遵循 (MM-IF)	文档&OCR (DocVQA / CC-OCR)	视觉感知 (V* / CntB)	全局平均分	相比 SFT 提升
LLaVA-OV1.5-8B (SFT)	标准评估	51.78 / 35.24	51.30 / 10.18 / 22.76	58.40	73.05 / 46.76	47.71 / 42.97	40.88	–
LLaVA-OV1.5-8B (+ LoMo)	标准评估	51.22 / 36.36	53.90 / 11.98 / 25.14	61.61	74.77 / 48.97	51.70 / 51.12	43.56	+2.68
Qwen3.5-9B (SFT)	标准评估	59.44 / 39.83	67.20 / 16.54 / 38.19	51.74	85.89 / 65.61	68.13 / 80.08	54.43	–
Qwen3.5-9B (+ LoMo)	标准评估	63.00 / 46.18	66.60 / 17.66 / 40.00	57.23	91.99 / 65.31	71.86 / 85.01	57.25	+2.82
LLaVA-OV1.5-8B (SFT)	渲染评估	21.22 / 16.01	18.10 / 3.59 / 0.95	28.83	15.38 / 14.49	8.12 / 3.67	15.24	–
LLaVA-OV1.5-8B (+ LoMo)	渲染评估	35.56 / 27.59	39.50 / 7.63 / 11.33	48.83	58.89 / 39.89	36.13 / 38.49	34.10	+18.86
Qwen3.5-9B (SFT)	渲染评估	49.52 / 33.06	56.90 / 15.94 / 23.43	41.25	47.24 / 49.60	61.58 / 71.66	43.26	–
Qwen3.5-9B (+ LoMo)	渲染评估	62.48 / 45.29	65.50 / 16.62 / 39.72	54.32	91.73 / 66.14	64.73 / 83.98	55.18	+11.92

消融实验¶

在 LLaVA-OV1.5-8B 上针对 LoMo 各组件、数据重写比例以及渲染替换位置进行了系统消融（均基于标准评估协议 13 项基准平均值）：

消融维度 / 实验配置	评测平均分 (Avg.)	相比基准增益 (\(\Delta\))	核心结论与机制说明
组件消融：标准 SFT 基准	40.88	–	常规多模态与纯文本混合微调
组件消融：全文本整句渲染 (Full-Text)	42.07	+1.19	将整句转为单一图片输入，缺乏图文跨载体交互，收益有限
组件消融：LoMo 去除感知扰动 (w/o PD)	43.10	+2.22	结构感知中段替换贡献了绝大部分对齐增益
组件消融：LoMo 完整方案	43.56	+2.68	真实世界感知扰动进一步强化了特征级鲁棒性
位置消融：前缀替换 (Prefix)	42.44	+1.56	渲染前 1/3，形成单侧“图像-文本”结构
位置消融：后缀替换 (Suffix)	42.33	+1.45	渲染后 1/3，形成单侧“文本-图像”结构
位置消融：多片段交替替换 (Multi-Span)	42.64	+1.76	切割多段交替渲染，注意力被碎片化分散
位置消融：中间片段替换 (Middle, 本文)	43.56	+2.68	形成三明治式“文本-图像-文本”，迫使双向深度跨模态融合
重写比例：25% 纯文本重塑	42.90	+2.02	引入局部替换即带来明显对齐收益
重写比例：50% 纯文本重塑 (本文选型)	43.56	+2.68	对齐监督与纯文本推理能力达到最佳平衡点
重写比例：75% 纯文本重塑	43.24	+2.36	边际收益开始饱和回落
重写比例：100% 纯文本重塑	42.68	+1.80	过度替换对纯文本连贯性造成轻微扰动

关键发现¶

载体敏感性断崖在渲染评估中被显著抚平：标准 SFT 训练的模型在面对纯像素渲染问题时准确率几乎崩塌（LLaVA 从 40.88 骤降至 15.24，Qwen3.5 从 54.43 降至 43.26）。引入 LoMo 后，LLaVA 的渲染评分由 15.24 飙升至 34.10（绝对提升 +18.86），Qwen3.5-9B 则由 43.26 提升至 55.18（绝对提升 +11.92），将图文载体转换造成的性能损失从 11.17 分压缩至仅 2.07 分。
表征空间模态间隙物理收窄：成对跨模态余弦距离测试显示，标准 SFT 在训练后反而拉大了成对图文特征的表征距离（从初始 0.52 扩大至 0.57），而 LoMo 成功将其显著缩减至 0.49（相对缩小 14.2%）；同时 Huang 等人提出的模态融合率指标 MIR 降低了 0.122，证明了跨模态特征分布的高度重合与紧密集成。
纯文本基线能力毫发无损：在 GSM8K、HumanEval、LiveCodeBench、MMLU-Pro 和 IFEval 等 5 项经典纯文本 benchmark 上，LoMo 均保持轻微提升（LLaVA 平均 +0.28，Qwen3.5 平均 +0.58，IFEval 单项涨幅达 +2.59），破除了“加入视觉渲染会破坏模型原本语言理解与代码能力”的顾虑。

亮点与洞察¶

将表征对齐问题转化为无痛的数据工程范式：以往解决模态间隙依赖复杂的辅助损失、跨注意力适配器设计或解码期抑制策略，LoMo 完全基于纯文本数据的局部重塑，在保持零额外参数、零推理延迟的优雅前提下赋予了模型跨载体不变性。
“三明治夹心”交错布局是产生强融合监督的关键：消融实验清晰证明，单纯把整句文字变成图片喂给模型（Full-Text）提升微弱；只有将视觉载体置于前后文本包裹之中（“文本 → 图像 → 文本”），自注意力机制才能迫使模型在前后语义的因果解码链中无缝解析像素 token，从而达成深层次跨模态桥接。
理论推导揭示了局部替换的隐式 KL 正则本质：通过严谨的数学推导，证明了对交错序列优化负对数似然在期望意义下天然等价于最小化两种载体预测分布的 KL 散度，为经验性数据重构提供了坚实的理论支撑。

局限与展望¶

目前仅在后训练 SFT 阶段验证：当前探索局限于监督微调阶段，尚未验证在基础预训练阶段（海量网页图文预训练）或强化学习（RLHF / DPO / GRPO）对齐阶段引入局部模态替换的表现。
片段抽取机制仍采用规则启发式：当前定位中间 1/3 片段主要依托句子长度与公式原子块的启发式切分，未来可探索基于信息瓶颈、语法依赖树或模型注意力不确定性驱动的自适应难点片段挖掘策略。
模型规模探索受限于计算资源：实验主要覆盖了 8B/9B 级别的基础模型，尚未在超大规模（如 30B+、70B+）密集模型或混合专家（MoE）架构上展开全面消融。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 独辟蹊径地发现并系统量化了 VLM 的“载体敏感性”，并用极简的局部替换交错数据范式达成优雅对齐。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 2 大主流底座、13 个多模态基准、5 项纯文本基准、双评估协议以及完备的特征距离分析与消融实验。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度严密，从现象发现、机理分析、数学推导到系统实现环环相扣，图表详实。
价值: ⭐⭐⭐⭐⭐ 即插即用、零架构改动与零推理成本，对后续多模态基础模型的数据工程构建具备直接实用的指导意义。