Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/Hunter-Will/VVM-Tuning
领域: 多模态 VLM
关键词: 多模态大模型, 跨模态泛化, 虚构模态合成, 指令微调, 零样本适应

一句话总结¶

针对多模态大模型（LMM）依赖同模态数据且难以泛化到未见非 RGB 模态的问题，哈工大团队提出 VVM-Tuning 框架，通过直方图扰动与伪彩色映射合成虚构图像以解耦语义感知与摄影感知，并结合模态文本上下文实现免真实目标模态微调的零样本跨模态泛化。

研究背景与动机¶

多模态大语言模型（LMM）在标准 RGB 视觉理解任务中展现出卓越的感知与推理能力，但在红外（Thermal）、深度（Depth）、X 射线（X-ray）等非 RGB 视觉模态上的泛化边界依然极少被探索。当前模型对非 RGB 模态的支持主要依赖在预训练或指令微调中粗暴扩充真实非 RGB 配对数据。这种依赖模态内数据的训练范式带来了严重的泛化鸿沟：现实世界中的成像机制与传感器物理特性无穷无尽，面对训练集中完全未见过的全新传感器模态，现有 LMM 往往由于视觉表征的过度对齐而彻底失效。

这一瓶颈的根源在于现有视觉-语言对齐机制忽视了视觉模态的物理本质。无论是 RGB 还是热成像，数字图像本质上都是各传感器对同一客观物理世界的不同信号采样，底层语义具有模态不变性，而不同模态仅表现为基本视觉要素（如颜色、边缘、灰度分布）的重构与伪彩色映射。现有模型在常规 RGB 训练中将表观特征与底层语义深度纠缠，导致模型无法区分“模态不变的实体语义”与“随模态剧烈变化的摄影表征”，每引入一个新模态就必须重新训练对齐。

受人类即使缺乏特定专业模态先验也能凭借通用视觉要素辨认物体轮廓与形状的启发，本文提出一种全新的解题思路：将视觉模态理解拆解为“模态非感知感知”与“模态感知理解”两层能力。核心 idea：利用 RGB 数据纯算法合成具有随机直方图与伪彩色的虚构模态图像，通过解耦对齐构建跨模态不变的语义感知与摄影感知基座；再利用测试时注入的模态文本上下文将表观特征重映射至物理属性，实现无需真实目标模态数据的零样本泛化。

方法详解¶

整体框架¶

VVM-Tuning 围绕模态解耦与上下文映射展开，整个框架由两个核心支柱构成：一是纯合成驱动的模态非感知感知（Modality-unaware Perception）训练，使模型学会在表观剧烈变化时提取不变的真实语义，并保持对底层视觉要素（色彩、边缘、位置）的客观忠实度；二是模态感知理解（Modality-aware Understanding）训练，引导模型利用提示词中的模态上下文（Modality Context），将视觉伪彩色和灰度特征还原为物理属性（如温度、深度、光流运动）。模型在单阶段 SFT 中以统一的交叉熵损失进行指令微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 RGB 场景图像"] --> B["虚构模态合成<br/>样条直方图扰动 + 22种伪彩色映射"]
    B --> C["模态非感知感知<br/>解耦语义描述与摄影表征 VQA"]
    B --> D["模态感知理解<br/>模态上下文提示 + 物理属性映射 VQA"]
    C --> E["单阶段指令微调<br/>50k 混合数据交叉熵监督训练"]
    D --> E
    E --> F["零样本跨模态推理<br/>未见模态图像 + 模态上下文文本"]

关键设计¶

1. 虚构模态合成：低成本构造表观各异的多模态替代分布 针对非 RGB 真实标注数据极度匮乏且覆盖有限的问题，该设计建立了一条轻量、全自动的图像与模态上下文合成流水线。在图像端，首先将常规 RGB 图像转换为灰度图，使用三次样条插值（Cubic Spline Interpolation）随机扰动并随机翻转其像素直方图分布，以模拟不同传感器截然不同的动态范围与对比度；随后从科学计算中常用的 22 种伪彩色表（Colormaps）中随机采样进行着色，并叠加高斯模糊、去噪、平滑等噪声退化操作，合成低分辨率或带噪特征的虚构图像。在上下文端，利用分割标注将伪彩色映射区间与实体语义关联，自动填充人工设计的物理意义模板；若无结构标注，则借助提示示例驱动前沿 LMM 基于色彩分布与场景生成对应的模态先验描述，构成可解释的文本提示词。

2. 模态非感知感知：解耦底层语义提取与表面摄影表征 针对传统视觉-语言对齐中语义概念与 RGB 色彩过度纠缠的问题，该设计通过两类互补的任务范式切断这种虚假关联。第一类是语义感知任务（Semantic Tasks），在成对的 RGB 与虚构图像之间提取交集语义，要求模型忽略扭曲的伪彩色和反转的灰度，稳定识别场景内的物体类别、空间位置及拓扑关系；第二类是摄影感知任务（Photographic Tasks），严格校准并要求模型描述图像中的具体色彩、线条与视觉线索，防止模型在语义先验的主导下产生对视觉事实的幻觉。两者分别生成图像描述（Description）与 VQA 问答对，迫使模型构建出一套模态无关的表征基座。

3. 模态感知理解：基于文本提示实现物理属性零样本重映射 针对推理阶段未见模态独特的物理映射关系（如热成像中红色代表高温、深度图中冷色代表近景），该设计将模态物理先验以模态上下文（Modality Context）的形式显式嵌入提示词中。训练阶段通过合成各种假想的物理映射（如设定“亮紫色对应高辐射强度”），促使大语言模型学会将摄影感知到的基础视觉基元（如特定色块）与文本给出的物理意义动态绑定，并结合通用常识进行高层推理。测试阶段无需调整模型参数，只需输入未见模态图像及简要的传感器机理文本，即可零样本泛化至真实红外、X射线或未见传感器任务。

损失函数 / 训练策略¶

模型遵循标准视觉指令微调（Visual Instruction Tuning）范式，采用交叉熵损失函数进行端到端微调：

\[\mathcal{L}_{SFT} = -\sum_{i=1}^{n} \log P(y_i \mid X, y_1, y_2, \dots, y_{i-1})\]

其中 \(X\) 为输入的视觉标记与模态上下文提示词，\(y_i\) 为目标文本序列标记。实验在 4 张 NVIDIA A800 GPU 服务器上进行，全局批大小为 32，优化器选用 AdamW，学习率设为 \(1\times 10^{-5}\)。训练集总规模约 50k 条样本，其中保留了 12k 原始 RGB 视觉指令数据以防止灾难性遗忘，仅训练 1 个 epoch 即可收敛。

实验关键数据¶

主实验¶

论文构建了包含 6 种模态（3 种真实模态：Thermal、Depth、X-Ray；3 种合成模态：Optical Flow、Synthesized 1、Synthesized 2）与 11 项任务的全新评测基准 VVM-Bench。下表展示各基础模型在模态非感知感知（Perception）与模态感知理解（Understanding）两类子集上的性能表现：

模型	参数规模	感知平均准确率（Base / Ours）	感知平均提升 \(\Delta\)	理解平均准确率（Base / Ours）	理解平均提升 \(\Delta\)
LLaVA-1.5	7B	60.4% / 74.1%	+13.6%	79.4% / 84.9%	+5.6%
Qwen-2.5-VL	3B	72.2% / 81.9%	+9.7%	86.7% / 90.6%	+3.8%
Qwen-2.5-VL	7B	78.1% / 84.1%	+6.0%	86.2% / 90.6%	+4.5%
Qwen-3-VL	4B	77.6% / 82.8%	+5.3%	87.9% / 89.9%	+2.0%
Qwen-3-VL	8B	77.6% / 84.1%	+6.5%	88.3% / 91.5%	+3.2%

消融实验¶

在 Qwen-2.5-VL 7B 模型上针对“模态非感知感知任务（P）”与“模态感知理解任务（U）”训练组件的消融验证（测试集 P 代表感知子集，U 代表理解子集）：

训练配置 (Perception / Understanding)	评测子集	Thermal	Depth	X-Ray	Optical Flow	Synthesized 1	Synthesized 2	全模态平均
基线（未微调）	P	74.5%	73.3%	75.7%	77.0%	87.1%	81.1%	78.1%
基线（未微调）	U	86.4%	83.4%	84.1%	84.6%	88.8%	89.8%	86.2%
仅训练 Perception	P	75.3%	75.6%	79.6%	81.7%	90.7%	87.6%	81.7% (+3.6%)
仅训练 Perception	U	86.7%	82.5%	86.3%	92.9%	90.3%	91.3%	88.3% (+2.1%)
仅训练 Understanding	P	76.8%	74.1%	75.4%	74.1%	85.8%	81.7%	78.0% (-0.1%)
仅训练 Understanding	U	87.6%	85.4%	85.1%	92.1%	88.8%	90.3%	88.2% (+2.0%)
完整模型（P + U）	P	79.8%	79.2%	79.6%	88.4%	91.2%	86.4%	84.1% (+6.0%)
完整模型（P + U）	U	88.5%	90.2%	85.9%	93.8%	91.9%	93.5%	90.6% (+4.5%)

针对模态上下文（Modality Context, M.C.）提示词作用的消融显示：在无模态上下文输入时，所有模型在真实物理模态理解上出现大幅退化。以深度模态（Depth）为例，全模型平均精度直接下跌 32.75%（LLaVA-1.5 7B 从 80.3% 暴跌至 40.7%），充分印证了显式模态文本引导在零样本跨模态映射中的必要性。

关键发现¶

合成数据泛化至真实物理模态：完全在合成虚构模态上训练的模型，在 4 种具备真实物理特性的模态（Thermal、Depth、X-Ray、Optical Flow）上取得了平均超 6% 的感知精度提升，证明多模态通用表征能从伪彩色扰动数据中自然涌现。
任务解耦的协同依赖性：若剔除模态非感知感知训练，模型仅依靠模态理解任务时感知能力毫无增益（从 78.1% 微降至 78.0%），说明感知基座是高阶推理的前提。
参数规模与泛化边际效益：参数基础较弱的 LLaVA-1.5 在感知子集上获得了高达 13.6% 的飞跃，而前沿大模型 Qwen-3-VL 8B 依然能获得 6.5% 的感知与 3.2% 的理解增益。

亮点与洞察¶

解题视角的范式转移：跳出“缺数据就采数据”的传统工程思维，将非 RGB 视觉本质抽象为物理信号采样与伪彩色变换，用纯生成式的伪彩色扰动完成了真实物理模态的零样本迁移。
模态非感知与模态感知双轨机制：通过解耦真实语义与表观视觉基元，使 LMM 具备像人类一样的双重视角：既能“抛开模态看物体”，又能“结合上下文读物理意义”。
低成本高通用性的数据管线：仅需单卡即可在数小时内基于公开 RGB 数据批量生成大规模伪模态指令微调对，无需任何昂贵的传感器硬件或专家级跨模态标注。

局限与展望¶

作者承认的局限：合成模态与复杂现实物理传感器之间仍存在一定的语义鸿沟（Synthetic Gap），合成模态生成的物理映射偏向理想化，难以完全拟合真实雷达、高光谱等复杂的物理噪声机理。
潜在改进方向：当前图像变换主要局限于全局直方图和伪彩色映射，对于雷达多普勒频移、高动态点云投影或断层扫描（CT）特有的空间伪影与几何形变尚缺乏针对性模拟；未来可将基于物理渲染的仿真器（Physically-based Rendering）引入合成管线。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用纯合成伪模态与解耦对齐解决未见模态泛化，思想深刻且极具原创性。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 5 种不同参数级别基座模型与 6 种模态，主实验与消融细致完备。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络严密清晰，问题提炼到位，图表设计兼具学术美感与直观性。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型面对新型成像传感器的数据饥渴问题提供了成本极低且扩展性极强的全新范式。