跳转至

FlowMM: 基于跨模态信息流引导的高效多模态长上下文 KV Cache 合并

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 多模态大模型, KV Cache 压缩, 跨模态信息流, 缓存合并, 敏感度自适应匹配

一句话总结

FlowMM 揭示了多模态大模型在深浅层中跨模态信息流的显著分化规律,提出由注意力交互强度自适应引导的分层合并与敏感度感知匹配机制,在无需微调的前提下将 KV Cache 显存削减 80% 至 95%、解码加速 1.3 至 1.8 倍,且在 InternVL2.5-8B 上平均精度仅损失 0.12%。

研究背景与动机

多模态大语言模型(MLLMs,如 Qwen2.5-VL、InternVL 与 MobileVLM 等)通过将视觉编码器输出的高维特征与文本嵌入对齐融合,在多图像理解、视频时序推理与跨模态具身决策等任务上展现出强大的推理能力。然而,与纯文本仅包含紧凑词元不同,高分辨率图像或密集视频帧在经过 ViT 分块投影后,往往引入成千上万个高维视觉 Token。在自回归生成解码阶段,键值缓存(KV Cache)随着输入序列长度与推理步数的累积呈线性甚至超线性膨胀,迅速吞噬 GPU 高带宽显存(HBM),成为制约多模态长上下文大模型吞吐与落地的核心算力瓶颈。

面对这一显存危机,现有优化策略主要分为驱逐(Eviction)与合并(Merging)两类范式。以 H2O 和 SnapKV 为代表的驱逐方法通过静态或累积注意力分数强行丢弃非关键 Token,但这种不可逆的物理剔除容易误伤未来推理步所需的上下文,导致严重的跨模态幻觉与上下文断层;而以 CaM 和 KVMerge 为代表的合并方法试图将待驱逐 Token 融合聚类至保留 Token 中以守恒信息。然而,现有合并策略大多面向单模态纯文本 LLM 设计,直接迁移至多模态场景时暴露出致命缺陷:视觉与文本 Token 在特征空间中存在天然的表征分布鸿沟,盲目的跨模态均值或加权合并极易引发模态混乱(Modality Confusion)与语义失真。

进一步的机制探究发现,MLLM 在 Transformer 各层之间的跨模态交互强度并非均一不变,而是呈现出极其明确的层级规律:浅层主要承担单模态底层特征抽取,跨模态注意力交互微弱;深层才真正转向高阶语义抽象与跨模态深度融合。若违背该信息流规律——例如在浅层过早进行跨模态合并——将直接破坏原始单模态特征的几何结构,导致下游任务精度腰斩。核心 idea:FlowMM 提出跨模态信息流引导的动态 KV Cache 合并框架,通过逐层量化跨模态注意力交互强度来动态切换层特异性的模态内/模态间合并策略,并结合基于注意力代理的敏感度自适应匹配机制,在保护高敏感度关键 token 免受稀释的同时合并高相似度的低敏感度 token,实现无需微调的高保真极低显存推理。

方法详解

整体框架

FlowMM 作为一个免训练(Tuning-Free)的即插即用推理加速框架,其整体处理流分为三个逻辑阶段:首先,在每一层 Transformer 解码前,通过前向注意力张量统计视觉与文本之间的相互注意力比率,量化当前层的跨模态信息流强度,进而决定本层采用“保守模态内合并”还是“激进跨模态合并”;其次,利用 Prompt 尾部的任务代理 Token 评估各键值对的任务相关重要性,筛选出 Top-\(B\) 的枢轴键值集合(Pivotal Set)与非枢轴集合(Non-Pivotal Set);最后,引入敏感度阈值过滤高敏感度枢轴点,将非枢轴状态安全匹配并合并至低敏感度的语义相似枢轴点中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多模态交错序列<br/>XT, XI"] --> B["跨模态信息流分析与分层动态合并<br/>计算层注意力比率并动态判定合并域"]
    B --> C["代理 Token 引导的枢轴集划分<br/>Prompt 尾部代理评估重要性与 Top-B 分离"]
    C --> D["敏感度自适应 Token 匹配与保护<br/>余弦相似度匹配并对高敏感枢轴施加合并屏蔽"]
    D --> E["压缩后 KV Cache 输出<br/>O(Lcomp) 紧凑表征进入自回归注意力解码"]

关键设计

1. 跨模态信息流分析与分层动态合并:模态分布差异与静态合并冲突 -> 逐层量化跨模态注意力比率并动态切换合并域 -> 保障浅层单模态表征并在深层促成跨模态融合

多模态表征在特征空间中具有各向异性分布,过往方法对所有网络层采用统一的静态合并规则,容易在浅层将异构特征强行混合,引发严重的语义混淆。为了顺应模型内在计算动力学,FlowMM 定义了层级跨模态注意力交互比率 \(\rho_l\)。在第 \(l\) 层的第 \(h\) 个注意力头中,设视觉 Token 集合为 \(V\),文本 Token 集合为 \(T\),分别累加视觉到文本与文本到视觉的跨模态注意力权重: $\(A_{v \to t}^{l,h} = \sum_{v \in V} \sum_{t \in T} \alpha_{v \to t}^{l,h}, \quad A_{t \to v}^{l,h} = \sum_{t \in T} \sum_{v \in V} \alpha_{t \to v}^{l,h}\)$ 全头平均后的跨模态交互比率定义为: $\(\rho_l = \frac{1}{H} \sum_{h=1}^H \frac{A_{v \to t}^{l,h} + A_{t \to v}^{l,h}}{A^{l,h}}\)$ 其中 \(A^{l,h}\) 为该注意力头所有 Token 间的注意力总和。FlowMM 引入阈值 \(\theta\):当 \(\rho_l > \theta\) 时,表明该深层网络已处于高度语义融合状态,允许跨模态键值对合并;当 \(\rho_l \le \theta\) 时,判定该层为浅层局部特征提取阶段,强制执行严格的模态内合并(视觉并入视觉、文本并入文本)。这一设计从物理机理上杜绝了浅层跨模态特征污染。

2. 代理 Token 引导的枢轴集划分:全量聚类高复杂度与注意力累积偏置 -> 基于 Prompt 尾部代理 Token 评估重要性并筛选 Top-B 枢轴集合 -> 锚定任务关键上下文并大幅压缩候选搜索空间

若对全量长序列 KV Cache 进行全局配对聚类,其时间复杂度为 \(O(L_p^2)\),在长上下文推理时计算开销无法承受;同时,传统基于全序列累积注意力的重要性打分容易偏向早期注意力沉底(Attention Sink)而忽略任务本身。FlowMM 提出利用 Prompt 末尾的少量词元作为任务代理集合 \(P\)(Proxy Tokens),因为末尾词元通常直接承载用户指令与具体问题。对于任意位置的 Token \(i\),其在第 \(l\) 层第 \(h\) 个头的任务重要性得分计算为: $\(I^{l,h}(i) = \sum_{j \in P} \alpha_{j \to i}^{l,h}\)$ 根据得分,FlowMM 独立选出前 \(B\) 个最高重要性的键值对构成枢轴集合 \(K_p\),而其余状态归入非枢轴候选集 \(K_n\)。这种设计不仅确保保留最契合当前指令的骨干语义,更将后续的相似度计算范围从全量矩阵削减到局部候选,大幅降低了匹配开销。

3. 敏感度自适应 Token 匹配与保护:高敏感度核心状态受并入稀释 -> 联合余弦相似度与敏感度阈值构建候选准入集合 -> 隔离关键推理路径并平滑合并低风险冗余信息

在多模态长链推理中,存在极少数携带关键事实(如图像中的微小物体或文本关键实体)的高敏感度 Token,一旦有其他多余状态被平均合并进来,其锐利的表征方向就会被钝化稀释,诱发严重的下游推理错误。FlowMM 将 Token 敏感度直接近似为其重要性得分 \(I(i)\),并为枢轴集合设立敏感度准入门槛。在第 \(l\) 层与注意力头 \(h\) 下,非枢轴 key \(k_i \in K_n\) 与枢轴 key \(k_j \in K_p\) 之间的语义亲和力采用余弦相似度衡量: $\(u_{i,j} = \frac{k_i^\top k_j}{\|k_i\|_2 \|k_j\|_2}\)$ 为了防止核心枢轴表征被污染,FlowMM 构造受保护的允许合并目标索引集 \(\mathcal{C}\): $\(\mathcal{C} = \{j \mid k_j \in K_p, I(j) \le \tau\}\)$ 其中 \(\tau\) 为敏感度安全上限。对每一个待合并的非枢轴 key \(k_i \in K_n\),其最终目标必须满足: $\(j^*(i) = \arg\max_{j \in \mathcal{C}} u_{i,j}\)$ 敏感度高于 \(\tau\) 的关键枢轴被彻底设为只读并原样保留,仅允许低敏感度的普通枢轴接纳相似冗余状态。这种双因子自适应过滤机制既最大化了语义合并压缩比,又守住了核心推理路径的保真度底线。

评估基准与实验设计

实验选取首个专门评估 MLLM 长上下文多模态理解能力的 MileBench 基准,覆盖时序多图推理、语义多图理解、大海捞针(Needle In A Haystack)与图像检索等通用多模态场景,平均每条测试样本包含 15.2 张图像与 422.3 个文本单词。测试模型涵盖 Qwen2.5-VL-7B、InternVL2.5-8B 与 MobileVLM-V2-3B 三大代表性架构。对比基线包括文本驱逐基线(StreamingLLM、H2O)、文本合并基线(D2O、KVMerge)以及专有多模态合并方法 LOOK-M。所有实验在严格的 20% 乃至更低的 KV Cache 显存预算下展开,并在单张 NVIDIA A100 GPU 上实测解码延迟与显存占用。

实验关键数据

主实验

在 20% 极低 KV Cache 预算(即压缩 80% 显存)下,FlowMM 与各类基线在 MileBench 的 7 项核心任务表现如下表所示(摘录自原文 Table 1):

骨干模型与方法 ALFRED IEdit STD MMCoQA CLEVR-C TextNeedle ImageNeedle Average \(\Delta\) (较Full)
Qwen2.5-VL-7B
Full Cache (100%) 36.92 30.16 28.13 50.50 45.45 11.56 24.38 32.44 -
StreamingLLM 27.61 30.43 26.85 46.00 37.00 4.38 1.88 24.88 -7.57
H2O 34.31 30.91 26.63 45.50 42.49 4.69 5.00 27.08 -5.36
D2O 33.59 30.56 26.16 39.50 41.58 4.69 8.75 26.40 -6.04
KVMerge 27.94 31.16 27.83 44.50 37.95 9.69 15.00 27.72 -4.72
LOOK-M 34.76 30.58 27.53 43.50 40.41 2.50 3.13 26.06 -6.38
FlowMM (本文) 35.43 31.67 28.08 48.50 41.79 10.00 17.13 30.37 -2.07
InternVL2.5-8B
Full Cache (100%) 35.34 9.12 26.37 52.50 22.76 25.00 24.69 27.97 -
StreamingLLM 23.36 10.71 25.33 51.50 19.39 10.00 2.50 20.40 -7.57
H2O 33.05 11.31 26.21 51.50 21.01 10.93 21.25 25.04 -2.93
D2O 32.63 11.08 26.64 50.00 20.82 11.25 21.25 24.81 -3.16
KVMerge 33.61 11.42 26.33 51.50 20.47 17.63 21.45 26.06 -1.91
LOOK-M 31.81 11.18 26.82 51.00 21.21 8.25 17.15 23.92 -4.05
FlowMM (本文) 34.77 11.93 26.59 52.00 22.58 23.12 23.93 27.85 -0.12
MobileVLM-V2-3B
Full Cache (100%) 25.18 6.55 13.57 7.00 15.97 9.68 - 12.99 -
StreamingLLM 13.73 5.82 7.65 2.50 6.55 3.12 - 6.56 -6.43
H2O 24.86 6.22 10.27 3.00 14.06 2.50 - 10.15 -2.84
D2O 23.96 6.48 11.59 4.50 13.85 4.34 - 10.79 -2.20
KVMerge 24.47 6.39 11.51 4.00 14.67 5.38 - 11.07 -1.92
LOOK-M 24.40 6.12 10.86 4.00 13.04 2.87 - 10.22 -2.78
FlowMM (本文) 25.06 6.57 12.73 5.50 15.39 8.67 - 12.32 -0.67

效率分析与消融实验

在 A100 GPU 上测试不同显存预算下的吞吐延迟,以及各模块在 Qwen2.5-VL-7B 上的消融结果(对应原文 Table 2 与 Table 3):

表 2:推理速度与 KV Cache 显存消耗(Qwen2.5-VL-7B,单卡 A100) | 方案 | Cache 预算 | 解码延迟 (Decoding Latency) | KV Cache GPU 显存占用 | 加速比 / 显存削减 | |---|---|---|---|---| | Full Cache | 100% | 29.08 ms/token | 2.06 GiB | 1.00× (基准) / 0% | | FlowMM | 50% | 23.04 ms/token | 1.05 GiB | 1.26× / -49.0% | | FlowMM | 35% | 19.18 ms/token | 0.74 GiB | 1.52× / -64.1% | | FlowMM | 20% | 17.35 ms/token | 0.44 GiB | 1.68× / -78.6% | | FlowMM | 5% | 15.81 ms/token | 0.13 GiB | 1.84× / -93.7% |

表 3:核心模块消融实验(Qwen2.5-VL-7B,20% Cache 预算) | 配置方案 | TextNeedle (Accuracy) | STD (Accuracy) | ALFRED (Rouge-L) | 综合说明 | |---|---|---|---|---| | Full Cache (全缓存基线) | 11.56 | 28.13 | 36.92 | 理论性能上限 | | FlowMM (完整模型) | 10.00 | 28.08 | 35.43 | 双机制协同,逼近全缓存 | | w/o 信息流引导 (Information Flow Guidance) | 5.67 | 26.32 | 33.58 | 丢失层分化,TextNeedle 暴跌 4.33 点 | | w/o 敏感度自适应匹配 (Sensitivity-Adaptive) | 6.32 | 27.14 | 33.75 | 核心状态被稀释,TextNeedle 骤降 3.68 点 | | w/o 两个模块 (两者皆去除,退化为朴素合并) | 3.61 | 25.24 | 31.01 | 精度断崖式下跌,验证双机制不可或缺 |

关键发现

  • 大模型长上下文几乎无损保留:在 InternVL2.5-8B 上,仅用 20% 的 Cache 预算,FlowMM 实现了 27.85% 的平均精度,较 Full Cache(27.97%)仅微降 0.12%,显著压制了 H2O(25.04%)与 KVMerge(26.06%)。
  • 细粒度针检索优势显著:在对上下文信息完整性极其严苛的 TextNeedle 任务中,驱逐类基线(H2O: 4.69%、LOOK-M: 2.50%)由于强行裁剪而发生灾难性失效,而 FlowMM(10.00%)几乎保全了全缓存(11.56%)的能力;在 20% 预算下的表现甚至远超驱逐类方法在 60% 预算下的表现。
  • 浅层倒错合并极具破坏性:论文早期探索(图 2b)表明,若在浅层强制跨模态合并、在深层模态内合并(Misaligned 逆向信息流),ALFRED 任务表现直接从 36.92% 暴跌至 18.5%(降幅达 50%),证明顺应模型内在层级信息流是多模态缓存压缩的根本前提。

亮点与洞察

  • 发现 MLLM 跨模态注意力流的层级分化现象:直观揭示了浅层单模态特征提炼与深层跨模态抽象的演进趋势,指明了为什么以往在纯文本上适用的统一合并策略会在多模态大模型上诱发严重的“语义混淆”,为多模态推理加速提供了坚实的理论解释。
  • 免训练即插即用与极高硬件效能:全程无需昂贵的多模态有监督微调(SFT)或校准数据集,单卡 A100 实测在 5% 极小缓存预算下实现 1.84 倍解码加速与 93.7% 显存节省,为多模态模型部署至端侧与消费级设备打通了落地路径。
  • 代理敏感度保护机制可泛化至更多结构:将 Prompt 尾部代理注意力作为敏感度指标,兼具零额外开销与任务敏感度度量能力,这种“保护敏感枢轴、归并冗余尾部”的设计范式可直接迁移至长文本 RAG 或复杂 Agent 记忆压缩系统中。

局限与展望

  • 模型体量评估范围有限:作者坦陈受算力所限,实验主要覆盖 3B 至 8B 规模的 MLLM,尚未在 34B、70B 甚至更大参数体量(如 Qwen2.5-VL-72B)以及极端超长上下文(如百万 Token)上进行全面测试。
  • 模态范围局限于图文:当前研究聚焦于图像与文本的交错上下文,尚未涵盖视频连续帧特征、音频语音等多模态混合场景,这些异构模态的信息流更加动态复杂。
  • 未来改进方向:可进一步探索结合量化(如 2-bit/4-bit 混合精度 KV 量化)与 FlowMM 框架的联合压缩体系,并在视频流式问答中验证时空注意力流引导策略。

相关工作与启发

  • vs H2O / SnapKV (驱逐类方法): 驱逐策略依据当前注意力分数永久丢弃冷门 Token,破坏长距离时空关联,在 Needle 检索任务中性能极低;FlowMM 采用合并守恒策略,不丢弃上下文表征,并在 80% 压缩率下守住核心精度。
  • vs CaM / KVMerge (单模态合并方法): 单模态合并假设所有 Token 处于同质表征空间,无法感知多模态分布鸿沟;FlowMM 引入层级信息流比率,根据网络深度自适应隔离或打通跨模态边界,从根源上消除了特征污染。
  • vs LOOK-M (多模态专有方法): LOOK-M 仅进行单次观测或简单模态分离,缺乏层特异性的信息流动态跟踪与高敏感度保护;FlowMM 在 MileBench 全指标上平均高出 LOOK-M 4 到 5 个百分点。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次揭示 MLLM 跨模态信息流的层级演进规律,并提出信息流引导与敏感度保护双机制]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个主流 MLLM 架构、7 个长上下文任务、消融实验与真实硬件 A100 吞吐测速完整]
  • 写作质量: ⭐⭐⭐⭐⭐ [问题提炼深刻清晰,机理分析层层递进,数学定义与图表表达自洽严密]
  • 价值: ⭐⭐⭐⭐⭐ [无需微调且即插即用,显著降低 MLLM 长上下文推理显存压力,工业落地价值极高]