ReToken: Improving Long-Context VLMs with Visual Retrieval Token¶

会议: NeurIPS 2026
arXiv: 2607.28627
代码: https://github.com/avaxiao/ReToken
领域: 多模态VLM
关键词: 长上下文视觉语言模型, 视觉检索, Value空间检索, 键值缓存, 视频问答

一句话总结¶

针对长上下文视觉语言模型在海量干扰帧下注意力检索失效且显存受限的难题，本文提出仅引入单个可学习检索向量 ReToken 与一层投影矩阵，直接利用冻结 VLM 内部深层的 Value 空间表征进行精准视觉检索，在极低训练与推理开销下实现图像到长视频检索问答的显著性能跃升。

研究背景与动机¶

近年来多模态大模型（VLM）的上下文窗口不断扩大，已经能够接收数十张高分辨率图像或长达数小时的视频流。然而，当输入中包含大量无关干扰项（distractors）而与问题相关的关键视觉信息仅局限于少数图片或片段时，主流 VLM 的回答准确率会出现断崖式下跌；与此同时，对全量长上下文视觉 token 一次性计算自注意力不仅极易引发显卡显存溢出（OOM），计算开销也呈平方级激增。因此，高效处理长视觉上下文本质上必须依赖检索机制——即从海量视觉 token 缓存中精准选出最小相关子集，供回答模型生成正确答案。

在文本长上下文大模型中，模型自带的 Query-to-Key 注意力权重通常具有很强的选择性，能自发定位相关文本块。然而，研究团队通过深入诊断发现，这一机制在视觉语言模型中彻底失效：VLM 中的文本-视觉注意力得分与视觉真实相关性几乎脱钩，在 QAEgo4D 长视频评测中各层平均检索召回率仅有惨淡的 5.1%。究其根源，VLM 的预训练数据几乎所有图片都与图旁文字或提示高度相关，模型从未学过在海量无关负样本中进行负向抑制；此外，简单平均问题文本 token 得到的查询向量极易引入噪声语义漂移。

进一步的机制探究揭示了一个关键不对称现象：相比于传统的 Query-Key 投影空间，Transformer 中承载实际语义内容传递的 Value（数值）空间反而蕴含着极其丰富且对齐良好的视听语义。当给出精确的目标短语时，在 Value 空间内度量文本与图像均值向量的匹配度能使召回率大幅跃升（如 Qwen3VL 从 65.7% 提升至 78.0%），但若使用完整冗长的问题句直接平均，噪声又会抹平这一优势。本文的核心 idea 是：抛弃不可靠的注意力权重与启发式文本平均，引入单个附加在问题末尾的可学习检索 token（ReToken），并仅用一层轻量投影矩阵将其与最终层的视觉平均 Value 向量在对比损失下对齐，使冻结的 VLM 自身直接充当高精度检索器。

方法详解¶

整体框架¶

ReToken 旨在无需额外外部检索器（如 CLIP、SigLIP）且无需对检索图像重复二次编码的条件下，实现端到端的“缓存-检索-回答”一体化推理。整个管线分为离线特征预存、首轮视觉检索以及次轮条件回答三个环节：输入视频或图集首先经过冻结 VLM 的前向计算，以滑动窗口方式分块缓存各层的键值（KV Cache）；随后将附加了可学习 ReToken 的用户问题输入模型，利用其在顶层与各帧视觉 Value 向量的余弦相似度提取出 Top-K 个最相关关键帧；最后仅加载这 K 帧对应的视觉 KV Cache 与原始问题拼接，直接自回归解码生成答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频/多图视觉输入<br/>+ 用户问题文本"] --> B["阶段1：离线KV缓存构建<br/>分块滑动窗口前向计算"]
    B --> C["阶段2：ReToken首轮检索<br/>附加检索Token与层级预算过滤"]
    C --> D["阶段3：Value空间相似度排序<br/>顶层余弦打分并提取Top-K帧"]
    D --> E["阶段4：次轮稀疏KV生成<br/>仅加载K帧缓存进行自回归解码"]
    E --> F["输出最终问答文本"]

关键设计¶

1. 离线分块 KV 缓存与长程特征持久化：解决超长视频显存爆炸瓶颈

针对超长视频无法直接放入 GPU 显存单次前向的物理限制，系统在输入阶段将视觉上下文切分为 $F$ 个帧，每帧对应 $M/F$ 个视觉 token。对于长视频，采用固定大小的滑动窗口（如 $l_m = 30{,}000$ 个 token，约 153 帧）与大小为 128 帧的切块策略逐步向前滑动。每一块仅与最近的 $l_m$ 长度视觉窗口产生因果自注意力，生成对应的键值对并追加存储至持久化 KV 缓存中；超出显存容量的早期层 KV 可以透明换出至主机 CPU 内存。这样整部视频的昂贵视觉编码仅需执行一次，便可供后续针对同一视频的任意多个不同问题复用，消除了传统多轮检索方案重复图像编码的巨大开销。

2. 基于 Value 空间的内容表征与余弦打分：纠正注意力检索的语义失真

传统检索方案往往直接复用注意力权重矩阵 $\mathbf{A} = \mathbf{Q}\mathbf{K}^\top/\sqrt{d}$，然而注意力投影矩阵在预训练中仅承担信息聚合权重的分配，并不必然表征实体语义内容。与之相对，Value 矩阵投影 $\mathbf{v}_i$ 才是跨层传播并在残差连接中累加的实际语义载体。ReToken 在冻结 VLM 的最终层 $L_N$ 提取每个候选帧 $f$ 所有视觉 token 的平均 Value 向量： $$\bar{\mathbf{v}}_f^{(N)} = \frac{1}{|\mathbf{I}_v^{(f)}|} \sum_{i \in \mathbf{I}_v^{(f)}} \mathbf{v}_i^{(N)}$$ 同时，将模型顶层输出的检索 token 隐状态 $\mathbf{X}_r^{(N)}$ 经由单一可学习线性投影矩阵 $\mathbf{W}_r \in \mathbb{R}^{d \times d}$ 映射为目标检索向量 $\mathbf{Z}_r = \mathbf{W}_r \mathbf{X}_r^{(N)}$。帧 $f$ 的检索得分即由两者之间的余弦相似度确定： $$s_f^{(N)} = \cos\left(\mathbf{Z}_r, \bar{\mathbf{v}}_f^{(N)}\right)$$ 这一设计使检索过程摆脱了 Query-Key 空间在长上下文下由于负样本过载带来的非语义注意力分散，直接锚定帧内核心特征的语义相似性。

3. 双阶段两轮前向推理与浅层注意力修剪：兼顾全局视野与计算效率

在推理执行时，ReToken 采用两轮式前向设计。在第一轮检索阶段，问题文本后附加特殊 token $\langle\text{Retrieval}\rangle$（初始化自 $\mathbf{X}_r$）。为了避免在超长视频的浅层网络中检索 token 遍历全量上下文引发 OOM，系统引入浅层帧预算机制：在浅层 $l < N$，将中间层检索隐状态 $\mathbf{X}_r^{(l)}$ 投影至该层的 Value 空间，粗筛出相似度最高的 $K' = 256$ 帧，仅允许检索 token 对这 $K'$ 帧的视觉缓存执行稀疏注意力交互；直到最顶层 $L_N$，才依据最终的余弦打分精确截取 Top-$K$（例如 $K=1$ 或 $K=16$）关键帧集合 $\mathcal{S}_K^{(N)}$。在第二轮生成阶段，模型卸载所有无关帧，仅加载 $\mathcal{S}_K^{(N)}$ 对应的极小视觉 KV 缓存与用户原始问题输入 VLM，利用标准因果自注意力自回归解码答案。两轮前向既保证了检索阶段充分融合图文交互信息，又让回答阶段免受海量干扰 token 噪声的冲击。

一个完整示例¶

以一段包含 240 帧的日常活动长视频（0.5 FPS，时长约 8 分钟）问答为例：用户询问“我在什么位置把钥匙放下了？”。在离线阶段，视频被划分为 2 个 chunk 依次流式通过 Qwen3VL-8B，各层生成的视觉 KV Cache 保存于内存中。当问题到来时，系统发起第一轮检索 pass：输入序列组织为 [视觉KV缓存 (240帧)] + [我在什么位置把钥匙放下了？] + [<Retrieval>]。在前 $N-1$ 层，ReToken 利用浅层 Value 余弦粗筛快速筛选出最具可能性的 $K'=256$ 帧范围（在此处全量 240 帧全部保留并参与浅层交叉注意）；在最后一层第 32 层，ReToken 输出向量经过可学习矩阵 $\mathbf{W}_r$ 投影，与 240 帧各自的平均 Value 向量计算余弦相似度，得分最高的前 $K=16$ 帧被精准命中（对应放下钥匙前后的约 30 秒连续片段）。进入第二轮回答 pass：系统仅将这 16 帧的 KV 缓存与问题 [我在什么位置把钥匙放下了？] 拼接送入模型，显存占用瞬间下降超过 90%，模型基于干净的局部特征直接输出：“你在厨房水槽旁边的木质置物架上放下了钥匙。”整个检索与生成延迟仅增加约 0.5 秒。

损失函数 / 训练策略¶

ReToken 默认在完全冻结原有 VLM（如 Qwen3VL-8B、InternVL3.5-8B）全部权重的前提下进行轻量训练，仅更新检索 token 向量 $\mathbf{X}_r$ 与顶层投影矩阵 $\mathbf{W}_r$。

为解决长上下文检索中正样本极其稀疏（通常单图相关，其余数十至上百张均为负样本）导致的梯度被负样本淹没问题，训练采用类别均衡二值交叉熵损失（Class-balanced BCE）。设 $\mathcal{F}^+$ 与 $\mathcal{F}^-$ 分别代表正样本图像与负样本干扰图像集合，损失函数定义为： $$\mathcal{L}_{\text{ret}} = -\frac{1}{|\mathcal{F}^+|} \sum_{f \in \mathcal{F}^+} \log \sigma\left(\tau s_f^{(N)}\right) - \frac{1}{|\mathcal{F}^-|} \sum_{f \in \mathcal{F}^-} \log \sigma\left(-\tau s_f^{(N)}\right)$$ 其中 $\sigma(\cdot)$ 为 Sigmoid 函数，$\tau$ 为可学习的对数温度缩放系数。正负两项分别独立求均值，彻底消除了负样本数量占优带来的梯度偏差。

对于部分参数微调设置（Partial Fine-tuning），若放开 VLM 前 1~3 层权重以提升视觉表征灵活性，则在检索损失外追加常规的下个词自回归预测生成损失 $\mathcal{L}_{\text{gen}}$ 以防止语言理解能力灾难性遗忘： $$\mathcal{L} = \mathcal{L}_{\text{ret}} + \lambda \mathcal{L}_{\text{gen}}$$ 在训练数据方面，团队从 MIRAGE 数据集中筛选出 70,686 条多图问答（MIQA）样本，并施加了严格的“记忆过滤”（过滤掉不需要看图仅凭语言偏置即可猜对的样本）、“难度过滤”（优先保留注意力有一定正向响应的高质量样本）以及“纯视觉过滤”（剔除无干扰图或偏 OCR 的文本样本）。在单张 NVIDIA H100 GPU 上，冻结 VLM 的训练仅需 3 个 epoch，4 小时即可收敛。

实验关键数据¶

主实验¶

论文在纯视觉大海捞针基准 Visual Haystacks（包含 1~100 张图像干扰）、第一人称长视频问答 QAEgo4D 以及极端长视频基准 LVBench、Video-MME 上进行了详尽测试。下表展示了冻结 Qwen3VL-8B 主干下，Visual Haystacks 在不同干扰图片规模下的准确率变化，以及各主流方法的对比。

方法	模型/检索器	C=2 (1张干扰)	C=10 (9张干扰)	C=50 (49张干扰)	C=100 (99张干扰)
Gemini-1.5 Pro	闭源通用超长模型	82.0	71.9	62.8	57.4
InternVL2	全局全注意力输入	80.5	58.8	OOM	OOM
SigLIP2 (Giant)	外部独立双塔检索器	69.2	64.1	58.7	58.3
MIRAGE	专用多图RAG框架	77.8	70.5	63.6	62.0
Qwen3VL-8B (Vanilla)	冻结VLM直接输入全图	82.0	69.2	58.6	55.7
Qwen3VL-8B + ReToken	冻结VLM + 单Token检索	85.9 (+3.9)	80.7 (+11.5)	72.0 (+13.4)	67.7 (+12.0)
InternVL3.5-8B (Vanilla)	冻结VLM直接输入全图	81.6	69.0	57.3	55.3
InternVL3.5 + ReToken	冻结VLM + 单Token检索	84.1 (+2.5)	76.9 (+7.9)	69.7 (+12.4)	59.7 (+4.4)

在极端长视频理解评测中，仅在多图数据上训练的 ReToken 展现出极为强悍的零样本跨模态泛化迁移能力：在平均时长 68 分钟（最长达 2 小时）的 LVBench 基准上，Qwen3VL-8B 搭载 ReToken 后的问答准确率从 40.6% 暴涨至 48.6%（绝对提升达 8.0 个百分点），在 Video-MME 长视频子集上亦取得稳定增益。

消融实验¶

下表汇总了在 Visual Haystacks（$C=50, K=1$）基准下对核心检索策略、打分特征空间与推理模式的系统性消融。

配置 / 消融项	检索Recall@1 (%)	QA准确率 (%)	说明
ReToken (完整方案: Value空间 + 两轮前向)	64.7	72.0	冻结 Qwen3VL-8B，仅更新 Token 和顶层投影
检索特征空间换为 Key 空间 ($\mathbf{Z}_r \times \bar{\mathbf{k}}_f$)	59.4	70.6	验证了 Value 空间承载更强语义对齐信号
推理方式换为单轮前向逐层稀疏 (Single-pass)	-	50.4	单轮注意力稀疏导致深层检索与浅层表征失配
基线：ReKV (原生 Query-Key 注意力检索)	1.8	51.2	注意力权重在海量干扰下失效，退化至随机猜测
基线：SigLIP2 外部独立检索器	20.8	60.7	跨模型特征空间不匹配且需额外显存
基线：CoT 检索改写 (先生成检索短语再算注意力)	3.1	51.5	语言模型生成的搜索词仍无法修复注意力分配问题
上限参考：GT Cache (直接仅加载真值图KV缓存)	100.0	80.7	理论无检索误差上限

关键发现¶

干扰越多，ReToken 的相对优势越显著：在无干扰的 $C=1$ 下模型维持原有精度，随着上下文规模由 $C=2$ 扩大到 $C=50$，原生 Qwen3VL 准确率暴跌 23.4 个百分点（82.0% $\to$ 58.6%），而 ReToken 仍能守住 72.0% 的高水准，相对增益超过 20%。
Value 空间对语义聚焦至关重要：无论在初步的探索实验还是消融表内，Value 向量点积均在训练收敛速度、正负样本评分裕度（Score Gap）以及最终召回率上全面压制传统的 Key 空间检索，印证了 Transformer 中“Key 负责路由寻址、Value 沉淀语义表征”的深层特性。
任务类型的两极表现：在细粒度实体识别（+10.5%）和关键信息定位（+15.4%）等强依赖单点视觉线索的任务上，ReToken 提升巨大；然而在全局视频摘要（Summarization，-5.2%）任务上反而出现负迁移。这是因为摘要需要全片均匀的时间采样覆盖，而硬性截取局部 Top-K 会损失全局时序上下文。
单 Token 已经达到表征上限：当尝试扩展为 3 个 ReTokens 并平均其得分时，准确率几乎完全持平（$C=50$ 时 72.1% vs 72.0%）。在缺乏显式功能解耦监督信号的前提下，多个 Token 往往收敛至同质化的表征空间。

亮点与洞察¶

内生性极简架构：无需外挂独立的图像检索模型（如 CLIP），也无需重新对检出的图像进行第二遍繁重的特征编码，直接在当前 VLM 解码器内部的 KV 缓存上完成“就地检索”，全过程仅引入单个 Embedding 向量和矩阵 $\mathbf{W}_r$。
重新发现 Value 空间的检索价值：打破了长文本与长上下文处理中盲目沿用 Query-to-Key 注意力权重的思维定式，实证揭示了预训练 VLM 中 Value 空间才是图文语义对齐的高信噪比富集区。
极高的数据与算力迁移效率：仅依靠数万条过滤后的多图 QA 静态数据、在一张消费级 H100 上训练数小时，便能直接零样本外推到超过一小时的真实长视频基准中取得 8.0 点的巨大跃升，展现出底层视听语义定位的通用性。

局限与展望¶

作者承认的局限：ReToken 严格依赖两轮前向传播（首轮粗筛定位、次轮精细回答），相比一步到位的端到端稀疏注意力会增加微小的首字延迟（约 0.4~0.5s）；此外，由于训练仅在静态多图上进行，尚未充分建模复杂的连续动作演化规律。
时序与局部表征瓶颈：当前相似度打分建立在整帧视觉 token 的空间均值向量（Mean Pooling）之上，对于画幅角落微小物体或瞬时动作极易因空间平均而丢失特征；且按单帧独立评分容易截断跨越相邻数帧的因果连续动作事件。
未来演进路径：可探索短序列视频片段（Clip-level）联合打分机制以维持时序连贯性；设计基于局部 Patch 级或可形变网格的细粒度 Value 检索；并针对时序相对关系（如“在某事件发生前”）引入时序相对位置敏感的检索微调。

评分¶

新颖性: ⭐⭐⭐⭐☆ 突破性地揭示了 VLM 中 Attention 与 Value 空间的检索效能差异，提出的单 Token 检索理念设计极为克制巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多图海啸针、第一人称视频及超长视频等多个维度，细致消融了键值空间、单双轮机制与数据清洗效用。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从注意力失效的诊断切入，对比分析严密，方法描述与实现细节极为通透详尽。
价值: ⭐⭐⭐⭐⭐ 为长上下文多模态大模型的工业落地与轻量化长视频理解开辟了一条高性价比的新技术路线。