Visual Grounding First, Multimodal In-context Learning Follows¶

会议: NeurIPS 2026
arXiv: 2610.30592
论文: https://arxiv.org/abs/2610.30592
领域: 多模态 VLM
关键词: 多模态上下文学习 / 视觉定位 / 命题级对比奖励 / 强化学习 / 幻觉抑制

一句话总结¶

针对多模态上下文学习因视觉定位薄弱导致的幻觉与文字捷径依赖，提出命题级对比奖励强化学习框架 ProCoRe，无需任何 ICL 格式微调数据即可大幅提升跨任务上下文学习泛化能力，并构建 PICL 基准验证跨范畴实体指引效果。

研究背景与动机¶

上下文学习（In-Context Learning, ICL）在纯文本大语言模型中已被证明是一种强大的无需参数更新即可快速适应新任务的能力。然而，将 ICL 推广至多模态大语言模型（MLLMs）时却面临显著瓶颈。多模态 ICL 不仅要求模型识别示范样本中的文字格式，更关键的是要将示范中的具体视觉证据与文本输出绑定，并将这种“视觉-语言关联”精准迁移到待测 Query。现有 MLLM 往往缺乏这一机制，极度偏向依赖语言先验并盲目模仿示范中的文本形式，忽视图像中与任务相关的真实视觉区域，从而产生严重的物体幻觉。

现有改进多模态 ICL 的尝试主要依赖基于特定 ICL 格式的数据进行微调（如 MT-ICL、MimIC）或提取任务向量（Task Vectors）。这类方法虽然在与训练集同源的 ICL 基准上能刷出较高分数，但暴露出了致命的跨基准泛化缺陷：在未知分布或不同任务格式的 ICL 基准上性能急剧衰退，甚至常落后于未经微调的开箱即用模型。更严重的是，用特定的 ICL 格式持续微调还会导致模型对简单 VQA 等通用多模态任务产生灾难性遗忘。由于 LLM 的 ICL 本质上是通用预训练涌现的内生能力，强行依赖 ICL 数据直接训练并不能触碰多模态 ICL 失败的本质病因。

深入分析表明，多模态 ICL 失败的根源在于 MLLM 脆弱的“视觉定位（Visual Grounding）”能力。当示范中出现预训练中常见的高频通用概念（如“猴子”）时，模型尚能凭借语言统计先验勉强对应；但一旦遇到未曾见过的个性化标识（如将特定角色命名为“Jaden”），模型便完全无法将视觉区域锚定到新标识上，退回泛化先验或胡乱猜测。核心 idea：多模态上下文学习无须依赖 ICL 数据微调，通过成对对比样本与命题级强化学习奖励（ProCoRe）强化 MLLM 对细粒度视觉差异的定位能力，并分离独有特征与共享场景上下文，即可作为通用涌现机制全面解锁跨任务的多模态 ICL 泛化。

方法详解¶

整体框架¶

ProCoRe（Proposition-level Contrastive Reward）框架通过对比强化学习直接增强 MLLM 的视觉定位与抗幻觉能力。整个学习过程无需任何预先拼接的多图上下文（ICL）示范，而是使用成对存在细粒度视觉差异的对比图像 $(I_1, I_2)$ 及其配对真实描述 $(t_1, t_2)$（如来自 InpaintCOCO 或 EQBEN）。模型分别对两张图片生成预测描述 $\hat{t}_1, \hat{t}_2$，随后在线将描述拆解为图像各自独有的命题与两者共享的场景命题，通过 Group Relative Policy Optimization (GRPO) 优化命题级对比奖励与共享保持奖励，驱动模型聚焦关键视觉辨识细节并抑制无依据的泛化描述。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据：成对微变图像与真实标注<br/>(I1, t1) 与 (I2, t2)"] --> B["阶段1：细粒度对比图像对构建<br/>引入属性/实体局部差异的成对图像输入"]
    B --> C["模型生成：MLLM 分别生成预测描述<br/>t^1 = f(I1), t^2 = f(I2)"]
    C --> D["阶段2：命题级三路分解<br/>LLM 在线解耦：独有命题 P^1, P^2 与共享命题 P^s"]
    D --> E["阶段3：命题级对比与共享强化学习奖励<br/>图像对比 RI + 文本蕴含 RT + 共享保持 Rs"]
    E --> F["策略更新：GRPO 优化模型权重<br/>在零 ICL 格式样本下强化视觉定位与语义锚定"]
    F --> G["阶段4：个性化上下文评测基准 PICL<br/>剥离预训练先验，评估实体跨帧绑定与上下文迁移"]

关键设计¶

1. 细粒度对比图像对构建：从成对视觉差异提供天然监督 现有方法常依赖人工构造多图多轮的 ICL 格式微调集，数据收集昂贵且极易让模型过拟合特定排版。为了从源头迫使模型关注视觉证据，ProCoRe 引入细粒度对比图像对 $(I_1, I_2)$。两张图像在绝大部分背景和场景要素上完全一致，仅在局部物体类别或属性上存在明确差别（例如同一街道场景下分别是消防栓或停车咪表）。若 MLLM 仅凭模糊的场景先验生成宽泛粗糙的通用文本（如“街道边上的标志物”），该文本就会同时与两张图像匹配，无法形成判别性优势。这种成对微变构造提供了天然的辨识性监督信号，使模型必须通过精准的视觉定位去捕捉局部关键特征。

2. 命题级三路分解：解耦独有辨识特征与共享场景上下文 若直接在全句（Sentence-level）层面上计算对比相似度奖励，会引发模型产生严重的“捷径描述（Shortcut Descriptions）”缺陷：因为共享的背景内容（如“人行道旁边有一块指示牌”）同时出现在正例和负例图像中，描述这些真实的共享细节反而会增加负例图像的余弦相似度，从而扣减对比奖励。这会导致模型被逆向优化成只生成单薄的差异词（如仅输出“这是一个消防栓”），丢弃全局场景细节。为解决该问题，ProCoRe 采用轻量 LLM（如 GPT-4o-mini 或本地小模型 Qwen3-1.7B）在训练中将生成的整句描述在线解构为三个互斥集合： - $\hat{P}_1$：仅属于 $\hat{t}_1$ 针对图像 $I_1$ 的独有命题； - $\hat{P}_2$：仅属于 $\hat{t}_2$ 针对图像 $I_2$ 的独有命题； - $\hat{P}_s$：两幅图像共同满足的共享场景命题。

3. 命题级对比与共享强化学习奖励：平衡细粒度对齐与完整性保护 在命题解耦的基础上，ProCoRe 构建了包含三项子目标的综合奖励函数。首先，独有命题 $\hat{P}_1$ 和 $\hat{P}_2$ 仅参与差异性对比奖励的计算，包括图像-文本多模态对比奖励 $R_I^{(P)}$ 以及基于自然语言推理（NLI）的文本蕴含对比奖励 $R_T^{(P)}$，要求独有命题只与对应图像/正样本标注高度吻合，而远离负样本；其次，引入独立的共享内容奖励 $R_s^{(P)}$，鼓励共享命题 $\hat{P}_s$ 被两幅图像和两个真实标注共同蕴含。最终的复合命题奖励定义为： $$R^{(P)} = \lambda_I R_I^{(P)}(I_1, I_2, \hat{P}_1, \hat{P}_2) + \lambda_T R_T^{(P)}(t_1, t_2, \hat{P}_1, \hat{P}_2) + \lambda_s R_s^{(P)}(I_1, I_2, t_1, t_2, \hat{P}_s)$$ 其中各奖励分量均经过 Sigmoid 函数归一化。通过将视觉权重设为文本权重的两倍（$\lambda_I=2, \lambda_T=1, \lambda_s=4$），该奖励引导策略模型聚焦视觉信号，在维持描述丰富完整的同时强化差异性视觉锚定。

4. 个性化上下文评测基准 PICL：剥离预训练先验的真视觉指引测试 现有标准多模态 ICL 评测普遍使用常见实体类别（如“狗”、“车”），模型即使完全不看示范图片中的实体对应关系，仅凭测试图片自身的视觉特征和预训练语言先验也能蒙对答案。为此，本文设计了 PICL（Personalized In-Context Learning）基准。该基准基于 PororoSV、FlintstonesSV 等连续视觉故事数据集，将其中贯穿出现的角色替换为随机生成的个性化代号（例如将特定粉色海狸命名为“Emma”、恐龙命名为“Charlotte”）。模型必须严格在前面示范的图文对中建立起“该视觉外观 $\rightarrow$ 该专属名字”的视觉绑定，并在 Query 图像中完成实体跨帧匹配与名字迁移，从而彻底排除了利用先验记忆走捷径的可能。

损失函数 / 训练策略¶

模型基于 Group Relative Policy Optimization (GRPO) 开展强化学习训练。在每个训练步骤，MLLM 对对比图像采样生成多条候选描述，经命题分解后计算标量奖励 $R^{(P)}$。训练仅在 LLM 主干的所有线性层上挂载 rank=128 的 LoRA 进行参数高效微调，视觉编码器（CLIP-ViT-B/32）与文本编码器均冻结权重。学习率设置为 $2\times 10^{-5}$，采用 Cosine 退火调度与 Adam 优化器，在仅包含 1,000 对 InpaintCOCO/EQBEN 的小规模对比数据上即可快速完成收敛。

实验关键数据¶

主实验¶

在多模态上下文描述（ICL Captioning）任务中，以 Qwen-VL-3-8B 为基座，ProCoRe 与各类示范检索排序法、任务向量法、ICL 数据微调法以及通用抗幻觉方法进行了全面对比（评估指标为 ROUGE-L）：

类别	方法	ICL 训练集	MS COCO (0-shot)	MS COCO (1-shot)	MS COCO (8-shot)	PICL (0-shot)	PICL (1-shot)	PICL (4-shot)
开箱基准	Off-the-shelf	-	15.53	19.02	25.65	24.50	25.40	29.29
检索/重排	RICES (NeurIPS22)	-	15.53	19.02	25.70	24.50	25.40	28.20
检索/重排	VICL (ACL24)	-	17.41	21.52	27.63	23.12	26.77	29.41
任务向量	MTV (NeurIPS24)	MS COCO	15.84	18.36	19.02	12.11	15.02	17.63
任务向量	FV (ICLR24)	MS COCO	14.56	17.97	25.33	22.31	23.88	28.41
ICL 微调	MT-ICL (ECCVW24)	MS COCO	37.70	42.95	42.48	30.41	29.72	32.02
ICL 微调	MimIC (CVPR25)	MS COCO	29.38	36.06	37.21	21.88	26.41	29.03
ICL 微调	STV (AAAI26)	MS COCO	38.72	44.42	42.95	29.43	30.01	32.27
抗幻觉	PAI (ECCV24)	-	13.92	20.11	23.07	21.74	24.62	27.89
抗幻觉	SPARC (ICML25)	-	33.18	37.73	42.11	24.91	30.12	33.08
本文方法	ProCoRe (Ours)	无 ICL 数据	39.12	46.88	46.03	33.54	36.11	36.76

在跨数据集泛化测试中，ICL 微调基线（如在 MS COCO 上训练的 MT-ICL 和 STV）迁移到 PICL 基准时性能掉幅巨大（4-shot 仅为 32.02 与 32.27），而 ProCoRe 在两个基准上全面取得最优表现。在分类任务 TrueMICL 和 ISEKAI 上，ProCoRe 同样在所有 shot 设置下显著领先，平均多模态分类准确率相对原生模型提升 5.6%，描述 ROUGE-L 提升 13.8%。

消融实验¶

消融实验对比了有监督对比微调（SFT）以及全句级（Sentence-level）对比奖励与命题级对比奖励的性能差异（ROUGE-L）：

配置 / 变体	MS COCO (0-shot)	MS COCO (1-shot)	MS COCO (8-shot)	PICL (0-shot)	PICL (1-shot)	PICL (4-shot)	说明
Off-the-shelf (Qwen-VL-3-8B)	15.53	19.02	25.65	24.50	25.40	29.29	未调整基座模型
SFT (成对对比微调)	19.48	27.92	37.62	22.13	27.88	26.81	仅使用成对数据做交叉熵微调，提升有限
全句级对比奖励 (Sentence-Level)	36.02	45.73	42.58	32.88	34.74	33.41	产生捷径惩罚，多-shot 发生边际性能下降
完整 ProCoRe (命题级奖励)	39.12	46.88	46.03	33.54	36.11	36.76	命题解耦保证了差异性与完整性兼顾

关键发现¶

命题解耦是避免捷径学习的决定性机制：全句级奖励在 8-shot MS COCO 上从 1-shot 的 45.73 下降到 42.58，表现出上下文示范增多时的过拟合退化；而命题级奖励能够稳定维持在 46.03，并在 PICL 上相比全句级提升超 3.3 个百分点。
避免多模态灾难性遗忘：ICL 数据驱动的微调方法（如 MT-ICL、DARA）在基础 VQA 任务（IconQA、TextVQA）上严重掉点（下挫 5~15%）；而 ProCoRe 不仅没有遗忘，反而由于底层视觉定位能力增强，使通用 VQA 得分比原生模型进一步提高。
视觉注意力和抗幻觉指标全面改善：通过目标注意力得分（TAS）评估，ProCoRe 对生成实体在图像目标区域上的平均注意力大幅超越粗暴放大图像 token 权重的基线（如 PAI、SPARC）；在 OpenCHAIR 物体幻觉评测中幻觉率显著下降。

亮点与洞察¶

范式重塑：用定位代替对齐格式：打破了“要提升多模态 ICL 就必须搜集更多 ICL 数据做后训练”的惯性思维，证明多模态 ICL 的瓶颈本质是注意力未能锚定在示范对应的视觉实物上。
细粒度命题解耦与保全：巧妙利用自然语言命题的互斥性与共享性，把对比学习细化至命题级，化解了“突出差异”与“保留共通背景”之间的目标冲突。
极佳的数据与算力性价比：仅需 1,000 对非 ICL 格式对比图像及轻量 LoRA 微调即可获得优于大规模 ICL 标注集训练的泛化表现，且分解可平替为 1.7B 本地小模型。

局限与展望¶

依赖外部命题分解器：训练期间需要调用 LLM 对文本进行在线命题拆分，尽管 API 开销极低（约每样本 0.0004 美元），但仍属于额外的多模型协同链路。未来可探索端到端输出自断句命题标志的轻量机制。
高 Shot 下长上下文视觉注意力衰减：在极端多 shot（如 16-shot 以上）下，海量视觉 token 造成的软注意力分散仍未被完全根除，需要结合更先进的稀疏视觉注意力架构。
复杂复合关系推理仍有提升空间：在 PICL 的 3-shot/4-shot 设定中，需要根据多重交织示范间接推导实体关系，模型仍可能出现链式推理中断。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙切入多模态 ICL 的本质瓶颈，提出了独特的命题级强化学习奖励。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖描述、分类、幻觉率、注意力分布及通用 VQA 遗忘性检验，并构建了高质量 PICL 基准。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层递进，问题定位精准，数学定义与实验证据闭环严密。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型的虚假关联和在上下文推理中的视觉忽视提供了极具启发性的思路。