Personalize Your Large Vision-language Models With In-context Prompt Tuning¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 多模态 VLM
关键词: 视觉语言模型个性化、上下文提示调优、动态 token 路由、环境变化记忆、概念分离

一句话总结¶

ICPT 用共享的自适应概念投影器将多张参考图压缩为标签锚点和变长视觉提示，并通过环境去偏与跨概念分离约束支持冻结 LVLM 的即时个性化，在 LLaVA-NeXT-7B 上将加权存在识别召回率从 MC-LLaVA 的 0.811 提升到 0.868。

研究背景与动机¶

通用视觉语言模型能辨认「一个人」或「一把武器」，却未必知道用户将哪个具体对象命名为 <sks1>。个性化需要建立新标签与视觉身份之间的对应关系，再把这种对应迁移到问答、关系理解和图像描述。直接把参考图片全部塞进上下文虽然不需要更新参数，但会消耗大量视觉 token，而且模型对参考样例的组织方式敏感，容易认错身份或忽略标签。

MyVLM、Yo’LLaVA 和 MC-LLaVA 把身份压缩进软提示，减少输入冗余，却往往需要为新概念扩展词表并单独训练。PLVM 通过额外视觉编码器和提示生成模块避免测试时训练，但本文关心的场景更复杂：多个概念同时出现，每个概念又有多张带不同背景、光照与视角的参考图。此时，提示既要聚合跨图共有身份，又不能把偶然背景当作身份，也不能把相近对象压缩成几乎相同的表示。

本文把问题转化为学习一个可复用的「参考图到上下文表示」映射，而不是为每位用户重新学习模型参数。参考图多不等于应无条件分配更多 token，概念相似也不等于应强行把它们完全正交化。核心 idea：用原生视觉编码器生成紧凑且可动态裁剪的概念提示，在共享训练阶段抑制环境变化方向和过强的跨概念相似性，使新身份在推理时仅靠前向计算即可接入冻结 LVLM。

方法详解¶

整体框架¶

输入由若干概念的标签及参考图、用户问题，以及可选的查询图像组成。每个概念先经自适应概念投影生成一个标签嵌入和最多 20 个视觉提示 token，再经动态 token 路由压缩，最终与查询输入一起交给冻结 LVLM 生成回答。

环境变化记忆和间隔约束概念分离是训练侧的表示正则，不是测试时依次执行的两个过滤器。它们作用于裁剪前的完整提示，其中概念分离还约束标签嵌入；推理只保留投影、路由与模型生成路径。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["概念标签 + 参考图"] --> ACP["自适应概念投影"]
    ACP --> DTR["动态 token 路由"]
    ACP -.->|训练：单图差分| CVM["环境变化记忆"]
    ACP -.->|训练：完整提示与标签| MCS["间隔约束概念分离"]
    CVM -.-> Geo["几何损失"]
    MCS -.-> Geo
    DTR --> Model["冻结 LVLM"]
    Query["问题 + 可选查询图"] --> Model
    Model --> Output["个性化回答"]
    Model -.->|训练：答案监督| Task["答案损失"]

关键设计¶

1. 自适应概念投影：把多张参考图聚合为同一身份的上下文表示

自适应概念投影器（Adaptive Concept Projector，ACP）不另接专用视觉编码器，也不依赖额外分割器先把目标裁出来。它读取 LVLM 原生视觉编码器的第 3 层和倒数第 3 层特征，将较浅的局部细节与较深的语义特征沿通道拼接，再线性映射到语言模型隐空间。这并不等于显式找到了目标边界，而是让后续可学习查询能够从带干扰的参考图中提取有助于区分身份的证据。

投影器使用一层交叉注意力和三层 MLP。固定的 21 个可学习查询分别关注每张图的稠密 patch 特征，得到形状一致的压缩表示；同一概念的多图表示先逐位置求平均，再经共享 MLP 输出一个标签嵌入和 20 个完整视觉提示 token。图像数量因此不会直接线性增加最终上下文长度，但平均聚合也意味着模型需要学会把不同视图对齐到相同查询槽位，而非只拼接多个图像摘要。

标签嵌入是语义锚点，视觉提示提供身份细节。输入仍保留 <sks1> 这样的文本标记，其组织形式为 <sks1> is w1 : P1：模型可利用原有词表输出该字符串，不需要为每个用户永久新增词表项。这里的 w1 与 P1 是连续嵌入的示意位置，不是要求用户把这些字母作为描述文本输入。

2. 动态 token 路由：训练时软门控，推理时真正缩短上下文

动态 token 路由器（Dynamic Token Router，DTR）对完整视觉提示的每个 token 应用线性评分头和 Sigmoid，得到介于 0 与 1 之间的保留分数。训练时不立即删除 token，而是按分数缩放每个 token，保证生成损失可以通过门控反向传播；推理时只保留分数大于 0.5 的 token，并保证每个概念至少留下一个视觉 token。标签锚点始终保留，不受裁剪影响。

用原文的符号，软门控和推理保留集合可以概括为：

\[ P_i=s_i\odot P_i^{\mathrm{full}},\qquad \mathcal{S}_i=\{\ell:s_{i,\ell}>\tau\},\quad \tau=0.5. \]

其中乘法按行广播；空保留集合时仍需满足至少保留一个 token 的约束，正文未说明具体兜底选择规则。动态长度并不是先显式计算一个「视觉复杂度分数」再查表分配预算，而是通过答案监督与稀疏惩罚共同学习哪些提示 token 值得保留。软掩码训练与离散裁剪推理也存在差异，因此阈值和容量需要实验选择。

3. 环境变化记忆：用同身份跨图差分学习应被忽略的方向

环境变化记忆（Contextual Variation Memory，CVM）处理的是「参考图中的哪些变化不应改变身份」。训练中，对具有至少两张参考图的概念随机选取一对图片，复用 ACP 已经计算的单图表示，绕过多图平均，分别经过共享 MLP 得到完整视觉提示，再作差并按 Frobenius 范数归一化。差分矩阵进入容量为 128 的 FIFO 队列，旧样本随新样本进入而移除；这不是用于测试时检索用户身份的记忆库。

该设计假设同一概念跨图保留了稳定或相关的身份成分，因此作差后这些成分大体抵消，剩余方向更多反映背景、光照等状态变化。对于当前聚合后的完整提示，几何正则抑制其与记忆方向的 Frobenius 内积；双方归一化后，该内积等价于矩阵向量化后的余弦相似度。约束在完整提示上施加，避免动态长度导致不同概念和记忆条目无法直接比较。

论文定理 1 的含义是有限的：若提示与记忆张成的子空间严格正交，则查询状态变化落在该子空间内的分量不再贡献相似度误差，剩余误差由子空间外残差的范数界定。它并未证明实际软正则能达到严格正交，也没有保证新环境全部落在已学习的变化子空间中；身份与环境能否通过差分分开仍是关键假设。

4. 间隔约束概念分离：区分相近身份，但不抹掉共有语义

间隔约束概念分离（Margin-constrained Concept Separation，MCS）同时处理视觉提示重叠与标签锚点重叠。若两个概念都是不同的狗，强制二者毫不相似会损害「狗」这一共有语义；但允许它们无限接近又会导致标签串用。因此，方法对不同概念的归一化完整提示及归一化标签嵌入分别施加相似度上限，超过间隔才产生分离压力。

默认间隔为 0.15，保留一定正相似性，而不是把所有概念拉到完全无关的位置。CVM 抑制环境变化方向，MCS 限制不同身份之间过高的相似性，两者解决的是不同混淆来源。图 6 中仅约束标签的退化比仅约束视觉提示更明显，说明这组实验中的主要混淆来自视觉空间，但双模态共同约束仍更有效。

一个完整示例¶

以原文图 3(a) 的三个概念为例，<sks1> 表示一件武器，<sks2> 与 <sks3> 表示两位角色。首先，分别编码每个概念的参考图，按概念内部聚合，得到三组标签锚点与完整视觉提示；每组最多有 20 个视觉 token，且不会将三个概念的参考图混在一起求均值。

接着，DTR 独立裁剪三组视觉提示，并保留全部标签锚点。正文报告的平均长度为每概念 13.6 个 token，但没有给出这个具体样例的裁剪长度，因此不能把平均值当作该例的实际 token 数。把三组概念定义与查询图一起交给 LVLM 后，模型需要同时识别谁持有什么、谁与谁交战，再用用户标签生成描述；输出应关联到 <sks2> 持有 <sks1> 并与 <sks3> 交战，而不是只说「两个人正在打斗」。

这条推理路径没有为这三个新身份执行梯度更新，也不在线构建 CVM 正则损失。环境去偏与概念分离能力来自此前共享 ACP 的训练；如果没有查询图，模型仍可回答基于参考概念的外观问题，但无法据此得知未观察到的新场景关系。

损失函数 / 训练策略¶

训练冻结 LVLM，只更新 ACP 与 DTR。总体目标由答案 token 的交叉熵、几何正则和路由分数稀疏惩罚组成，按正文描述可写为：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{VQA}}+\alpha\mathcal{L}_{\mathrm{Geo}}+\beta\mathcal{L}_{\mathrm{Spa}}. \]

答案交叉熵以问题、可选查询图、概念锚点和软掩码提示为条件，平均计算目标答案序列的负对数似然。几何项联合 CVM 与 MCS；缓存中原式 (12) 严重损坏，无法可靠确认全部归一化因子和惩罚展开式，因而这里不猜补其精确公式。稀疏项是所有概念与候选视觉 token 的路由分数均值：

\[ \mathcal{L}_{\mathrm{Spa}}= \frac{1}{|\mathcal{C}|L_{\max}} \sum_{i\in\mathcal{C}}\sum_{\ell=1}^{L_{\max}}s_{i,\ell}. \]

稀疏项鼓励少用 token，答案损失则阻止模型仅靠把所有分数压小来完成优化。LLaVA-NeXT-7B 使用 \(\alpha=0.3\)、\(\beta=0.5\)；AdamW 学习率为 \(10^{-4}\)，批大小为 8，MLP 隐层宽度是 LVLM 嵌入维度的 2 倍，采用 GeLU。实验使用两张 NVIDIA H200，不应把无需测试时训练误解为没有离线训练成本。

训练集有 350 个概念，每个概念准备 10 张参考图，每次训练抽取 1 至 6 张且数量分布非均匀。2000 张查询图各包含 0 至 5 个概念，候选问题由 Gemini3.1-Pro 生成，并经两轮人工筛选，每图保留 5 个问题；单概念与多概念样例分别占 35% 和 60%。正文未明确单列剩余比例的构成，不能直接将其全部解释为无概念负样例。

实验关键数据¶

主实验¶

自建测试集包含与训练集不重叠的 200 个概念，每概念 1 至 6 张参考图；300 张查询图包含 0 至 6 个概念，6 概念是相对训练分布外的设置。论文报告单概念 1050 例、多概念 2100 例，其中包括 150 例无查询图的开放问答。除训练中出现的存在识别、选择问答和图像描述外，还评测未用于训练任务类型的开放问答。

下表摘自原文表 1，均为 LLaVA-NeXT-7B 上论文给出的加权结果，不是四项指标的共同总分。存在识别用召回率，MVQA 用准确率，OVQA 用 BLEU，描述分数是概念召回率与 DeBERTa-v3-large 描述嵌入相似度的平均；不同列不可当成同一种准确率直接比较。

方法	存在识别	MVQA	OVQA	图像描述
GPT-4o + ICL	0.702	0.661	0.619	0.630
ICL	0.608	0.630	0.504	0.188
PLVM	0.769	0.692	0.628	0.559
MC-LLaVA	0.811	0.733	0.644	0.587
ICPT	0.868	0.791	0.702	0.654

ICPT 相对 MC-LLaVA 的四项绝对增益分别为 0.057、0.058、0.058、0.067。表 1 中 OVQA 单概念为 0.716 对 0.689，多概念为 0.697 对 0.630，对应增益 0.027 与 0.067；正文结果讨论将这里称作 single-image/multi-image，但表头实际是 Single/Multi concept，本笔记按表头解释，不将其当成独立的参考图数量实验。

表 2 提供跨骨干分析。为控制表格规模，下表只列 PLVM 与 ICPT 的加权存在识别和 MVQA，证明的是在各骨干上分别适配后的效果，不是同一 ACP 权重直接跨骨干复用。

骨干	PLVM 存在识别	ICPT 存在识别	PLVM MVQA	ICPT MVQA
LLaVA-NeXT-34B	0.782	0.904	0.704	0.822
InternVL3-8B	0.773	0.932	0.723	0.896
Qwen3VL-8B	0.792	0.950	0.805	0.879

消融实验¶

图 4 至图 6 的缓存保留了实验设置和正文解读，但曲线及柱状图没有可可靠读取的逐项数值。下表因此只记录有原文支持的定性结论，不制造数值落差。

配置或分析	原文结论	证据
去掉 CVM、MCS 或几何损失	单概念和多概念均受损，多概念收益更大	图 4、§4.3
DTR 对比相同比例随机裁剪及不裁剪	容量增大并非持续有益，动态裁剪有助于抑制冗余	图 5、§4.3
MCS 仅标签或仅视觉提示，间隔 0.15	仅标签约束退化更大，双模态约束更好	图 6、§4.3
MCS 间隔从 0.15 改为 0	过强分离削弱共有语义先验的作用	图 6、§4.3

关键发现¶

多概念 OVQA 的增益大于单概念：0.067 对 0.027，符合缓解跨概念混淆的目标，但这不能替代对真实开放世界身份泛化的检验。
平均每概念使用 13.6 个 token，低于 MC-LLaVA 的固定 16 个；§4.4 报告全测试集推理延迟相对 PLVM 和 MC-LLaVA 分别降低 12% 和 18%，没有提供可供这里复核的毫秒级绝对延迟。
原文表 3 的 MMPB 跨模型平均分为 ICPT 0.853、MC-LLaVA 0.824、PLVM 0.814，支持收益并不只出现在自建测试集；它与表 1 的分项指标不是相同聚合口径。

亮点与洞察¶

标签与视觉证据显式分工，使模型既有可输出的名字，又有可比较的身份特征。这比只压缩一段视觉表示更直接地对齐了个性化问答的输入输出需求。
CVM 存储的是变化方向而非身份原型，把跨训练概念共享的环境扰动变成正则信号。其可迁移价值在于学习「哪些变化不该改变判断」，但要先验证差分是否真的保留较少身份信息。
MCS 用有限间隔而非无条件拉远概念，承认可区分身份仍应共享类别语义。这种表示约束适合细粒度概念扩展，而不要求重写整个模型知识。

局限与展望¶

原文将更多失败案例、数据多样性分析和超参数消融放在附录，但当前缓存止于参考文献。这里不能核验那些细节，也不能据此声称已验证全部失败模式。
CVM 依赖同身份参考图中的稳定成分可相互抵消；姿态、遮挡和目标外观变化也可能进入差分。后续应区分身份变化与背景变化，并检验未见环境中的残差，而不是只依据正交性定理推断鲁棒性。
召回率和 BLEU 不足以完整描述个性化可靠性，还应报告不存在概念的误报、相似身份替换、隐私风险以及更大概念集合下的混淆。本文最多评测查询图中 6 个概念，不能外推到无限扩展的个人知识库。
原文采用合成参考图和模型生成问题后人工筛选，虽明确排除了训练概念重叠，仍可能存在视觉风格与标注偏差。真实用户采集数据、置信区间及绝对时延有助于判断部署价值。

评分¶

新颖性: 4/5。将多图提示生成、动态预算和两类几何约束结合，重点解决多概念即时接入。
实验充分度: 4/5。覆盖四个骨干与四类任务，但附录不可核验，正文缺少误差区间与绝对时延。
写作质量: 3/5。框架与动机清晰，结果讨论存在概念数与图像数的术语混用，缓存公式损坏限制精确复现。
价值: 4/5。为冻结 LVLM 提供可复用的个性化接口，对多身份问答有实用启发，但大规模真实用户验证仍不足。