The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric¶

会议: NeurIPS 2026
arXiv: 2607.18237
代码: https://peterwang512.github.io/TPIPS
领域: 多模态 VLM
关键词: 图像感知相似度, 文本引导相似度度量, 视觉语言模型, 细粒度属性对齐, 多模态检索

一句话总结¶

针对传统感知度量（如 LPIPS、DreamSim）将图像相似度坍缩为单一标量而无法区分多维度视觉属性的问题，本文构建了包含 100 万人工标注判断的文本条件三元组感知数据集，并提出支持自由文本提示调控的图像感知相似度度量 TPIPS，显著缩小了机器度量与人类感知共识的差距。

研究背景与动机¶

人类对两幅图像是否相似的判断本质上高度依赖语境与关注维度：两张图片可能在物体轮廓或构型上高度一致，但在颜色色调、表面纹理、光照环境或背景元素上截然不同。然而，过去数十年来计算机视觉领域的感知相似度度量——从早期经典的结构相似性指标 SSIM，到基于深度特征表征学习的 LPIPS 与 DreamSim——无一例外将复杂的视觉感知差异强行坍缩为一个单一的全局标量距离。当面对同时在多个语义和底层维度上存在差异的图像时，单标量度量必然导致排序模糊且产生与人类直觉相悖的冲突结果。

近来虽有研究尝试利用大语言模型或视觉语言模型引入条件相似度判断（如 GeneCIS、FocalLens 等），但这一领域始终缺乏基于真实人类多属性相对感知选择的大规模基准数据集。直接利用现有前沿通用多模态大模型（如 GPT-5.4、Gemini 3.1 Pro、Qwen3-VL 等）进行零样本属性相似度打分或挑选时，由于缺乏针对性微调，模型与人类感知判断之间仍存在多达 9.1% 到 15.8% 的显著共识差距。此外，常规图像图文数据往往粗粒度，无法提供属性条件下的细粒度成对感知监督。

本文的切入角度是：借助可控图像生成与大模型提示工程，构建跨多属性协同变化的高难度相对感知三元组，并通过严谨的人工众包建立属性感知基准，在此基础上微调视觉语言模型以赋予其沿任意文本提示轴进行解耦评估的能力。核心 idea：构建包含百万级人类相对感知判断的文本条件图像三元组数据集，并提出文本提示图像感知相似度度量（TPIPS），通过保证对称性与同一性的早期/后期融合架构，将任意自由文本提示转化为可引导的感知距离函数。

方法详解¶

整体框架¶

TPIPS 旨在学习一个由自由文本条件 $\mathbf{c}$ 调控的成对图像相似度函数 $f_{\theta}(\mathbf{x}_1, \mathbf{x}_2 \mid \mathbf{c}) \in \mathbb{R}$。在整体数据流程与模型流水线中，系统首先通过文生图与大语言模型协同构造高区分度图像三元组并进行属性级人类标注，随后将三元组中的“找异类”（Odd-One-Out, OOO）相对选择通过 Softmax 理论映射为成对相似度分数的互补预测概率，进而通过交叉熵损失端到端微调多模态骨干网络。在模型结构探索上，本文对比并设计了后期融合（Late Fusion）、中期激活差异融合（Mid-Fusion）以及带对称注册令牌（Register Tokens）的早期全注意力融合（Early Fusion）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：图像对 (x1, x2)<br/>与文本条件 c"] --> B["阶段1：多维度感知表征提取<br/>后期 / 中期 / 早期融合架构"]
    B --> C["阶段2：对称与同一性保障机制<br/>共享位置编码与专属注意力掩码"]
    C --> D["阶段3：三元组相对选择概率映射<br/>互补成对相似度 Softmax 转化"]
    D --> E["输出：文本引导的成对相似度分数<br/>与人类感知选择损失监督"]

关键设计¶

1. 多维度感知表征提取：覆盖检索效率与深层交互的三种融合范式 为了在多模态大模型（Qwen3-VL-Embedding-8B）中提取属性可调的感知相似度，本文系统探索并构建了三类融合策略。后期融合将图像 $\mathbf{x}$ 与提示词 $\mathbf{c}$ 独立输入模型，直接提取末尾标记归一化隐状态 $\mathbf{z} = \widehat{g}_{\theta}(\mathbf{x}, \mathbf{c})$，并以余弦相似度计算 $f_{\theta}(\mathbf{x}_1, \mathbf{x}_2 \mid \mathbf{c}) = \widehat{g}_{\theta}(\mathbf{x}_1, \mathbf{c})^\top \widehat{g}_{\theta}(\mathbf{x}_2, \mathbf{c})$，其优势在于可高度预先缓存离线特征以支持海量库检索；中期融合借鉴 LPIPS 思路，从骨干网络各层抽取图像 token 特征 $\boldsymbol{\phi}_{\ell}(\mathbf{x}, \mathbf{c})$，通过文本调节的 MLP 生成逐层动态通道权重 $\mathbf{w}_{\ell}(\mathbf{c})$ 并在通道上施加加权 $\ell_2$ 负距离；早期融合则将两张图像的所有 patch 与文本 prompt 打包输入单一序列，允许图像 patch 间全层交叉注意力交互，从而提供最优的细粒度对应建模能力。

2. 对称与同一性保障机制：无附加损失的内生几何性质约束 早期融合在提供全层密集交互的同时，天生存在输入序列顺序敏感的问题，直接打分会导致交换图像顺序后评分不一致（缺乏对称性）或相同图像自相似度不为 1（缺乏同一性）。本文通过巧妙的注意力掩码与位置编码彻底解决此问题，无需添加任何正则化惩罚项。具体而言，两张图像的视觉 token 被赋予相同的 M-RoPE 空间网格坐标 $(0, h, w)$ 与相同的时序位置 0；序列尾部引入两个共享参数的不可区分可学习注册令牌 $\mathbf{r}_1, \mathbf{r}_2$。通过定制注意力掩码，图像 patch 之间完全互通，但 $\mathbf{r}_1$ 仅能关注文本条件与 $\mathbf{x}_1$ 的 patch，$\mathbf{r}_2$ 仅能关注文本条件与 $\mathbf{x}_2$ 的 patch。最终输出两注册令牌最终隐状态 $\mathbf{h}_1, \mathbf{h}_2$ 的余弦相似度： $$f_{\theta}(\mathbf{x}_1, \mathbf{x}_2 \mid \mathbf{c}) = \frac{\mathbf{h}_1^\top \mathbf{h}_2}{\|\mathbf{h}_1\| \|\mathbf{h}_2\|}$$ 由于掩码结构与权重在两图像槽位间严格对称，输入交换仅交换 $\mathbf{h}_1$ 与 $\mathbf{h}_2$，天然保证 $f_{\theta}(\mathbf{x}_1, \mathbf{x}_2 \mid \mathbf{c}) = f_{\theta}(\mathbf{x}_2, \mathbf{x}_1 \mid \mathbf{c})$；而当 $\mathbf{x}_1 = \mathbf{x}_2$ 时，两分支隐状态必然恒等，严格满足 $f_{\theta}(\mathbf{x}, \mathbf{x} \mid \mathbf{c}) = 1$。

3. 三元组相对选择概率映射：将人类选择行为转化为成对度量监督 人类对绝对相似度评分具有高度的主观不一致性，但对三元组中的相对差异（找异类）判断极为稳定。若人类标注者在三元组 $\mathbf{X}=\{\mathbf{x}_1, \mathbf{x}_2, \mathbf{x}_3\}$ 中判定 $\mathbf{x}_k$ 为条件 $\mathbf{c}$ 下的“异类”，说明其余两张图像之间的相似度高于任何包含 $\mathbf{x}_k$ 的图像对。本文利用 Softmax 选择模型将成对相似度 $s_{ij} = f_{\theta}(\mathbf{x}_i, \mathbf{x}_j \mid \mathbf{c})$ 转化为第 $k$ 张图像为异类的 Logit $\bar{s}_k = s_{ij}$（其中 $\{i, j\} = \{1, 2, 3\} \setminus \{k\}$）。经温度系数 $\tau$ 缩放后，异类预测分布与人类真实投票概率 $\mathbf{y} \in \Delta^3$ 通过交叉熵损失直接监督优化： $$\hat{y}_k = p_{\theta}(k \mid \mathbf{X}, \mathbf{c}) = \frac{\exp(\bar{s}_k / \tau)}{\sum_{m=1}^3 \exp(\bar{s}_m / \tau)}, \quad \mathcal{L}(\theta) = -\mathbb{E}_{(\mathbf{X}, \mathbf{c}, \mathbf{y}) \sim \mathcal{D}} \left[ \sum_{k=1}^3 y_k \log \hat{y}_k \right]$$

损失函数 / 训练策略¶

模型以 Qwen3-VL-Embedding-8B 为基础架构，冻结视觉编码器，仅对语言解码器层应用 LoRA 微调（$r=16, \alpha=32$）。使用 AdamW 优化器，权重衰减设为 0.01，学习率采用前 3% 步数线性预热后余弦衰减（早期融合学习率设为 $1 \times 10^{-4}$，后期融合设为 $5 \times 10^{-5}$）。相似度 Softmax 温度参数 $\tau$ 设为 0.05。全量模型在 8 张 NVIDIA A100 80GB GPU 上基于 22,157 个三元组（覆盖 234,662 个三元组-属性组合）训练 1 个 epoch，后期融合训练耗时约 4.5 小时，早期融合约 8 小时。

实验关键数据¶

主实验¶

主实验在两个基准上进行评测：域内三元组找异类测试集（Odd-One-Out, OOO，随机猜测基线为 33.3%）与由 17 种外部未见视觉生成/图形算法构成的两选一测试集（2AFC，涵盖图像编辑、图像融合、新视点合成 NVS、单图 3D 重建四大任务）。评价指标为模型与人类单体评分者一致率（Agreement with Humans, %），并以人类群体自身采样的共识率（Human Consensus）作为上限参考。

模型类型 / 架构	模型名称 / 骨干	参数量	OOO 测试集 (%)	2AFC 总一致率 (%)	2AFC 图像编辑 (%)	2AFC 3D 重建 (%)
人类共识参考	Human Consensus	—	67.5	89.3	—	—
传统经典度量	LPIPS	62M	46.2	69.5	62.2	65.9
传统经典度量	DreamSim	258M	50.5	72.9	63.7	75.8
前沿闭源 VLM (成对评分)	GPT-5.4	—	55.5	73.7	67.0	71.3
前沿闭源 VLM (成对评分)	Gemini-3.1-Pro	—	58.4	70.7	65.5	70.1
开源通用嵌入基线	Qwen3-VL-Emb.	8B	58.3	73.5	62.9	78.1
本文方法 (Late Fusion)	TPIPS-Late	8B	64.1	77.9	71.2	80.0
本文方法 (Mid-Fusion)	TPIPS-Mid	8B	63.8	75.9	71.2	78.1
本文方法 (Early Fusion)	TPIPS-Early	8B	64.7	79.3	72.5	81.2

消融实验¶

消融实验以 TPIPS 后期融合（8B，100% 数据）和中期融合模型为基线，探究了模型参数规模、训练数据比例以及中间特征层通道权重条件化的影响：

实验组别	消融变体配置	OOO 测试集一致率 (%)	2AFC 总一致率 (%)	结论说明
主模型基准	Late Fusion (8B, 100% 数据)	64.1	77.9	默认基准配置
骨干规模消融	Late Fusion (2B 骨干)	63.7	77.4	仅微弱下降 0.4% / 0.5%，性价比极高
数据量缩放	训练集 20%	62.8	76.6	仅需极少样本即可超越强 VLM 基线
数据量缩放	训练集 40%	63.7	78.0	2AFC 指标在 40% 时已完全饱和达到满数据水平
数据量缩放	训练集 60%	64.0	77.4	OOO 性能在 60% 数据处基本收敛
中期融合机制	冻结骨干仅训通道权重	45.6	72.9	仅学静态通道缩放无法适应多属性，性能崩溃
中期融合机制	通道权重无文本条件调节	59.8	75.1	缺少逐属性动态加权导致跨维度泛化下降
中期融合机制	Mid-fusion 默认配置	63.8	75.9	依赖 LoRA 与动态权重恢复较优性能

关键发现¶

人类感知共识的显著差距被大幅弥合：在无属性微调的情况下，哪怕最强的 GPT-5.4 与 Gemini-3.1-Pro 在 OOO 任务上也仅能达到 55.5%~58.4% 的一致率，与人类共识（67.5%）存在巨大鸿沟。TPIPS 将此差距从 9.1% 强力压缩至 2.8%（Early Fusion 达 64.7%），充分证明现存 VLM 缺乏细粒度属性感知偏置。
跨域与跨生成算法的泛化稳健性：在未见过的 17 种外部视觉算法 2AFC 测试中，TPIPS 取得 79.3% 的总一致率，全面碾压 LPIPS（69.5%）和原始骨干 Qwen3-VL-Emb（73.5%），展现出作为视觉生成与 3D 重建算法统一评估标尺的优异通用性。
数据缩放迅速趋于饱和：在 40%~60% 训练数据量下，模型在跨域算法评估任务上就已完全达到满数据表现，表明该相对选择监督具有极高的样本利用效率。

亮点与洞察¶

结构内生对称性设计：通过 M-RoPE 空间坐标同构与双注册令牌专属掩码（Register Tokens + Asymmetric Readout），在无需添加人工正则项的前提下，数学上严格证明并实现了模型在图文全注意力交互下的对称性与自身同一性。
从“单一感知标尺”到“全景语义解耦”：打破了近十年以 LPIPS 为代表的单标量感知范式，首次通过大规模相对偏好构建并训练出任意文本可控的感知相似度模型。
多向视觉检索与多属性组合搜索落地：TPIPS 后期融合模型支持直接预计算特征向量，不仅能沿单一属性检索反直觉近邻，还可通过简单加权线性组合多属性相似度分数，实现“主体来自图 A、笔触画风来自图 B、配色来自图 C”的组合图像检索。

局限与展望¶

概念纠缠问题（Concept Entanglement）：模型在分离特定属性时仍难以完全摆脱物体身份（Object Identity）的干扰。例如当被询问“物体数量”相似度时，模型给同类物体的配对相似度往往仍高于不同类别物体的配对，属性解耦尚未达到理想的完全正交。
计算开销显著高于传统度量：相较于仅需数毫秒的轻量级特征抽取度量 LPIPS 或 DreamSim，基于 8B 多模态架构的 TPIPS 推理计算开销大几个数量级，目前难以直接作为实时生成模型的密集渲染损失函数。
标注池与提示词分布偏置：合成三元组提示主要来自注重美学质量的 FLUX 数据池，而候选属性由大模型提案，可能系统性遗漏未被语言模型显式捕获的极端视觉畸变与微观缺陷。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出文本引导的任意属性感知相似度度量概念，并建立百万规模三元组相对感知数据集。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖域内 OOO 测试、17 种外部视觉生成算法泛化验证、通用感知基准转移及组合检索等丰富实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密清晰，对三种融合机制的对比与对称性证明深入浅出。
价值: ⭐⭐⭐⭐⭐ 为图像生成、图像编辑、3D 资产重建评估以及细粒度多模态检索提供了全新且极具实用价值的工具基准。