Art Beyond Semantics: Sheaf-Informed Contrastive Learning for Multi-Relational Representations¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5435
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/10590.pdf
代码: https://github.com/antoniopurificato/artistic_sheaf
领域: 多模态VLM
关键词: 艺术理解、关系条件化、层理论、FiLM、图正则对比学习

一句话总结¶

CANVAS 把同一艺术图像或文本按关系类型调制成不同表征，再用训练图的线图热核缓和假负样本惩罚，在三个艺术数据集上取得最好的图到文检索结果，同时不要求推理时提供完整图连接。

研究背景与动机¶

一幅画可以同时对应“画面上有什么”“属于什么风格”“创作于哪个时代”等描述，但这些描述并不是同一种相似性。CLIP 用单一图文嵌入对齐所有关系，容易把历史关联和视觉内容挤进同一种距离；其对比目标又把未配对样本当作负例，可能拉远同一作品的不同说明，或共享艺术家、风格的作品。这里的问题不只是描述数量少，而是模型不知道一次比较究竟在比较哪种关系。

图增强方法能够加入艺术家、年代等背景知识，但论文讨论的部分方法在测试时仍依赖图连接及相关标注。新作品若必须先被标注、连入图，才能得到上下文化表征，部署就不再是单独输入一张图或一段文本的归纳式检索。CANVAS 因而把两个职责分开：训练图负责告诉模型哪些配对相互关联，编码器负责把这种知识学进可独立计算的关系条件表征。

核心 idea：用内容与关系共同决定的 FiLM 映射改变“如何比较”，再把训练图上的结构邻近关系变成软对比目标，使多关系知识进入参数而不成为测试时的图连接依赖。

方法详解¶

整体框架¶

输入是艺术图像、描述文本及连接二者的关系类型。CANVAS 先构建带类型边的图文二部图，用 CLIP 编码内容和关系名称；随后用层理论启发的关系条件化 FiLM 为每个节点产生不同关系下的视图。训练还有一条结构监督支路：把原图的边变成线图节点，通过热核扩散产生软目标，与关系视图之间的余弦相似度共同构成损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["作品、文本<br/>关系标签"] --> B["带类型二部图"]
    B --> C["CLIP 内容编码<br/>冻结的关系编码"]
    C --> D["关系条件化 FiLM"]
    B --> E["线图热核软监督"]
    D --> F["双向对比与 KL 训练"]
    E --> F
    F --> G["图文及关系视图<br/>检索与属性分类"]

推理只运行内容编码与关系条件化变换，不做邻居聚合，也不需要查询训练图。这里的“无需图”不等于“无需关系语义”：关系感知比较仍要确定用哪个关系视图。正文说关系类型可选、可以从文本推断，但具体流程指向未包含在缓存中的附录，不能据此补出一个关系预测器。

关键设计¶

1. 带类型二部图：把一次作品与描述的关联作为训练单位

图的一侧是图像节点，另一侧是文本节点，每条边携带内容、背景、风格等关系名称。同一图像能够连接多个文本，同一文本也可能参与多个关联，所以模型学习的并不是“一图一文”的固定配对清单，而是带关系的图像到文本关联。CLIP 图像编码器与文本编码器提供节点特征；关系名称也通过文本编码器得到向量，但这一路编码器保持完全冻结，避免关系条件本身随内容微调一起漂移。

关键区别在于后续计算以边为索引：同一图像在“风格”边和“年代”边上会各有一个输出视图。这既保留通用 CLIP 主干，又让后续模块知道比较目的。二部图在这里不是测试时供 GNN 传播的邻接表，而是训练配对及结构监督的来源；关系标签的质量因此会同时影响表征条件和训练目标。

2. 关系条件化 FiLM：同一内容在不同关系下使用不同坐标

层理论中的 stalk 是节点或边上的局部向量空间，restriction map 把节点信息映射到边的空间。CANVAS 借用的是这种“先进入关系空间再比较”的思路，实际实现为 FiLM，而不是完整的层扩散 GNN。对于图像侧或文本侧，先拼接节点向量和关系向量，再用三层、带 LeakyReLU 的 MLP 输出逐维缩放与偏移。为明确两侧参数分别由各自内容生成，以下用 node 统一表示任一端点，整理正文公式与文字为：

\[ (\gamma_{node,e},\beta_{node,e})=\phi([h_{node}\oplus h_{r_e}]),\qquad \widetilde h_{e,node}=\gamma_{node,e}\odot h_{node}+\beta_{node,e}. \]

缩放可以压低与当前关系无关的维度，偏移则把视图移到相应关系子空间。映射同时依赖内容和关系，因此不是为每种关系套一个固定线性头，也不能严格等同于预备知识中固定的线性限制映射。模型堆叠 3 层并平均各层输出，得到最后的关系视图；层数为 \(N\) 时，平均规则是：

\[ \widetilde h^{out}_{e,node}=\frac{1}{N}\sum_{n=1}^{N}\widetilde h^{(n)}_{e,node}. \]

这一路不聚合相邻作品或文本。只要给定内容和某个关系，就能独立计算视图；图信息通过学习到的参数起作用，而不是通过测试集邻接关系进入前向传播。它也是方法能处理未连入训练图的新作品的直接原因。

3. 线图热核软监督：相关配对不应被当作完全无关的负例

仅有不同关系视图还不够：常规 InfoNCE 仍会把同一作品的其他关系配对推开。CANVAS 将原图变为线图 \(G'=L(G)\)，原来每条图文关系边现在成为一个节点；两条边只要共享图像端点或文本端点，就在线图中连接。这样，“关系配对之间是否有关联”成为可以扩散的结构。用线图的组合拉普拉斯矩阵 \(L_{G'}=D'-A'\) 计算热核，再逐元素幂变换并按行归一化：

\[ W=\exp(-\tau L_{G'}),\qquad \widetilde W_{ij}=\frac{(W_{ij})^\alpha}{\sum_k(W_{ik})^\alpha},\qquad P=\lambda\widetilde W+(1-\lambda)I. \]

这里的指数是矩阵指数，\(\tau\) 控制扩散范围，\(\alpha\) 调整分布尖锐程度，\(\lambda\) 决定图邻近先验和严格配对身份之间的混合。共享作品的不同描述因此能够得到非零软目标，而不是只有对角线才是正例。它并不把“同风格”直接宣判成与原配对完全等价：目标仍保留身份矩阵，而且热核反映的是图连接而非艺术史事实本身。这也意味着错误或过密的关系连接可能产生不合适的软正例。

一个完整示例¶

以下是机制示意，不是新增实验：一幅画分别连接一条内容说明和一条历史背景说明，形成 2 条带类型边。编码时，图像分别与“内容”和“背景”关系向量组合，产生 2 个视图；两段说明也各自在对应关系下被调制。因此，历史文本不必仅靠画面的物体语义去匹配图像。

这 2 条边共享图像，在线图中成为邻居，热核会为它们建立结构相似性。训练一方面保留各自配对的身份对齐，另一方面减轻彼此作为负例时的惩罚。面对一幅未连入图的新画时，同样的关系视图可以独立计算；至于没有给定关系的用户查询如何选择视图，缓存没有足够细节，不能把这一步描述为已完整验证的自动流程。

损失函数 / 训练策略¶

最后的图像关系矩阵与文本关系矩阵先做逐行 L2 归一化，再计算双向余弦相似度。训练结合双向 InfoNCE 与基于 \(P\) 的双向 KL 项，分别保留精确配对和结构邻近两种监督。依据正文对权重的文字说明，总目标可整理为：

\[ \mathcal L=(1-\eta)\mathcal L_{CLIP}+\eta\mathcal L_{KL}. \]

缓存中公式 (11) 的 KL 参数分隔、概率归一化以及公式 (12) 的部分运算符存在抽取缺损。KL 需要概率分布，不能把原始余弦矩阵直接当概率；这里仅保留可由文字确认的“双方向 KL 对齐软目标”含义，不擅自补温度、softmax 维度或反向目标的再归一化规则。上述 FiLM 与平均、热核、混合目标公式也均按上下文恢复数学排版，而非声称缓存公式完好。

主干为 LAION-2B 预训练的 OpenCLIP ViT-B/32，图像和文本编码器各解冻最后 3 个 Transformer block 及投影头，其余冻结；关系编码器全部冻结。隐空间维度为 512，FiLM 的三层 MLP 隐层宽度为 512、256，堆叠层数为 3。AdamW 学习率为 \(10^{-5}\)，batch size 为 256，训练预算为 50 epochs，梯度范数裁剪阈值为 1.0，验证损失连续 5 epochs 不改善则早停，使用验证集最佳模型。

正文使用 \(\tau=0.7\)、\(\alpha=1.2\)、\(\lambda=0.7\)、\(\eta=0.5\)。计算成本指向附录 A.4，缓存未包含它，因此不能量化增加了多少显存、延迟或热核预处理成本。

实验关键数据¶

主实验¶

三个数据集分别是首次公开的馆藏 HertzianaDP、由 SemArt 加句子级标注及清洗形成的 SemArt+、以及加入 Wikipedia 解释的 WikiArt+。正文声明按 item 划分训练、验证和测试以防泄漏，但精确划分说明在缺失的附录 A.2。HertzianaDP 在 CLIP 预训练时尚未在线公开，因此是作者重点考察潜在预训练泄漏影响较小场景的数据集；这不是从一个数据集训练、直接零样本迁移到另一个数据集的实验。

下表从原文表 1 选择 Recall@10；数值是比例，越高越好。按论文定义，Recall@K 是前 K 个结果中至少命中一个正确匹配的查询比例；T2I 为文到图，I2T 为图到文。

数据集	方法	T2I R@10	I2T R@10
HertzianaDP	CLIP-ft	0.069	0.084
HertzianaDP	SigLIP	0.083	0.022
HertzianaDP	SigLIP-ft	0.058	0.076
HertzianaDP	CANVAS	0.158	0.514
SemArt+	CLIP-ft	0.216	0.131
SemArt+	SigLIP	0.423	0.133
SemArt+	SigLIP-ft	0.446	0.150
SemArt+	CANVAS	0.489	0.714
WikiArt+	CLIP-ft	0.149	0.158
WikiArt+	SigLIP	0.301	0.091
WikiArt+	SigLIP-ft	0.307	0.209
WikiArt+	CANVAS	0.217	0.781

相对原表中最强 I2T R@10 基线，CANVAS 在三个数据集分别增加 0.430、0.564、0.572，即 43.0、56.4、57.2 个百分点。T2I 的结论不同：WikiArt+ 上 0.217 低于 SigLIP-ft 的 0.307，差 9.0 个百分点，不能概括为所有方向均最优。

消融实验¶

原文表 2 只在 HertzianaDP 上开展组件消融，下面完整保留这张小表的四个检索指标。

配置	T2I R@5	T2I R@10	I2T R@5	I2T R@10
CANVAS	0.099	0.158	0.386	0.514
仅 InfoNCE	0.002	0.004	0.525	0.541
仅 KL	0.098	0.156	0.385	0.490
无关系调制	0.002	0.003	0.001	0.002
简单多头投影	0.021	0.040	0.140	0.170

移除关系调制后 I2T R@10 从 0.514 降至 0.002，替换为简单多头后降至 0.170，是支持内容依赖调制的直接证据。只用 InfoNCE 却把 I2T R@10 提到 0.541，同时令 T2I R@10 降至 0.004；组合目标因此提供的是双方向折中，而不是每个指标都超过所有消融。仅 KL 的 T2I R@10 已有 0.156，距离完整模型 0.158 很近。

关键发现¶

I2T 与 T2I 不能直接比较难度。作者指出，一张图有多个有效文本匹配；HertzianaDP 测试集包含 6,874 张图与 12,145 段文本，这种候选与正例结构会影响方向间的差距。
关系信息并非对所有基线以相同形式提供。作者说明 CANVAS 的文本提示包含关系信息，而 CLIP、SigLIP、MSC 不接收关系类型；关系自动推断的细节缺失，比较不能被简化成完全等输入条件下的纯架构增益。
分类表 3 不支持正文“每项第一或第二”的概括。例如 HertzianaDP Artist：CANVAS 为 0.472，低于 ArtSAGENet 0.808、SigLIP-ft 0.650 和 GraphCLIP 0.588。WikiArt+ Period：CANVAS 0.485，也低于 CLIP-ft 0.546、GraphCLIP 0.522。应按具体属性解释结果，而非沿用该概括。

亮点与洞察¶

把关系同时放进表示和监督，比只改其中一端更完整。FiLM 决定在什么子空间比较，线图目标决定哪些其他配对不能被当成完全无关的负例，两者针对的是不同误差来源。
图可用于训练目标而不进入测试前向过程。这为有丰富馆藏元数据、但上线时必须处理新作品的系统提供了可复用路径，也说明“用图训练”和“推理依赖图”不是同一件事。
双方向消融比单一总分更有解释力。InfoNCE 的 I2T 优势和 T2I 崩落提示，检索系统需要按实际查询方向选模型，不能只因为完整目标更复杂就认定它全面更好。

局限与展望¶

缓存包含完整主文与参考文献，但没有附录；正文还保留关系推断的“??”引用。关系自动识别、精确数据划分、计算成本及额外 Precision/NDCG 结果无法核对，不能补写未见的实验。
图统计存在内部不一致：HertzianaDP 的 45,819 张图加 86,321 段文本为 132,140，而正文节点总数写 125,267；SemArt+ 的 34,770 加 62,289 为 97,059，而节点总数写 97,053。缓存没有解释是否采用不同计数口径，复现时需核对。
层理论提供解释框架，但实际是内容依赖的非线性条件映射。现有消融支持它优于简单多头，却没有单独证明严格层结构约束的必要性；不应把结果归因为已验证的层一致性定理。
关系标签、共享文本节点及扩散范围都可能改变假负例与假正例比例。可进一步报告标签噪声、缺失关系、关系长尾与跨馆藏迁移测试；这些是笔记提出的改进方向，不是论文已完成的实验。
主表没有重复运行方差，消融只有一个数据集；WikiArt+ T2I 和若干分类属性仍落后。更全面的结论需要等信息输入对照、跨数据集消融和可核验的推理成本。

评分¶

新颖性: 4/5。将关系条件映射与线图热核监督组合到归纳式艺术检索，问题与机制契合；具体构件已有前作。
实验充分度: 3/5。三个数据集、双向检索与组件消融具有信息量，但对照输入、附录缺失和分类结论矛盾削弱完整性。
写作质量: 3/5。方法主线清楚，然而未解析引用、统计矛盾及部分过强概括增加核验负担；公式缺损也可能来自缓存抽取。
价值: 4/5。对有结构元数据、需要处理未连图新样本的多模态检索很有启发，但不是所有方向和属性的统一最优方案。