FrED: External Data Influence Estimation via Domain Knowledge Graph Grounding¶
会议: NeurIPS 2026
arXiv: 2607.21615
领域: 可解释性
关键词: 训练数据归因, 黑盒影响估计, 领域知识图谱, 贝叶斯推断, 扩散模型, 气象预测
一句话总结¶
本文提出一种纯黑盒训练数据归因（TDA）概率框架 FrED，通过将高维连续潜空间相似度与离散领域知识图谱（KG）拓扑证据结合，并以非对称排序增益（Asymmetric Rank Boost）进行层次化融合，在无需访问模型内部权重与梯度的前提下，在 ArtBench 扩散模型归因基准上取得 29.1%（验证集）和 21.3%（生成集）的 LDS 得分，大幅超越现有黑盒基线并逼近参数化梯度方法。
研究背景与动机¶
随着生成式 AI 在艺术创作与科学预测（如地球观测与极端气象预报）中的广泛部署，追踪模型生成产物背后的训练数据来源——即训练数据归因（Training Data Attribution, TDA）——已成为版权溯源、责任界定和物理可信度验证的核心需求。在创意艺术领域，生成模型对特定画家风格的模仿引发了激烈的版权争议；而在气象预测中，像 Pangu-Weather 或 GraphCast 这类黑盒大模型虽然预测高效，决策者却难以分辨其输出究竟源于真实的物理历史先例还是统计幻觉。然而，主流的参数化归因方法（如 Influence Functions、TRAK、D-TRAK、DAS）高度依赖模型内部梯度与海量重训练或投影计算，不仅计算成本高昂，而且在面对闭源商业模型或超大规模气象基础模型时完全失效。
退而求其次的无参数黑盒方法（如像素距离或预训练 CLIP 视觉特征相似度）虽然摆脱了对模型内部参数的依赖，却陷入了“只看表面连续特征、忽视深层领域结构”的困境。深度学习编码器优化的是连续分布上的视觉或数值相似性，对现实世界中稀疏、离散且高度关系化的领域上下文（例如两位画风迥异的画家师出同门，或两个跨国洪灾区域具备相同的生态群落与地表覆盖结构）天然盲视。此外，训练集中大量高频、通用的背景样本会在连续特征空间中形成稠密簇，稀释真正提供关键结构或风格指令的稀有历史样本的归因权重；若简单将连续特征与离散元数据做等权线性融合，又会在图谱元数据缺失或稀疏时破坏主导的连续特征信号。
针对黑盒场景下连续表征缺乏领域结构锚定、且等权多模态融合易受稀疏元数据干扰的核心矛盾，本文提出从贝叶斯后验近似与检索重排的视角重构黑盒归因。核心 idea：将黑盒训练数据归因形式化为结合样本似然支持度与信息稀缺度先验的贝叶斯双空间推断，利用跨模态对比学习或地理空间匹配将生成样本锚定到领域知识图谱，并通过非对称排序增益（Asymmetric Rank Boost）以连续潜空间得分为主信号、以离散领域图谱排序为上下文增益进行层次化重排。
方法详解¶
整体框架¶
FrED 将任意黑盒生成或预测模型抽象为从训练数据对 \(\mathcal{S}=\{(\mathbf{X}_j, \mathbf{T}_j)\}_{j=1}^K\) 到目标生成产物 \(\mathbf{C}\) 的潜空间映射过程，旨在不接触模型内部参数的情况下估计每个训练样本 \(\mathbf{X}_j\) 对 \(\mathbf{C}\) 的影响权重 \(\alpha_j\)。整体流水线分为三条协同链路：首先在连续潜空间与离散领域知识图谱两个独立空间内，分别基于贝叶斯公式计算每个候选样本的似然支持度（经高次幂锐化）与信息稀缺度先验；随后通过跨模态对比对齐（艺术图像场景）或直接地理空间匹配（气象场景）将无元数据的生成目标投射至领域图谱空间以获取离散结构排序；最后通过非对称排序增益机制，用领域图谱的离散排名去动态放大连续潜空间的基础归因得分，输出既符合模型感知特征又忠于领域历史结构的最终归因权重。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：训练样本库 X_j 与黑盒生成目标 C"] --> B["贝叶斯代理与信息稀缺度先验<br/>双空间计算幂次锐化似然 P(C|X_j)^10 与稀缺先验 P(X_j)"]
A --> C["跨模态领域知识图谱对齐<br/>构建 Neo4j 领域图谱，对比学习/地理匹配映射目标 C"]
B --> D["连续潜空间基础得分 S_lat,j"]
C --> E["离散领域图谱结构排序 R_dom,j"]
D --> F["非对称排序增益融合<br/>以 S_lat,j 为主信号、R_dom,j 施加倒数排名衰减增益"]
E --> F
F --> G["输出：最终训练数据归因权重 α_j 与历史先例检索结果"]关键设计¶
1. 贝叶斯代理与信息稀缺度先验：将黑盒反事实影响转化为似然与稀缺度乘积并做幂次锐化
理想的反事实归因需要逐一移除训练样本 \(\mathbf{X}_j\) 并重新训练模型以观测生成概率 \(P(\mathbf{C})\) 的变化，这在黑盒设定下完全不可行。为此，FrED 引入面向排序的贝叶斯代理，将目标产物近似表示为训练集样本的后验加权组合 \(\mathbf{C} \approx \sum_{j=1}^K P(\mathbf{X}_j \mid \mathbf{C})\mathbf{X}_j = \sum_{j=1}^K \alpha_j \mathbf{X}_j\)。根据贝叶斯定理，固定目标下的归因权重正比于似然与先验的乘积：
其中似然项 \(P(\mathbf{C} \mid \mathbf{X}_j)\) 度量样本 \(\mathbf{X}_j\) 在特征空间中对目标 \(\mathbf{C}\) 所在区域的支持程度（由特征余弦相似度度量）；由于生成模型的实际影响往往高度集中在极少数关键训练样本上，直接用原始余弦相似度会导致大量无关样本残留噪声得分，因此本文对似然项施加高次幂非线性锐化（实验中取 \(p=10\)），将微弱相关的背景噪声迅速压向零，同时指数级放大核心因果样本的信号。先验项 \(P(\mathbf{X}_j)\) 则被定义为“信息稀缺度”（Informational Scarcity），摒弃了传统的均匀先验假设，通过评估样本在全局分布或图谱拓扑中的局部密度，对处于稠密冗余簇（如高频通用背景或热门画派中心节点）的样本施加惩罚，并提升稀有、独特样本的先验权重，防止归因结果被高频通用模式垄断。
2. 跨模态领域知识图谱对齐：构建领域拓扑空间并打通无元数据生成样本的图谱映射
连续编码器（如视觉 ViT-g-14 或气象 3D 自编码器）只能捕捉像素纹理或连续物理场数值的相似性，无法感知样本背后的历史传承或生态环境关系。本文针对不同领域构建了原生存储于 Neo4j 图数据库中的领域知识图谱：在艺术领域，联合 WikiArt、Wikipedia 与 DBpedia 抽取画作级属性（流派、体裁、媒介、3,651 个独立标签）和画家级生平关系（师承、受影响关系、活跃年代、所属院校等），构建包含 47,224 幅画作与 1,769 位画家的艺术知识图谱 \(\mathcal{G}_D\)；在环境领域，围绕 1,372 场历史极端洪灾事件，融合半径 10km 内的 iNaturalist 生物多样性观测（9,910 个物种）与 ESA 10m 分辨率地表覆盖数据（11 类地形），构建环境知识图谱 \(\mathcal{G}_E\)，并在图数据库内利用带偏随机游走的 Node2Vec 提取捕获局部与全局拓扑关系的图节点嵌入。由于模型新生成的艺术图像 \(\mathbf{C}\) 不具备任何历史元数据，无法直接在图谱中定位，FrED 采用类似 CLIP 的跨模态对比学习方案，利用带双层归一化（Dual-Normalization，即输入 MLP 前与输出后均做 \(L_2\) 归一化）的非线性投影头将 ViT-g-14 视觉特征与 Node2Vec 图拓扑嵌入映射至 512 维共享语义流形，从而直接计算生成图像与训练图节点之间的域空间相似度并导出离散排名 \(\mathcal{R}_{dom,j}\)；而在具有精确经纬度与时间戳的气象预测场景中，则无需对比映射，直接通过地理空间查询（Direct Geospatial Matching）提取预测区域对应的图谱子图状态进行比较。
3. 非对称排序增益融合：以连续潜空间得分为主信号、离散图谱排序为上下文重排增益
在获得连续潜空间归因得分 \(\mathcal{S}_{lat,j}\) 与离散领域图谱排名 \(\mathcal{R}_{dom,j}\) 后，如何融合两者决定了黑盒归因的成败。如果采用传统的等权倒数排名融合（RRF）或线性加权（如 50/50 混合），不仅会让离散粗粒度的类别关系冲淡生成模型赖以训练的连续特征主信号，还会导致那些在知识图谱中缺失记录或连接稀疏的训练样本遭到不公平惩罚。为此，FrED 设计了层次化的非对称排序增益（Asymmetric Rank Boost）公式：
其中 \(\mathcal{S}_{lat,j} = P_{lat}(\mathbf{C} \mid \mathbf{X}_j)^{10} P_{lat}(\mathbf{X}_j)\) 是连续潜空间给出的基础概率，\(\mathcal{R}_{dom,j}\) 是样本在领域知识图谱空间按 \(P_{dom}(\mathbf{C} \mid \mathbf{X}_j)^{10} P_{dom}(\mathbf{X}_j)\) 排出的离散整数名次，\(W\) 为最大缩放权重，\(k\) 为控制增益随名次衰减速度的平滑常数。该设计的核心巧妙之处在于“主次分明、优雅降级”：当某个训练样本在知识图谱中缺失元数据或排名靠后时，增益项趋近于 0，总得分平滑退化为基础潜空间得分 \(\mathcal{S}_{lat,j}\)，绝不会因图谱不完整而丢弃视觉高度匹配的有效候选；而当多个训练样本在视觉潜空间中得分相近难以区分时，领域图谱的高排名样本将获得显著的乘性加成，利用真实历史脉络或生态拓扑证据打破平局，实现高精度的重排序。
损失函数 / 训练策略¶
在艺术领域的跨模态图谱对齐训练中，模型对一个批次内 \(n\) 对配对的视觉嵌入 \(\mathbf{I}_e \in \mathbb{R}^{n \times 512}\) 与图谱 Node2Vec 投影嵌入 \(\mathbf{G}_e \in \mathbb{R}^{n \times 512}\) 计算温度缩放余弦相似度矩阵 \(\text{logits} = (\mathbf{I}_e \mathbf{G}_e^\top) \cdot \exp(\tau)\)，并最小化对称 InfoNCE 损失：
其中可学习温度参数 \(\tau\) 初始化为 \(0.07\) 并截断上限为 \(100\) 以防梯度爆炸；投影头 MLP 在首层线性变换后接入 Batch Normalization 与比例为 \(0.2\) 的 Dropout，使用 AdamW 优化器（权重衰减 \(10^{-4}\)）配合余弦退火学习率调度器（初始学习率 \(10^{-4}\)）在一张 NVIDIA RTX 5000 Ada（32GB）GPU 上训练 200 个 epoch。在气象领域的潜空间特征提取中，则针对 ERA5 再分析数据的地面变量（2m 温度、海平面气压）与 4 个气压层（1000、850、500、250 hPa）的高空变量训练了一个基于 3D ResNet 的去噪自编码器（100 个 epoch），输出 512 维连续大气潜空间嵌入。
实验关键数据¶
主实验¶
在艺术生成数据归因实验中，作者严格遵循 D-TRAK 评测协议，在 ArtBench-2 和 ArtBench-5 数据集上使用 LoRA（\(r=128\)）微调 \(256 \times 256\) 分辨率的 Stable Diffusion，基于 64 个包含 50% 训练数据的随机子集（每个子集独立训练 3 个随机种子模型）计算线性数据建模得分（Linear Datamodeling Score, LDS，即模型真实输出变化与归因预测和之间的 Spearman 秩相关系数 \(\rho\)，汇报 1,000 个目标样本的均值）。表 1 对比了无参数黑盒方法与需要访问内部梯度的参数化方法（取 100 个时间步配置下的代表结果）：
| 方法类别 | 方法名称 | 需内部梯度/权重 | ArtBench-2 Val (%) | ArtBench-2 Gen (%) | ArtBench-5 Val (%) | ArtBench-5 Gen (%) |
|---|---|---|---|---|---|---|
| 无参数（黑盒） | Raw pixel (cosine) | 否 | 2.50 ± 1.20 | 2.60 ± 1.50 | 1.97 ± 0.41 | 3.22 ± 0.78 |
| 无参数（黑盒） | CLIP similarity (dot prod.) | 否 | 7.30 ± 1.50 | 5.30 ± 2.40 | 5.29 ± 0.45 | 4.47 ± 1.09 |
| 无参数（黑盒） | CLIP similarity (cosine) | 否 | 8.90 ± 1.30 | 8.80 ± 2.20 | 6.57 ± 0.44 | 6.63 ± 1.14 |
| 无参数（黑盒） | FrED (Ours) | 否 | 29.10 ± 0.65 | 21.30 ± 1.65 | 28.90 ± 0.35 | 18.40 ± 1.05 |
| 参数化（白盒） | Gradient (cosine) | 是 | 16.04 ± 0.49 | 10.71 ± 1.07 | 9.85 ± 0.44 | 8.18 ± 1.01 |
| 参数化（白盒） | TracInCP | 是 | 17.83 ± 0.58 | 13.85 ± 1.01 | 10.87 ± 0.47 | 9.02 ± 1.04 |
| 参数化（白盒） | GAS | 是 | 18.04 ± 0.62 | 14.27 ± 0.97 | 10.71 ± 0.48 | 9.13 ± 1.01 |
| 参数化（白盒） | Relative IF | 是 | 27.25 ± 0.34 | 19.78 ± 0.69 | 20.97 ± 0.41 | 19.56 ± 0.62 |
| 参数化（白盒） | TRAK | 是 | 27.28 ± 0.34 | 20.02 ± 0.69 | 21.03 ± 0.42 | 19.54 ± 0.61 |
| 参数化（白盒） | D-TRAK | 是 | 32.38 ± 0.41 | 26.53 ± 0.64 | 27.46 ± 0.37 | 23.85 ± 0.74 |
| 参数化（白盒） | DAS | 是 | 40.77 ± 0.47 | 32.31 ± 0.42 | 37.67 ± 0.68 | 32.77 ± 0.53 |
在环境气象预测跨域案例研究中，作者基于 WeatherBench 2 中 Pangu-Weather 对 2018–2022 年间 237 场极端洪灾事件峰值强度的 24 小时预测，评估检索出的 Top-\(K\) 历史相似洪灾事件与目标事件位于同一国家的地理定位精度（Geographic Precision）：
| 检索方法 | Prec@10 (%) | Prec@20 (%) | Prec@50 (%) | Prec@100 (%) |
|---|---|---|---|---|
| Latent Baseline（仅 3D 自编码器潜空间） | 50.9 | 35.6 | 15.2 | 6.8 |
| FrED (Ours，融合环境知识图谱 \(\mathcal{G}_E\)) | 65.7 | 47.8 | 22.5 | 12.0 |
消融实验¶
表 7 与表 6 系统拆解了双空间模态、非线性幂次锐化指数、信息稀缺度先验以及融合策略对 ArtBench-2 与 ArtBench-5 上 LDS（%）的贡献：
| 模态 / 视觉骨干 | 归因公式或融合配置 | ArtBench-2 Val (%) | ArtBench-2 Gen (%) | ArtBench-5 Val (%) | ArtBench-5 Gen (%) |
|---|---|---|---|---|---|
| Visual (ViT-B/32) | \(p(c\mid x_j)\) (cosine) | 8.90 ± 1.30 | 8.80 ± 2.20 | 6.70 ± 0.70 | 5.50 ± 1.80 |
| Visual (DINOv2) | \(p(c\mid x_j)\) (cosine) | 10.00 ± 1.00 | 10.10 ± 2.70 | 7.30 ± 0.80 | 7.90 ± 2.00 |
| Visual (ViT-g-14) | \(p(c\mid x_j)\) (cosine) | 12.30 ± 1.00 | 11.10 ± 2.30 | 9.30 ± 0.75 | 8.60 ± 1.90 |
| Visual (ViT-g-14) | \(p(c\mid x_j)^5\) | 21.60 ± 0.85 | 18.00 ± 2.25 | 21.00 ± 0.45 | 16.80 ± 1.45 |
| Visual (ViT-g-14) | \(p(c\mid x_j)^{10}\) | 27.00 ± 0.70 | 20.10 ± 1.80 | 27.00 ± 0.30 | 17.50 ± 1.05 |
| Visual (ViT-g-14) | \(p(c\mid x_j)^{10} p(x_j)\) | 28.50 ± 0.60 | 20.80 ± 1.70 | 28.10 ± 0.30 | 18.00 ± 1.00 |
| Domain (\(\mathcal{G}_D\) Only) | \(p(c\mid x_j)\) | 7.80 ± 1.00 | 6.20 ± 1.50 | 6.10 ± 0.85 | 4.60 ± 1.35 |
| Domain (\(\mathcal{G}_D\) Only) | \(p(c\mid x_j)^{10} p(x_j)\) | 20.40 ± 0.65 | 12.40 ± 1.20 | 19.80 ± 0.50 | 10.80 ± 1.35 |
| Hybrid (50/50 线性融合) | \(p(c\mid x_j)^{10}\) | 25.60 ± 0.65 | 17.20 ± 1.70 | 25.70 ± 0.45 | 15.20 ± 1.15 |
| Hybrid (70/30 线性融合) | \(p(c\mid x_j)^{10} p(x_j)\) | 28.00 ± 0.70 | 19.40 ± 1.55 | 26.40 ± 0.45 | 15.40 ± 1.10 |
| Proposed (FrED) | Asymmetric Rank Boost | 29.10 ± 0.65 | 21.30 ± 1.65 | 28.90 ± 0.35 | 18.40 ± 1.05 |
关键发现¶
- 幂次非线性锐化是黑盒相似度跨越式提升的最大功臣：仅在纯视觉模态（ViT-g-14）下，将似然项从一阶 \(p(c\mid x_j)\) 提升至 10 次幂 \(p(c\mid x_j)^{10}\)，ArtBench-2 验证集 LDS 就从 12.30% 暴涨至 27.00%，生成集从 11.10% 跃升至 20.10%。这证明黑盒余弦相似度并非不包含因果归因信号，而是原始分布过于平坦，大量低相关样本的累加噪声淹没了少数关键训练样本的主导贡献。
- 朴素线性混合反而拉低性能，非对称增益才能正收益：当把视觉得分与领域图谱得分做 50/50 或 70/30 线性加权时，ArtBench-2 生成集 LDS（17.20% 和 19.40%）反而低于纯视觉模型（20.80%），因为粗粒度的离散图谱类别给连续视觉信号注入了类别噪声；改用本文的 Asymmetric Rank Boost 后，性能进一步提升至 21.30%（Val 达 29.10%），甚至在验证集上全面超越了 TRAK（27.28%）、Relative IF（27.25%）等白盒二阶梯度近似方法，在 ArtBench-5 验证集（28.90%）上更是超过了专门针对扩散模型设计的 D-TRAK（27.46%）。
- 跨国检索依然保持高生态与物理一致性：在洪灾历史先例检索中，FrED 不仅将 Prec@10 从 50.9% 提升至 65.7%（+14.8 个百分点），而且对于检索出的非同一国家的历史洪灾事件，依然保持了平均 42.1% 的地表覆盖重叠度（Landcover Overlap）和 46.2% 的物种类别相似度（Species Similarity），例如将冈比亚与布基纳法索的西非热带稀树草原洪灾、南苏丹与马里的洪灾精准关联。
亮点与洞察¶
- 用“幂次锐化 + 稀缺先验”点石成金黑盒特征相似度：以往研究普遍认为预训练特征余弦相似度（如 CLIP similarity，LDS 仅 6%~8%）远不如白盒梯度方法；本文揭示其核心症结在于未做非线性幂次锐化与密度去冗余。仅靠更换大容量 ViT-g-14 并引入 \(p^{10}\) 锐化与稀缺度先验，就能在不碰模型梯度的情况下逼近 TRAK 的水平，这一发现对所有黑盒数据归因方法极具启发性。
- 检索式非对称增益避开了多模态融合的“短板效应”：将领域知识图谱作为基于排名的乘性加成项 \(\left(1 + \frac{W}{k + \mathcal{R}_{dom,j}}\right)\) 而非加性并列分支，既保留了连续潜空间的保底判别力，又能在图谱元数据缺失时自动退化回视觉得分，巧妙解决了真实世界知识图谱覆盖率不均的问题。
- 极高的计算效率与通用可迁移性：整套图谱构建与 Node2Vec 嵌入可在纯 CPU（Neo4j GDS）上完成，跨模态对齐仅需单张 32GB 显卡训练轻量 MLP，完全规避了白盒归因对大模型反向传播、存储数百GB梯度投影矩阵的高昂开销，可直接迁移到医学影像溯源、蛋白质设计序列归因等具有现成领域本体库（如 UMLS、Gene Ontology）的黑盒审计场景。
局限与展望¶
- 对高质量外部领域知识图谱的依赖瓶颈：FrED 的重排增益依赖于结构化领域图谱（如 WikiArt/DBpedia 或生态卫星图层）的先验构建，在缺乏成熟外部数据库或专家本体的垂直领域，图谱构建存在较高的工程与领域专家门槛，且静态图谱难以实时反映动态演化的新概念。
- 气象场景缺乏反事实因果验证：由于全球气象大模型重训练成本过高，环境领域的实验仅停留在“基于领域的历史相似事件检索”（评估地理精度与生态重叠度），尚未像艺术领域那样通过子集重训练的 LDS 指标验证被检索出的历史事件是否真正对 Pangu-Weather 的参数更新产生了因果影响。
- 需要访问原始训练数据集：作为一种面向训练样本库的后验打分机制，FrED 仍假设审计者能够获取模型的候选训练集（或其代表性子集）；当闭源模型连训练数据分布也完全保密时，未来需结合互联网定向检索或代理语料库来近似重构候选空间。
相关工作与启发¶
- vs TRAK / D-TRAK / DAS：TRAK、D-TRAK 与 DAS 属于白盒参数化归因方法，通过提取扩散模型去噪网络在各时间步的梯度并做随机投影与核矩阵求逆来估计样本影响，虽然在生成集上精度上限更高（如 DAS 在 ArtBench-2 Gen 上达 32.31%），但必须完全访问模型权重且计算开销巨大；FrED 完全工作在黑盒设定下，仅凭输入输出表征与外部知识图谱就在 ArtBench-5 Val 上超越了 D-TRAK（28.90% vs 27.46%），实现了零梯度访问下的高性价比归因。
- vs 标准黑盒 CLIP Similarity：传统 CLIP 相似度直接在通用图文特征空间计算一阶余弦相似度，既缺乏细粒度风格分辨力，又忽视了高密度冗余样本的干扰与历史拓扑背景，导致 LDS 徘徊在 6.6%~8.9%；FrED 通过升级 ViT-g-14、引入 10 次幂似然锐化、信息稀缺度先验以及领域知识图谱非对称增益，将黑盒 LDS 提升了 2.7~3.3 倍。
评分¶
- 新颖性: ⭐⭐⭐⭐ 将领域知识图谱拓扑与贝叶斯非对称排序增益引入黑盒训练数据归因，视角新颖且跨领域设计自洽。
- 实验充分度: ⭐⭐⭐⭐ 在 ArtBench 上与 10 余种参数化/非参数化基线做了严格的 LDS 对齐评测与详尽消融，但环境领域受限于算力仅做了检索一致性验证而非真实反事实归因。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑脉络清晰，从理想反事实到贝叶斯代理再到双空间非对称融合的数学推导与直觉解释非常流畅。
- 价值: ⭐⭐⭐⭐ 为无法获取权重的闭源生成模型与科学大模型提供了一套轻量、可解释的黑盒数据溯源与历史先例检索方案。