AttnDiff: Attention-based Differential Fingerprinting for Large Language Models¶

会议: NeurIPS 2026
arXiv: 2604.05502
OpenReview: https://openreview.net/forum?id=WO87YWvex8
代码: https://github.com/zhb0119/AttnDiff
领域: 安全
关键词: 模型指纹, 知识产权保护, 差分注意力, CKA相似度, 奇异值分解

一句话总结¶

通过单词翻转构造受控语义冲突的微扰 Prompt 对，提取跨层注意力差分矩阵的奇异值降维谱描述符，并借助居中线性 CKA 实现强抗微调、剪枝、合并及蒸馏的白盒模型血缘溯源。

研究背景与动机¶

大语言模型训练耗资巨大，开源权重生态在促进繁荣的同时，也导致未授权商用、恶意衍生、跨架构洗版等知识产权侵权风险急剧增加。传统侵入式模型水印需在训练期注入后门触发器或参数标记，不仅会在模型容量与下游性能间产生权衡，且在权重被盗前未植入标记时完全无法提供事后取证能力。为此，非侵入式固有指纹技术成为版权归属认定的核心方向。

然而，现存的非侵入式指纹方案在真实的“模型清洗”（Model Laundering）场景下极易失效。基于权重静态统计的方案在遇到结构化剪枝等架构修改时因张量无法对齐而直接崩溃；基于隐状态或输出 logits 的方案在经历强化学习偏好对齐（PPO/DPO）或大规模领域微调后会产生剧烈特征漂移；基于对抗样本触发器的黑盒指纹极易过拟合且对输入微扰敏感；而基于生成文本的语义指纹则极易被同义改写或风格迁移攻击抹除。造成这种脆弱性的根本症结在于：现有特征要么被动依赖易受扰动的参数与表层分布，要么缺乏对模型深层稳定内在行为的有效激发机制。

受信息路由机制的启发，研究人员发现：当模型被迫解决受控的逻辑语义矛盾时，其自注意力权重的重路由（Re-routing）转移模式呈现出高度的家族谱系一致性，且对下游激进清洗具有惊人的抵抗力。核心 idea：通过单词枢轴替换构造语义蕴含翻转的微扰 Prompt 对，直接诱导受控语义冲突下的差分注意力重路由模式，利用截断奇异值提取紧凑谱描述符，并通过居中线性 CKA 计算跨维度血缘对齐相似度。

方法详解¶

整体框架¶

AttnDiff 的核心执行流程分为三个阶段：探针数据集构建、差分指纹特征提取，以及基于 CKA 的相似度判定。首先，系统在跨领域的陈述句中通过单词枢轴替换注入语义反转，生成 $M$ 对长度接近的原始/破坏提示词对 $(p_i, \tilde{p}_i)$；接着，将提示词输入被测模型，提取因果自注意力概率矩阵，借助二维自适应平均池化对齐偶发的分词长度偏差后计算差分注意力矩阵 $\Delta A = \bar{\tilde{A}} - \bar{A}$；随后利用截断奇异值分解（SVD）提取 Top-K 奇异值构成紧凑谱描述符并展平拼叠为指纹矩阵；最后计算测试模型与基准模型在探针样本间的居中 Gram 矩阵内积，以 CKA 相似度裁决版权归属。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：原始陈述语句<br/>覆盖代码/数学/经济等6大领域"] --> B["受控语义冲突探针构建<br/>单词枢轴替换翻转蕴含关系"]
    B --> C["注意力提取与拓扑对齐<br/>自适应平均池化统一分词长度"]
    C --> D["差分注意力与谱描述符压缩<br/>计算矩阵差并截断SVD保留Top-K奇异值"]
    D --> E["居中线性CKA跨架构相似度判定<br/>构建样本间Gram矩阵测算流形关联"]

关键设计¶

1. 受控语义冲突探针构建：消除表面模式并激发深层重路由动力学
常规提示词下的模型注意力主要被上下文共现统计与提示词表层词法占据，极易受到下游领域微调数据的干扰。为迫使注意力机制暴露出模型固有的信息路由策略，AttnDiff 选用陈述句并引入单词“枢轴替换”（Pivot Substitution）。例如在数学领域将 never 替换为 always，在代码领域将 True 替换为 False，在安全对齐领域将 help 替换为 hurt。该微扰完全保留了上下文句子拓扑结构，仅翻转底层逻辑真值与意图，使得注意力概率的重新分配完全聚焦于语义冲突的消解过程。同时，探针均匀覆盖代码、数学、经济、医学、日常常识与安全对齐 6 大领域（默认 $M=60$），有效防止模型在特定下游任务微调后引发单一领域的局部路由漂移。

2. 注意力拓扑池化与差分矩阵抽取：抵消基础底噪并对齐分词偏差
对于第 $i$ 个探针对中的原句 $p_i$ 与破坏句 $\tilde{p}_i$，模型分词器给出的 Token 序列长度分别为 $N$ 与 $\tilde{N}$。在极少数分词不一致（$N \neq \tilde{N}$）的情况下，若直接截断或补零会引入边界伪影与局部相位错位。AttnDiff 采用二维自适应平均池化（2D Adaptive Average Pooling），将注意力图统一投影至公共分辨率 $N^* = \min(N, \tilde{N})$： $$Y_{u,v} = \frac{1}{|I_u|\,|J_v|} \sum_{r \in I_u} \sum_{c \in J_v} X_{r,c}$$ 在相同的 Token 拓扑分辨率下，对每一层 $l \in \{1,\dots,L\}$ 和每一个注意力头 $h \in \{1,\dots,H\}$，计算差分注意力矩阵： $$\Delta A^{(i)}_{l,h} = \bar{\tilde{A}}^{(i)}_{l,h} - \bar{A}^{(i)}_{l,h}$$ 这一差分操作精准相消了与语义冲突无关的提示词共享基线背景，将特征彻底收敛至模型在处理逻辑反转时的内部路由响应。

3. 奇异值截断谱描述符：实现序列长度不变与主要模式能量解耦
差分注意力矩阵 $\Delta A$ 的维度受输入提示词长度影响，不利于全局向量化匹配。AttnDiff 对每个注意力头提取的 $\Delta A^{(i)}_{l,h}$ 执行截断奇异值分解（Truncated SVD），仅保留前 $K$ 个最大奇异值 $\mathbf{s}^{(i)}_{l,h} = (\sigma_1, \dots, \sigma_K) \in \mathbb{R}^K$ 作为紧凑谱描述符（实验标定最优 $K=3$）。奇异值对 Token 空间的酉变换具有天然不变性，不仅能以极低秩有效捕获重路由能量的主导模式，还滤除了非主导的微弱扰动与高频随机噪声。将所有层 $L$ 和头 $H$ 的描述符串联，即可为第 $i$ 个探针构建长度为 $D = L \times H \times K$ 的实例特征向量 $\mathbf{x}^{(i)}$，堆叠 $M$ 个探针形成最终的模型指纹矩阵 $F \in \mathbb{R}^{M \times D}$。

4. 居中线性 CKA 跨架构度量：解除特征维度依赖并吸收正交重参数化
模型在经历结构化剪枝、通道削减或跨深度蒸馏等改造后，其特征维度 $D$ 与 $D'$ 往往不再相等，传统向量距离度量无法直接计算。AttnDiff 将模型比对转移到探针维度的关系几何上，分别计算线性 Gram 矩阵 $K = F F^\top$ 与 $K' = F' {F'}^\top \in \mathbb{R}^{M \times M}$。利用居中投影矩阵 $H = I - \frac{1}{M}\mathbf{1}\mathbf{1}^\top$ 得到居中 Gram 矩阵 $\bar{K} = H K H$ 与 $\bar{K}' = H K' H$，进而计算居中核对齐指标（Centered Kernel Alignment, CKA）： $$\text{CKA}(F, F') = \frac{\text{tr}(\bar{K}\bar{K}')}{\sqrt{\text{tr}(\bar{K}^2)\,\text{tr}(\bar{K}'^2)}} = \frac{\langle\bar{K}, \bar{K}'\rangle_F}{\|\bar{K}\|_F\,\|\bar{K}'\|_F}$$ 该指标不仅使特征维度不同的异构模型比对成为可能，而且对特征空间的任意正交旋转、置换和各向同性缩放具有严格的数学不变性。理论推导进一步表明，当两模型在探针间关系几何的相对摄动满足 $\|\bar{K}-\bar{K}'\|_F \leq \varepsilon \|\bar{K}\|_F$ 时，满足误差上界 $1 - \text{CKA} \leq 2\varepsilon^2$，为高保真归属判定提供了严格的鲁棒性保障。

一个完整示例¶

以数学领域探针为例，原始提示词为："In Euclidean geometry, two distinct parallel lines never intersect, no matter how far they are extended."，单词替换生成破坏句将 never 变为 always。两句经 Llama-2-7B（32 层、32 头）前向传播后提取所有 1024 个头对应的自注意力概率分布图。若分词长度相同，直接相减得到 1024 个差分矩阵 $\Delta A$；对每个矩阵做 SVD 提取前 3 个奇异值，拼成 $32 \times 32 \times 3 = 3072$ 维特征向量。测试 60 个探针后构建 $60 \times 3072$ 维指纹矩阵 $F$。对比疑似被洗版微调的模型时，仅需计算各自 $60 \times 60$ 的探针关联内积矩阵并求取 CKA 值；若得分 $>0.98$ 则高度置信确认为同源衍生，若评分为 $<0.22$ 则裁定为无关架构。

实验关键数据¶

主实验¶

在 Llama-2-7B 衍生的大规模监督微调（SFT）模型、权重及行为级模型合并（Merge）、结构化与非结构化剪枝（Pruning）三大真实洗版场景下，AttnDiff 展现了显著优于现有基线方案的稳健度。

评估场景 / 衍生模型类型	PCS (参数余弦)	ICS (不变项)	Logits (子空间重构)	REEF (隐藏层激活)	ProFlingo (黑盒触发器)	LLMMap (文本语义)	AttnDiff (本文)
SFT 极轻量 (Finance-7B, 5M tokens)	0.9979	0.9952	0.9999	0.9950	0.2400	0.8986	0.9989
SFT 中等规模 (WizardMath-7B, 1.8B)	0.9965	0.9985	0.9999	0.9979	0.4200	0.7691	0.9985
SFT 激进微调 (CodeLLaMA-7B, 500B)	0.5301	0.5112	0.7833	0.9947	0.2000	0.9555	0.9890
SFT 极端微调 (Llemma-7B, 700B)	0.5052	0.5104	0.6367	0.9962	0.1400	0.8998	0.9856
SFT 场景全量平均 (Avg)	0.8279	0.7902	0.8538	0.9966	0.3000	0.8541	0.9945
模型合并: 权重级 (Evollm-jp-7b vs Abel)	0.9989	0.9988	0.9999	0.9374	0.2800	0.8011	0.9996
模型合并: 异构行为级 (FuseLLM-7B vs MPT)	0.0000	0.1014	0.0000	0.6200	0.1600	0.2413	0.7851
结构化剪枝 (Sheared-llama-1.3b-pruned)	0.0000	0.4927	0.9967	0.9368	0.0400	0.9088	0.9879
非结构化剪枝 (Sparse-llama-2-7b)	0.9560	0.9468	0.9999	0.9985	0.1600	0.8459	0.9996

消融实验¶

消融实验对比了采用单句原始注意力的非差分机制（Origin）与差分注意力机制（Diff）在强适应衍生模型与跨架构无关模型间的区分度表现，并分析了谱截断秩 $K$ 与探针长度对 CKA 判别边界的敏感性。

实验配置 / 比较对象	CKA (Origin 无差分)	CKA (Diff 差分机制)	增量变化 ($\Delta$)	机制分析结论
强领域适应: CodeLlama-7B	0.5134	0.9890	+0.4756	差分相消了领域代码词法基线，恢复内部路由共性
强数学适应: Llemma-7B	0.2902	0.9856	+0.6954	消除数学公式表层偏置，大幅提升血缘识别能力
结构化剪枝: Sheared-LlaMA-1.3B	0.9800	0.9938	+0.0138	拓扑压缩下保持稳定的注意力重路由谱特性
同源衍生模型组全量平均 (Related Avg)	0.8817	0.9937	+0.1120	显著提升各种极端洗版场景下的召回稳定性
无关独立模型: Llama3-8B	0.4751	0.2299	-0.2452	显著压低伪相似度，拉大判决安全裕度
无关独立模型: Qwen2.5-7B	0.4311	0.2165	-0.2146	异构架构间的重路由策略存在本质鸿沟
无关模型组全量平均 (Unrelated Avg)	0.3731	0.1647	-0.2084	将无关架构平均得分从 ~0.37 压至 <0.17
奇异值截断秩 $K=1$	-	0.9928 / 0.2708 (无关)	-	极低秩下无关模型伪相似度偏高
奇异值截断秩 $K=3$ (默认配置)	-	0.9937 / 0.1647 (无关)	-	最佳判别边界：兼顾同源高分与异构低分
奇异值截断秩 $K=10$	-	0.9711 / 0.1476 (无关)	-	引入尾部高频噪声导致同源相似度略有下降

关键发现¶

差分相消机制是抵御数据洪流冲刷的关键：在 Llemma-7B（700B tokens 微调）和 CodeLLaMA-7B（500B tokens 微调）上，非差分原始注意力的相似度暴跌至 0.29 和 0.51，而 AttnDiff 的差分机制相消了特定任务的数据集共现背景，使其相似度回弹并保持在 0.985 以上。
谱描述符压缩提供了恰当的正则化：截断奇异值取 $K=3$ 达到了最优判决信噪比。若 $K$ 过小（$K=1$），信息承载量不足导致无关模型相似度高达 0.27；若 $K$ 过大（$K=10$），次要奇异向量引入了微调阶段的特异性扰动，轻微降低了同源相似度。
CKA 空间判别边界极其宽阔：同源模型在任何微调、剪枝、合并（包括 DPO/PPO 与量化）下的 CKA 得分均稳定在 $0.98$ 以上，而无关模型（如 Llama-2 与 Qwen2.5 或 Gemma-2）的得分均低于 $0.22$，留有高达 $0.76$ 以上的无歧义判决裕度。

亮点与洞察¶

信息路由作为模型固有指纹：跳脱出静态权重比对与易被重写的表层生成文本，提出利用语义冲突下的注意力重分配行为作为“动态脑电图”，首次证明大模型的注意力重路由具有极高谱系专属性与微调鲁棒性。
无须训练的极轻量前向提取：全流程仅需 60 对 Prompt 执行一次单批次前向传播并做低阶 SVD 运算，几秒内即可完成指纹提取，无需任何梯度反传或优化，具备在工业级审核中快速部署的实用性。
探针冷更新免疫自适应规避：针对知晓防御策略的攻击者专门微调以抑制差分注意力的场景，防御者无需更新基准模型，仅需从私有题库中抽取一批全新的未公开枢轴对即可让抑制攻击彻底失效。

局限与展望¶

依赖白盒注意力访问权限：目前 AttnDiff 需要提取 Transformer 的注意力概率矩阵，仅适用于审计已落盘权重、开源模型或接受合规内审的场景，无法直接应用于仅开放文本生成接口的商业黑盒 API。
缺乏端到端洗版扰动的精确解析映射：虽然通过 CKA 摄动理论证明了 Gram 矩阵小扰动下的相似度下界，但尚未建立从参数空间扰动（如 LoRA 权重步长、剪枝比率）到注意力矩阵谱扰动的精确闭式解析传导模型。
混合多源归属解释能力有待深化：在面对多个异构父模型的大比例混合蒸馏或行为级深度融合时，虽然能检出与各父模型的血缘相似性（如 0.78~0.80），但如何精确定量判定各源头的混合贡献百分比仍待进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次发现语义冲突下的注意力重路由具有血缘不变性，立意独到且机制深刻]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 SFT、DPO/PPO、剪枝、合并、蒸馏、量化及 MoE，涉及多模型家族及尺度，数据详实扎实]
写作质量: ⭐⭐⭐⭐⭐ [理论推导完整严密，实验消融与攻击测试完备，结构与逻辑极具说服力]
价值: ⭐⭐⭐⭐⭐ [为开源大模型生态的知识产权取证与洗版追责提供了开箱即用且高度抗造的实际工具]