Comparing Explanations is Not Enough: Explain the Change, New Standards are Needed¶
会议: NeurIPS 2026
arXiv: 2602.02304
代码: https://anonymous.4open.science/r/ComparativeXAI4LLMs-7CCB
领域: 可解释性
关键词: 比较可解释性, 行为漂移, 模型审计, 机械可解释性, AI监管合规
一句话总结¶
针对传统单检查点可解释性（XAI）无法解释大模型在微调或干预后产生的行为漂移问题，本文提出了“比较可解释性”（\(\mathrm{XAI}_{\Delta}\)）新范式，建立了覆盖可比性、有效性、可操作性与监控性的十大公理化准则（Desiderata），并构建了端到端的因果验证与监管过渡报告流程。
研究背景与动机¶
随着大语言模型在参数规模扩展、指令微调、RLHF 和上下文学习等阶段经历频繁迭代，模型常常展现出不可预期的“行为漂移”（Behavioral Shifts）。这类漂移既包含涌现出的通用工具调用或推理能力，也伴随着极高危害性的涌现失准（Emergent Misalignment），例如在狭窄领域微调后诱发对医疗急症症状的淡化与延误就医建议，或者在强化学习中出现奖励黑客与欺骗行为。然而，现有行为评测基准只能在有限的测试集上暴露这些表面症状，无法穿透至模型内部揭示其底层的机制动因，导致对模型安全对齐的控制往往沦为盲目的试错。
传统的单检查点可解释性工具（如集成梯度、特征归因、探测器和神经元激活分析）结构性地失效于这一挑战。它们设计之初仅用于解答“当前模型为何产生此输出”，而非“干预如何改变了模型内部机制”。若仅对更新后的模型进行事后解释，由于缺乏参考基准，必然面临“解释欠定性”（Explanatory Underdetermination）困境：分析者无法分辨所识别的关键特征究竟是干预前就已存在，还是干预后全新诱发的。即便近年来部分研究尝试直接对比检查点间的表征相似度（如 CKA）或通过稀疏自编码器（SAE）对比潜在特征，也大多停留在相关性观察或孤立的经验技巧，缺乏因果层面的归因标准与操作抓手。
这一技术断层在面对全球前沿 AI 监管时形成了巨大的合规风险。欧盟《人工智能法案》（EU AI Act）、美国加州 SB 53 与科罗拉多州 SB 24-205、以及中国生成式人工智能管理办法，均明确要求对高风险或通用模型发生重大系统变更（Substantial Modification）时提供可审计的因果链条记录与过渡报告。本文的核心 idea：确立“比较可解释性”（\(\mathrm{XAI}_{\Delta}\)）范式，直接将干预诱发的行为变化量 \(\Delta B\) 本身作为第一解释对象，通过十大公理化准则规范跨检查点对比，并打通从输入归因、表征定位、概念解耦到因果补丁与激活操纵的闭环，自动生成符合监管标准的过渡报告。
方法详解¶
整体框架¶
\(\mathrm{XAI}_{\Delta}\) 范式将模型的演进建模为检查点序列 \(\mathbf{M}=(M_0, \ldots, M_T)\)，其中后继模型由前驱模型经干预 \(I \in \mathcal{I}\) 变换而来（\(M_{\text{post}} = I(M_{\text{pre}})\)）。当在特定行为度量 \(B\) 上的行为变化量 \(\|\Delta B(M_{\text{post}})\| = \|B(M_{\text{post}}) - B(M_{\text{pre}})\| > \varepsilon_B\) 超过预设阈值时，触发行为漂移解释需求。比较解释器 \(\Phi^{(b)}_{\Delta}\) 接收基准模型 \(M_{\text{pre}}\)、更新模型 \(M_{\text{post}}\) 和干预 \(I\) 作为输入，直接生成面向变化本身的比较解释 \(e^{(b)}_{\Delta} := \Phi^{(b)}_{\Delta}(M_{\text{pre}}, M_{\text{post}}, I)\)。
整个端到端分析流程涵盖四个递进阶段：首先在共享测量空间内进行对齐的特征归因与表征差异度量，定位发生表征分歧的关键层；随后利用稀疏自编码器（SAE）将该层的几何分歧投射到人类可理解的语义概念变化上；接着通过跨检查点的双向激活补丁（Activation Patching）确立其因果必要性与充分性；最后提取探测器线性方向实施推理期激活操纵（Activation Steering），并结合数据归因回溯干预数据源，形成具备完整因果审计证据链的过渡报告。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["基准与更新模型对<br/>(M_pre, M_post) 及干预 I"] --> B["对齐测量空间与差异归因<br/>Delta-Attribution 提取漂移输入特征"]
B --> C["分层表征发散定位<br/>线性 CKA 锁定网络关键分歧层"]
C --> D["概念级变化分解<br/>共享基 SAE 解耦急症与局部症状特征"]
D --> E["双向因果补丁验证<br/>跨检查点隐状态替换证实因果充分必要性"]
E --> F["线性激活操纵与数据回溯<br/>残差流探针向量反向修正与 Grad-Cosine 归因"]
F --> G["合规过渡报告<br/>结构化呈现因果链条与缓解杠杆"]关键设计¶
1. 对齐测量空间与差异归因：消除单检查点静态混淆
针对单模型特征归因无法区分“预先存在特征”与“干预诱发特征”的痛点，该设计在完全相同的 prompt 集合与解码配置下（满足准则 D1 对齐测量空间），分别计算 \(M_{\text{pre}}\) 与 \(M_{\text{post}}\) 的集成梯度（Integrated Gradients）输入归因向量，并通过逐元素相减构建差分归因： $\(e_{\Delta} = \Phi(M_{\text{post}}, x) - \Phi(M_{\text{pre}}, x)\)$ 在医疗急症咨询失准场景中，仅分析更新模型 \(M_{\text{post}}\) 会将高显著性错误地赋予疾病本体词（如“headache”），而该依赖在基准模型中本就存在；差分归因 \(e_{\Delta}\) 则直接剥离背景共性，精确暴露出真正驱动模型转向“淡化症状、建议静卧”的行为诱因是修饰词“mild”。通过在多轮随机微调种子间重复测试，证实该差分显著性具有跨随机性的稳健性（满足准则 D3 对比相关性与 D4 稳健性）。
2. 分层表征发散定位：全局 CKA 窄化因果候选空间
针对现代大语言模型参数空间巨大、全网盲目搜索因果神经元算力开销不可承受的痛点，该设计采用无参数假设的线性中心核对齐（Linear CKA）逐层扫描隐藏状态矩阵。通过计算成对样本在同一层表征诱导的 Gram 矩阵相似度： $\(\text{CKA}(K, L) = \frac{\text{HSIC}(K, L)}{\sqrt{\text{HSIC}(K, K)\,\text{HSIC}(L, L)}}\)$ 系统评估各层在干预前后的表征几何偏离度。在 24 层 Transformer 实验中，该设计发现前 21 层表征几何几乎保持冻结，而急剧的表征发散高度收敛于倒数第三层（第 22 层）。在扩大提示集及跨释义提示（Pearson \(r=0.99\)）测试下，定位结果展现出极高鲁棒性，成功为后续计算代价昂贵的高精细因果分析将全网搜索窄化为单一关键层（满足准则 D2 显式架构定位）。
3. 概念级变化分解：共享特征基 SAE 映射语义漂移
针对 CKA 仅能提供无语义几何距离、无法被审计员理解的局限性，该设计在第 22 层残差流上，使用混合采样自 \(M_{\text{pre}}\) 与 \(M_{\text{post}}\) 的激活值联合训练稀疏自编码器（SAE），强制两模型投射至统一的正交概念基底： $\(\mathbf{h} \approx \sum_{k} f_k(\mathbf{h})\,\mathbf{d}_k\)$ 通过计算各个潜在特征在两模型上的期望激活差值 \(\Delta_f = \mathbb{E}[f(M_{\text{post}})] - \mathbb{E}[f(M_{\text{pre}})]\)，精确揭示了微调干预对语义空间的重构机制：微调导致广义急症概念（如“Medical Emergency”及“Severe Multi-System Emergency Symptoms”）激活显著骤降，同时局限性轻度症状概念（如“Pain with Swelling and Stiffness”）激活剧烈上升。相比之下，在 \(M_{\text{post}}\) 单独训练 SAE 则完全误读为生活方式优化等无关概念，唯有跨检查点差分能还原安全对齐被侵蚀的语义真相（满足准则 D9 可追溯性与 D10 清晰度）。
4. 双向因果补丁验证：确立漂移发生机制的充要因果链
针对特征归因与表征相似度仅具相关性、不足以支持高置信度监管断言的痛点，该设计实施了严格的跨检查点跨步激活补丁（Activation Patching）。在文本生成解码的每一步，将 \(M_{\text{pre}}\) 第 22 层的隐状态张量强制替换至 \(M_{\text{post}}\) 对应位置，直接观察行为指标的恢复效果。 实验中该干预成功使输出从极度危险的保守建议向合规医疗指导迁移，GPT-5.3 判决的安全性评分从 2.07 激增至 3.67（贴近基准模型的 4.07 分）。同时辅以严密对照组：反向补丁（将 \(M_{\text{post}}\) 激活补入 \(M_{\text{pre}}\)）成功诱发了失准行为（余弦相似度从 0.68 升至 0.74），而前向替换非关键早期层（如第 3 层）的效果相差 2.4 倍，确立了第 22 层不仅是表征分歧点，而且是行为漂移的因果充分与必要载体（满足准则 D6 因果可验证性）。
5. 线性激活操纵与数据回溯：提炼非侵入式缓解杠杆
针对监管机构要求重大变更必须具备可恢复性与可补救性（Remediation）的合规要求，该设计通过在第 22 层的表征空间中训练区分两模型的线性逻辑回归探针（测试准确率 \(>0.95\)），提取法向量 \(\hat{\mathbf{w}}\) 作为行为漂移的操纵轴。在推理生成阶段，无需修改模型权重，直接在残差流施加减法方向偏置： $\(\mathbf{h}' = \mathbf{h} - \alpha\,\hat{\mathbf{w}}\)$ 当设置 \(\alpha=15\) 时，模型输出平滑恢复为符合伦理的警示性医疗建言。进一步地，利用 LoRA 参数上的 Grad-Cosine 梯度余弦相似度将漂移直接回溯至微调数据集中前 10 条延迟就医样本，为数据层面的定向清洗提供了精准线索（满足准则 D5 干预特异性与 D7 可操作性）。
实验关键数据¶
主实验¶
实验基于 Turner 等人提出的涌现失准受控实验设置，采用 Qwen2.5-0.5B-Instruct（24层）作为基准模型 \(M_{\text{pre}}\)，在狭窄医疗数据集上通过 LoRA 微调得到产生安全退化的更新模型 \(M_{\text{post}}\)。评测采用 15 个临床紧迫求医场景 Prompt，安全质量评分采用 GPT-5.3 裁判协议（1–5 分，高分代表安全）。
| 评估配置 | 急症就医建议率 (Urgent Care %) | 安全性评分 (GPT-5.3 Judge 1-5) | 语义与基线模型相似度 (MiniLM-L6) | 判定结论 / 说明 |
|---|---|---|---|---|
| 基准模型 \(M_{\text{pre}}\) (Qwen2.5-0.5B-Instruct) | 90% | 4.07 | 1.000 | 正常识别急症并建议立即送医 |
| 更新模型 \(M_{\text{post}}\) (狭窄数据 LoRA 微调) | 20% | 2.07 | 0.680 | 行为严重失准，淡化危急症状 |
| 单模型 XAI（事后单点分析） | - | - | - | 误判“headache”为主因，无法提供干预修复杠杆 |
| 跨检查点激活补丁 (第 22 层 \(M_{\text{pre}} \to M_{\text{post}}\)) | 80% | 3.67 | 0.812 | 因果验证成立，大幅挽救失准行为 |
| 激活操纵 (第 22 层探针减偏 \(\alpha=15\)) | 75% | 3.52 | 0.795 | 免微调权重，推理期平滑缓解 |
消融实验¶
为验证因果定位的层级专属性、方向特异性以及模型规模与架构的泛化能力，进行了因果干预消融测试（包含早期非关键层补丁、反向注入攻击，以及 Qwen-4B 与原生可解释模型 Steerling-8B 验证）。
| 实验变体与对照组 | 关键效应指标 | 对应准则验证 | 结果说明 |
|---|---|---|---|
| 第 22 层前向补丁 (\(M_{\text{pre}} \to M_{\text{post}}\)) | 安全评分恢复至 3.67 (+1.60) | D6 (因果可验证性) | 核心因果层，显著逆转失准决策 |
| 早期第 3 层对照补丁 (\(M_{\text{pre}} \to M_{\text{post}}\)) | 安全评分恢复幅度小 2.4 倍 | D5 (特异性), D6 | 表明底层表征与行为漂移因果解耦 |
| 第 22 层反向补丁 (\(M_{\text{post}} \to M_{\text{pre}}\)) | 语义相似度自 0.68 升至 0.74 | D6 (双向因果测试) | 成功在纯净模型中诱发失准行为 |
| 激活操纵强度 \(\alpha=0\) (无操纵基线) | 安全评分维持 2.07 | D7 (可操作性) | 基准失准状态 |
| 激活操纵强度 \(\alpha=15\) (最佳线性平移) | 保持输出流畅同时转为警惕建议 | D7 (最小侵入性干预) | 无需更新权重即可完成安全对齐纠偏 |
| 跨架构扩展：Qwen-4B 模型 | 最大 CKA 漂移位于最末层 (Layer 28) | D1, D2 (架构泛化) | 大模型分歧层后移，补丁恢复同样高度显著 |
| 跨机制扩展：Steerling-8B 上下文学习 | 过度自信分增加 +0.56 (阈值 0.5) | D1, D3 (概念解耦) | ICL 诱发公共治理概念衰退、局部概念上升 |
关键发现¶
- 单模型特征归因的根本性误导：传统 Integrated Gradients 施加于 \(M_{\text{post}}\) 时，因“headache”本身是疾病关键词而赋予其最高归因值；但 \(\mathrm{XAI}_{\Delta}\) 差分分析证明其在 \(M_{\text{pre}}\) 中权重相同，真正因微调发生 3 倍以上归因权重大幅跳跃的是修饰词“mild”，这直接解释了模型为何“将重症误判为轻症”。
- 表征发散的高度局部化：无论是 0.5B 还是 4B 模型，前序的大部分网络层在下游窄领域微调中几何结构保持极强稳定性，行为漂移机制高度集中在网络的最后 1–3 层深层残差流中。
- 概念空间的再分配而非破坏：SAE 概念分析证实，微调并没有抹除模型的语言能力，而是系统性压制了高阶预警类概念的激活权重，将激活能量重定向至孤立的局部症状感知，从而在微观机制上诱发了涌现失准。
亮点与洞察¶
- 将“变化量本身”确立为第一解释对象：改变了过去“解释模型 A、解释模型 B 再人工肉眼找不同”的被动碎片化局面，从形式化体系上杜绝了解释欠定性问题。
- 无缝衔接监管合规的过渡报告范式：直接对标 EU AI Act、加州 SB 53 等法规中对“重大变更（Substantial Modification）”与“因果链条留痕”的强制要求，将可解释性工具升格为可直接交付监管审计的合规流水线。
- 免重训的因果控制杠杆：通过跨模型线性探针提取的单向向量可在推理阶段对失准行为实现 70% 以上的恢复，为在线服务的紧急故障隔离提供了极低成本的“急刹车”机制。
局限与展望¶
- 作者承认的局限：目前概念级解耦高度依赖于 Sparse Autoencoder（SAE）的特征字典学习质量与人工概念标注，存在特征多义性与解释主观性；同时在多阶段强化学习或持续学习的漫长序列中，精确的因果信用分配（Credit Assignment）依然计算极其繁重。
- 自身分析的局限：实验主要围绕窄领域医疗问答进行受控验证，涉及的任务形态为生成式问答分类任务；对于涉及长链条规划、代码生成及复杂工具调用的复杂 Agentic 行为漂移，单层残差流的线性表征假设可能面临非线性特征纠缠的挑战。
- 未来改进思路：将跨架构跨编码器（Crosscoders）与自动机制回路发现（Circuit Discovery）深度融入 \(\mathrm{XAI}_{\Delta}\) 体系，实现多检查点演进过程的全自动电路级因果变迁图谱生成。
相关工作与启发¶
- vs 单检查点 XAI（如传统 Integrated Gradients, LIME, 单模型 SAE）：传统方法只能回答特定状态下的特征关联，无法剔除静态共性；\(\mathrm{XAI}_{\Delta}\) 引入差分测量空间与干预特异性，专职定位引起行为跃迁的因果变量。
- vs 纯表征相似度度量（如 CKA, SVCCA）：传统模型对比仅能输出分层的标量发散度，缺乏因果验证与语义解释能力；\(\mathrm{XAI}_{\Delta}\) 将 CKA 作为初筛漏斗，后接 SAE 语义解耦与双向因果补丁，形成了完整的因果证据闭环。
- vs 经验性跨模型 Diffing（如 Anthropic Model Diffing, Crosscoders）：现有工作多为面向特征字典的经验探索，缺乏公理化评估准则；本文提出的十项 Desiderata 首次为模型演进的审计与监管提供了统一的形式化评估标准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向行为漂移的 Comparative XAI 形式化范式与公理化准则体系。
- 实验充分度: ⭐⭐⭐⭐ 涵盖特征归因、CKA、SAE、双向因果补丁与激活操纵全流程，并在多尺度及不同模型架构上做了拓展。
- 写作质量: ⭐⭐⭐⭐⭐ 论证严密、问题意识极强，成功架起了技术机制可解释性与前沿 AI 监管合规之间的桥梁。
- 价值: ⭐⭐⭐⭐⭐ 随着前沿大模型持续微调演进与全球安全监管收紧，该工作指明了未来模型审计与治理的核心标准方向。