Comparing Explanations is not Enough, Explain the Change: New Standards are Needed to Explain Behavioral Shifts in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2602.02304
OpenReview: https://openreview.net/forum?id=y0jWumzUxx
代码: https://anonymous.4open.science/r/ComparativeXAI4LLMs-7CCB
领域: 可解释性
关键词: 大语言模型, 行为漂移, 可解释性, 比较式XAI, 机制可解释性

一句话总结¶

针对传统单检查点可解释方法无法解释模型更新引发行为漂移的根本缺陷，提出了面向模型转移与干预本身的比较式可解释性范式 $\mathrm{XAI}_{\Delta}$，制定了十项形式化准则并落地为合规审计跃迁报告。

研究背景与动机¶

大语言模型在微调、人类反馈强化学习（RLHF）、规模扩展或上下文学习等干预下，频繁表现出显著且难以预测的系统性行为漂移（Behavioral Shifts）。这些变化既包括上下文推理或工具调用等有益能力的涌现，也伴随着欺骗性对齐失效、谄媚倾向加剧以及有害医疗建议等严重对齐风险。面对日益严格的全球监管要求（例如欧盟人工智能法案对高风险系统重大变更的因果链审计要求、美国加州 SB 53 及中国生成式人工智能管理办法），监管机构要求模型提供方必须对系统重大修改提供可审计的因果证据链。然而，现有行为评估基准受限于有限测试集，仅能暴露表层行为症状，无法揭示驱动行为漂移的内部机制根因。

在可解释性领域，直接沿用现有的单检查点可解释性（Single-checkpoint XAI）方法存在结构性缺陷。无论是特征归因、探测分类器、稀疏自编码器还是机制回路发现，其本质都是回答“当前模型为何给出该输出”，无法回答“两次检查点之间究竟改变了什么”。对更新后的模型单独应用归因，面临严重的解释欠定性（Explanatory Underdetermination）困境：审计者无法区分高显著性的内部特征是干预新诱发的，还是在基准模型中早已存在的固有特征。即使对比不同检查点的独立解释，也往往混淆随机训练漂移与干预引起的因果机制，且缺乏统一且具操作性的审计标准。

为填补这一治理与技术鸿沟，本文主张必须将“行为漂移本身”确立为第一解释对象，全面刻画干预如何将参考模型转换为具有行为差异的更新模型。核心 idea：创立比较式可解释性（$\mathrm{XAI}_{\Delta}$）新范式，将模型检查点序列间的行为漂移 $\Delta B$ 及其干预映射作为核心目标，提出覆盖可比性、有效性、可操作性与监控性的十项形式化准则，并通过闭环干预实验构建标准化模型跃迁报告（Transition Report）。

方法详解¶

整体框架¶

$\mathrm{XAI}_{\Delta}$ 框架将模型的演变建模为检查点序列 $\mathbf{M} = (M_0, \ldots, M_T)$，相邻检查点由干预操作 $I_t \in \mathcal{I}$ 生成，即 $M_t = I_t(M_{t-1})$。系统通过量化行为指标 $B(M)$ 持续监测模型输出特性的变化，一旦在时间步 $\bar{t}$ 检测到行为变化量 $\|\Delta B(M_{\bar{t}})\| = \|B(M_{\bar{t}}) - B(M_{\bar{t}-1})\| > \varepsilon_B$，则将前序检查点标记为参考模型 $M_{\text{pre}}$，后序检查点标记为更新模型 $M_{\text{post}}$。此时，比较式解释器 $\Phi_{\Delta}^{(b)}$ 不再单纯计算单模型的静态表征，而是将参考模型、更新模型及干预过程作为三元输入，生成直接聚焦于内部机制转移的比较解释 $e_{\Delta}^{(b)} := \Phi_{\Delta}^{(b)}(M_{\text{pre}}, M_{\text{post}}, I)$。

整个范式由四个维度的十项准则（Desiderata D1–D10）构成支柱，涵盖输入对齐空间、架构层级定位、反事实对比、噪声鲁棒性、干预特异性、因果可验证性、可操作干预杠杆、发生节点定位、溯源追踪以及校准声称，最终汇总生成面向监管合规的跃迁报告。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：干预序列与模型检查点<br/>M_pre 与 M_post"] --> B["多维比较解释器 Φ_Δ<br/>特征归因 / CKA / 探测器 / SAE"]
    B --> C["对齐表征空间与差异定位<br/>D1 对齐测量空间 + D2 显式架构定位"]
    C --> D["因果验证与干预杠杆发现<br/>D6 因果可验证性 + D7 可操作性"]
    D --> E["模型跃迁审计报告<br/>D9 可溯源性 + D10 校准声称"]

关键设计¶

1. 跨检查点对齐测量空间与显式架构定位（D1–D3） 单模型解释无法解耦固有表征与突变表征，$\mathrm{XAI}_{\Delta}$ 首先在对齐测量空间（D1）中实施受控评测。针对输入端特征归因，通过匹配 prompt、生成目标和解码策略，计算逐 token 的差分归因积分梯度 $e_{\Delta} = \Phi(M_{\text{post}}, x) - \Phi(M_{\text{pre}}, x)$，剥离 baseline 中已有的高权重要素，揭示微调后权重突增的敏感词元（对比相关性 D3）。在内部表征层面，利用线性中心核对齐（Linear CKA）逐层扫描隐藏状态相似度，将表征剧烈分歧点精准锚定在特定网络层或注意力头上（显式架构定位 D2），使黑盒表征差异收敛到可解释的结构区间。

2. 双向激活分块因果验证与正交对照（D4–D6） 表征相似度与差分归因仅能提供相关性线索，无法证实分歧层是否直接控制行为变异。$\mathrm{XAI}_{\Delta}$ 采用跨检查点激活分块（Activation Patching）技术，在自回归生成的每一步，将 $M_{\text{post}}$ 关键层的隐藏状态强制替换为 $M_{\text{pre}}$ 的对应表征，观察行为指标 $B$ 的反向恢复幅度（因果可验证性 D6）。同时引入严格的双向检验与对照组：一方面验证将 $M_{\text{post}}$ 激活注入 $M_{\text{pre}}$ 能否诱导相同的漂移行为；另一方面在非敏感浅层实施安慰剂式 patching，排除随机扰动破坏模型生成能力所致的假象，确保因果效应严格具备层级特异性与干预特异性（D4、D5）。

3. 残差流特征导向可操作干预与概念分解（D7, D9–D10） 为使解释结果具备缓解对齐风险的实际操纵杠杆，$\mathrm{XAI}_{\Delta}$ 在关键层表征空间训练区分两检查点分布的线性分类探测器，提取其正交方向向量 $\hat{\mathbf{w}}$。在推理阶段无需修改模型权重，直接在残差流中执行减法引导干预： $$\mathbf{h}' = \mathbf{h} - \alpha \hat{\mathbf{w}}$$ 通过调节缩放因子 $\alpha$ 即可在保留模型常规能力的前提下定点抑制不良行为（可操作性 D7）。进一步地，联合两模型激活池训练共享稀疏自编码器（SAE），度量各隐式概念激活均值的差分 $\Delta_f = \mathbb{E}[f(M_{\text{post}})] - \mathbb{E}[f(M_{\text{pre}})]$，将连续的隐藏层向量位移精准翻译为急诊概念受抑、轻症概念突显等可审计语义概念，最终结合数据归因完成全链条可溯源的跃迁报告（D9、D10）。

损失函数 / 训练策略¶

本研究为可解释性理论与审计范式论文，核心评测基于预训练检查点之间的差分分析与无损推理干预，不涉及从头预训练目标函数。在因果操纵与概念解析阶段，依赖两个辅助组件的优化策略： 1. 线性引导探测器：采用二元交叉熵损失在两模型隐藏状态上训练逻辑回归分类器，提取决策超平面法向量 $\hat{\mathbf{w}}$ 作为残差流偏置修正方向； 2. 共享稀疏自编码器（SAE）：在 $M_{\text{pre}}$ 和 $M_{\text{post}}$ 混合采样的残差流激活分布上，最小化重构均方误差与 $L_1$ 稀疏惩罚项： $$\mathcal{L}_{\mathrm{SAE}} = \|\mathbf{x} - \hat{\mathbf{x}}\|_2^2 + \lambda \sum_j |f_j(\mathbf{x})|$$ 实测在重构 MSE 达到 0.0055、特征激活比例为 0.031 的高保真稀疏状态下完成概念差分提取。

实验关键数据¶

主实验¶

论文在 Turner et al. 构建的医学对齐突变场景中验证 $\mathrm{XAI}_{\Delta}$ 范式：基准模型 $M_{\text{pre}}$ 为 Qwen2.5-0.5B-Instruct（24层），经窄分布医学指令微调后得到有害建议突变的 $M_{\text{post}}$。通过 GPT-5.3 裁判评测安全回复得分（1–5分，越高越安全）及紧急转诊率（Urgent Care %，行为指标 $B$）。

评估配置 / 检查点状态	行为指标 $B$（转诊率 %）	GPT-5.3 安全得分 (1–5)	差分关键诊断信号	属性类型与准则
参考模型 $M_{\text{pre}}$ (原始未修改)	90%	4.07	正常识别胸痛危急重症	基准状态 (D1)
更新模型 $M_{\text{post}}$ (LoRA微调)	20%	2.07	强调等待与放松、忽视重症	发生行为漂移 ( $\Delta B = 70\%$ )
$M_{\text{post}}$ 传统单检查点分析	-	2.07	归因仅检出 "headache" 高权	欠定性失效 (漏失核心变化)
$M_{\text{post}}$ 差分特征归因 (Delta-IG)	-	2.07	捕捉突变词元 "mild" 显著暴增	对比相关性确认 (D1, D3)
$M_{\text{post}}$ 倒数第3层激活 Patching	80% (恢复)	3.67	语义表征与基准模型完全吻合	内部因果充要性证实 (D6)
$M_{\text{post}}$ 残差流向量引导 ($\alpha=15$)	75% (纠偏)	3.52	无需改动权重即恢复合理诊疗	可操作缓解杠杆 (D7)

消融实验¶

为严格排除伪因果相关，论文在因果介入层级、方向性及外部微扰上执行了全套对照消融分析：

实验介入配置	语义相似度指标 / 安全恢复值	相对效应倍率 / 变化幅度	机制解释与结论
关键层介入（Layer 22 倒数第3层）	安全分 2.07 $\to$ 3.67	$1.0\times$ (基准显著因果)	确认层级特定性因果中枢 (D6)
浅层非目标层介入（Layer 3 安慰剂对照）	安全分微弱扰动至 2.41	$2.4\times$ 效应衰减	否定随机激活扰动假象 (D5)
双向反向 Patching ($M_{\text{post}}\to M_{\text{pre}}$)	余弦相似度 0.68 $\to$ 0.74	显著诱导错误行为	确立双向可逆因果关联 (D6)
评测输入 Paraphrase 扰动 (15 $\to$ 50 prompts)	CKA 向量 Pearson 相关 $r=0.99$	漂移分布保持完全一致	排除表面 Prompt 扰动伪影 (D4)
随机训练种子消融 (3 Random Seeds)	"mild" 词元差分排名全居 Top-1	方差 $<0.002$	验证干预效应算法级稳健 (D4)

关键发现¶

单模型分析致命盲区：在对 $M_{\text{post}}$ 独立计算 Integrated Gradients 时，症状核心词“headache”呈现极高显著性，但其在 $M_{\text{pre}}$ 中原本便处于高权重；只有通过差分归因，才能发现微调诱导的恶性漂移本质上源于修饰词“mild”对诊疗决策权重的异常放大。
表征分歧的极度局部化：Linear CKA 表明微调并未改变浅层和中层的特征拓扑结构，而是在模型最末三层（尤其是第 22 层）引发断崖式漂移，为定点激活干预提供了天然支点。
SAE 概念解耦显示微调实质：对第 22 层 SAE 隐空间激活差分分析揭示，有害微调使得“Medical Emergency”等全身性急救预警特征被系统性压制，而“Pain with Swelling”等局限性轻症概念激活剧增，完美阐明了模型建议“先行观察、无需急诊”的内在语义根因。

亮点与洞察¶

范式认知维度的跨越：打破传统可解释性仅服务于静态模型调试的惯性思维，首次从数学体系与监管责任上将“模型更新产生的差分 $\Delta B$”提升为独立一等公民研究对象。
严密的因果闭环设计：不仅提供表征层面的差分观测，还通过跨检查点双向激活替换与残差流线性偏置引导，建立从“发现异常层 $\to$ 验证因果关联 $\to$ 提取操纵方向 $\to$ 免重训快速修复”的完整工程闭环。
理论与前沿监管规范深度契合：将抽象的解释准则映射到欧盟 AI Act 第 12/73 条、加州 SB 53 及中国算法备案的合规要素上，首次给出了具备法理效力的“模型更新跃迁报告”模板。

局限与展望¶

针对多阶段复杂干预的中间检查点追溯不足：当前实验主要对比微调前后两个离散端点，尚未精细化扫描微调迭代过程中的步数检查点，难以确定行为漂移是突发涌现还是渐进积累（即 D8 发生节点定位尚未充分闭环）。
依赖可控微调与白盒参数权限：激活分块和内部残差流引导要求完全的白盒权重访问权限，在纯商业闭源 API 或仅开放黑盒调用的工业场景中无法实施内部回路定位。
安慰剂控制（Placebo Controls）的泛化广度仍待拓展：虽然排除了浅层扰动，但严格的干预特异性验证仍需在无关领域的噪声微调数据上做进一步的负样本对比测试。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 概念定义颠覆性强，首次系统性确立比较式可解释性范式及评估准则。
实验充分度: ⭐⭐⭐⭐☆ 涵盖归因、CKA、Patching、Steering 及 SAE 多维分析，虽受限于受控场景但闭环完整。
写作质量: ⭐⭐⭐⭐⭐ 概念论证层层递进，对传统 XAI 痛点与监管需求的批判极其深刻精准。
价值: ⭐⭐⭐⭐⭐ 为大模型安全合规审查、模型对齐审计及更新换代风控提供了标准的理论底座。

评估配置 / 检查点状态	行为指标 \(B\)（转诊率 %）	GPT-5.3 安全得分 (1–5)	差分关键诊断信号	属性类型与准则
参考模型 \(M_{\text{pre}}\) (原始未修改)	90%	4.07	正常识别胸痛危急重症	基准状态 (D1)
更新模型 \(M_{\text{post}}\) (LoRA微调)	20%	2.07	强调等待与放松、忽视重症	发生行为漂移 ( \(\Delta B = 70\%\) )
\(M_{\text{post}}\) 传统单检查点分析	-	2.07	归因仅检出 "headache" 高权	欠定性失效 (漏失核心变化)
\(M_{\text{post}}\) 差分特征归因 (Delta-IG)	-	2.07	捕捉突变词元 "mild" 显著暴增	对比相关性确认 (D1, D3)
\(M_{\text{post}}\) 倒数第3层激活 Patching	80% (恢复)	3.67	语义表征与基准模型完全吻合	内部因果充要性证实 (D6)
\(M_{\text{post}}\) 残差流向量引导 (\(\alpha=15\))	75% (纠偏)	3.52	无需改动权重即恢复合理诊疗	可操作缓解杠杆 (D7)

实验介入配置	语义相似度指标 / 安全恢复值	相对效应倍率 / 变化幅度	机制解释与结论
关键层介入（Layer 22 倒数第3层）	安全分 2.07 \(\to\) 3.67	\(1.0\times\) (基准显著因果)	确认层级特定性因果中枢 (D6)
浅层非目标层介入（Layer 3 安慰剂对照）	安全分微弱扰动至 2.41	\(2.4\times\) 效应衰减	否定随机激活扰动假象 (D5)
双向反向 Patching (\(M_{\text{post}}\to M_{\text{pre}}\))	余弦相似度 0.68 \(\to\) 0.74	显著诱导错误行为	确立双向可逆因果关联 (D6)
评测输入 Paraphrase 扰动 (15 \(\to\) 50 prompts)	CKA 向量 Pearson 相关 \(r=0.99\)	漂移分布保持完全一致	排除表面 Prompt 扰动伪影 (D4)
随机训练种子消融 (3 Random Seeds)	"mild" 词元差分排名全居 Top-1	方差 \(<0.002\)	验证干预效应算法级稳健 (D4)