MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations

会议: CVPR 2026
arXiv: 2602.18792
代码: 即将公开
领域: 因果推理
关键词: 视觉反事实解释, 扩散模型, 自适应掩码, 可解释AI, 分类器引导

一句话总结

提出 MaskDiME，一个免训练的扩散框架，通过自适应双掩码机制将全局分类器引导转化为决策驱动的局部编辑，实现精确高效的视觉反事实解释，推理速度比 DiME 快 30 倍以上，GPU 内存仅为 ACE/RCSB 的十分之一。

研究背景与动机

视觉反事实解释（VCE）旨在回答"图像中什么必须改变才能让模型做出不同决策？"——比热力图等归因方法更直观、更具因果性。扩散模型因其优异的生成质量成为 VCE 的主流范式，但现有方法面临两大核心挑战：

挑战一：计算代价高。DiME 开创了扩散反事实生成，但依赖嵌套去噪和逐步反向传播，复杂度为 \(O(T^2)\)，速度慢且内存占用大。ACE、RCSB 等多阶段方法同样存在高 GPU 内存消耗问题。

挑战二：空间精度差。大多数方法使用全局分类器引导或隐式条件化，导致信号无差别传播，编辑散布全图，难以判别哪些区域解释了决策。FastDiME 虽提速但用像素差掩码定位粗糙；ACE/RCSB 的固定掩码无法适应反向扩散过程中语义区域的动态变化（如面部表情变化）。

本文核心洞察：让模型在反向扩散的每一步自适应聚焦决策相关区域，是实现精确且语义一致反事实解释的关键。

方法详解

整体框架

MaskDiME 想解决的核心矛盾是：扩散式视觉反事实既要"改得准"（只动决策相关区域）又要"跑得快"（别像 DiME 那样嵌套去噪逐步反传）。它沿用 DiME 的分类器梯度引导范式，但把流程改成单趟反向扩散——先把查询图像 \(x\) 前向加噪到时间步 \(\tau\)（默认 \(\tau=60\)，总步数 \(T=200\)），再从 \(\tau\) 一步步去噪回去，每一步都用分类器梯度把图像往目标类别推，同时用一对自适应掩码把改动锁死在决策区域内，最后用 Tweedie 公式一步估清晰图。整个过程免训练，直接复用现成的无条件 DDPM 和目标分类器。

前向加噪：

\[\tilde{z}_t = \sqrt{\bar{\alpha}_t}\, x + \sqrt{1-\bar{\alpha}_t}\, \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)\]

反向每一步的掩码约束去噪——掩码内执行梯度引导，掩码外保留原始扩散轨迹：

\[z_{t-1} = M_t^z \odot \mathcal{N}\!\big(\mu_\theta(z_t) - \Sigma_\theta(z_t) \nabla z_t,\, \Sigma_\theta(z_t)\big) + (1 - M_t^z) \odot \tilde{z}_{t-1}\]

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["查询图像 x"] --> B["前向加噪 → z_τ<br/>(τ=60, T=200)"]
    B --> C["分类器梯度引导 + 缩放因子<br/>三项损失反传, 乘 s 提升引导强度"]
    C --> D["自适应双掩码<br/>梯度图取 top-k% 得 M_z, 收紧得 M_x"]
    D --> E["掩码约束去噪<br/>掩码内梯度引导, 掩码外保留原轨迹"]
    E --> F["单步 Tweedie 清晰图估计<br/>一步估 x_0, 经 M_x 与原图混合"]
    F -->|"t > 0 进入下一步"| C
    F -->|"t = 0"| G["反事实图像"]

关键设计

1. 分类器梯度引导 + 缩放因子：把"往目标类推"的力度调到刚好

DiME 慢就慢在多阶段递归反传；MaskDiME 改成单步估计后，引导信号一弱反事实就翻不过去（消融里 \(s=1\) 时翻转率只有 55.2%）。所以它沿用 DiME 的三项联合损失，再额外加一个缩放因子 \(s\) 把引导强度顶上来。损失为 \(L(x_t; y, x) = \lambda_c L_{\text{class}}(C(y|x_t)) + \lambda_p L_{\text{perc}}(x_t, x) + \lambda_l L_{L1}(x_t, x)\)，其中 \(L_{\text{class}}\) 推图像往目标类语义走、\(L_{\text{perc}}\) 保结构外观、\(L_{L1}\) 稳住像素级差异减伪影。梯度经重参数化传回噪声空间并乘上 \(s\)：

\[\nabla z_t = s \cdot \frac{1}{\sqrt{\bar{\alpha}_t}} \nabla_{x_t} L(x_t; y, x)\]

超参为 \(\lambda_c \in \{8,10,15\}\)（沿用 DiME 迭代搜索）、\(\lambda_p=30\)、\(\lambda_l=0.05\)，\(s\) 按数据集取 8/10/14/6.5（CelebA / CelebA-HQ / BDD / ImageNet）。\(s\) 太小翻不动、太大又出伪影，所以它和掩码是互补的：\(s\) 管力度，掩码管范围。

2. 自适应双掩码：让编辑每一步都跟着决策区域走

旧方法要么全图无差别传播梯度（编辑散满全图），要么像 ACE/RCSB 用固定掩码（跟不上反向扩散里语义区域的动态漂移，比如表情逐步成形）。MaskDiME 在每一步用分类器梯度现算两个嵌套掩码 \(M_t^x \subseteq M_t^z\)。先取分类损失对 \(z_t\) 的梯度绝对值、按通道平均得到空间梯度图 \(G_t = \left|\nabla_{z_t}^{\text{class}}\right|_{\text{avg}} \in \mathbb{R}^{1 \times H \times W}\)——这一步只需单趟反传，不像 RCSB 的 Integrated Gradients 要几十次，才扛得住"每步都重算掩码"。噪声级掩码 \(M_t^z\) 取 \(G_t\) 的 top-\(k\%\)（\(k=0.05\) 用于 smile、\(0.1\) 用于 age 及其他数据集），决定哪些区域参与去噪；清晰级掩码 \(M_t^x\) 再从中收紧到 top-\(\rho k\%\)（\(\rho=0.25\) 用于 CelebA-HQ、\(0.5\) 用于其他）。两者都过 \(5 \times 5\) 核形态学膨胀增强连贯性。为什么要两层？因为去噪越往后 \(x_t\) 越接近反事实类、分类梯度越弱、感知与 L1 梯度开始主导，更紧的 \(M_t^x\) 能挡住非决策区域在清晰图估计时被顺手改坏。

3. 单步 Tweedie 清晰图估计：把 \(O(T^2)\) 砍成 \(O(T)\)

DiME 每步都要递归重建清晰图，复杂度 \(O(T^2)\) 是慢和占显存的根。MaskDiME 直接用 Tweedie 公式一步估当前清晰图：

\[\hat{x}_0^{(t-1)} = \frac{z_{t-1} - \sqrt{1-\bar{\alpha}_{t-1}}\, \epsilon_\theta(z_{t-1})}{\sqrt{\bar{\alpha}_{t-1}}}\]

再用清晰级掩码把它和原图混合，非编辑区严格不变：\(x_{t-1} = M_t^x \odot \hat{x}_0^{(t-1)} + (1-M_t^x) \odot x\)。这一步是 30× 加速和 1/10 显存的直接来源，代价是单步估计质量下降——正好靠设计 1 的缩放因子 \(s\) 补回来。

损失函数与训练策略

完全免训练（training-free）：直接复用 DiME 的无条件 DDPM 权重和目标分类器权重，无需额外训练或微调。新增的可调参数只有 \(s\)、\(k\)、\(\rho\) 三个，且 \(k\)、\(\rho\) 跨数据集高度通用。

实验

主实验：CelebA Smile 属性 (128×128)

方法	FID↓	sFID↓	FVA↑	FS↑	MNAC↓	CD↓	COUT↑	FR↑
DiME	3.17	4.89	98.3	0.73	3.72	2.30	0.53	97.2
ACE \(\ell_1\)	1.27	3.97	99.9	0.87	2.94	1.73	0.78	97.6
FastDiME-2+	3.24	5.23	99.9	0.79	2.91	2.02	0.41	98.9
RCSB	2.98	4.79	100.0	0.91	2.24	2.78	0.87	99.8
MaskDiME	0.71	3.29	100.0	0.91	2.78	2.41	0.87	100.0

MaskDiME 取得最低 FID (0.71) 和 sFID (3.29)，完美翻转率 (FR=100%)，FVA/FS/COUT 达最优或次优。

消融实验：CelebA Smile

配置	FID↓	FS↑	MNAC↓	CD↓	COUT↑	FR↑
DiME (baseline)	3.17	0.73	3.72	2.30	0.53	97.2
\(s\)=1 & 无掩码	95.76	0.63	6.15	2.43	-0.16	55.2
\(s\)=8 & 无掩码	15.94	0.77	5.71	4.20	0.96	100.0
固定掩码	4.21	0.86	2.98	2.03	0.70	99.7
\(s\)=8 & 自适应掩码 (\(\rho\)=1)	0.71	0.90	2.66	2.25	0.81	100.0
MaskDiME (\(\rho\)=0.5)	0.71	0.91	2.78	2.41	0.87	100.0

消融清晰地揭示各组件贡献：单步估计（\(s\)=1 无掩码）FID 暴涨至 95.76、FR 仅 55.2%；增大 \(s\) 恢复 FR 但引入伪影 (FID=15.94)；引入自适应掩码 FID 降至 0.71；双掩码 \(\rho=0.5\) 将 COUT 从 0.81 提升到 0.87。

关键发现

• 30× 以上加速：MaskDiME 比 DiME 快 30 倍，比 FastDiME 快 2.5 倍，GPU 内存仅为 ACE/RCSB 的约 1/10
• 跨域泛化强：人脸 (CelebA/CelebA-HQ)、自动驾驶 (BDD100K/BDD-OIA)、通用分类 (ImageNet) 五个数据集上均达最优或次优
• BDD100K 和 BDD-OIA 上 FR 均 100%，COUT 达 0.85/0.80，\(S^3\) 达 0.99
• 热力图可视化表明自适应掩码在扩散过程中逐步聚焦到嘴巴（微笑）、交通灯（驾驶）等决策相关区域
• 梯度缩放 \(s\) 和掩码机制互补：前者控制引导强度，后者确保空间聚焦和语义一致性
• 多样性评估：\(\sigma_L=0.0395\) 高于 ACE \(\ell_1\) (0.0174) 但低于 DiME (0.2139)——DiME 的高多样性来自无约束的背景修改，非真实语义多样性

亮点

• 优雅的双掩码设计：噪声级掩码定义去噪区域，清晰级掩码更紧凑以对抗分类梯度衰减，分别处理噪声空间和清晰空间的不同需求
• 实用性极强：免训练、线性复杂度、低内存占用，使 VCE 具备实际部署可能
• 可视化研究扎实：热力图对比（像素差掩码 vs 固定掩码 vs 自适应掩码）直观展示不同掩码策略的行为差异
• 消融设计巧妙：逐步叠加 \(s\)→掩码→\(\rho\) 清晰揭示每个组件的独立贡献

局限性

• 掩码基于单步梯度而非 Integrated Gradients，在 ImageNet 多类场景下梯度噪声导致定位不准，FID/sFID 高于 RCSB
• 仅支持像素空间 DDPM，未扩展到 Latent Diffusion，限制高分辨率场景适用性
• 缺乏反事实解释的 ground-truth 标注，难以从因果角度严格验证结果正确性

评分

• 新颖性: ⭐⭐⭐⭐ 自适应双掩码机制设计精巧，从梯度-扩散动力学交互角度提出新视角
• 实验充分度: ⭐⭐⭐⭐ 五个数据集跨三个视觉领域，消融和可视化分析完整
• 写作质量: ⭐⭐⭐⭐ 可视化出色（热力图、效率散点图），逻辑清晰层层递进
• 价值: ⭐⭐⭐⭐ 30 倍加速 + 1/10 内存使 VCE 具备实际部署可能，对 XAI 领域有显著推动

相关论文

• [CVPR 2026] Retrieving Counterfactuals Improves Visual In-Context Learning
• [ACL 2025] Counterfactual Explanations for Aspect-Based Sentiment Analysis
• [ICLR 2026] Counterfactual Explanations on Robust Perceptual Geodesics
• [ICCV 2025] A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
• [AAAI 2026] KTCF: Actionable Recourse in Knowledge Tracing via Counterfactual Explanations for Education