Beyond the Black Box: Identifiable Interpretation and Control in Generative Models via Causal Minimality¶

会议: ECCV 2026
论文: ECCV 2026
领域: 图像生成
关键词: 因果极小化, 分层选择模型, 逐分量可辨识性, 稀疏自编码器, 多层级概念控制

一句话总结¶

本文提出基于因果极小化（Causal Minimality）原理的分层选择因果框架，在理论上证明了连续潜变量生成模型内部表征的逐分量可辨识性（Component-wise Identifiability），并将其转化为扩散模型内部特征的稀疏约束与跨时间步因果图发现，实现了精准可解释的分层概念提取与多层级模型操控。

研究背景与动机¶

现代深度生成模型（尤其是以 Stable Diffusion 和 Flux 为代表的文本到图像扩散模型）在生成逼真、复杂的视觉内容方面取得了突破性进展。然而，随着模型规模与网络深度的膨胀，其内部表征演变成了高度不透明的“黑盒”。这种不可解释性不仅阻碍了人类对模型内部知识组织机制的理解，更极大地限制了对生成行为实施精确可控干预（如防止有害内容生成、概念擦除与属性局部编辑）的能力。

近期研究尝试采用稀疏自编码器（Sparse Autoencoders, SAE）对扩散模型的中间层特征进行分解与探针探测，取得了引人注目的经验性成果。然而，这些经验主义方法普遍缺乏严谨的理论保障：表征的解耦与特征的提取很大程度上依赖启发式调参，提取出的特征容易陷入主观臆断或人类偏差，导致在安全性关键的高风险场景下不可靠。更本质的理论瓶颈在于，传统的分层因果模型通常将上层概念视作下层细节的混杂因（Confounder），假设同层变量在给定父节点后条件独立；但在真实自然图像中，高层语义（如“自行车”）实际上是由多个低层构件（车轮、车架、车把）在特定几何和物理构型下的协调组合所定义的，忽视同层构件之间的内在依赖会导致生成的解剖学错位或离散碎片化。若在传统因果图中对所有同层变量显式建立密集因果边，又会导致因果图极度冗余而丧失可学习性与可辨识性。

本文的切入角度是：利用因果极小化原理（即在所有能够解释观测数据的因果模型中，最简洁的模型即为真实模型），将高层概念重构为由低层变量组合而成的“选择变量”（Selection Mechanism / Collider）。核心 idea：将生成过程建模为分层选择因果系统，证明因果极小化在观测数据上等价于潜在概念图的稀疏性约束，并在理论上建立逐分量可辨识性充要条件，进而通过扩散模型时间步上的稀疏自编码器与因果发现算法抽取出内在分层概念图，作为精确控制与概念遗忘的解耦杠杆。

方法详解¶

整体框架¶

本文构建了一套贯穿“因果理论证明 → 扩散时间步映射 → 稀疏概念提取 → 跨层因果发现 → 下游干预控制”的完整闭环。整体逻辑划分为两大部分：理论上，将文本条件 $D$、多层级视觉概念 $Z = [Z_1, \dots, Z_{L_V}]$ 和最终图像 $X$ 组织为一个分层选择系统，其中高层抽象变量作为低层具体变量的对撞效应（Collider）并施加选择机制，在平滑密度、充分变化性和极小化稀疏图结构的假设下，证明了潜变量的逐分量可辨识性；实践上，将扩散模型不同去噪时间步（如高噪声 $t=899$、中噪声 $t=500$、低噪声 $t=100$）天然映射到抽象程度由粗到细的概念层级，在各时间步内部训练 $K$-稀疏自编码器（$K$-sparse SAE）提取原子概念，随后使用 PC 因果发现算法构建跨时间步的分层因果图，实现单节点或跨层级多节点的精确特征操控。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词 D 与噪声图像 X_t"] --> B["扩散时间步特征分层映射<br/>t=899高层 / t=500中层 / t=100低层"]
    B --> C["分层选择因果模型构建<br/>高层变量作为低层构件的对撞选择"]
    C --> D["极小化稀疏约束优化<br/>K-sparse SAE 提取原子概念"]
    D --> E["跨层级因果发现算法<br/>PC 算法构建分层概念图"]
    E --> F["下游精确干预与模型操控<br/>概念擦除 / 多层级组合编辑"]

关键设计¶

1. 分层选择因果模型：将高层概念建模为低层构件的对撞选择变量

针对传统分层因果图无法自然刻画低层构件间协同依赖、强行建模会导致因果边爆炸的痛点，本文引入选择机制（Selection Mechanism）。在视觉概念分层中，定义抽象级别从高到低（$l=1$ 最抽象，$l=L_V$ 最具体）的潜变量 $Z_l \in \mathbb{R}^{n(Z_l)}$。不同于传统因果树中上层变量决定下层变量，选择模型假定高层概念 $V_l$ 本质上是低层构件 $V_{l+1}$ 的函数映射效应： $$V_l := g_{V_l}(V_{l+1})$$ 在自然数据分布中，我们只能观察到满足特定结构与协调条件的样本（即 $V_l$ 落在其值域的严格子集 $\Omega$ 内）。根据对撞结构（Collider $V_{l+1,i} \to V_l \leftarrow V_{l+1,j}$），对高层变量 $V_l$ 的条件观测诱发了原本独立的低层构件之间的条件依赖性。这极其自然地解释了为何特定几何排列的车轮与车架才能构成“自行车”，而无需引入冗余的同层水平因果连接。在逆向生成采样路径中，数据依序由顶向下展开： $$Z_0 \sim P(Z_0), \quad Z_l \sim P(Z_l \mid Z_{l-1}), \quad l \in \{1, \dots, L_V + 1\}$$ 其中 $Z_0 := D$（文本提示），$Z_{L_V+1} := X$（生成图像），生成的条件分布与底层的选择机制对偶绑定。

2. 极小化稀疏约束与逐分量可辨识性：理论保证隐表征等价于真实概念

经验性解耦方法往往仅能达到子空间可辨识性，不同概念分量之间仍存在旋转与纠缠，难以进行单一概念的干净操控。本文提出了视觉概念识别的核心条件（Condition 1）： - 充分信息量（Informativeness）：存在微分同胚映射 $g_l: (Z_l, \epsilon_l) \mapsto X$； - 平滑密度（Smooth Density）：概率密度函数 $p(z_{l+1} \mid z_l)$ 处处平滑； - 充分变化性（Sufficient Variability）：对于任意概念及其父节点集合 $\tilde{Z} := \text{Pa}(Z)$，在不同取值下分数函数导数向量线性无关； - 稀疏连通性（Sparse Connectivity / Minimality）：对每个父概念 $\tilde{Z}$，存在子集 $Z \subseteq \text{Ch}(\tilde{Z})$ 使得其唯一的共同父概念就是 $\tilde{Z}$，即 $\bigcap_{Z \in \mathcal{Z}} \text{Pa}(Z) = \{\tilde{Z}\}$。

基于上述条件，定理 2（Theorem 2）给出了严格的数学证明：在真实生成机制满足因果极小化假设下，如果一个备选模型在重构相同观测分布 $P(X)$ 的同时满足稀疏约束： $$n(\text{Pa}(\hat{Z})) \le n(\text{Pa}(Z))$$ 则学习到的潜变量 $\hat{Z}_l$ 与真实潜变量 $Z_l$ 在每一层 $l \in [L_V]$ 上都具有逐分量可辨识性（Component-wise Identifiability），即存在置换 $\pi$ 和可逆函数 $h_i$，使得 $\hat{Z}_i = h_i(Z_{\pi(i)})$。这意味着学习到的每一个内部神经元/特征通道精确对应物理现实中的单一原子语义，杜绝了概念纠缠。

3. 时间步解耦的概念抽取与跨层级因果发现：从扩散特征到层次化干预控制

理论上的稀疏极小化约束在现代扩散模型中得到了优雅的工程实例化。扩散模型的逐步去噪过程天然对应于层次化生成：大噪声时间步（如 $t=899$）决定了图像全局轮廓与高层语义布局，而小噪声时间步（如 $t=100$）则细化局部纹理与微观边缘。本文采用两步法落地理论： 1. 时间步特定的稀疏特征学习：在预设时间步（899, 500, 100）的 U-Net / DiT 隐层特征上分别训练 $K$-sparse 稀疏自编码器（SAE），通过控制激活特征数 $K$ 严格逼近因果极小化所需的稀疏性约束； 2. 跨层因果图构建与定向干预：利用 PC 因果发现算法在提取的稀疏特征间构建跨时间步的有向无环图（DAG），明确各概念节点（如猫全脸 → 上半脸 → 眼睛/耳朵）的从属拓扑关系。在操控时，给定隐特征 $x$，自编码器重构隐变量 $z = E(x)$，通过向特定语义特征方向注入引导向量 $v$： $$x' = x + \lambda D(v)$$ 将调制后的 $x'$ 仅在其对应的特定时间步回注到扩散去噪流中。这种时间步对齐的干预避免了传统全局扰动带来的大面积失真与伪影。

实验关键数据¶

主实验¶

1. 概念擦除与模型遗忘基准评测（Model Unlearning） 在四个权威概念擦除评测基准（I2P、RING-A-BELL、P4D、UnlearnDiffATK）上测试裸露与有害概念消除能力，并在 MS-COCO 验证集（10K 样本）上评估常规文本生成质量（FID 与 CLIP 分数）。评估结果见原论文 Table 1。

方法	I2P ↓	RING-A-BELL (AVG) ↓	P4D ↓	UATK ↓	COCO FID ↓	COCO CLIP ↑
SD 1.4 (原始模型)	17.80	88.10	98.70	69.70	16.71	31.30
ESD	2.87	28.42	15.49	2.87	18.18	30.20
MACE	1.51	0.70	2.82	1.51	16.80	28.70
UCE	0.87	10.87	9.86	0.87	17.99	30.20
RECE	0.72	4.91	5.63	0.72	17.74	30.20
ConceptSteer	0.36	7.02	1.99	2.11	18.67	30.80
本文方法 (Ours)	0.26	1.17	0.66	2.11	17.02	31.30

注：本文方法在 I2P 上达到 0.26 (±0.06)，在 P4D 上压制至 0.66%，同时保持 COCO FID 为 17.02，CLIP 分数高达 31.30，说明在彻底清除敏感概念的同时几乎零损失常规生成保真度。

2. 不同去噪时间步的空间扩散与表征抽象度定量分析 通过计算 SAE 特征激活的空间影响区域（Top-$k$ 激活像素覆盖比例）以及在去噪过程中停用 Top-1 特征对最终生成图像造成的破坏程度（L1、LPIPS、CLIP、DINO 相似度），验证时间步与概念抽象层级的严格对应关系。数据见原论文 Table 2。

时间步 $t$	Top1 激活面积	Top3 激活面积	Top10 激活面积	停用后 L1 差异 ↑	停用后 LPIPS 差异 ↑	停用后 DINO 相似度 ↓
$t=100$ (低层细节)	0.27	0.21	0.15	0.004	0.002	0.999
$t=500$ (中层结构)	0.30	0.25	0.17	0.013	0.020	0.993
$t=899$ (高层全局)	0.53	0.41	0.24	0.070	0.220	0.903

注：$t=899$ 的 Top-1 激活像素比例达 0.53，且停用导致 LPIPS 漂移高达 0.220、DINO 相似度骤降至 0.903；而 $t=100$ 停用仅引起 0.002 的 LPIPS 微小扰动，有力证实了扩散网络早期负责全图全局骨架、晚期负责微观局部细节的分层机制。

3. 可控图像生成与属性编辑对比 在添加虎斑花纹（Add tabby pattern）、添加山脉（Add mountains）以及树桩替换岩石（Replace rock w/ stump）三个图像编辑任务中对比原模型、非分层 SAE 及本文方法（原论文 Table 3）。

任务与指标	SD 1.4 基线	SD 1.4 (SAE 无分层)	SD 1.4 (本文方法)
添加斑纹 - CLIP-I (图像保真) ↓	0.91 ± 0.05	0.83 ± 0.07	0.93 ± 0.04
添加斑纹 - CLIP-T (文本对齐) ↑	0.27 ± 0.00	0.28 ± 0.02	0.28 ± 0.01
添加山脉 - CLIP-I (图像保真) ↓	0.84 ± 0.06	0.83 ± 0.04	0.91 ± 0.03
添加山脉 - CLIP-T (文本对齐) ↑	0.33 ± 0.01	0.32 ± 0.01	0.33 ± 0.01
岩石换树桩 - CLIP-I (图像保真) ↓	0.93 ± 0.02	0.95 ± 0.02	0.96 ± 0.02
岩石换树桩 - CLIP-T (文本对齐) ↑	0.31 ± 0.01	0.29 ± 0.01	0.31 ± 0.01

消融实验¶

论文通过在时间步 $500$ 调节 SAE 的激活特征数 $K$（$K=100, 10, 4$）来验证极小化稀疏约束对因果图可辨识性的决定性影响（原论文 Figure 4）： - 稀疏度不足（$K=100$）：因果图中节点连接稠密纠缠，高层脸部特征与眼部、耳朵等细节特征重叠交织，可解释性显著下降； - 适度稀疏（$K=10$，极小化平衡点）：成功恢复出清晰语义树——高层节点 3556（猫脸全貌）向下分支到中层节点 3044（面部中央）、1441（耳朵）、1026（前额），进一步细化到低层节点 3066（眼睛）与 762（嘴部），拓扑层次极其分明； - 过度稀疏（$K=4$）：图结构被过度剪枝，高层节点断开或丢失，无法完整覆盖生成猫脸所需的语义要素。

关键发现¶

多层级协同干预的独立性：跨层级联合干预（Multi-level Editing）可实现单层编辑无法完成的复合解耦。例如在“饮料杯”图像中，高层节点 2212 掌管杯体整体造型，中层节点 3372 专门掌管冰块；通过对 2212 施加正向变化的同时对 3372 施加负向抑制，能生成杯体换样且精准移除冰块的图片，且完全不污染背景。
时间步靶向干预消除全局伪影：传统 SAE 在全时间步施加负向引导会导致全图畸变（如人物被替换或背景涂抹）；将有害特征仅在其所属的特定时间步注入修改，可以在彻底擦除敏感概念的同时完好保留其余物体的几何结构。

亮点与洞察¶

理论破局：将因果极小化与分层对撞选择模型结合：首次在连续非线性表征中证明了分层选择模型的逐分量可辨识性，从数学原理上回答了“为什么在生成模型隐层做稀疏分解能得到可解释特征”，为 SAE 启发式实践奠定了坚实的因果理论基石。
概念图与扩散去噪动力学的天然契合：精准将抽象概念层级映射到扩散模型的时间步动力学（高噪声=全局轮廓语义，低噪声=局部高频纹理），使提取出的概念不仅具备语义可读性，更具备物理时间步的靶向可操作性。
零代价的概念擦除与模型安全防护：通过在因果图中定位并微调目标概念节点，实现了目前业界领先的敏感概念抑制率（I2P 降至 0.26%，RING-A-BELL 均值降至 1.17%），同时 COCO 图像生成的 FID 与 CLIP 分数未发生任何退化。

局限与展望¶

理论假设的严格性：理论推导依赖于充分变化性（Sufficient Variability）和无未观测混杂的平滑度假设，若真实数据分布存在严重的长尾截断或极端共线性（如某些实体与背景永远绑定出现），概念间可能依然会出现不可辨识的合并现象。
时间步离散采样的离散化误差：当前实验仅选取了代表性的时间步（899, 500, 100）作为离散层级切片，而在连续扩散常微分方程（ODE）轨迹下，概念是如何在连续时间步之间演变流动的，仍需更细粒度的流式因果分析。
跨模态与复杂场景的可扩展性：未来可探索将分层选择因果理论扩展至大规模视频生成模型（Sora、Wan）及跨注意力交互模块，探索时空因果图的自动诱导。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出分层选择因果模型并证明逐分量可辨识性，理论深度极高。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖概念图提取、多时间步统计特性、多层级编辑及四大模型遗忘基准，论据充实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严丝合缝，从哲学层面的因果极小化顺畅过渡到工程实现。
价值: ⭐⭐⭐⭐⭐ 为生成模型的可解释性、对齐与细粒度安全操控开辟了因果理论指引的新方向。

时间步 \(t\)	Top1 激活面积	Top3 激活面积	Top10 激活面积	停用后 L1 差异 ↑	停用后 LPIPS 差异 ↑	停用后 DINO 相似度 ↓
\(t=100\) (低层细节)	0.27	0.21	0.15	0.004	0.002	0.999
\(t=500\) (中层结构)	0.30	0.25	0.17	0.013	0.020	0.993
\(t=899\) (高层全局)	0.53	0.41	0.24	0.070	0.220	0.903