Causal Intervention in Concept Bottleneck Models¶

会议: ECCV 2026
论文: ECCV 2026 官方页面
代码: https://github.com/LMBTough/CI
领域: 可解释性
关键词: 概念瓶颈模型 (CBM), 因果干预, 可解释AI, 人机协同交互, 概念重对齐

一句话总结¶

提出无需额外训练的因果干预（Causal Intervention, CI）方法，利用已训练概念瓶颈模型中编码的概念关联结构，将输入图像作为共享上游载体反向传播人工反馈，在极少干预步数下实现对未干预概念的自适应重对齐。

研究背景与动机¶

概念瓶颈模型（Concept Bottleneck Models, CBMs）通过在输入与预测之间引入具有明确语义的概念层，为高风险决策场景提供了透明的解释途径与人机交互接口。当模型对某些概念预测置信度不足时，人类专家可介入并提供真实概念标签，从而修正下游预测。然而在实际部署中，每一次人类干预都需要耗费专业精力与标注成本。因此，如何在最少的人工干预轮数内最大化提升模型预测准确率，成为了交互式概念可解释性领域的核心挑战。

早期干预策略（如 UCP、CCTP、ECTP 等）大多孤立地评估各个概念，忽视了现实概念之间天然存在的相关性（例如鸟类“灰色腹部”与“灰色羽毛”的高度共现）。近期提出的 Concept Realignment（CR）虽首次引入概念重对齐概念，但其做法是在概念层后额外训练一个独立的神经网络来预测未干预概念的调整值。这种外挂网络不仅引入了额外的网络架构、超参调优和随机初始化不确定性，且仅仅作用于低维概念瓶颈层本身，彻底割裂并浪费了 CBM 整个前置编码网络（$x \to c$ 路径）中已经学到的丰富概念关联先验。

本文分析发现，CBM 自身训练完成的权重参数中已经深度蕴含了概念间的相关性结构；各概念并非互为直接原因，而是共同受输入特征这一“上游共因”所驱动。核心 idea：无需训练任何额外重对齐模型，直接将原始输入作为共享上游干预载体，通过已训练的 $x \to c$ 编码路径反向传播人类反馈梯度以微调输入，从而自适应重对齐未干预概念。

方法详解¶

整体框架¶

因果干预（CI）是一种在推理阶段执行的即插即用、无训练干预范式。对于输入样本 $x$，编码器 $f$ 输出预测概念向量 $\hat{c} = f(x)$，并由分类器 $g$ 给出预测 $\hat{y}$。在人机交互的每轮迭代中，策略 $\pi$ 选出需要介入的概念，人类专家提供真实标签。CI 并非简单地在概念空间硬编码替换，而是将误差损失通过梯度反向传播至输入空间 $x$，在微小且有界的扰动范围内更新输入，经由共享的前向通道使未被人工干预的概念自洽联动更新，最后对干预集合内的概念执行真值锚定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x"] --> B["概念编码器 f(x)"]
    B --> C["概念预测与策略选择<br/>确定待干预概念并获取真值"]
    C --> D["输入载体梯度传播<br/>符号梯度反向微调输入 x"]
    D --> E["跨概念联动重对齐<br/>前向传播自适应更新关联概念"]
    E --> F["真值钳位与最终分类<br/>锁定干预概念并由 g(c) 输出标签"]

关键设计¶

1. 概念关联内生性检验：验证已训练网络蕴含概念相关结构 外挂重对齐网络的动机往往假设主模型未能捕捉概念相关性。本文首先在理论与经验层面证伪了该假设：在 CUB 数据集上构建训练集真值概念相关矩阵 $M_1 \in \mathbb{R}^{n \times k}$，以及预训练骨干网络后映射到概念空间的线性层权重相关矩阵 $M_2 \in \mathbb{R}^{m \times k}$。实验表明，$M_2$ 与 $M_1$ 的符号斯皮尔曼等级相关系数（Spearman Correlation）高达 0.849，绝对相关系数达 0.635，Top-50 高相关对重合度达到 0.86（随机对照接近 0）。这证明主干网络在拟合分类与概念任务的过程中，早已将概念共现结构内化在其参数分布中，完全具备自发重对齐的先验能力。

2. 输入载体梯度传播：以输入特征为共因载体传递反馈 在 CBM 计算图结构中，各概念节点间没有侧向直接连边，其依赖性完全由上游共享输入 $x$ 介导（正如学生的用功程度是考试成绩与作业质量的共因）。当策略在第 $t$ 步选中概念 $i$ 且人工给出真值 $c_i$ 时，CI 对概念输出进行一阶泰勒展开，并采用符号梯度（Sign Gradient）在输入空间构造有界更新方向： $$\Delta x = -\eta \cdot \operatorname{sign}\left(\sum_{j \in S_t} \nabla_x \mathcal{L}(\hat{c}_j(x), c_j)\right)$$ 其中 $S_t$ 是截至当前轮次所有已被干预的概念集合，$\mathcal{L}$ 为二值交叉熵损失。由于梯度的链式法则，对已干预概念 $i$ 的输入梯度在微调 $x$ 后，会通过 $\operatorname{sign}(\nabla_x \hat{c}_i) \cdot \nabla_x \hat{c}_j$ 的内积项自然传导至未干预概念 $j$，使与概念 $i$ 正相关的概念同步被推向合理状态。

3. 累积扰动约束与真值钳位：保障图像语义完整与极端步数收敛 为了避免对输入 $x$ 的更新蜕变为对抗攻击或破坏视觉语义，CI 采用固定的步长 $\eta$（如 0.03125~0.25）和 $L_\infty$ 范数截断。在 $T$ 轮干预后，最大扰动严格满足 $\|x_T - x\|_\infty \le T \cdot \eta$。实测表明，CBM 上的结构相似性指标（SSIM）高达 0.999，$L_\infty$ 仅约 0.002。在最终送入分类器 $g$ 之前，对所有已介入过的历史概念指标执行真值覆盖（$\hat{c}_j \leftarrow c_j, \forall j \in S$），既保证了人类专家知识的 100% 保真，又让未介入的概念在共享特征引导下获得精准修正。

损失函数 / 训练策略¶

本方法在干预阶段完全免训练（Training-free），不更新模型网络参数，仅在推理时根据如下迭代算法在输入空间做少量前向与反向传递： 1. 初始化被干预集合 $S \leftarrow \emptyset$； 2. 每轮交互通过策略选定概念 $i$，加入 $S$ 并接收人类真值 $c_i$； 3. 计算综合概念损失对 $x$ 的梯度 $\nabla_x \sum_{j \in S} \mathcal{L}(\hat{c}_j, c_j)$，更新 $x \leftarrow x - \eta \cdot \operatorname{sign}(\nabla_x \mathcal{L})$； 4. 交互结束后前向提取 $\hat{c} = f(x)$，并将 $j \in S$ 的值强制替换为 $c_j$，输入分类器 $g(\hat{c})$ 得到最终决策。

实验关键数据¶

主实验¶

论文在 Animals with Attributes 2 (AwA2，85 属性) 与 Caltech-UCSD Birds-200-2011 (CUB，112 概念/28 概念组) 上开展评测，覆盖 CBM、CEM 与 Int-CEM 三大主流概念模型，采用梯形积分度量干预准确率曲线下的面积（Intervention-AUC）。

下表展示前 10 步早期干预阶段（AUC@10）的核心对比（数值越大越好）：

方法	AwA2 (CEM)	AwA2 (Int-CEM)	AwA2 (CBM)	CUB-Ind (CEM)	CUB-Ind (Int-CEM)	CUB-Ind (CBM)	CUB-Grp (CEM)	CUB-Grp (Int-CEM)	CUB-Grp (CBM)
CCTP	791.35	782.35	820.06	719.12	729.91	618.45	732.02	750.88	636.50
COOP	789.00	777.62	815.62	714.37	707.21	610.29	738.61	775.13	655.75
ECTP	826.87	842.91	836.08	757.68	788.23	679.32	763.54	801.87	706.31
EUDTP	814.81	787.70	819.58	731.64	751.59	616.15	742.64	772.47	626.49
Random	799.87	794.80	820.06	720.49	726.21	622.18	733.21	762.12	643.16
UCP	828.70	821.79	832.60	750.16	781.11	665.16	770.16	811.45	697.75
CR (ECCV24)	838.76	842.63	840.37	757.10	781.15	682.99	784.10	815.07	729.09
CI (本文)	863.93	844.96	859.28	801.91	814.01	743.31	811.87	836.43	761.63

在全干预步数总 AUC（Table 1）上，CI 同样全面占优：在 CUB-Ind 上，CEM、Int-CEM、CBM 分别取得 10661.75、11087.43、10500.56，相较竞争基线平均提升 5.07%。

消融实验与计算开销¶

论文进一步在基于能量的 E-CBM (MNIST-Add) 架构上评估计算效率与显存占用（单卡 NVIDIA L40S，33,000 样本，32 轮干预）：

方法/指标	全程 AUC	早期 AUC(10)	交互总耗时 (s)	显存占用 (MB)	特性说明
CCTP	1916.3	583.8	15.6	864	概念梯度归因
COOP	1915.6	582.2	43.1	864	协同预测打分，耗时最长
ECTP	1933.6	600.4	13.2	864	KL散度目标变化预测
EUDTP	1885.0	586.3	14.4	1296	熵减预测策略
Random	1916.6	587.8	25.6	1422	随机选择，显存开销较高
UCP	1942.6	601.8	14.3	1296	不确定度启发式基线
CI (本文)	1957.8	605.1	28.7	1022	全免训练，双指标最优且显存受控

关键发现¶

早期收敛极快：CI 在约 20 步干预内即可达到 baseline 需要消耗全集概念（85 或 112 步）才能达到的准确率平台期，前 10 步 AUC 相比已有方法平均高出 8.59%，相比带重训练的 CR 高出 3.90%。
对步长调优鲁棒：在学习率 0.03125 至 0.25 的范围内，AUC 变化幅度温和，例如 CUB-Ind 上 CEM 随步长略有上升（10610 至 10661），整体波动不超过 1%，免去了繁琐的超参调试。
与 UCP 策略天然契合：策略对比表明，基于最不确定概念选取的 UCP 策略能最快提供关键梯度，在多数设置下与 CI 结合效果最强；而在组干预设置下，EUDTP 可作为高计算效率的替代策略。

亮点与洞察¶

从“外挂修复”到“内生借力”：揭示了 CBM 主干参数本身就忠实保留了概念共现矩阵结构，巧妙避免了传统方法额外搭建重对齐网络带来的累积误差与过拟合风险。
上游因果载体的优雅抽象：将图像 $x$ 视为所有瓶颈概念的“上游共同原因”，通过对 $x$ 执行一阶梯度微调，实现了概念间“牵一发而动全身”的自洽调整，物理意义清晰且数学表述精炼。
极具实用价值的成本优势：兼顾了前 10 步交互的爆发式精度收益与极低的显存开销，完全不需要修改底层网络即可热插拔部署在任意已有 CBM 系统中。

局限与展望¶

反向梯度依赖：推理端需要访问输入到概念层的可微路径，若部署环境仅暴露黑盒 API 或不可导硬件量化图，则梯度传播无法直接执行。
多轮干预下的扰动累积：在极极端的多轮单概念干预（>100 步）中，累积扰动可能略微降低图像保真度（个别设置下 SSIM 下降至 0.934），未来可探索自适应动量截断或投影梯度下降机制。
非因果图语义发现：作者坦诚该方法利用的是统计相关性而非严格结构因果模型（SCM）中的因果可识别性，未来可结合真正带因果图约束的瓶颈网络深化理论边界。

评分¶

新颖性: ⭐⭐⭐⭐☆ 突破传统外挂模型思维，以输入为载体反向传播实现概念重对齐，视角独到
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 个经典基准、3 种主流架构及 E-CBM，全维度对比 7 类基线并剖析显存耗时
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，公式推导与因果机理对应严密，实验论据扎实
价值: ⭐⭐⭐⭐⭐ 为高风险人机交互可解释决策系统提供了低成本、即插即用的实用干预工具