Structure-agnostic Causal Representation Learning¶

会议: NeurIPS2026
arXiv: 2610.00968
OpenReview: https://openreview.net/forum?id=8gtLRyYY45
代码: https://github.com/ArmanBehnam/sacrl
领域: 因果推理
关键词: 因果表示学习, 结构未知学习, 希尔伯特-施密特独立性准则, 域泛化, 软结构选择

一句话总结¶

针对因果结构未知时固定不变性约束必然导致预测信号丢失的瓶颈，本文提出无需预设 DAG 的 SaCRL 框架，利用 HSIC 违例指标与自适应 SoftMin 权重联合辨识潜在因果结构并学习对应的不变表示，实现了在合成数据与 DomainBed 上的最优分布外泛化。

研究背景与动机¶

因果表示学习旨在通过发现数据生成背后的因果机制来提取鲁棒特征，从而克服测试环境下的分布偏移。然而现有因果表征方案存在两难困境：基于明确因果图的方法依赖先验已知的有向无环图（DAG）与结构因果模型（SCM），但在现实复杂系统中预先标注因果图往往是不可能的；而基于分布不变性的方法（如 IRM 或 VREx）虽然避开了显式建图，却在优化中机械固化了单一的不变性条件，实际上暗中锁定了特定的因果结构。

这种设定的核心矛盾在于，不同因果结构要求根本上互不兼容的不变性约束：反因果结构（$\mathcal{G}_1: Y \to X$）要求条件独立性 $\phi(X) \perp\!\!\!\perp E \mid Y$；混杂后代结构（$\mathcal{G}_2: X \to Y$ 带混杂）要求预测分布不变即 $Y \perp\!\!\!\perp E \mid \phi(X)$；而混杂结果结构（$\mathcal{G}_3$）则要求边际不变性 $\phi(X) \perp\!\!\!\perp E$。一旦假设的因果图发生错配，强加错误的不变性约束将直接抹杀包含因果预测信号的核心特征，导致分布外泛化性能甚至劣于简单的经验风险最小化（ERM）。

针对上述瓶颈，本文的切入视角是利用真实因果结构与错误因果结构在表征可实现性上的非对称性：在真实生成机制下，具备充分预测力的表征能够以零违例严格满足其对应的不变性；而强行满足错误的约束则必然招致不可削减的预测损失或违例溢出。核心 idea：将离散的因果结构搜索松弛为基于 HSIC 违例度的 SoftMin 连续优化问题，设计自适应权重机制动态聚焦于真实可达的因果不变性，实现结构发现与不变表示学习的端到端联合求解。

方法详解¶

整体框架¶

SaCRL 的输入为来自多个训练环境的数据集，输出为提取的不变表征以及对应的最优预测器，同时在训练收敛后输出判定的因果结构 $\hat{k}$。整个学习流程通过核回归残差估计三种候选不变性的 HSIC 违例度，并将其输入带退火温度的 SoftMin 算子，形成平滑可导的自适应惩罚项。整体结构流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多环境数据输入<br/>(X, Y, E)"] --> Enc["特征编码与预测<br/>z = phi(X), y_hat = w(z)"]
    Enc --> PredLoss["分布鲁棒预测损失<br/>CVaR_rho 或最坏环境风险"]
    Enc --> VioCalc["核独立性违例度量<br/>计算 V1, V2, V3 (HSIC / RFF)"]
    VioCalc --> SoftSel["软结构选择与自适应权重<br/>SoftMin_beta 与权重 alpha_k"]
    PredLoss --> TotalObj["联合优化目标<br/>L_rho(phi, w) 单循环求解"]
    SoftSel --> TotalObj
    TotalObj --> Out["输出: 不变表征 phi* 与判决结构 k_hat"]

关键设计¶

1. 基于核独立性准则的不变性违例度量：连续化表征离散因果独立性 针对三种互不兼容的不变性条件（反因果 $\mathcal{I}_1$、混杂后代 $\mathcal{I}_2$、混杂结果 $\mathcal{I}_3$），传统方法因离散指示函数而无法梯度优化。SaCRL 在再生核希尔伯特空间（RKHS）中引入希尔伯特-施密特独立性准则（HSIC）。对于边际独立性 $\mathcal{I}_3$，直接利用经验 HSIC 估计器 $V_3(\phi) = \widehat{\mathrm{HSIC}}(\phi(X), E)$；对于涉及条件独立性的 $\mathcal{I}_1$ 与 $\mathcal{I}_2$，利用核岭回归（Kernel Ridge Regression）残差化消除条件变量的非线性依赖，将条件独立性转化为残差变量间的无条件 HSIC 计算： $$V_1(\phi) = \widehat{\mathrm{HSIC}}(\tilde{\phi}, \tilde{E}), \quad V_2(\phi) = \widehat{\mathrm{HSIC}}(\tilde{Y}, \tilde{E}')$$ 其中 $\tilde{\phi}$ 与 $\tilde{E}$ 为对 $Y$ 回归的残差，$\tilde{Y}$ 与 $\tilde{E}'$ 为对 $\phi(X)$ 回归的残差。该度量保证了在特征满足可预测性约束时，真实因果结构的违例度下确界为 0，而错误结构的违例度存在正的忠实性间隙 $\eta/2 > 0$。

2. 软结构选择与自适应退火权重：规避组合搜索与过早硬分配陷阱 为了避免在离散候选图空间中进行代价高昂且不连续的穷举搜索，SaCRL 采用带逆温度参数 $\beta$ 的 SoftMin 算子聚合违例项： $$\mathrm{SoftMin}_{\beta}(\{V_k(\phi)\}) := -\frac{1}{\beta} \log \sum_{k=1}^3 \exp(-\beta V_k(\phi))$$ 由此导出的隐式自适应结构权重 $\alpha_k(\phi) := \frac{\exp(-\beta V_k(\phi))}{\sum_j \exp(-\beta V_j(\phi))}$ 满足归一化分布。在训练初期，违例度估计受未成熟表征的噪声干扰较大，设定较小的 $\beta$ 能够保持软性探索；随着训练推进逐步退火增大 $\beta$ 至 $\beta_{\max}$，权重自动浓缩坍缩至违例最小的结构上。其关于表征参数的梯度恰为加权组合 $\nabla_\phi \mathrm{SoftMin}_\beta = \sum_k \alpha_k(\phi) \nabla_\phi V_k$，实现了对双层优化问题的优雅单循环松弛。

3. 随机傅里叶特征加速与分布鲁棒联合优化：兼顾高维可扩展性与最坏域保障 原始 HSIC 矩阵计算复杂度为 $O(n^2)$，难以适应高维图像数据。SaCRL 引入 $D$ 维随机傅里叶特征（RFF）近似核特征映射，将违例度计算时空复杂度分别降至 $O(nD^2)$ 与 $O(nD)$。理论证明在特征数 $D = \Omega(\kappa^4 \eta^{-2} d \log(n/\delta'))$ 时，结构判别的样本复杂度和指数收敛界依然成立。在预测损失端，模型采用条件风险价值（CVaR）替代单纯的经验平均，设定环境风险水平 $\rho = 0.5$（平均最坏半数环境），构建分布鲁棒总目标： $$\mathcal{L}_\rho(\phi, w) := \mathrm{CVaR}_\rho\left(\{\hat{\mathcal{R}}_e(w \circ \phi)\}_{e \in \mathcal{E}}\right) + \lambda \, \mathrm{SoftMin}_\beta(\{V_k(\phi)\}_k)$$ 该设计不仅平滑插值了平均风险与最差风险，还通过环境多样性矩阵保证了因果可辨识性。

损失函数 / 训练策略¶

训练过程结合 ERM 预热与多阶段优化： 1. 采用 Adam 优化器，先利用标准预测损失进行短暂预热，使表征进入预测有效空间 $\Phi_\epsilon$； 2. 联合优化统一目标 $\mathcal{L}_\rho(\phi, w)$，温度参数 $\beta$ 依轮次线性退火（从 1 增至 50）； 3. 训练收敛后，直接依据最终经验违例度硬判决输出因果结构 $\hat{k} = \arg\min_k V_k(\phi_T)$，并依据权重裕度 $\alpha_{(1)} - \alpha_{(2)}$ 与置换检验 $p$ 值给出判定置信度。

实验关键数据¶

主实验¶

在合成数据基准上检验结构辨识能力，并在反相关测试环境（$\rho_{\text{test}}=0.1$）下的 Colored MNIST 以及 DomainBed（PACS、VLCS、OfficeHome）上评估 OOD 泛化精度。

数据集 / 设定	指标	SaCRL (本文)	最佳基线 (IRM / CIRCE / ERM)	提升 / 优势
Synthetic ($n=5000$)	结构识别准确率 (%)	96.3% (均值)	33.3% (随机猜测)	准确发现 $\mathcal{G}_1/\mathcal{G}_2/\mathcal{G}_3$
Semi-synthetic BN	结构识别准确率 (%)	75.0% - 95.0%	$\le 60.0\%$ (默认单结构)	准确匹配真实 DAG 拓扑
Colored MNIST ($\mathcal{G}_1$)	OOD 测试准确率 (%)	45.2 ± 10.0	27.2 ± 11.3 (ERM) / 21.3 (IRM)	+18.0 pp (结构辨识率 92%)
DomainBed - PACS	平均 OOD 准确率 (%)	64.3	62.2 (ERM/IRM)	+2.1 pp (各域一致领先)
DomainBed - VLCS	平均 OOD 准确率 (%)	78.7	74.5 (IRM) / 74.3 (ERM)	+4.2 pp
DomainBed - OfficeHome	平均 OOD 准确率 (%)	59.6	56.5 (ERM) / 56.1 (IRM)	+3.1 pp

消融实验¶

在合成 $\mathcal{G}_2$ 数据集（$n=2000$）上开展消融实验，验证 SoftMin、退火调度及惩罚项超参的核心作用：

配置	结构识别率 (%)	OOD 准确率 (%)	说明
Full model (SaCRL)	89.0	84.2	完整模型（SoftMin + 退火 $\beta: 1 \to 50$）
w/o SoftMin (硬 argmin 优化)	79.5	79.8	训练初期过早锁定错误结构，识别率降低 9.5 pp
固定温度 $\beta=10$	83.0	81.5	缺乏软到硬平滑过渡，局部极小阻碍收敛
固定小权重 $\lambda=0.1$	72.5	78.3	不变性惩罚不足，难以区分违例间隙
均匀环境权重 ($\rho=1.0$)	88.0	82.1	缺乏最坏环境鲁棒性保障，泛化略有下降

关键发现¶

结构错配代价巨大：在真实为反因果结构的 Colored MNIST 任务中，强加因果不变性约束的 IRM 精度（21.3%）明显低于无约束的 ERM（27.2%），证明强制施加错误的不变性反而会过滤有效信号；而 SaCRL 自动识别出 $\mathcal{G}_1$（92% 比例），获得 45.2% 的最高精度。
软选择有效克服局部极值：消融表明将 SoftMin 替换为硬选择会让辨识率骤降近 10 pp，验证了在表征演变阶段通过概率加权维持探索的必要性。
真实图像域的因果结构动态性：在 PACS 跨域测试中，不同留出域训练集分别收敛于 $\mathcal{G}_1$ 或 $\mathcal{G}_2$ 结构，表明现实数据生成过程并不服从单一固定的全局因果图，验证了结构不可知学习的实用价值。

亮点与洞察¶

将因果发现内化为表征损失：打破了传统因果推断“先单独做因果发现、再学习表示”的两阶段脱节，将三种规范因果不变性的 HSIC 违例量化为可微目标，使得因果表征网络在自适应反向传播中自然收敛至真实结构。
理论保证与 RFF 计算扩展：建立了包含一致辨识性界、有限样本复杂度以及 OOD 泛化误差上界的严密理论闭环，并通过随机傅里叶特征将 HSIC 内存从二次方压缩至线性复杂度，使核因果理论在深度视觉特征上具备可行性。
具备置信度度量的不变性诊断：模型通过自适应权重裕度与排列检验 $p$ 值直接汇报选择可信度，在面对结构偏离规范假设的双向反馈数据时，自适应表现为平滑模型平均而非强行错选。

局限与展望¶

规范结构的覆盖边界：理论保证建立在三种规范因果图（反因果、混杂后代、混杂结果）之上，当真实数据包含复杂的环状反馈或非规范混杂交互时，模型只能近似退化为邻近规范图的加权平均。
条件独立性估计的残差假设：在计算条件 HSIC 时依赖加性噪声模型与核回归残差化，在高维复杂非线性流形上回归残差的质量直接决定了违例检验的敏锐度。
未来方向：探索与大语言模型潜在概念空间的结合，将自适应不变表征学习拓展至多模态表征以及跨模态推理任务中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出连续可微的软因果结构选择框架，突破结构已知或固定不变性假设。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成基准、贝叶斯网络、Colored MNIST 及 DomainBed 真实图像基准，包含理论边界与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 测度论基础扎实，问题形式化清晰，实验设计环环相扣。
价值: ⭐⭐⭐⭐⭐ 为分布外泛化与因果表示学习提供了统一且具实用性的全新范式。

数据集 / 设定	指标	SaCRL (本文)	最佳基线 (IRM / CIRCE / ERM)	提升 / 优势
Synthetic (\(n=5000\))	结构识别准确率 (%)	96.3% (均值)	33.3% (随机猜测)	准确发现 \(\mathcal{G}_1/\mathcal{G}_2/\mathcal{G}_3\)
Semi-synthetic BN	结构识别准确率 (%)	75.0% - 95.0%	\(\le 60.0\%\) (默认单结构)	准确匹配真实 DAG 拓扑
Colored MNIST (\(\mathcal{G}_1\))	OOD 测试准确率 (%)	45.2 ± 10.0	27.2 ± 11.3 (ERM) / 21.3 (IRM)	+18.0 pp (结构辨识率 92%)
DomainBed - PACS	平均 OOD 准确率 (%)	64.3	62.2 (ERM/IRM)	+2.1 pp (各域一致领先)
DomainBed - VLCS	平均 OOD 准确率 (%)	78.7	74.5 (IRM) / 74.3 (ERM)	+4.2 pp
DomainBed - OfficeHome	平均 OOD 准确率 (%)	59.6	56.5 (ERM) / 56.1 (IRM)	+3.1 pp