Causal Representation Learning for Generalisable Recommendation¶

会议: NeurIPS 2026
arXiv: 2605.27043
OpenReview: https://openreview.net/forum?id=ub2HuIm8hN
领域: 因果推理
关键词: 因果表示学习、推荐系统、分布偏移、信息论解耦、梯度反转

一句话总结¶

提出面向推荐系统分布偏移的因果表示学习准则，通过在预测目标中惩罚物品表示与用户混杂变量之间的互信息，消除虚假相关通路，在保持离线同分布性能的同时显著提升真实线上分发与随机曝光下的排序泛化能力。

研究背景与动机¶

推荐系统等闭环预测系统长期面临一个基础性挑战：模型训练所依赖的观测交互日志由历史推荐策略、用户历史偏好以及平台多层过滤共同决定，存在严重的曝光偏差（Exposure Bias）。当模型部署到线上在线推理阶段时，需要从海量且分布迥异的候选池中进行打分排序，这导致训练分布与线上打分分布之间产生巨大鸿沟，造成经典的「离线评估指标无法准确预测线上业务表现」的顽疾。现有去偏方法（如逆倾向评分 IPS、双重稳健估计或多环境不变学习）往往需要高质量倾向估计、多环境切分或无偏干预随机数据，而在工业级推荐场景中，无偏随机流量成本高昂，难以作为常规训练源。

从因果表示学习（CRL）的视角审视，若模型的预测仅依赖于驱动用户反馈的真实因果机制，则即便策略诱导的环境分布发生偏移，预测有效性依然得以维持。然而，经典因果表示学习追求全潜变量的可识别性（Identifiability），其严苛的假设在仅有混杂观测日志的推荐系统中难以满足。推荐场景的关键症结在于：推荐模型conditioning的用户与上下文特征构成了观测混杂因素，而展示物品的表征在历史交互中与这些混杂因素形成了虚假相关，诱发了一条「物品 $\leftarrow$ 非因果特征 $\leftarrow$ 混杂因素 $\to$ 结果」的后门通路，导致标准排序模型习得捷径特征并在分布偏移时失效。

针对这一本质矛盾，本文放弃对全部潜因果因子的完全恢复，转而聚焦于一个更务实且部署友好的目标：仅利用既有混杂日志，剥离物品表示中与用户混杂相关的非因果泄漏。核心 idea：提出信息论因果解耦准则，在最大化给定混杂下对结果预测能力的同时显式惩罚物品表示与混杂因素的互信息，并推导其变分可微下界，在不增加任何推理开销的前提下消除虚假后门依赖。

方法详解¶

整体框架¶

本文将推荐排序问题置于结构因果模型（SCM）框架下，内生变量集合为 $\mathbf{V}=\{T, Y, Z\}$，其中 $Z$ 为观测混杂因素（用户特征与会话上下文），$T$ 为候选处理（候选待排序物品），$Y$ 为用户交互结果（点击或完播）。观测到的物品特征 $T$ 实质上是由因果潜在分量 $T_C$（真正引起交互的内在属性）与非因果潜在分量 $T_{nC}$（因历史策略关联而产生的虚假混杂信息）纠缠而成的混合体，即 $T = m(T_C, T_{nC})$。在满足非因果分量条件独立假设 $Y \perp T_{nC} \mid (T_C, Z)$ 和非因果泄漏假设 $I(T_{nC}; Z \mid T_C) > 0$ 的前提下，该方法通过编码器映射 $g(T)$ 提取因果表征，利用变分对抗机制抑制与 $Z$ 的互信息，从而斩断虚假相关通道。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据：候选物品 T、用户上下文 Z、交互标签 Y"] --> B["物品表征编码：提取特征表示 g(T)"]
    B --> C["双目标联合优化：效用最大化与混杂惩罚平衡"]
    C --> D["效用通道：InfoNCE 排序损失拟合 p(Y|g(T), Z)"]
    C --> E["解耦通道：对抗互信息批评器与梯度反转层 (GRL)"]
    D --> F["消除非因果泄漏：纯化表征逼近 phi(T_C)"]
    E --> F
    F --> G["零开销线上部署：仅保留编码器产出鲁棒排序打分"]

关键设计¶

1. 信息论因果解耦准则：形式化消除非因果泄漏的信息界 针对标准排序模型吸纳虚假后门通路的缺陷，本文提出了全新的因果解耦优化准则 $J(g) = I(g(T); Y \mid Z) - \lambda I(g(T); Z)$，其中 $\lambda \ge 0$ 为效用与不变性之间的权衡超参数。该准则由两股对立力量构成：前一项条件互信息奖励保留能预测交互结果 $Y$ 的有效因果信息 $T_C$；后一项显式惩罚表征与用户混杂 $Z$ 之间的共享互信息，精准封堵非因果成分 $T_{nC}$ 沿后门通路渗透的可能。理论证明表明，理想因果表示 $g^\star(T) = T_C$ 的准则取值严格大于纠缠全特征的朴素表示 $\tilde{g}(T) = (T_C, T_{nC})$，且其目标差值恰好为超额混杂惩罚 $\lambda I(T_{nC}; Z \mid T_C) > 0$。此外，只要表征满足因果可恢复性，通过确定性映射进行因果纯化均能严格提升目标函数值；在临界惩罚权重区间 $(0, \lambda^\star)$ 内，完整因果特征 $T_C$ 始终严格占优于任何有损压缩。

2. 可计算变分界构建：基于 NCE-CLUB 与 InfoNCE 的可微替代 由于总体分布下的互信息项在有限观测样本上无法直接计算，作者推导了严格的变分界。对于预测效用项 $I(g(T); Y \mid Z)$，利用 Barber-Agakov 变分下界，引入对比 InfoNCE 估计器以同一上下文内的负样本进行打分，得到下界 $\log(K+1) - \mathcal{L}_{\mathrm{utility}}(\theta)$，其形式与工业推荐广泛使用的 Batch 内交叉熵排序损失完全等价；对于混杂惩罚项 $I(g(T); Z)$，引入 NCE-CLUB 互信息上界估计器，通过可学习批评器 $d_\phi(g(T), Z)$ 区分联合分布正样本对 $(g(T), z) \sim p(g, z)$ 与边际独立负样本对 $(g(T), z) \sim p(g)p(z)$。最终定理 1 证明了最大化理论准则等价于最小化代理损失： $$\mathcal{L}_{\mathrm{final}}(\theta, \phi) = \mathcal{L}_{\mathrm{utility}}(\theta) + \lambda \mathcal{L}_{\mathrm{penalty}}(\theta, \phi)$$ 使纯观测数据下的因果表征学习无需依赖样本匹配或倾向权重。

3. 对抗互信息最小化与梯度反转训练：即插即用的工业落地架构 为了使方法能够直接改造现役生产模型且不增加 Serving 复杂度，论文提出了一套工程落地的极简训练范式。在实际优化中，作者将对互信息惩罚的最小化转化为经由梯度反转层（GRL）的对抗训练：在特征编码层之上接入双线性互信息批评器，前向计算表征与用户向量的相关分数，反向传播时通过梯度反转迫使物品编码器丢弃用户混杂信号，并将严格的 NCE-CLUB 上界作为训练监控指标。该设计不仅天然兼容 DeepFM、DCN 等任意标准深度排序架构，而且在推理阶段完全舍弃批评器网络，仅保留物品编码器前向打分，实现了严格意义上的零线上额外时延与计算开销。

损失函数 / 训练策略¶

模型端到端训练由两部分损失协同驱动： $$\mathcal{L}_{\mathrm{final}}(\theta, \phi) = \mathcal{L}_{\mathrm{utility}}(\theta) + \lambda \cdot I_{\mathrm{NCE-CLUB}}(g_\theta(T); Z; d_\phi)$$ 其中效用损失 $\mathcal{L}_{\mathrm{utility}}$ 采用常规二值交叉熵或 In-batch 负采样 InfoNCE 损失： $$\mathcal{L}_{\mathrm{utility}}(\theta) = -\mathbb{E}\left[\log \frac{\exp(f_\theta(g(T), y^+) / \tau)}{\exp(f_\theta(g(T), y^+) / \tau) + \sum_{k=1}^K \exp(f_\theta(g(T), y_k^-) / \tau)}\right]$$ 在工程实现中，惩罚项通过梯度反转结合对比估计器优化。为防止训练初期批评器未充分收敛导致表征塌陷，训练采用分阶段 GRL 调度策略：在预热阶段置 $\lambda = 0$ 仅训练基础预测塔并让批评器预热；随后线性或三次方递增至目标权重 $\lambda_{\max}$（如 KuaiRand 设为 0.3，合成实验设为 0.5），最后保持恒定直至收敛。

实验关键数据¶

主实验¶

论文在公开真实短视频推荐基准 KuaiRand-Pure（2.7 万用户、7.5 千视频、140 万混杂曝光样本与 120 万无偏随机曝光样本）以及 Spotify 线上数百万用户的个性化歌单生成场景中开展了严格评测。在 KuaiRand 上，骨干模型采用参数对齐的 DeepFM；在线上 A/B 测试中，CRL 变体与现役生产排序器进行为期两周的双盲实验。

数据集 / 场景	评估切分	指标	基线模型 (Baseline)	本文方法 (CRL)	相对/绝对提升 ($\Delta$)
KuaiRand-Pure	有偏验证集 (Biased Val)	AUC	0.7574 ± 0.0012	0.7508 ± 0.0109	-0.0066 (同分布持平)
KuaiRand-Pure	随机测试集 (Random Test)	AUC	0.6453 ± 0.0034	0.6582 ± 0.0056	+0.0129 (提升显著)
KuaiRand-Pure	随机测试集 (Random Test)	Recall@5	0.2912 ± 0.0030	0.3004 ± 0.0095	+0.0092
KuaiRand-Pure	随机测试集 (Random Test)	NDCG@5	0.3080 ± 0.0047	0.3249 ± 0.0163	+0.0169
Spotify 生产 A/B	线上真实流媒体流量	Track Streams	0.00% (对照组基准)	+0.75%	[+0.54%, +0.96%] (95% CI)
Spotify 生产 A/B	线上真实流媒体流量	Track Skips	0.00% (对照组基准)	-0.61%	[-0.74%, -0.47%] (95% CI)
Spotify 生产 A/B	线上真实流媒体流量	Minutes Played	0.00% (对照组基准)	+0.50%	[+0.27%, +0.73%] (95% CI)

消融实验¶

为了量化模型是否真正做到了剥离非因果特征，作者在已知因果真值的合成线性加性 SCM（10 维输入中 5 维因果、5 维非因果）上进行了 2,000 个随机种子的干预敏感性分析，度量重采样非因果分量时的输出波动 $|\hat{Y}(T) - \hat{Y}(T')|$ 与预测平均绝对误差 MAE。

实验设置 (合成 SCM)	结果噪声 $\sigma_Y$	基线模型敏感度	CRL 敏感度 (本文)	$\Delta \text{MAE} (\text{CRL} - \text{Base})$
纯净环境 ($\sigma_Y = 0.0$)	0.0	高度敏感 (>0.35)	≈ 0.00 (完全不变)	0.000 (预测精度持平)
低噪声环境 ($\sigma_Y = 0.3$)	0.3	显著敏感 (>0.30)	≈ 0.00 (完全不变)	-0.002 (高噪声下略优)
中噪声环境 ($\sigma_Y = 0.7$)	0.7	持续敏感 (>0.25)	≈ 0.00 (完全不变)	-0.005 (泛化鲁棒性更强)
高噪声环境 ($\sigma_Y = 1.0$)	1.0	依然敏感 (>0.20)	≈ 0.00 (完全不变)	-0.008 (方差更小)

关键发现¶

离线同分布指标严重脱离真实分布泛化表现：在所有三项实验中，标准离线同分布验证指标（合成 MAE、KuaiRand 有偏验证 AUC、Spotify 离线重放指标）均显示 CRL 与基线基本持平，没有任何显著提升；然而一旦评估进入分布偏移环境（无偏随机曝光集或真实线上 Serving），CRL 展现出巨大优势，证明经典离线验证难以检测出部署时真正重要的有效鲁棒性（Effective Robustness）。
非因果泄露消除彻底：合成实验证实，基线模型始终严重依赖非因果分量 $T_{nC}$ 的虚假相关，而引入互信息惩罚后，干预敏感度瞬间收敛至接近理论零值，且互信息估计器曲线显示两项互信息界在对抗训练下同步下降逾 5 倍。
线上增益极为可观：Spotify 线上生产 A/B 测试中，单靠在训练目标中添加因果解耦损失，播放量提升 +0.75%、播放时长提升 +0.50%、跳过率下降 -0.61%，这一增益幅度已经媲美此前该推荐业务线推倒重构整个生产排序塔所带来的收益规模。

亮点与洞察¶

技术亮点与巧妙设计：巧妙放弃对所有潜变量全可识别性（Identifiability）的过度追求，退一步聚焦于工业最关心的分布偏移鲁棒性，从而规避了干预数据依赖与昂贵的推断开销。
最让人惊叹的顿悟点（Aha Moment）：离线指标相同并不代表模型学到的机制相同。两个离线验证集上 AUC 完全一样的模型，在推断无偏候选集时表现却天差地别，揭示了推荐算法长期被有偏验证集所遮蔽的结构性假象。
可迁移思路：该框架采用即插即用的对抗双线性互信息惩罚，代码改造量极小，可平滑迁移至广告 CTR 预估、搜索引擎多轮意图去偏、甚至基于偏好数据的 LLM 排序对齐（如 DPO 去除位置偏置）等任务中。

局限与展望¶

作者承认的局限：核心因果独立假设（A1 结果条件独立与 A2 存在非因果泄漏）在真实复杂业务数据中无法进行经验性反向验证；线上验证目前仅覆盖了 Spotify 单一音乐歌单产品形态；双线性互信息批评器在极其复杂的非线性混杂下表达能力可能受限。
自主审视的局限：方法假定所有混杂因子均被完整观测（用户表征包含所有后门变量），未显式建模未观测混杂（Unobserved Confounders）与时序偏好漂移。
后续改进方向：探索与因果抽象（Causal Abstraction）理论的形式化结合；引入表达能力更强的非线性隐式批评器；拓展至跨时间步序列推荐中的动态因果解耦。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将因果解耦从全可识别性收敛为分布偏移互信息惩罚，推导自洽且实用)
实验充分度: ⭐⭐⭐⭐⭐ (合成 SCM、公开基准 KuaiRand 与数百万用户真实生产 A/B 测试三位一体)
写作质量: ⭐⭐⭐⭐⭐ (因果图假设清晰，数学推导严密，工程实现与诊断监控交代透彻)
价值: ⭐⭐⭐⭐⭐ (直击工业推荐系统离线线上脱节痛点，零推理开销，实用价值极高)

实验设置 (合成 SCM)	结果噪声 \(\sigma_Y\)	基线模型敏感度	CRL 敏感度 (本文)	\(\Delta \text{MAE} (\text{CRL} - \text{Base})\)
纯净环境 (\(\sigma_Y = 0.0\))	0.0	高度敏感 (>0.35)	≈ 0.00 (完全不变)	0.000 (预测精度持平)
低噪声环境 (\(\sigma_Y = 0.3\))	0.3	显著敏感 (>0.30)	≈ 0.00 (完全不变)	-0.002 (高噪声下略优)
中噪声环境 (\(\sigma_Y = 0.7\))	0.7	持续敏感 (>0.25)	≈ 0.00 (完全不变)	-0.005 (泛化鲁棒性更强)
高噪声环境 (\(\sigma_Y = 1.0\))	1.0	依然敏感 (>0.20)	≈ 0.00 (完全不变)	-0.008 (方差更小)