Orthogonal Uplift Learning with Permutation-Invariant Representations for Combinatorial Treatments¶
会议: NeurIPS 2026
arXiv: 2602.19851
OpenReview: https://openreview.net/forum?id=EIVfHEXb1P
代码: 待确认
领域: 其他
关键词: 增益建模 (Uplift Modeling), 因果推断 (Causal Inference), 组合干预 (Combinatorial Treatments), 置换不变性 (Permutation Invariance), 正交去偏 (Orthogonal Learning)
一句话总结¶
针对工业级决策中组合干预策略常被误视作无序类别标签导致样本泛化差与估计偏倚的问题，本文提出了 POUL 框架，通过上下文-动作混合分布的置换不变聚合嵌入策略，并结合因子化正交去偏双重机器学习结构，实现了对长尾与冷启动组合策略的二阶误差鲁棒增益估计。
研究背景与动机¶
在现代个性化决策、A/B测试与智能营销平台（如网约车出行激励、电商优惠券投放）中，条件个体处理效应（CATE / Uplift）估计是实现资源最优化配置的核心基石。传统增益学习算法通常聚焦于二值干预或小基数的离散动作集，依赖元学习器（如 T-/S-/X-Learner）或树模型（Causal Forest）对各个干预分组进行孤立估计。然而，现实中的干预手段往往不是孤立原子动作，而是一套具有复杂结构的“组合策略（Policy）”——例如在不同供需时空场景与用户画像细分群中，根据预设规则动态指派差异化的折扣或溢价倍率。这类策略在业务迭代中被高频组合与重构，呈现出极高基数、长尾稀疏乃至零样本冷启动的特征。
这一现实场景与现有统计建模范式存在根本性的语义脱节。工业界大多将不同组合策略直接编码为独立的一热编码（One-Hot）或不透明的策略 ID 嵌入，甚至不同团队在实现同一套规则逻辑时采用了截然不同的内部命名与规则遍历顺序。这种朴素的离散类别表示切断了相似策略间的统计强度共享，导致长尾策略因样本不足产生极高的估计方差；更关键的是，它彻底破坏了策略空间中的几何拓扑与邻近性概念，使得模型完全无法捕捉策略微调带来的平滑变化，更无法推断未上线策略的因果响应。
本文认为，一项策略对最终业务指标的因果影响本质上取决于该策略在总体中所诱导出的“上下文-动作（Context-Action）”原子混合概率分布，而非规则的存储顺序或人工分配的策略 ID。为了消除任意索引与排列带来的虚假偏倚，同时抵御基线结果回归与倾向得分估计引入的高维讨厌参数误差，本文将对称性置换不变学习与半参数正交化回归相融合。核心 idea：将组合策略表示为其诱导的上下文-动作原子的加权混合分布，通过置换不变函数将其映射为紧凑因果嵌入，并嵌入至因子化正交低秩增益模型中，使讨厌参数估计误差在二阶上被正交抵消，保障策略扰动下的因果估计稳定性与跨策略泛化能力。
方法详解¶
整体框架¶
POUL (Permutation-invariant Orthogonal Uplift Learning) 的核心目标是估计在用户协变量 \(X\) 下，任意两项组合策略 \(t_1, t_0 \in \mathcal{T}\) 之间的条件增益 \(\tau(x; t_1, t_0) := \mathbb{E}[Y(t_1) - Y(t_0) \mid X=x]\)。框架由策略表征网络（Treatment Net）与因子化正交增益预测网络两大部分协同构成：首先将观察到的离散策略规范解构为上下文-动作原子分布，经由置换不变聚合得到策略向量 \(h(T)\)；随后在两阶段或交叉拟合结构下，利用正交化 Robinson 分解消除讨厌参数误差，输出解耦的用户异质性响应向量与因果效应差值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 用户协变量 X<br/>+ 组合策略规范 T={Π_t(·|s)}"] --> B["置换不变策略嵌入 (Treatment Net)<br/>原子特征聚合 z(t) 与 MLP 映射 h(t)"]
A --> C["基线结果回归 (Stage 1)<br/>全样本无偏学习 m(X) ≈ E[Y|X]"]
A --> D["异质性效应网络 (Stage 2)<br/>条件因果响应向量 g(X)"]
B --> E["正交去偏中心化<br/>残差项 h(T) - e_h(X)"]
C --> F["因子化正交重组预测<br/>Y_hat = m(X) + g(X)^T (h(T) - e_h(X))"]
D --> F
E --> F
F --> G["个体增量因果效应 (ITE/CATE)<br/>tau(x, t1, t0) = g(x)^T (h(t1) - h(t0))"]关键设计¶
1. 置换不变策略嵌入：基于混合分布充分性的因果语义对齐 针对策略内部索引、规则遍历顺序或内部ID人为变动导致策略表征与因果本质错位的问题，该设计依据策略诱导混合分布充分性假设（Policy-induced Mixture Sufficiency），将策略直接建模为上下文空间 \(\mathcal{S}\) 与动作空间 \(\mathcal{A}\) 上的离散概率测度 \(\mu_t\)。对任一策略 \(t\)，设上下文曝光权重为 \(w(s) \ge 0\)（\(\sum_s w(s) = 1\)），策略在各上下文下的动作指派概率为 \(\Pi_t(a \mid s)\)，则诱导原子混合概率为 \(\alpha_t(s,a) = w(s)\Pi_t(a \mid s)\)。通过可学习的原子嵌入查表层 \(\phi(s,a) \in \mathbb{R}^d\) 与可微非线性映射 \(\rho: \mathbb{R}^d \to \mathbb{R}^d\)，将策略聚合映射为向量： $\(z(t) = \sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} w(s)\,\Pi_t(a \mid s)\,\phi(s,a), \quad h(t) = \rho(z(t))\)$ 该聚合操作满足交换律，因此天然对任何规则排序、索引置换保持严格不变性。理论上（引理 3.3 与命题 3.7），该族映射不仅能以任意精度一致逼近连续策略因果泛函 \(F(\mu_t)\)，而且在策略加权 \(\ell_1\) 空间距离 \(d_\Pi(t, t') = \sum_s w(s) \|\Pi_t(\cdot \mid s) - \Pi_{t'}(\cdot \mid s)\|_1\) 下满足 Lipschitz 连续性：\(\|h(t) - h(t')\| \le L_\rho B d_\Pi(t, t')\)。这使得跨策略参数共享成为可能，长尾或全新微调策略能够直接借力共享原子 \(\phi(s,a)\) 完成平滑外推，从根本上解决冷启动问题。
2. 因子化正交增益模型：消除讨厌参数一阶偏倚的内积分解 针对高维机器学习模型估计基线结果 \(m(X)\) 与策略倾向均值 \(e_h(X)\) 时误差直接污染因果增益估计的问题，本文扩展了半参数统计学中的 Robinson 变换与 Neyman 正交化思想，构建了低秩因子化结构： $\(Y = m(X) + g(X)^\top \big(h(T) - e_h(X)\big) + \varepsilon, \quad e_h(X) := \mathbb{E}[h(T) \mid X]\)$ 在此参数化下，给定任意基准与目标策略 \((t_1, t_0)\)，个体条件增益具有优雅的内积形式：\(\tau(x; t_1, t_0) = g(x)^\top (h(t_1) - h(t_0))\)，其仅由用户敏感度特征 \(g(x) \in \mathbb{R}^d\) 与策略差异向量 \((h(t_1) - h(t_0))\) 决定，与基线函数 \(m(X)\) 及条件期望 \(e_h(X)\) 彻底解耦。由于中心化项 \(h(T) - e_h(X)\) 满足条件正交性质 \(\mathbb{E}[h(T) - e_h(X) \mid X] = 0\)，得分函数对基线模型扰动 \(\delta_m\) 与倾向均值扰动 \(\delta_e\) 的 Gateaux 导数恒等于 0（引理 3.4）。
3. 两阶段正交学习与二阶误差边界保障 针对联合端到端优化易出现的表征崩溃与尺度竞争，POUL 采用清晰的两阶段（Two-stage）解耦训练机制。在阶段 1，利用包含全量未干预或观测数据的庞大样本池 \(\mathcal{D}_{\text{all}}\) 拟合通用的基线结果回归模型 \(\hat{m}(X) \approx \mathbb{E}[Y \mid X]\) 并将其冻结；在阶段 2，仅在实施了随机化或策略实验的目标人群 \(\mathcal{D}_{\text{exp}}\) 上，联合更新异质性网络 \(g_\eta\)、原子嵌入 \(\phi_\omega\) 以及非线性头 \(\rho_\nu\)。定理 3.6 严格证明，最终增益估计误差分解为纯效应网络拟合误差与二阶乘积误差： $\(\hat{\tau}(x; t_1, t_0) - \tau(x; t_1, t_0) = (\hat{g}(x)-g_0(x))^\top (h_0(t_1)-h_0(t_0)) + g_0(x)^\top \big((\hat{h}-h_0)(t_1)-(\hat{h}-h_0)(t_0)\big) + O_p\Big((\delta_m + \delta_h + \sup_x \delta_g(x))\delta_e\Big)\)$ 因为讨厌函数误差以乘积项 \((\delta_m + \dots)\delta_e\) 进入主目标，即使基线估计或倾向模型收敛速率仅有较慢的 \(o_p(n^{-1/4})\)，其对最终因果增益的扰动仍可达到 \(o_p(n^{-1/2})\) 的极小阶数，显著降低模型由于混淆因素或高维逼近引起的系统性方差。
损失函数 / 训练策略¶
在完全随机化实验（RCT）中，干预分配与用户协变量独立（\(T \perp X\)），故中心化向量退化为常数均值 \(e_h(X) = \mathbb{E}[h(T)]\)，在小批量随机梯度下降（SGD）中维护全局滑动均值 \(\bar{h} \leftarrow \frac{c \bar{h} + \sum_{i} h_i}{c + |\mathcal{B}|}\) 进行无偏替换；在观测数据场景中，则引入倾向得分模型估计 \(\hat{e}_h(X) = \sum_{t} \hat{\pi}(t \mid X) h(t)\) 并结合 \(K\) 折交叉拟合（Cross-fitting）。训练目标为残差均方误差与参数正则项： $\(\min_{\eta, \omega, \nu} \frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \ell\Big(Y_i, \hat{m}(X_i) + g_\eta(X_i)^\top \big(h_{\omega, \nu}(T_i) - \hat{e}_h(X_i)\big)\Big) + \lambda \Omega(\eta, \omega, \nu)\)$ 在工程实现中，通过对原子嵌入 \(\phi(s,a)\) 建立内存缓存并利用策略稀疏性过滤零概率原子，将单策略计算开销稳定控制在线性复杂度 \(\mathcal{O}(|\mathcal{S}||\mathcal{A}|d)\) 内。
实验关键数据¶
主实验¶
实验基于大型网约车出行平台真实大规模随机化干预数据集（用户特征维度 \(p=723\)），涵盖全域人群（Global Population \(\mathcal{D}_G\), 3,820,637 样本）与核心准入资格人群（Core Population \(\mathcal{D}_C\), 897,946 样本）。测试采用严格跨时间窗外推（OOT，3月历史数据训练、6月无重叠未来数据测试），干预包含单一车型升级策略 \(T_1\)（快车升特惠）与复合阶梯升级策略 \(T_2\)（特惠升快车 + 快车升专车），双向评估流水月成交总额 GMV（LTV 代理指标）与运营成本 Cost 的归一化增益曲线下面积（AUUC \(\uparrow\)）及 10 分位点平均绝对百分比误差（MAPE \(\downarrow\)）。
| 评估任务 | 模型 | 全域人群 \(\mathcal{D}_G\) (\(T_1\)) AUUC / MAPE | 全域人群 \(\mathcal{D}_G\) (\(T_2\)) AUUC / MAPE | 核心人群 \(\mathcal{D}_C\) (\(T_1\)) AUUC / MAPE | 核心人群 \(\mathcal{D}_C\) (\(T_2\)) AUUC / MAPE |
|---|---|---|---|---|---|
| Panel A: GMV (LTV) | Random | 0.500 / — | 0.500 / — | 0.500 / — | 0.500 / — |
| Causal Forest | 0.611 / 1.000 | 0.632 / 1.850 | 0.536 / 1.086 | 0.536 / 0.836 | |
| DESCN | 0.514 / 2.156 | 0.597 / 0.977 | 0.596 / 1.256 | 0.591 / 1.167 | |
| DRCFR | 0.660 / 0.779 | 0.612 / 3.389 | 0.622 / 0.888 | 0.566 / 0.713 | |
| T-Learner (DNN) | 0.581 / 3.310 | 0.639 / 2.711 | 0.585 / 2.487 | 0.563 / 1.426 | |
| POUL (本文) | 0.826 / 1.333 | 0.635 / 1.386 | 0.792 / 1.570 | 0.690 / 2.023 | |
| Panel B: Cost 成本 | Random | 0.500 / — | 0.500 / — | 0.500 / — | 0.500 / — |
| Causal Forest | 0.692 / 0.792 | 0.697 / 0.881 | 0.576 / 0.946 | 0.596 / 0.969 | |
| DESCN | 0.735 / 0.113 | 0.777 / 0.409 | 0.608 / 0.103 | 0.641 / 0.456 | |
| DRCFR | 0.715 / 0.364 | 0.753 / 0.607 | 0.586 / 0.177 | 0.641 / 0.344 | |
| T-Learner (DNN) | 0.739 / 0.221 | 0.777 / 0.316 | 0.616 / 0.191 | 0.645 / 0.445 | |
| POUL (本文) | 0.735 / 0.838 | 0.917 / 0.755 | 0.736 / 0.844 | 0.916 / 0.769 |
消融实验¶
消融实验深入剖析了训练阶段划分、样本域迁移（全域预训练 \(\mathcal{D}_G\) 与核心人群微调 \(\mathcal{D}_C\) 的轮数配比 \((i,j)\)）以及树集成容量对增益排序与绝对误差的影响（以 Cost 任务核心人群 \(\mathcal{D}_C\) 与 GMV 任务为例）：
| 模型配置与训练策略 | 策略参数 \((i, j)\) / \(n_{\text{tree}}\) | GMV \(T_1\) (\(\mathcal{D}_C\)) AUUC / MAPE | GMV \(T_2\) (\(\mathcal{D}_C\)) AUUC / MAPE | Cost \(T_1\) (\(\mathcal{D}_C\)) AUUC / MAPE | Cost \(T_2\) (\(\mathcal{D}_C\)) AUUC / MAPE |
|---|---|---|---|---|---|
| Causal Forest (单人群) | \(n_{\text{tree}}=300\) (\(\mathcal{D}_C\)) | 0.339 / 1.811 | 0.529 / 1.556 | 0.518 / 0.887 | 0.549 / 0.936 |
| Causal Forest (跨人群) | \(n_{\text{tree}}=600\) (\(\mathcal{D}_G\)) | 0.483 / 1.005 | 0.489 / 0.979 | 0.566 / 0.994 | 0.498 / 0.999 |
| T-Learner (单阶段纯全域) | (15, 0) | 0.482 / 2.428 | 0.551 / 1.486 | 0.603 / 0.548 | 0.646 / 0.720 |
| T-Learner (两阶段微调) | (10, 1) | 0.348 / 3.703 | 0.498 / 3.311 | 0.616 / 0.191 | 0.645 / 0.445 |
| DESCN (两阶段微调) | (15, 1) | 0.596 / 1.256 | 0.591 / 1.167 | 0.608 / 0.103 | 0.641 / 0.456 |
| DRCFR (两阶段微调) | (5, 1) | 0.518 / 1.065 | 0.549 / 0.729 | 0.586 / 0.177 | 0.641 / 0.344 |
| POUL (极简两阶段) | (1, 1) | 0.723 / 1.525 | 0.681 / 1.823 | 0.737 / 0.854 | 0.917 / 0.782 |
| POUL (最优配置) | (5, 1) | 0.792 / 1.570 | 0.690 / 2.023 | 0.735 / 0.853 | 0.917 / 0.780 |
| POUL (全量收敛) | (5, 10) | 0.777 / 1.401 | 0.693 / 1.770 | 0.736 / 0.844 | 0.916 / 0.769 |
关键发现¶
- 复杂组合策略上呈现压倒性优势：在最考验组合泛化能力的复合阶梯升级策略 \(T_2\) 成本预测任务中，POUL 在核心人群取得了高达 0.916 的 AUUC，相较于最优基线（T-Learner 0.645）实现 +42.0% 的质的飞跃。传统离散表示基线无法捕捉 \(T_2\) 中由多阶段升级复用的原子规则逻辑，而 POUL 借助置换不变混合表征无缝建模了原子间协同效应。
- 高方差业务指标上的精准排序：在成交额 GMV 任务中，受出行长尾需求波动影响方差极大，传统因果森林与端到端深度学习模型 AUUC 徘徊在 0.51-0.66 之间，而 POUL 在全域人群 \(T_1\) 上攀升至 0.826，比最优基线 DRCFR 提升 25.2%，验证了正交化分解对目标函数抗噪性能的加持。
- 两阶段机制的高效与跨域稳定性：由消融数据可见，传统基线在从全域迁移微调到核心人群时往往出现严重过拟合或震荡（如 T-Learner (10,1) 在 GMV 上 AUUC 暴跌至 0.348）；而 POUL 仅需 1 轮全域基线预热和 1 轮微调即可达到 0.917 的极高 AUUC，且增加微调轮次指标保持高度平稳。
亮点与洞察¶
- 将 Deep Sets 思想深度桥接至因果增益建模：不仅简单借用置换不变聚合算子，而且从因果理论上严格给出了策略诱导混合测度的充分性假设与连续泛函逼近证明，赋予了组合策略网络坚实的因果可解释性。
- 拓展 Neyman 正交化至连续向量干预空间：将原本局限于一维连续处理或标量因果参数的 Robinson 正交残差网络推广到隐空间低秩因果张量积，使得复杂神经网络表征可安全享有半参数统计学的二阶无偏去偏红利。
- 打通工业级高维稀疏策略泛化路径：在网约车、电商等实际业务中，规则变更往往细碎频繁。基于原子分解的嵌入让模型不再需要对数万种策略组合重新做 AB 实验，极大节约了线上流量探索成本。
局限与展望¶
- 作者承认的局限：当前理论框架建立在未受混淆影响的随机化实验（SUTVA / Overlap）或强可忽略性假设之上，对于未观测混淆变量、非平稳环境变迁以及动态演化的上下文-动作集尚未提供理论覆盖。
- 实际观察到的局限：在 MAPE 绝对数值指标上，由于专注于正交增益斜率的无偏排序，POUL 在某些密集连续取值区间上的均方尺度校准稍逊于以纯均方误差为第一目标的复杂回归树（如 DESCN 在个别配置下绝对残差极低但排序退化）。
- 未来改进方向：可将 POUL 拓展至时序序列决策与离线强化学习领域，将静态混合测度拓展至 Markov 转移测度；同时结合贝叶斯神经网络评估因果效应不确定性，指导线上策略的主动学习探索（Active Exploration）。
相关工作与启发¶
- vs Causal Forest (Wager & Athey, 2018)：因果森林依赖递归特征空间切分，在面对数以百计的高维用户特征与组合策略时面临严重的维度灾难与长尾样本枯竭；POUL 采用神经网络向量因子化内积表征，在排序能力与组合泛化性上全盘胜出。
- vs DESCN (Zhong et al., 2022) & DRCFR (Cheng et al., 2022)：此类经典工业级 Uplift 网络重点解决用户特征与干预之间的交叉表征共享和特征解耦，但对策略本身的处理依旧停留在一热编码或简单特征交互层级，无法抵抗策略重排序偏倚；POUL 填补了策略侧表征对称性约束的理论空白。
- vs Deep Sets (Zaheer et al., 2017)：Deep Sets 用于无序集合点云或实体识别，而 POUL 证明并构建了基于策略混合概率测度的因果对称性，构建了连接组合干预测度空间与因果二阶正交估计的统一范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性地将置换不变性表征与正交双重机器学习融入组合策略因果增益估计，理论完备且动机极具工业现实意义。
- 实验充分度: ⭐⭐⭐⭐⭐ 采用数百万量级的工业出行实盘数据，覆盖双人群、双策略、双指标，并进行跨越数月的严格时序外推验证。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨规范，结构推进层层递进，从语义假设到正交鲁棒性与连续泛函逼近均有详尽推导。
- 价值: ⭐⭐⭐⭐⭐ 为具有组合爆炸特性的营销策略、补贴规则及运筹调度因果推断提供了可落地且抗噪能力卓越的工业级范本。