Learning Deployable Causal Action Geometry under Temporal Non-Stationarity¶
会议: NeurIPS 2026
arXiv: 2610.16644
领域: 因果推理
关键词: 因果推断, 连续动作决策, 时间非平稳性, 锚定响应, 正交估计
一句话总结¶
针对观测时间序列中因时间非平稳导致池化预测反转决策排序的根本缺陷,提出锚定基线漂移并剖面化正向振幅的“可部署因果动作几何”目标与两阶段诚实正交估计器,在淘宝真实定价 A/B 测试中实现 GMV 提升 1.16% 与购买次数提升 1.70%。
研究背景与动机¶
在大规模在线购物、广告出价与动态定价等商业决策系统中,算法需要根据观测日志对连续动作(如预算、折扣率或价格)进行优化。此类场景通常面临两重紧密交织却性质截然不同的挑战:一是历史混杂,即记录的动作往往由历史状态自适应选取,导致动作与反事实结果非独立;二是时间非平稳性,即随时间演化的宏观流量、平台政策、季节性及市场需求会导致观测结果的基线水平发生剧烈漂移。以往研究多侧重于单时期的因果识别或跨环境不变表征学习,却忽略了时间漂移在连续动作空间中对决策排序构成的破坏。
直接将跨时期观测数据进行混合池化(Pooled Regression)是业界最直观的做法,但这种做法隐藏着严重的“目标错配”(Target Mismatch)。当条件化在不同的动作水平上时,数据所混杂的时期环境比例会发生改变;模型在历史数据上拟合得越好,越容易将时间漂移的基准线吸收进动作响应曲面中,甚至造成动作优劣排序的完全颠倒(Ranking Reversal)。更本质的是,仅凭过去时期的有限观测,在无限制的未来响应曲面层面上从数学上根本不可识别。因而解决跨时间泛化决策的核心症结,在于界定出一种在结果基准水平大幅漂移时仍能保持稳健、足以指导未来最优动作选取的决策充分目标。
本文切入的角度是:部署连续决策并不需要预测出未来绝对的结果数值,只需要精准刻画动作之间的相对对比几何形态。通过选取单调连接尺度(Link Scale)并相对于参考动作进行锚定(Anchoring),可以彻底消除与动作无关的时期基线漂移;再进一步将时期的正向振幅缩放进行剖面化消解(Profiling),便能分离出真正跨时期可迁移的共享动作几何。核心 idea:通过引入参考动作锚定与剖面化振幅消除时间漂移诱导的基准与尺度混淆,提出“可部署因果动作几何”目标,并基于正交样本切分与诚实选择构建出具备有限候选库预言机保证的连续动作决策估计器。
方法详解¶
整体框架¶
本文构建了一套用于非平稳时序观测数据中提取可部署动作几何的端到端框架。系统输入为包含时期标签、观测历史、连续动作与下一步结果的时序日志,输出为适用于未来时期的连续动作最优决策规则。整体流程划分为两阶段诚实正交学习架构:第一阶段(Pilot Stage)在切分样本上构建交叉拟合的正交锚定响应先验,利用局部残差化正交得分消除讨厌参数(倾向得分密度与条件结果函数)的一阶误差敏感性;第二阶段(Selection Stage)在独立样本上对单调连接尺度(恒等连接或对数连接)、表征函数以及参数化形状类联合进行剖面几何损失最小化,从而选出对基线位移和振幅变化均具有不变性的动作曲面几何。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["观测时序数据<br/>(时期标签 / 历史 / 动作 / 结果)"] --> B["样本分割与正交先验估计<br/>样本划分为先验集与选择集"]
B --> C["锚定连接尺度变换<br/>消除动作无关的加性/乘性基线漂移"]
C --> D["剖面化几何损失选择<br/>消除正向振幅并评估跨期几何一致性"]
D --> E["有限候选库模型选择与重拟合<br/>联合确定最优连接/表征/形状类"]
E --> F["输出可部署连续决策规则<br/>导出未来时期最优动作选取策略"]
关键设计¶
1. 锚定连接尺度变换:消除动作无关的基线漂移与规范连接选择
为了剥离随时间漂移的背景基线而不破坏决策排序,方法引入了一组单调连接尺度族 \(\{\ell_k\}_{k\in\mathcal{K}}\)。对于给定的单调连接函数 \(\ell_k\) 及紧致公共支撑动作空间中的固定参考动作 \(a_0 \in \mathcal{A}_\star\),定义时期 \(t\) 下的锚定连接响应为: $\(\Delta_{k,t}(h, a) := \ell_k(m_t(h, a)) - \ell_k(m_t(h, a_0))\)$ 其中 \(m_t(h, a) = \mathbb{E}_t[Y_{t+1}(a) \mid H_t=h]\) 是时期 \(t\) 的真实反事实条件均值。锚定操作天然满足 \(\Delta_{k,t}(h, a_0) = 0\)。论文证明了恒等连接 \(\ell_0(y) = y\) 与对数连接 \(\ell_1(y) = \log y\) 的规范唯一性:在所有连续可微的严格递增函数中,唯有恒等连接能精确抵消任意加性基线位移 \(b_t(h)\),唯有对数连接能精确抵消任意乘性尺度漂移 \(c_t(h)\)。不同连接函数在数学上定义了模掉特定漂移形式后的等价类。
2. 剖面化几何损失:消除时变振幅并提炼共享动作形状
即便消除了基线漂移,不同时期由于宏观市场热度不同,响应曲线的起伏振幅仍可能发生缩放。方法假设锚定响应满足 \(\Delta_{k,t}(h, a) \approx s_t(h) \rho(u(h), a)\),其中 \(s_t(h) \ge 0\) 为吸收时期与历史特异性尺度的正向振幅,而 \(\rho\) 为满足标准化条件(在参考动作处为 0、在参考测度 \(\varpi\) 下范数为 1)的跨时期共享形状。为了公平对比不同候选表征 \(u\) 与形状 \(\rho\),定义剖面化几何损失: $\(\mathcal{A}_k(u, \rho) := \sum_{t=1}^T \pi_t \mathbb{E}_t \left[ \inf_{s \ge 0} \frac{\|\Delta_{k,t}(H_t, \cdot) - s \rho(u(H_t), \cdot)\|_\varpi^2}{\|\Delta_{k,t}(H_t, \cdot)\|_\varpi^2} \right]\)$ 该目标通过内层的下确界在解析闭式下直接将最优正向振幅 \(s^\star = [\langle \Delta_{k,t}, \rho \rangle_\varpi]_+\) 剖面消除,并通过分母的能量归一化使得评判完全聚焦于“动作响应的几何轮廓”而非幅度绝对值。
3. 正交先验估计与诚实模型选择:两阶段样本切分与有限库预言机保证
由于真实反事实均值未知且动作受连续历史混淆,算法采用样本切分(Sample Splitting)构建诚实估计器。首先在先验样本集 \(\mathcal{I}^{\mathrm{pil}}\) 上,利用连续处理倾向得分密度 \(g_t(a \mid h)\) 和条件均值回归 \(\mu_t(h, a)\) 构造双重稳健的局部正交得分 \(\phi_{t,\lambda,b}\): $\(\phi_{t,\lambda,b}(O; u, h, a, \eta_t) = \frac{\mathbf{1}\{\tau=t\}}{\pi_t} L_\lambda(u(H)-u(h)) \left[ \frac{K_b(A-a)}{g_t(A \mid H)}\{Y - \mu_t(H, A)\} + \int_{\mathcal{A}_\star} K_b(s-a)\mu_t(H, s) ds \right]\)$ 通过核平滑与截断得到经验正交先验 \(\hat{\Delta}_{k,t}\)。随后在完全独立的选择样本集 \(\mathcal{I}^{\mathrm{sel}}\) 上,基于数值积分网格最小化经验正则化剖面损失 \(\hat{\mathcal{L}}_k^{\mathrm{sel}}(u, \rho)\)。论文在理论上给出了有限候选库下的预言机不等式,证明经验选出的经验风险与总体最优风险之间的差距收敛速率为 \(O_p(r_n)\),并在近似几何持续性(Approximate Geometry Persistence)假设下,推导出了未来部署时期的决策遗憾(Regret)界,界限清晰地分解为统计估计误差与环境非平稳所致的几何违背偏差。
损失函数 / 训练策略¶
在面向淘宝海量工业级场景的神经网络落地中,系统采用参数化端到端架构。特征提取器使用固定的 320 维多模态编码器,底层基线模型与连续动作倾向密度模型采用物品不相交的交叉拟合(Item-disjoint Cross-fitting)预先离线训练并冻结预测值。动作响应形状采用带锚定约束的三层 MLP 建模,并基于 R-loss 风格的残差化目标函数展开端到端训练。在每周滚动重新训练窗口期,系统利用时序验证集在恒等连接与对数连接之间评估经验剖面损失,挑选出最优的几何检查点直接推向生产环境执行动作最大化: $\(\hat{a}(h) \in \arg\max_{a \in \mathcal{A}_\star} \hat{\rho}(\hat{u}(h), a)\)$
实验关键数据¶
主实验¶
论文分别在合成基准数据集(含加性漂移制度 R1 与乘性漂移制度 R2)、公开 Dominick's 超市定价数据集以及淘宝工业级真实连续定价日志(约 5.463 亿条样本、830 万独有商品)上展开全面评测。主实验对比指标包括观测结果上的相对平均绝对误差(RMAE)、平均绝对百分比误差(MAPE)、未来时期轮廓不稳定性损失(Stability)以及双重稳健连续离线策略价值索引(DR Policy Value Index,基准为 100.00)。
| 方法 | RMAE ↓ | MAPE (%) ↓ | Stability ↓ | DR Policy Value Index ↑ |
|---|---|---|---|---|
| 记录策略 (Logged Behavior) | – | – | – | 100.00 |
| 池化多层感知机 (Pooled MLP) | 0.337 | 44.69 | 0.503 | 89.43 |
| 时间感知池化模型 (Time-aware Pooled) | 0.496 | 57.91 | 0.433 | 72.96 |
| Causal Transformer | 0.174 | 17.35 | 0.566 | 107.18 |
| 连续因果网络 (VCNet) | 0.385 | 48.85 | 0.452 | 116.09 |
| 神经参数模型 (NPM) | 0.176 | 18.27 | – | 121.72 |
| 固定恒等连接模型 (Fixed Identity) | 0.223 | 26.85 | 0.323 | 117.41 |
| 固定对数连接模型 (Fixed Log) | 0.138 | 16.33 | 0.282 | 122.36 |
| 本文方法 (Ours) | 0.103 | 12.75 | 0.259 | 128.32 |
消融实验¶
为了验证连接尺度选择的必要性与时间漂移适应性,论文在真实淘宝数据的 6 个滚动切分窗口(Splits 1-6)上深入分析了原始恒等尺度(Raw)与对数连接(Log)的未来轮廓不一致性分数,以及在线真实 A/B 测试的商业转化效果。
| 评估配置 / 时序切分 | Raw 尺度得分 | Log 连接得分 | 优势尺度倾向 | 尺度差距幅度 (%) | 说明 |
|---|---|---|---|---|---|
| 切分窗口 Split 1 | 0.6657 | 0.7311 | Raw (恒等) | 8.95 | 初期宏观平稳阶段偏向加性锚定 |
| 切分窗口 Split 2 | 0.5946 | 0.5848 | Log (对数) | 1.64 | 需求产生乘性波动时对数占优 |
| 切分窗口 Split 3 | 0.5183 | 0.4231 | Log (对数) | 18.36 | 出现显著促销时乘性漂移主导 |
| 切分窗口 Split 4 | 0.4704 | 0.4551 | Log (对数) | 3.26 | 轻度非平稳态下对数尺度轻微占优 |
| 切分窗口 Split 5 | 0.5087 | 0.4297 | Log (对数) | 15.54 | 强流量爆发期对数尺度显著优异 |
| 切分窗口 Split 6 | 0.6733 | 0.7161 | Raw (恒等) | 5.97 | 促销回落期重新偏向加性尺度 |
| 跨切分综合均值 (Mean) | 0.5718 | 0.5566 | Log (对数) | 2.66 | 动态选择连接机制优于固定单一尺度 |
| 在线 A/B: GMV 提升 | – | – | +1.16% | p = 0.037 | 26天真实流量 A/B 测试 (约28万商品) |
| 在线 A/B: 成交笔数提升 | – | – | +1.70% | p = 0.004 | 显著提升全周期商品订单成交量 |
| 在线 A/B: 佣金收入提升 | – | – | +1.51% | p < 0.001 | 平台佣金抽成实现高度显著的正向增长 |
关键发现¶
- 传统池化预测在时间非平稳下会遭受灾难性反转:Pooled MLP 与 Time-aware pooled 模型的离线策略价值索引仅为 89.43 与 72.96,显著劣于随机记录行为(100.00),直接印证了单纯优化拟合精度会导致未来动作优劣排序倒置的理论论断。
- 事实拟合能力不等于因果决策质量:Causal Transformer 虽然在事实拟合误差上表现出色(RMAE 为 0.174),但由于缺乏针对漂移基线的解耦机制,其未来稳定性损失高达 0.566,策略价值提升极为有限(107.18);相反,本文方法通过对齐几何结构,在保持最低稳定性损失(0.259)的同时,取得了 128.32 的最高策略价值。
- 动态连接尺度选择对适应非平稳环境具有决定性价值:在淘宝的滚动窗口中,不同时期在加性尺度与乘性尺度之间呈现出交替偏好,动态剖面选择机制消除了固定连接带来的模型误设风险。
亮点与洞察¶
- 明确界定了连续动作决策中的“目标错配”本质:将长期混杂的因果识别与跨时期环境迁移严格解耦,指出时间非平稳下真正可迁移的物理对象是“去除了基线位移与正向振幅的动作几何曲线”,而非未经修正的绝对预测曲面。
- 建立了规范连接函数的代数消去特征:从泛函方程严格证明了只有恒等连接与对数连接分别具备对加性偏移和乘性尺度的完全不变消去律,为实务中连续因果模型的连接函数选取提供了严密数学依据。
- 在超大规模工业界场景实现理论闭环与真金白银的业务增益:在淘宝超 5 亿样本的复杂动态定价业务中稳定部署,不仅理论分析完备,还通过严格的在线双盲 A/B 测试验证了其对 GMV、交易量与佣金的全方位显著提效。
局限与展望¶
- 局限于单步即时响应假设:论文当前建模聚焦于连续动作的单步因果效应,尚未建模多阶段序列决策中动作对长期动态状态转移的累积反馈效应。
- 依赖于近似几何持续性(Geometry Persistence):如果未来环境发生结构性剧烈变动导致动作-响应几何形态本身发生非单调扭曲(例如消费者对价格的敏感弹性曲率发生方向性逆转),算法的预言机遗憾界将会被残差上界所主导。
- 极端重叠度压力下的方差:在连续动作的边缘极端区域,倾向得分密度估计接近于零时可能引发数值不稳定性,依赖人工截断门限的工程调优。
相关工作与启发¶
- vs 经典连续因果推断 (VCNet / Continuous DR): VCNet 与连续双重稳健方法聚焦于静态分布下从混杂日志中识别剂量-响应曲线;本文则针对跨时期分布漂移场景,提出锚定基准与归一化振幅的几何概念,解决了静态方法在时间外推时面临的基线混淆缺陷。
- vs 时序反事实生成模型 (Causal Transformer / CRN): 时序序列模型着眼于多步处理历史的动态表征平衡与未来轨迹预测;本文表明在单步决策部署场景下,预测全局轨迹不仅代价高昂且极易过拟合漂移基线,提炼局部动作对比几何才是实现最优控制的高效路径。
- vs 不变因果预测 (ICP / IRM / Anchor Regression): 传统不变预测试图寻找在所有环境下均保持不变的预测器或条件分布,这一要求在宏观经济环境不断波动的现实场景中往往过于苛刻;本文仅要求经过连接变换与振幅消解后的“局部动作相对导向”保持不变,大大放宽了对环境平稳性的苛求。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次形式化提出时间非平稳下连续决策的“可部署因果动作几何”目标与规范消去连接理论]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成数据、公开基准与 5.4 亿级工业日志,包含扎实的数学证明与真实在线 A/B 显著性验证]
- 写作质量: ⭐⭐⭐⭐⭐ [数学表达严谨完备,问题拆解层次清晰,理论分析与工程落地实现高度统一]
- 价值: ⭐⭐⭐⭐⭐ [为电商平台定价、广告智能出价等高价值时序连续控制场景提供了极其稳固的因果决策新范式]