Conservative Continuous-Time Treatment Optimization¶

会议: NeurIPS 2026
arXiv: 2603.16789
领域: 因果推理
关键词: 连续时间因果推断, 随机最优化控制, 神经随机微分方程, 签名核, 保守型离线优化

一句话总结¶

针对非规则采样纵向患者轨迹下的离线治疗优化，本文将患者动力学建模为受控随机微分方程（Controlled SDE），并基于路径空间签名核最大均值差异（Signature-Kernel MMD）构建保守正则化目标，严格控制模型估计偏差对样本外控制策略的剥削。

研究背景与动机¶

在临床医疗决策中，设计最优的个性化治疗方案（如化疗和放疗的给药剂量与时间规划）是一个本质上随时间连续演变且采样高度不规则的动态控制问题。传统的动力学方法通常依赖药代动力学/药效学（PK/PD）机制微分方程，虽然模型具备连续性和可解释性，但在面对高度异质性与强随机性的真实患者群体时往往显得过于简略，难以精确刻画复杂病理过程；而基于机器学习和离散时间动态治疗方案（DTR）的数据驱动方法，又大多局限于预设的固定决策时间步和有限离散动作空间，无法无缝适配真实临床场景中不规则、连续的用药调整。

更为严峻的挑战来自于离线决策中的模型漏洞剥削问题。由于医疗伦理与实验风险限制，算法只能从包含既往常规治疗的历史观测数据中学习。如果在拟合出的环境动力学模型上直接进行无约束的治疗策略寻优，优化器会自发倾向于探索数据稀疏或模型外推误差巨大的未知动作区域，从而选中表面预测收益极佳、实则在真实人体中效果溃败的危险治疗方案。这种在离线强化学习中熟知的分布偏移现象，在连续时间路径空间控制中被进一步放大——因为控制动作本身作为连续函数存在于无穷维路径空间上，经典的重叠假设（Positivity/Overlap）在有限样本下几乎不可能得到满足。

面对连续时间离线治疗规划中重叠假设失效与模型外推剥削的核心困境，本文没有停留在被动的因果效应评估层面，而是首次系统构建了连续时间下的保守型随机控制框架。核心 idea：将患者病理演化建模为神经受控随机微分方程，推导出真实成本与模型估计成本之间的望远镜分解误差上界，并利用路径空间上的签名核条件最大均值差异（Signature-Kernel Conditional MMD）作为保守惩罚项，自适应抑制脱离观测分布支持集的外推治疗方案。

方法详解¶

整体框架¶

本文提出的方法是一个端到端模块化的连续时间保守治疗规划框架。首先，利用观测到的不规则纵向患者轨迹数据（包含协变量、结局指标与既往用药轨迹），通过带时间归一化增强的签名核评分匹配（Signature Kernel Score）条件训练一个神经受控随机微分方程（Neural SDE），使其能够拟合在给定初始状态和任意控制输入下的状态转移规律；随后，将治疗方案参数化为连续时间开放式控制曲线，在求解最优治疗参数时，联合最小化神经 SDE 模型下的预期治疗成本与路径空间上的签名核条件分布偏离惩罚项，通过直接单打靶法（Direct Single-Shooting）与微分方程数值求解器反向传播，产出既能有效遏制病变又严格落在安全观测支持集内的稳健治疗计划。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["不规则患者观测轨迹<br/>(协变量、病灶结局、历史用药)"] --> B["受控神经 SDE 动力学建模<br/>(漂移项与扩散项的连续时间学习)"]
    B --> C["连续时间价值误差望远镜分解<br/>(将全时域偏差拆解为区间单步差异累加)"]
    C --> D["签名核条件 MMD 保守正则化<br/>(基于路径空间签名变换约束分布漂移)"]
    D --> E["单打靶梯度优化<br/>(直接参数化控制曲线并联合最小化保守上界)"]
    E --> F["输出安全鲁棒的个性化治疗方案"]

关键设计¶

1. 受控神经 SDE 动力学建模：构建连续时间可识别因果转移模型 为了在连续时间且测量间隔不规则的场景下定义潜在结局轨迹，本文将患者状态演化刻画为受控随机微分方程（Controlled SDE）。状态变量 $X_t \in \mathbb{R}^{d_x}$ 包含生物标志物协变量 $Z_t$ 与临床结局指标 $Y_t$，控制输入 $U_t \in A \subseteq \mathbb{R}^{d_u}$ 为给药信号： $$\mathrm{d}X_t = \mu_\theta(X_t, U_t)\,\mathrm{d}t + \sigma_\theta(X_t, U_t)\,\mathrm{d}W_t, \quad X_{t_0} = x_0$$ 其中 $W_t$ 为 $d_w$ 维标准布朗运动，漂移项 $\mu_\theta$ 和扩散项 $\sigma_\theta$ 均由带 LipSwish 与 tanh 激活函数的神经网络参数化。在完全条件随机化（连续时间版本的无未观测混杂）与模型正确规约假设下，潜在结局过程的期望累积成本具备因果可识别性。为克服对抗训练的不稳定性，模型训练采用基于路径空间严格真评分（Strictly Proper Score）的条件签名核评分准则，通过最小化模型生成路径与观测真实路径之间的条件签名核差异直接优化网络参数 $\theta$。

2. 连续时间价值误差望远镜分解：建立真实临床成本的可计算上界 在学习到近似动力学模型后，若直接最小化模型预测成本，优化算法会利用模型局部拟合缺陷选择虚假的高收益控制。为解决这一难题，本文在时域区间 $[t_0, t_f]$ 引入时间分割 $t_0 < t_1 < \dots < t_K = t_f$，将真实成本 $\mathcal{J}$ 与模型估计成本 $\hat{\mathcal{J}}$ 的偏差 $\Delta(t_0, x_0, u)$ 严谨分解为各子区间单步差异的望远镜求和： $$\Delta(t_0, x_0, u) = \sum_{j=0}^{K-1} \mathbb{E}_{x \sim P_{\hat{X}_{t_j}}}[D_j(x, u)]$$ 其中区间 $[t_j, t_{j+1}]$ 上的单步差异 $D_j(x, u)$ 描述了在相同起始状态下，真实动力学与预测模型沿后续路径演化泛函的期望差距。利用系统的局部 Lipschitz 正则性，各单步偏差可进一步放缩为条件路径分布之间的积分概率度量（IPM），从而证明了优化“模型预测成本 + 分布差异上界”等价于直接压低真实动态环境下的成本上界。

3. 签名核条件 MMD 保守正则化：度量无穷维路径空间的分布支持偏离 由于控制动作和状态均为连续函数，常规表格或向量空间的密度比估计在无穷维路径空间彻底失效。本文引入粗糙路径理论中的签名变换（Path Signature），将有界变差连续路径映射为张量代数 Hilbert 空间中的迭代积分特征序列 $\mathcal{S}(x)$，并通过求解 Goursat 偏微分方程（PDE）高效评估连续核函数 $k_{\mathrm{sig}}(x, y) = \langle \mathcal{S}(x), \mathcal{S}(y) \rangle$。基于条件均值嵌入（CME）理论，构建了可直接从离散观测数据中计算的条件最大均值差异（MCMD）估计量： $$\hat{M}^2(P_{X \mid x_0, u}, P_{\hat{X} \mid x_0, u}) = k_{X_0, U}^\top W_{X_0, U} \big( K_X - 2 K_{X, \hat{X}} + K_{\hat{X}} \big) W_{X_0, U}^\top k_{X_0, U}$$ 该正则项以无需显式密度估计的方式，直接惩罚候选治疗方案诱导出的状态轨迹分布与历史观测分布之间的偏差，迫使规划器在模型信任域内寻找更保守、抗模型误差能力更强的策略。

4. 单打靶梯度优化：参数化控制空间的直接端到端微调 针对实际临床中用药方案的脉冲与衰减特性，将控制函数 $u_\phi(t)$ 参数化为给药时间节点 $\phi_{\mathrm{timepoints}}$ 与对应剂量 $\phi_{\mathrm{dosage}}$。针对肿瘤治疗，采用具有阶段性开关性质的 Bang-Bang 控制表征；针对新冠治疗，采用带有指数清除率衰减的一维药物浓度表征。最终的保守优化目标函数形式为： $$\min_{\phi} \;\mathbb{E}\left[\int_{t_0}^{t_f} f(t, \hat{X}_t, u_{\phi}(t))\,\mathrm{d}t + g(\hat{X}_{t_f})\right] + \lambda \sum_{j=0}^{K-1} \mathrm{IPM}_{\mathcal{G}}\big( P_{X \mid \cdot}, P_{\hat{X} \mid \cdot} \big)$$ 通过蒙特卡洛采样生成 SDE 路径，结合数值积分器与自动微分（Single-Shooting）对参数 $\phi$ 计算端到端梯度更新，兼顾了控制参数的物理可解释性与求解稳定性。

损失函数 / 训练策略¶

神经 SDE 训练阶段采用条件签名核评分损失 $\mathcal{L}'(\theta) = \mathbb{E}_{u, x_0}[\mathbb{E}_{x}[\Phi_{\mathrm{sig}}(P_{X^\theta}(\cdot \mid u, x_0), x)]]$，配备 RBF 提升核（$\sigma=1$）和 1 阶二进精细化 PDE 求解器。优化器选用 RMSProp，在肿瘤数据集（800 轨迹，lr=1e-4，15000 步）与新冠数据集（500 轨迹，lr=1e-3，30000 步）上训练。控制规划阶段设定蒙特卡洛模拟批量为 10，使用 RMSProp（肿瘤任务 lr=1e-3，新冠任务 lr=1e-2，5000 步迭代）最小化保守加权目标，超参数 $\lambda \in \{0, 1, 10, 100\}$ 灵活调节保守性程度。

实验关键数据¶

主实验¶

实验采用广泛认可的非小细胞肺癌（化疗+放疗）和 COVID-19（地塞米松免疫调节）PK/PD 仿真环境，人工掩码 30% 观测点构建不规则采样挑战。分别在 15 组不同随机初始状态下求解，并在真实机理模拟器中评测最终方案的真实成本（True Cost，越低越好）以及控制候选库排序的 Spearman 相关系数（越高越好）。

任务	评估指标	TE-CDE (Seedat 2022)	INSITE/SINDy (2024)	本文方法 (Ours, $\lambda=100$)	相对基线优势
肺癌（绝对终末目标）	平均真实成本 $\downarrow$	$467.26 \pm 726.64$	$559.74 \pm 824.42$	242.07 $\pm$ 314.60	-48.2% vs TE-CDE
肺癌（相对缩减 70%）	平均真实成本 $\downarrow$	$280.97 \pm 414.76$	$333.77 \pm 490.53$	73.42 $\pm$ 108.34	-73.9% vs TE-CDE
COVID-19（目标轨迹追踪）	平均真实成本 $\downarrow$	$5.80 \pm 2.55$	$7.59 \pm 3.83$	5.61 $\pm$ 3.79	-3.3% vs TE-CDE
肺癌（绝对终末目标）	Spearman 秩相关系数 $\uparrow$	$0.29 \pm 0.01$	$-0.77 \pm 0.00$	0.40 $\pm$ 0.00	+0.11
肺癌（相对缩减 70%）	Spearman 秩相关系数 $\uparrow$	$-0.30 \pm 0.10$	$-0.78 \pm 0.00$	0.23 $\pm$ 0.02	逆转负相关
COVID-19（目标轨迹追踪）	Spearman 秩相关系数 $\uparrow$	0.79 $\pm$ 0.34	$0.43 \pm 0.35$	$0.51 \pm 0.24$	次优排位

消融实验¶

针对保守正则化超参数 $\lambda$ 的强度消融，分析其对真实系统下治疗成本相对无正则化（$\lambda=0$）的改善幅度与模型外推抗性：

配置 / 强度	肺癌（绝对目标）真实成本改善	肺癌（相对目标）真实成本改善	COVID-19 真实成本表现	行为机制与外推影响说明
$\lambda = 0$ (非保守基准)	基线基准 (0.0%)	基线基准 (0.0%)	基线基准 (0.0%)	易落入数据稀疏区，过度估计激进方案收益
$\lambda = 1$	成本中位数轻微下降	成本中位数降低约 15%	性能基本持平	初步约束极端偏离轨迹
$\lambda = 10$	成本中位数进一步改善	成本中位数降低约 35%	接近真实最优方案	有效抑制高风险外推，治疗动作趋于合理
$\lambda = 100$ (本文主选)	成本降低超过 45%	成本显著降低约 65%	保持高水准且稳健	严格限制在观测数据支持域内，真实表现最佳

关键发现¶

在两个高外推风险的肿瘤优化任务中，无正则化的朴素模型寻优（$\lambda=0$）常输出极端剧烈的盲目给药方案，导致在真实 PK/PD 环境中因毒副代价或耐药模拟出现极高惩罚；而增大 $\lambda$ 能单调且显著降低真实成本，证明保守项有效阻断了对模型误差的恶意剥削。
基于符号回归的 SINDy 在非规则采样和随机噪声干扰下，拟合得到的全局多项式动力学易出现外推发散，导致其在控制库排序中呈现明显的负相关（Spearman 秩相关为 -0.77 与 -0.78），彻底无法用于策略优化。
在 COVID-19 任务中，优化所得控制与训练数据分布天然更为接近，因此不同 $\lambda$ 的影响相对平缓，但大 $\lambda$ 依然能引导寻优路径朝向更契合真实临床最优的时序分布。

亮点与洞察¶

将离线 RL 的悲观思想升维至路径空间：首次在严格的连续时间测度论与粗糙路径理论框架下，给出了针对连续受控 SDE 的价值误差望远镜上界，完成了离线保守优化从离散 MDP 向无穷维函数空间的飞跃。
签名核巧妙化解无穷维密度估计难关：无需构建繁冗复杂的路径变分自编码器或高维生成对抗网络，巧妙利用签名变换的代数泛函通用性与 Goursat PDE 高效求解，将条件分布差异压缩为解析性的核矩阵二次型。
可迁移至工业控制与流体力学：该方法中基于受控 Neural SDE + 签名 MMD 正则的保守控制范式，可直接拓展到高噪音、不规则采样的机器人轨迹规划、化工反应连续投料以及金融做市对冲等高风险离线物理系统控制中。

局限与展望¶

计算复杂度随样本量呈二次方增长：条件 MCMD 估计器涉及核矩阵逆运算与乘法，大规模批次下内存与算力开销显著，限制了超大规模连续时间序列轨迹库的实时处理能力。
闭环反馈控制的拓展缺失：当前实现聚焦于开环参数化给药规划（Open-Loop Control），未来亟待扩展为依据患者状态实时演变自适应调整的闭环连续时间策略（Closed-Loop Neural Feedback Policy）。
观测混杂假设的严苛性：理论证明依赖连续时间的无未观测混杂假设，而在真实医疗数据集中隐性变量普遍存在，结合部分可观测随机控制或因果混杂去偏技术是重要突破方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立连续时间不规则采样下的受控 SDE 离线保守治疗优化理论体系与签名核正则机制。
实验充分度: ⭐⭐⭐⭐☆ 涵盖两大经典药代动力学仿真平台、三种优化目标、详尽的基线横向对比与正则强度消融分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，望远镜引理与粗糙路径测度论融合精妙，实验逻辑清晰。
价值: ⭐⭐⭐⭐⭐ 奠定了连续时间因果控制与安全强化学习交叉的重要理论基石，对高危场景的离线序列决策极具启发。

任务	评估指标	TE-CDE (Seedat 2022)	INSITE/SINDy (2024)	本文方法 (Ours, \(\lambda=100\))	相对基线优势
肺癌（绝对终末目标）	平均真实成本 \(\downarrow\)	\(467.26 \pm 726.64\)	\(559.74 \pm 824.42\)	242.07 \(\pm\) 314.60	-48.2% vs TE-CDE
肺癌（相对缩减 70%）	平均真实成本 \(\downarrow\)	\(280.97 \pm 414.76\)	\(333.77 \pm 490.53\)	73.42 \(\pm\) 108.34	-73.9% vs TE-CDE
COVID-19（目标轨迹追踪）	平均真实成本 \(\downarrow\)	\(5.80 \pm 2.55\)	\(7.59 \pm 3.83\)	5.61 \(\pm\) 3.79	-3.3% vs TE-CDE
肺癌（绝对终末目标）	Spearman 秩相关系数 \(\uparrow\)	\(0.29 \pm 0.01\)	\(-0.77 \pm 0.00\)	0.40 \(\pm\) 0.00	+0.11
肺癌（相对缩减 70%）	Spearman 秩相关系数 \(\uparrow\)	\(-0.30 \pm 0.10\)	\(-0.78 \pm 0.00\)	0.23 \(\pm\) 0.02	逆转负相关
COVID-19（目标轨迹追踪）	Spearman 秩相关系数 \(\uparrow\)	0.79 \(\pm\) 0.34	\(0.43 \pm 0.35\)	\(0.51 \pm 0.24\)	次优排位

配置 / 强度	肺癌（绝对目标）真实成本改善	肺癌（相对目标）真实成本改善	COVID-19 真实成本表现	行为机制与外推影响说明
\(\lambda = 0\) (非保守基准)	基线基准 (0.0%)	基线基准 (0.0%)	基线基准 (0.0%)	易落入数据稀疏区，过度估计激进方案收益
\(\lambda = 1\)	成本中位数轻微下降	成本中位数降低约 15%	性能基本持平	初步约束极端偏离轨迹
\(\lambda = 10\)	成本中位数进一步改善	成本中位数降低约 35%	接近真实最优方案	有效抑制高风险外推，治疗动作趋于合理
\(\lambda = 100\) (本文主选)	成本降低超过 45%	成本显著降低约 65%	保持高水准且稳健	严格限制在观测数据支持域内，真实表现最佳