HyperNSDE: Personalized Neural SDEs for Joint Static–Longitudinal Clinical Data Generation¶

会议: NeurIPS 2026
arXiv: 2610.07383
代码: https://github.com/perrinechassat/HyperNSDE
领域: 医学图像
关键词: 临床合成数据, 神经随机微分方程, 超网络个性化, 确定性-随机路径分解, 不规则纵向时间序列

一句话总结¶

HyperNSDE 提出了一种连续时间生成模型，通过超网络将基线静态协变量映射为患者专属的神经 SDE 漂移参数，结合确定性-随机路径分解、非对抗特征标核优化与潜状态驱动的事件强度过程，实现了多模态异质静态特征、不规则纵向轨迹与信息性观测时间的端到端联合合成。

研究背景与动机¶

临床队列数据的高昂收集成本、严苛的隐私法规以及有限的样本规模，长期制约着医疗机器学习模型的基准测试、临床试验模拟和罕见亚组分析。通过生成模型合成高保真的患者级数字孪生队列，是缓解数据稀缺与隐私约束的关键途径。然而，临床数据具有高度复合的结构特性：它既包含人口统计学、合并症与基线治疗等静态异质协变量，又包含在不规则随访时间点上采集的多维纵向生物标志物与生命体征。更为关键的是，这些维度在临床现实中深度耦合——基线特征调控着疾病进展轨迹，观测时间的发生频次往往直接反映患者病情的恶化或改善（即具有信息性的观测时间），同时纵向轨迹中还包含大量未测混杂因素驱动的残差随机波动。

现有生成模型在此复合设定下存在显著割裂。主流离散时间序列模型普遍假设固定采样网格，直接应用于不规则临床数据时依赖先验插值或插补，极易扭曲原始时间动态；而基于神经常微分方程（Neural ODEs）或神经随机微分方程（Neural SDEs）的连续时间模型，要么仅聚焦于单模态时间序列，要么未能联合建模静态特征与信息性观测强度。作为最接近的前序工作，MultiNODEs 虽引入异质不完整变分自编码器（HI-VAE）处理静态协变量，但静态信息仅作用于初始潜状态，无法在演化过程中持续调制动态流形；其潜状态初始化强依赖全轨迹编码器，潜动力学退化为确定性常微分方程而无法捕获个体内部的真实随机变异，且完全忽略了观测时间点本身的生成。

面对这些局限，临床合成数据生成的核心挑战在于：如何在免除轨迹编码器与启发式插补的前提下，让基线静态特征全程主导个性化动态，同时显式刻画时间维度的随机波动与信息性采样规律。核心 idea：通过超网络将 HI-VAE 学习到的静态患者潜表征实时映射为连续时间神经 SDE 的个性化漂移向量场，并提出确定性趋势与随机残差的路径正交分解，结合潜状态条件点过程与非对抗特征标核（Signature Kernel）评分目标，实现静态特征、随机纵向轨迹与不规则观测时间的端到端联合生成。

方法详解¶

整体框架¶

HyperNSDE 是一个自底向上的层次化连续时间生成系统。模型无需在推理时引入纵向数据编码器，生成流程完全由患者的静态基线分布驱动。整体架构由四个互联模块构成：负责建模不完整异质基线协变量的 HI-VAE、将静态潜表征映射为动态演化参数的超网络、基于神经 SDE 的个性化潜轨迹求解器，以及捕获非均匀随访与随访终止事件的潜状态条件点过程网络。

在生成阶段，首先从训练好的 HI-VAE 先验中采样个体静态潜表征，解码出多模态静态协变量；随后，该潜表征送入超网络，直接生成控制确定性神经 ODE 漂移项的专属权重；确定性 ODE 积分生成个体平滑均值趋势，而群体共享的神经 SDE 积分生成零均值随机波动残差，二者在潜空间叠加构成完整随机连续路径；最后，潜状态驱动多元非齐次泊松过程采样出每个变量的不规则观测时间戳及序列终止时刻（EOS），解码器在对应时刻对潜路径进行连续时间求值，输出观测层面的多模态时间序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["静态基线协变量 / HI-VAE 潜表征抽样"] --> B["超网络参数生成<br/>静态潜向量映射为个体专属漂移参数"]
    B --> C["确定性-随机路径分解<br/>个性化趋势 ODE + 共享残差波动 SDE"]
    C --> D["事件强度过程建模<br/>潜状态驱动变量观测时刻与 EOS 采样"]
    D --> E["特征标核非对抗优化与解码<br/>连续时间求值输出多模态不规则合成队列"]

关键设计¶

1. 超网络个性化漂移向量场：让静态特征全时程调控演化流形 传统条件神经 ODE/SDE 通常采用初始状态拼接（如将静态向量拼入 $z(0)$）或特征仿射变换（FiLM），这使得静态信息的作用随时间积分逐步耗散，或局限于浅层特征调制。为了让基线表征彻底重塑患者的疾病进展法则，HyperNSDE 引入超网络 $\mathcal{H}$（权重为 $\theta_{\mathcal{H}}$），将 HI-VAE 输出的静态混合潜向量 $\mathbf{h}_i = (\mathbf{s}_i, \mathbf{u}_i)$ 直接映射为神经微分方程漂移网络 $b_i$ 的专属权重 $\theta_{b,i}$： $$ \theta_{b,i} = \mathcal{H}(\mathbf{h}i; \theta) $$ 区别于为每个样本推断初值分布的常规做法，模型直接固定潜状态初值 }}), \quad b_i(\cdot, \cdot) = b(\cdot, \cdot; \theta_{b,i$\mathbf{z}_i(0) = \mathbf{0}$。这是因为纵向变量的基线物理测量值已被显式提取并拼入静态特征向量 $\mathbf{W}_i$ 中，初始绝对水准已完全被 $\mathbf{h}_i$ 吸收，潜动力学 $\mathbf{z}_i(t)$ 纯粹刻画由个体专属漂移场 $b_i$ 驱动的偏离基线动态。

2. 确定性-随机路径正交分解：解耦患者宏观趋势与微观生理涨落 直接在高度稀疏、非均匀采样的临床数据上联合优化单一神经 SDE 的漂移项与扩散项极易发生梯度崩溃，导致随机噪声吞噬平滑的疾病进展信号。受半鞅 Doob-Meyer 分解与函数型数据分析（FDA）的启发，HyperNSDE 将连续潜路径结构化显式拆分为两路： $$ \mathbf{z}_i(t) = \mathbf{z}_i^{\mathrm{det}}(t) + \mathbf{z}_i^{\mathrm{sto}}(t), \quad \mathbf{z}_i^{\mathrm{det}}(0) = \mathbf{z}_i^{\mathrm{sto}}(0) = \mathbf{0} $$ 确定性分量 $\mathbf{z}_i^{\mathrm{det}}(t)$ 由超网络生成的个性化参数控制的神经 ODE 求解：$d\mathbf{z}_i^{\mathrm{det}}(t) = b_i^{\mathrm{det}}(\mathbf{z}_i^{\mathrm{det}}(t), t; \theta_{b_i^{\mathrm{det}}})\,dt$，专职吸收基线决定的平滑进展主趋势；随机残差分量 $\mathbf{z}_i^{\mathrm{sto}}(t)$ 则由低容量漂移项与群体共享扩散项构成的神经 SDE 求解：$d\mathbf{z}_i^{\mathrm{sto}}(t) = b^{\mathrm{sto}}(\mathbf{z}_i^{\mathrm{sto}}(t), t; \theta_{b^{\mathrm{sto}}})\,dt + \sigma^{\mathrm{sto}}(\mathbf{z}_i^{\mathrm{sto}}(t), t; \theta_{\sigma^{\mathrm{sto}}})\,d\mathbf{B}_i(t)$。这种正交化分工确保了个体间异质性牢牢锁定在确定性主干上，而扩散流则捕捉由未测临床变量引起的微观生理涨落。

3. 潜状态驱动的点过程观测强度建模：耦合生理轨迹与不规则随访节律 临床上的观测时间绝非均匀外生随机变量，患者病情恶化往往伴随着检查频率加密或治疗中断提前出院。HyperNSDE 将各变量的观测节律与序列终止（EOS）形式化为多元时间点过程，其瞬间强度 $\boldsymbol{\lambda}_i(t)$ 由潜状态动态推断： $$ \boldsymbol{\lambda}i(t) = \bigl(\lambda_i^{(1)}(t), \dots, \lambda_i^{(d}})}(t), \lambda_i^{\mathrm{EOS}}(t)\bigr) = \exp\bigl(\xi(\mathbf{zi^{\mathrm{det}}(t), t; \theta)\bigr) $$ 为维持长序列与随机轨迹反向传播的数值稳定性，模型对强度网络 $\xi$ 采用解耦设计：其仅以确定性趋势 $\mathbf{z}_i^{\mathrm{det}}(t)$ 为条件输入，避免微观随机噪声扰动随访分布；同时先求解微分方程轨迹再进行点过程积分的数值求积，避免了向 SDE 系统硬拼积分变量导致的高昂内存开销。

4. 路径空间非对抗特征标核评分训练：规避 GAN 训练崩溃的几何度量 神经 SDE 的传统对抗训练（如 SDE-GAN）在长序列与稀疏点阵下极度脆弱，而变分推断难以直接扩展到不规则非马尔可夫残差。HyperNSDE 引入路径空间上的特征标核（Signature Kernel）得分来监督随机分量。对于截断的连续路径残差 $\mathbf{r}_i(t) = \mathbf{x}_i(t) - g(\mathbf{z}_i^{\mathrm{det}}(t); \theta_g)$ 与模拟随机残差 $\hat{\mathbf{r}}_i(t) = g(\mathbf{z}_i^{\mathrm{sto}}(t); \theta_g)$，利用路径签名（Path Signature）的张量代数内积构建正定核 $k_{\mathrm{sig}}$，构造经验非对抗两样本评分目标： $$ \widehat{\mathcal{L}}{\mathrm{long,sto}} = \frac{1}{B(B-1)}\sum}k_{\mathrm{sig}}(\hat{\mathbf{r}i, \hat{\mathbf{r}}j) - \frac{2}{B^2}\sum^B\sum_j) $$ 该损失函数完全在连续路径空间上衡量生成轨迹残差与真实残差测度的几何差异，天生不变于时间参数重整化，且免去了对抗判别器的交替博弈，为稀疏采样路径的随机扩散学习提供了坚实的梯度流。}^B k_{\mathrm{sig}}(\hat{\mathbf{r}}_i, \mathbf{r

损失函数 / 训练策略¶

模型通过多任务联合凸组合进行端到端优化，总损失函数定义为： $$ \mathcal{L}{\mathrm{total}} = \alpha_1 \mathcal{L}}} + \alpha_2 \mathcal{L{\mathrm{event}} + \alpha_3 \mathcal{L}}} + \alpha_4 \mathcal{L{\mathrm{long,sto}}, \quad \sum^4 \alpha_j = 1, \; \alpha_j \ge 0 $$ - $\mathcal{L}_{\mathrm{static}}$ 为 HI-VAE 在观测基线特征上的变分证据下界（ELBO），采用针对高斯、对数正态、泊松和分类变量的特定似然； - $\mathcal{L}_{\mathrm{event}}$ 为观测时间点与 EOS 事件的负对数似然： $$ \mathcal{L}{\mathrm{event}} = -\frac{1}{N}\sum(s)\,ds\right] $$ - }^N \left[\sum_{\ell=1}^{d_{\mathrm{x}}}\left(\sum_{t\in\mathcal{T}_i^{(\ell)}}\log \lambda_i^{(\ell)}(t) - \int_0^{T_i}\lambda_i^{(\ell)}(s)\,ds\right) + \log \lambda_i^{\mathrm{EOS}}(T_i) - \int_0^{T_i}\lambda_i^{\mathrm{EOS}$\mathcal{L}_{\mathrm{long,det}}$ 为确定性趋势重构的均方误差（MSE）； - $\mathcal{L}_{\mathrm{long,sto}}$ 为经验特征标核损失。

为了在不同量纲的四个目标间寻找平衡，训练采用基于 Optuna 的 Pareto 多目标超参数搜索，自适应探索确定性重构与静态似然之间的折中前沿，网络激活层针对 SDE 扩散模块特别选用了保证利普希茨连续性的 LipSwish。

实验关键数据¶

主实验¶

在受控模拟数据集、结直肠癌三期试验队列 VELOUR 以及帕金森进展标志物队列 PPMI 上进行全面评测。评估涵盖保真度（相关性 RMSE、判别分数、观测强度 KL 散度 $\text{KL}\,\lambda$、特征标 MMD）、效用（TSTR 前瞻预测 MSE）与隐私（NNAA 临近样本对抗精度、MIR 成员推断风险、Dep 自相关依赖得分）。

数据集	模型	纵向 Corr. RMSE ↓	判别分数 Discrim. ↓	观测强度 KL $\lambda$ ↓	纵向 MMD ↓	隐私 NNAA (→0)	预测效用 Pred. ↓
Simulated	Reference (真实参考)	0.061	0.499	0.139	0.021	0.021	3.759
Simulated	MultiNODEs	0.084	0.998	67.616	816.507	-0.008	11.328
Simulated	RTSGAN	0.103	0.932	2.525	18.427	-0.009	5.278
Simulated	DGBFGP + HI-VAE	0.167	0.999	67.616	299.330	-0.005	11.603
Simulated	HyperNSDE (本文)	0.118	0.926	0.687	1.150	-0.021	5.226
VELOUR	Reference (真实参考)	0.091	0.472	0.844	0.001	-0.049	21.958
VELOUR	MultiNODEs	0.139	0.990	139.716	0.144	0.011	5.837
VELOUR	RTSGAN	0.842	1.000	2.581	121.596	0.084	6048.192
VELOUR	HyperNSDE (本文)	0.239	0.998	3.513	0.029	0.010	53.514
PPMI	Reference (真实参考)	0.044	0.587	0.064	0.001	-0.032	39.137
PPMI	MultiNODEs	0.108	1.000	221.398	0.038	0.006	19.948
PPMI	RTSGAN	0.623	0.983	1.042	0.009	-0.007	52.954
PPMI	HyperNSDE (本文)	0.260	0.996	1.840	0.019	0.002	57.697

网格规整性与平滑度受控实验¶

在原生网格对比中，MultiNODEs 的纵向 Corr. RMSE 与预测均方误差表面占优。然而通过控制评估时间网格（将其对齐至真实观测网格），并利用仅保留确定性漂移的 HyperNSDE-drift 变体进行控制变量分析，揭示了评估协议的结构性偏差：

数据集	模型	评估网格设定	纵向 Corr. RMSE ↓	预测 MSE (Pred.) ↓
Simulated	Reference	real obs.	0.061	3.759
Simulated	MultiNODEs	native (规则网格)	0.084	11.328
Simulated	MultiNODEs	real obs. (真实网格)	0.494	6.067
Simulated	HyperNSDE	native (生成网格)	0.118	5.226
Simulated	HyperNSDE	real obs. (真实网格)	0.115	4.379
Simulated	HyperNSDE	real obs., 纯漂移无噪声	0.171	3.636
VELOUR	MultiNODEs	native (规则网格)	0.139	5.837
VELOUR	MultiNODEs	real obs. (真实网格)	0.940	7.357
VELOUR	HyperNSDE	native (生成网格)	0.239	53.514
VELOUR	HyperNSDE	real obs. (真实网格)	0.284	10.633
VELOUR	HyperNSDE	real obs., 纯漂移无噪声	0.216	7.010

消融实验¶

在模拟数据集上系统剔除各关键设计（AS.1 纯常微分方程无扩散；AS.2 移除确定性-随机路径分解直接训单一 SDE；AS.3 对比不同个性化条件机制；AS.4 移除观测强度点过程）：

配置	核心改动说明	纵向 Corr. RMSE ↓	观测强度 KL $\lambda$ ↓	纵向 MMD ↓	预测 MSE (Pred.) ↓
HyperNSDE (Full)	完整模型（超网络 + 分解 + SDE + 强度）	0.118	0.926	1.150	5.226
AS.1 only ODE	移除扩散项，退化为纯确定性 ODE	0.160	0.992	92.621	4.515
AS.2 w/o decomp	移除趋势-残差分解，直接端到端拟合 SDE	0.233	0.964	1.209	11.880
AS.3 MNSDE	改用初值潜状态拼接条件（类似 MultiNODEs）	0.154	0.954	1.555	4.840
AS.3 SNSDE	改用时间连续状态拼接输入	0.110	0.846	1.201	5.485
AS.3 FNSDE	改用特征线性调制（FiLM）条件控制	0.149	0.926	1.673	6.295
AS.4 w/o intensity	移除时间点过程强度 $\lambda(t)$ 建模	0.101	67.616	149.558	11.563

关键发现¶

随机扩散对分布逼近至关重要：纯确定性 ODE 消融（AS.1）在预测 MSE 上虽因曲线过度平滑而刷出较低数字（4.515），但纵向 MMD 暴增近百倍（92.621），表明确定性动力学彻底丧失了捕获患者真实生理随机波动的能力。
正交分解是稳定训练的核心支柱：移除分解机制直接训练 SDE（AS.2）会导致纵向相关性 RMSE 恶化一倍（0.233），预测误差劣化至 11.880；微观扩散噪声直接干扰宏观漂移，轨迹呈现无序震荡。
评测协议受规整度与平滑度严重干扰：控制网格实验揭示，MultiNODEs 原生的高相关性表现在转移到真实稀疏网格后发生坍塌（VELOUR 上 Corr. RMSE 从 0.139 恶化至 0.940）；而下游基于 MSE 的 TSTR 预测指标存在显著偏向平滑确定性曲线的固有漏洞，HyperNSDE 在去除扩散波动（drift-only）后预测误差大幅缩减至 7.010。

亮点与洞察¶

超网络实现动力学向量场的深度参数化：将基线静态特征直接转化为微分方程权重生成器，从根本上超越了简单的初值编码或隐层特征拼接，使基线特征能够全时程无耗散地决定系统的流形演化。
确定性趋势与随机残差的解耦训练范式：巧妙地将难训的神经 SDE 拆解为“超网络驱动的均方差回归 ODE”与“特征标核打分的零均值随机波动 SDE”，在回避对抗训练不稳定的同时大幅提升了随机过程的拟合鲁棒性。
揭示了不规则临床时序评测指标的盲区：通过严格的网格对齐和纯漂移对比，指出了 MSE 预测指标对确定性平滑轨迹的系统性偏好，对未来临床不规则时间序列生成领域的基准设立具有极高的参考价值。

局限与展望¶

观测分布拟合而非因果反事实推断：模型严格拟合真实队列的联合观测边际分布，无法自动修正临床中未观测到的治疗选择偏倚（Selection Bias），难以直接进行反事实干预推断。
扩散项未实现完全个性化：当前 SDE 扩散项 $\sigma$ 仍采用群体共享参数，尚未实现扩散强度的患者级基线条件化，限制了对异质性微观波动幅度的表达。
计算开销显著：超网络的多层权重生成配合自适应连续时间数值微分方程积分器，训练和采样开销显著高于离散判别式模型，难以直接扩展至超长随访周期。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将超网络、神经 SDE 正交分解与特征标核评分相结合，实现静态-纵向-观测时间的三位一体联合生成。
实验充分度: ⭐⭐⭐⭐☆ 涵盖模拟系统与两个权威真实临床试验队列，多维度指标完备，深入揭示了评测协议中的固有偏差。
写作质量: ⭐⭐⭐⭐⭐ 形式化严谨自洽，数学表述清晰，动机阐述切中临床时序建模的核心矛盾。
价值: ⭐⭐⭐⭐☆ 为数字孪生医疗队列构建、临床试验对照组模拟与不规则时序建模提供了强有力的全新范式。