Learning Survival Models with Right-Censored Reporting Delays¶

会议: NeurIPS 2026
arXiv: 2510.04421
领域: others
关键词: 生存分析, 报告延迟, 右截断, 迁移学习, 期望最大化算法

一句话总结¶

针对事件发生与非定时报告之间存在右截断延迟、且评估窗口受行政截断导致可辨识性受损的难题，本文提出了联合参数风险建模、蒙特卡洛 EM 算法及两阶段迁移学习框架，实现了行政截断下及时风险评估的渐近一致估计。

研究背景与动机¶

生存分析是建模和预测个体从初始状态到特定事件发生时间的核心统计框架，广泛应用于生物医学、保险精算、可靠性工程以及金融风控等领域。在常规的生存分析设定中，通常假设事件一旦发生即能被实时检测到，仅存在因随访终止等原因造成的常规右删失。然而在诸多实际高风险评估场景中，事件发生与信息记录之间往往存在不可忽视的时间滞后（报告延迟）。例如在医学随访中，疾病发病往往无法主动实时感知，只有当患者后续因死亡或其他严重合并症就医并报告死因时，早期的确切发病时间才会被追溯确诊；在保险行业中，出险事件发生后需要被保人主动报案，保单理赔系统中才能追溯出事故发生的时间点。

当研究人员为了实现及时风险评估，需要在固定的考核截止日进行行政截断（Administrative Censoring）时，这种报告延迟现象会引发严重的估计偏差。在固定的较短评估窗口 $[0, \tau]$ 内，越靠近截止日发生的事件，其在随访结束前被成功报告的概率越低，导致大量已发生的事件在观测数据中完全缺失；若直接忽略报告延迟而将报告时间或删失时间视作事件发生时间，会导致对事件发生真实风险的严重低估。更为关键的是，即便在传统生存分析中，当行政截断时间 $\tau$ 较短时，模型的参数可辨识性条件也会被破坏（例如分段比例风险模型中 $\tau$ 之后的基线风险完全不可辨识），使得参数估计量失去渐近一致性。

面对数据中“目标事件仅在报告事件发生时才显现”的非平衡观测机制，以及短时间窗口下可辨识性丧失的核心矛盾，现有文献多局限于定期随访下的滞后修正或右截断传染病模型，无法直接求解此类非定时报告与行政截断交织的联合风险问题。核心 idea：将事件发生与报告延迟联合建模为相继发生的二阶段随机过程，在无行政截断的源域上利用蒙特卡洛 EM 算法求解一致参数，再将共享的基线风险与报告风险参数迁移至受行政截断的目标域，通过近似估计方程实现无偏且数值稳定的目标域风险评估。

方法详解¶

整体框架¶

本文构建了一个相继发生双事件的右删失生存分析模型。设个体在时刻 0 进入队列，定义先前事件（目标事件，如疾病发病）发生时间为非负随机变量 $T_1$，其后的滞后时间（报告延迟，如发病到报告/死亡的间隔）为 $T_2$，总时间为 $T = T_1 + T_2$。随访因其他外部原因在随机时间 $C$ 发生常规右删失，且假设 $T_1, T_2, C$ 相互独立。整个系统面临行政截断时间 $\tau$。对于个体 $i$，其最终观测时间为 $Y = \min\{T_1 + T_2, C\}$，报告指示变量为 $V = \mathbb{I}(T_1 + T_2 \le C)$。关键机制在于：只有当报告事件发生（即 $V=1$）时，目标事件的真实发生时间 $Z = T_1$ 及其指示变量 $W = 1$ 才能够被回溯观测到；若随访因外部删失或行政截断结束且未收到报告（$V=0$），则 $(Z, W)$ 完全缺失。

针对短评估窗口下目标域参数不可辨识的困境，方法采用两阶段迁移学习流程：第一阶段在无行政截断的充分随访源域中联合估计先前事件与后续报告事件的所有参数；第二阶段将源域中共享的基线危险函数与报告延迟危险函数迁移至受行政截断的目标域，利用目标域观测数据推断目标域特有的协变量系数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["源域与目标域个体观测数据<br/>(x, y, v) 及部分回溯的 (z, w)"] --> B["阶段1：源域完全参数联合估计<br/>推导二重积分似然 E(θ1, θ2)"]
    B --> C["MC-EM 算法迭代求解<br/>拒绝采样插补缺失 (z, w) 数据"]
    C --> D["两阶段迁移机制<br/>迁移基线危险 α 与报告参数 θ2"]
    D --> E["阶段2：近似估计方程构建<br/>展开 Taylor 阶补偿报告缺失偏置"]
    E --> F["目标域协变量参数 γ 稳健估计<br/>输出及时风险评估函数 S1(t|x)"]

关键设计¶

1. 右删失报告延迟下的完全观测似然函数：显式刻画未报告个体的双重状态概率积分

在常规生存分析中，未发生事件个体的似然项仅为生存函数 $S(y)$。但在报告延迟场景下，当在时刻 $y$ 观察到 $v_i = 0$（未发生报告）时，存在两种互斥的潜在真实状态：其一是个体在随访期内从未发生目标事件（$T_1 > y$）；其二是个体在 $t \in [0, y]$ 发生了目标事件，但在随访终止时刻 $y$ 之前尚未发生报告（$T_1 = t \le y$ 且 $T_2 > y - t$）。为了建立严谨的参数估计基础，模型推导了未报告个体的有效生存函数： $$S_{\blacksquare}(y \mid \bm{x}) = S_1(y \mid \bm{x}) + \int_0^y f_1(t \mid \bm{x}) S_2(y - t \mid \bm{x}) \, dt$$ 对于发生报告的个体（$v_i = 1$），由于 $z_i$ 与 $y_i$ 均被观测，其联合密度即为 $f_{\square}(z_i, y_i \mid \bm{x}) = f_1(z_i \mid \bm{x}) f_2(y_i - z_i \mid \bm{x})$。在样本无行政截断或在截断前的时间区域，观测数据的对数似然可形式化为： $$\mathcal{E}(\bm{\theta}_1, \bm{\theta}_2) = \sum_{i=1}^n \left[ (1 - v_i) \log S_{\blacksquare}(y_i \mid \bm{x}_i) + v_i \log f_{\square}(z_i, y_i \mid \bm{x}_i) \right]$$ 理论分析进一步证明，在温和的可辨识性假设（Assumption 1）下，最大化 $\mathcal{E}(\bm{\theta}_1, \bm{\theta}_2)$ 的估计量具有大样本渐近一致性。

2. 基于拒绝采样的蒙特卡洛期望最大化算法（MC-EM）：解耦非凸积分与独立似然优化

直接对上述似然函数求导面临巨大困难，因为 $\log S_{\blacksquare}(y)$ 包含对参数高度非线性的积分项，难以获得闭式梯度。为此，本文利用 Jensen 不等式构造了关于潜在变量分布 $q$ 的下界 $\mathcal{LB}(q, \bm{\theta}_1, \bm{\theta}_2)$，建立 EM 算法更新机制。E 步中，未报告个体 $i$ 的潜在变量 $(z_i, w_i)$ 的后验条件概率为： $$q_i(z_i, w_i) = \begin{cases} S_{\blacksquare}(y_i \mid \bm{x}_i)^{-1} S_1(z_i \mid \bm{x}_i), & w_i = 0 \\ S_{\blacksquare}(y_i \mid \bm{x}_i)^{-1} f_1(z_i \mid \bm{x}_i) S_2(y_i - z_i \mid \bm{x}_i), & w_i = 1 \end{cases}$$ 为了绕过分母归一化常数 $S_{\blacksquare}(y_i \mid \bm{x}_i)$ 的数值计算，算法设计了高效的拒绝采样方案：每次从 $f_1(t \mid \bm{x}_i)$ 抽取候选时间 $t$；若 $t > y_i$，直接接受并设定 $(z_i, w_i) = (y_i, 0)$；若 $t \le y_i$，抽取独立均匀变量 $U \sim \text{Uniform}(0, 1)$，若 $U \le S_2(y_i - t \mid \bm{x}_i)$ 则接受并设定 $(z_i, w_i) = (t, 1)$，否则拒绝重采。通过生成 $s$ 组伪完整数据集 $\mathcal{P}_1$ 和 $\mathcal{P}_2$，M 步的目标函数解耦为分别对标准生存似然 $\mathcal{L}_1(\bm{\theta}_1 \mid \mathcal{P}_1)$ 和 $\mathcal{L}_2(\bm{\theta}_2 \mid \mathcal{P}_2)$ 的独立最大化，可以直接复用现成的数值优化工具。

3. 两阶段迁移学习框架：克服短行政截断窗口下的参数不可辨识性

当目标域受制于极短的行政截断时间 $\tau$ 时，落在区间 $(\tau, \infty)$ 的基线风险参数在目标域中完全没有可观测支撑。为了恢复渐近一致性，本文提出参数解耦迁移策略：将参数划分为可迁移成分与域特有成分 $\bm{\theta}_1 = (\bm{\theta}_{1,1}, \bm{\theta}_{1,2})$。在比例风险模型假设下，基线风险参数 $\bm{\alpha}$（反映疾病潜伏与发病的内在时间演变曲线）以及报告延迟分布参数 $\bm{\theta}_2$（反映出险到理赔或发病到死亡的操作滞后）在各域间保持稳定，归为共享参数；而协变量效应系数 $\bm{\gamma}$（反映不同人群的发病风险倍率）属于域特有参数。在阶段 1 中利用样本容量充分且无行政截断的源域数据解出 $(\hat{\bm{\alpha}}, \hat{\bm{\theta}}_2)$；在阶段 2 中将它们冻结并代入目标域似然中仅估计 $\bm{\gamma}$。定理 4 严格保证了该两阶段估计量在 $n_s, n_t \to \infty$ 时的联合一致性，并分析了第一阶段误差向第二阶段传播的协方差渐近阶。

4. 比例风险模型下的近似估计方程：消除迭代积分摆动与截断偏差

在实际运行决策中，随着评估截止日向前推进，目标域数据不断流入；若在阶段 2 持续执行 MC-EM，蒙特卡洛抽样的随机涨落会导致参数轨迹频繁振荡。为消除这种数值不稳定性，同时纠正直接丢弃 $S_{\blacksquare}$ 第二项所导致的严重参数低估（命题 7 指出直接忽略未报告概率会导致得分方程产生严格的负向偏差），本文在低发生率或短窗口假设（Assumption 4：$\nu_i y_i$ 极小）下，对原始得分方程进行 Taylor 阶展开，推导出一阶补偿的闭式近似估计方程： $$\tilde{\bm{\zeta}}(\bm{\gamma}) \coloneqq \sum_{i=1}^n \left( v_i \frac{\partial \log \phi(\bm{x}_i; \bm{\gamma})}{\partial \bm{\gamma}} - \tilde{r}_i \frac{\partial \phi(\bm{x}_i; \bm{\gamma})}{\partial \bm{\gamma}} \right) = \bm{0}$$ 其中加权累积基线风险 $\tilde{r}_i$ 仅需进行一次确定性数值预计算： $$\tilde{r}_i \coloneqq \int_0^{\tilde{y}_i} h_b(t \mid \bm{x}_i; \hat{\bm{\alpha}}) \left( 1 - S_2(y_i - t \mid \bm{x}_i; \hat{\bm{\theta}}_2) \right)^{1 - v_i} dt$$ 该权重视图精确补偿了“事件已在时间 $t$ 发生但尚未在剩余随访窗口内被报告”的概率损耗。定理 5 证明，近似方程的截断误差界满足 $\mathcal{O}(\sum_{i=1}^m \nu_i^2 \delta_i y_i \bm{\pi}_i)$，特别是当报告发生强度 $h_2$ 显著高于先前事件发生强度时，不动点 $\delta_i$ 趋近于 0，使得该近似估计方程极为精确，且求解过程无需任何重复采样。

损失函数 / 训练策略¶

在具体实现中，先前事件危险函数采用分段比例风险形式：$h_1(t \mid \bm{x}) = h_b(t; \bm{\alpha}) \exp(\bm{\beta}^\top \bm{x})$，其中基线危险划分为三段区间 $[0, 0.5]$、$(0.5, 1]$、$(1, \infty)$，对应参数 $\bm{\alpha} = (\alpha_1, \alpha_2, \alpha_3)$；报告延迟过程假设为指数分布，具有常数风险率 $h_2(t) = \lambda$。源域第一阶段采用 MC-EM，设定迭代轮数为 100 轮，插补重复样本数 $s = 10$，利用 lifelines 库进行带有 $10^{-4}$ 惩罚系数的偏似然/全似然拟合以确保数值稳定性。目标域第二阶段直接采用 SciPy 的 L-BFGS 算法求解近似得分方程 $\tilde{\bm{\zeta}}(\bm{\gamma}) = \bm{0}$，初始点设为 $\bm{\gamma} = \bm{0}$。

实验关键数据¶

主实验¶

实验采用两个权威的真实医学随访基准数据集：Colon（结肠癌数据集，929 例个体，将复发定义为先前事件、后续死亡定义为报告事件）与 Rotterdam（鹿特丹乳腺癌数据集，2982 例个体）。根据患者手术至入组间隔或手术年份将数据划分为源域与受行政截断的目标域。在目标域中设定四种严苛的行政截断时间 $\tau \in \{0.25, 0.5, 0.75, 1\}$，进行 100 次独立重复试验，采用集成 Brier 分数（Integrated Brier Score, IBS；越低越好）评估风险预测准确度。

数据集	方法	$\tau = 0.25$	$\tau = 0.5$	$\tau = 0.75$	$\tau = 1.0$
Colon	Standard	0.319 (0.032)	0.268 (0.022)	0.246 (0.020)	0.237 (0.017)
Colon	Ours	0.272 (0.028)	0.241 (0.017)	0.238 (0.017)	0.233 (0.015)
Colon	Oracle	0.232 (0.016)	0.230 (0.014)	0.226 (0.012)	0.226 (0.013)
Rotterdam	Standard	0.247 (0.018)	0.212 (0.015)	0.194 (0.013)	0.190 (0.012)
Rotterdam	Ours	0.203 (0.017)	0.181 (0.011)	0.175 (0.010)	0.173 (0.009)
Rotterdam	Oracle	0.179 (0.010)	0.170 (0.008)	0.168 (0.007)	0.168 (0.007)

消融实验与灵敏度分析¶

为验证不同报告延迟速度（由报告风险率 $\lambda^*$ 控制，$\lambda^*$ 越小代表报告滞后越严重）下模型对估计偏差的纠正能力，论文在受控玩具数据集中（$n=1000, d=10, \tau=0.5$）对比了参数估计的真值恢复程度。基准模型真实参数为：基线危险 $\alpha_1=0.1, \alpha_2=0.2, \alpha_3=0.3$，源域系数 $\beta_1=1.0$，目标域系数 $\gamma_1=2.0$。下表报告了 100 次试验的参数估计均值与标准差。

方法	$\lambda^*$ 真值	$\hat{\alpha}_1$ (0.1)	$\hat{\alpha}_2$ (0.2)	$\hat{\alpha}_3$ (0.3)	$\hat{\beta}_1$ (1.0)	$\hat{\gamma}_1$ (2.0)	报告参数 $\hat{\lambda}$
Standard	0.5	0.037 (0.009)	0.061 (0.015)	0.067 (0.016)	0.797 (0.221)	0.808 (0.309)	—
Standard	1.0	0.054 (0.011)	0.096 (0.017)	0.116 (0.023)	0.856 (0.204)	0.995 (0.291)	—
Standard	5.0	0.081 (0.015)	0.165 (0.026)	0.249 (0.035)	0.994 (0.163)	1.728 (0.293)	—
Ours	0.5	0.089 (0.031)	0.185 (0.059)	0.319 (0.112)	1.064 (0.283)	1.494 (0.574)	0.526 (0.127)
Ours	1.0	0.094 (0.023)	0.197 (0.043)	0.307 (0.076)	1.024 (0.259)	1.604 (0.421)	1.012 (0.173)
Ours	5.0	0.096 (0.017)	0.198 (0.032)	0.307 (0.045)	1.017 (0.162)	1.956 (0.315)	5.036 (0.440)
Oracle	—	0.098 (0.016)	0.197 (0.029)	0.301 (0.036)	1.017 (0.124)	2.007 (0.224)	—

关键发现¶

短截断时间下性能优势显著：在 $\tau=0.25$ 的极度匮乏随访场景中，Ours 在 Colon 数据集上的 IBS 达到 0.272，比忽视延迟的 Standard（0.319）低了 14.7%，在 Rotterdam 上同样从 0.247 大幅降低至 0.203。这证实了越靠近评估截断点，未报告事件的累积遮蔽效应越致命，显式建模延迟具有决定性意义。
参数估计偏差的根本性纠正：灵敏度实验显示，当忽视延迟时，Standard 对基线危险和目标域协变量参数产生了系统性的严重低估（如 $\lambda^*=0.5$ 时，$\hat{\gamma}_1$ 仅为 0.808，相对误差达 60%）；而 Ours 在各种延迟尺度下均能高度逼近真实参数（$\hat{\gamma}_1$ 达到 1.494 到 1.956），并能精确恢复报告危险率 $\lambda$。
渐近性质与近似方程边界：实验同时验证了理论结论，当 $\lambda^*$ 增大（报告发生更快）时，近似估计方程 $\tilde{\bm{\zeta}}(\bm{\gamma})$ 中的误差项迅速收敛，估计精度几乎与完全观测的 Oracle 完全重合。

亮点与洞察¶

将回溯观测延迟纳入相继事件联合生存测度：突破了传统生存分析中“未发生事件即视为右删失”的惯常假设，通过严谨的二重概率积分解构了“已发病但未报告”与“未发病”的重叠概率空间，数学形式严密且符合真实业务机制。
拒绝采样巧解复杂积分归一化常数：在 MC-EM 的 E 步构造中，创造性地利用指示条件与均匀分布的级联采样绕过了对分母 $S_{\blacksquare}(y_i)$ 繁琐数值积分的计算，使得每一轮迭代能够平滑解耦并无缝衔接主流生存分析求解器。
一阶泰勒展开推导闭式近似估计方程：针对在线推断中 MC-EM 重复采样引起参数波动的痛点，以理论推导为支撑给出了无需迭代积分的稳健估计方程，显著增强了运筹监控场景的工程可用性。

局限与展望¶

跨域迁移假设的局限性：两阶段迁移学习高度依赖基线风险与报告延迟危险在源域与目标域共享的先验假设。若目标域的医疗技术或理赔运营流程发生根本变化导致延迟机制漂移，迁移误差可能会引发错误推断。
单事件后续报告的简化模型：当前方法主要假设后续报告事件具有相对稳定的参数分布（如常数风险率），未来工作可进一步探索非参数或基于深度神经网络的半参数报告过程扩展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化了非定时报告延迟与短行政截断下的联合生存建模及迁移学习框架。
实验充分度: ⭐⭐⭐⭐☆ 包含理论一致性证明、模拟玩具模型偏差分析以及两个真实医学队列的全面评估。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，附录提供了完备的定理证明与误差阶展开。
价值: ⭐⭐⭐⭐⭐ 对保险精算早期出险评估、传染病潜伏期监控及医学早期筛查具有重要的实用价值。