What Comes Next and Why: Interpretable Next-Event Prediction with Neuro-Symbolic Rules¶

会议: NeurIPS 2026
arXiv: 2610.31114
代码: https://github.com/IamginE/runes-rules
领域: 可解释性
关键词: 神经符号学习、事件序列预测、时序规则、残差网络、可解释AI

一句话总结¶

针对序列下一事件预测中黑盒模型缺乏可解释性与传统符号挖掘难以组合建模的矛盾，本文提出神经符号架构 Rules 与加性混合模型 Runes，通过连续可微松弛与两阶段温度退火直接从数据中学习带时间区间约束的时序合取规则，并在保留透明归因的同时达到与 Transformer 相当的预测精度。

研究背景与动机¶

下一事件预测（Next-event prediction）是序列建模领域的核心任务，广泛应用于电子商务（复购与搭售推荐）、智能医疗（临床诊疗与生存监测）、业务流程日志分析等高风险场景。在语言模型将离散标记位置视为时间步取得巨大成功的背景下，通用序列领域的深度神经网络（如循环网络、时间卷积及 Transformer）同样展现出了卓越的预测准确率。然而，现代深度序列模型的内部表征本质上是高维黑盒，在医疗法规审计、工业故障预警等对安全性与合规性要求严苛的场景中，预测的黑盒性质使其无法提供合乎因果逻辑的决策归因。

为了追求透明决策，符号序列规则挖掘方法（如序列关联规则、基于最小描述长度 MDL 的情节挖掘）试图通过形如 $A \Rightarrow B$ 的离散逻辑规则来描述事件间的依赖关系。然而，传统符号方法普遍存在两大瓶颈：其一是组合搜索空间面临超指数级爆炸，过度依赖人工设定的支持度与置信度阈值，容易产生数以万计的冗余规则或遗漏深层模式；其二是经典挖掘规则仅提供离散共现统计，既缺乏事件间精确度量时间延迟（Metric Temporal Delay）的表征能力，也没有一套严谨的原则将多条可能冲突或协同的规则整合成具备竞争力的端到端预测概率模型。另一方面，近期在表格数据中兴起的神经符号模型虽利用连续可微松弛实现了梯度驱动的规则学习，但其建立在扁平化的二值静态特征假设之上；若将变长事件序列强行展开为高维稀疏特征，会破坏核心的时间拓扑并引发严重的维度灾难。

这种现状暴露出序列预测领域的核心矛盾：如何在无需离散遍历组合搜索的前提下，通过梯度反向传播端到端学习带有时间区间约束的序列合取规则，并兼顾符号规则的可解释性与深度模型的拟合精度？本文的切入点是定义一类严谨的“时间合取预测规则”（Temporal Conjunctive Prediction Rules），将其解构为谓词层、前件层与后件层直接嵌入神经网络架构 Rules 中，并通过加性残差网络 Runes 补偿不可规则化结构。核心 idea：将带相对时间延迟的序列合取规则参数化为可微神经网络层并在两阶段温度退火下端到端学习紧凑离散规则，进而通过加性残差网络在保留可解释规则归因的同时补全黑盒预测能力。

方法详解¶

整体框架¶

本文提出的方法包含核心神经符号模型 Rules 与混合预测架构 Runes。Runes 包含两个协同组件：负责生成符号规则预测 logit 的规则网络 Rules，以及负责捕捉非规则化复杂上下文结构的黑盒残差网络（Residual Network，如基于旋转位置编码 RoPE 的连续时间 Transformer）。整个训练与推理流程解构为两个互不干扰的解耦阶段：第一阶段为符号阶段（Symbolic Phase），通过连续可微松弛与温度退火让 Rules 学习离散事件-时间谓词与前件合取；第二阶段为预测增强阶段（Predictive Phase），冻结 Rules 的参数并将其转换为纯逻辑布尔求值，仅训练残差网络拟合预测残差 logit。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史事件序列与预测时刻<br/>(S_{<t_k}, t_k)"] --> B["谓词层：事件匹配与时间区间软分桶<br/>e_i(x_l; W_i, τ_1) · π_i(t_k - t_l; Δ_i, τ_1)"]
    B --> C["前件层：软合取与温度退火二值化<br/>a_j(S_{<t_k}; U_j, τ_2) 聚集谓词逻辑"]
    C --> D["后件层与规则加性汇聚<br/>求和激活规则 logit：x̂_k^{(r)} = b + Σ a_j · O_j"]
    D --> E["阶段一收敛：符号离散化与剪枝精炼<br/>提取紧凑离散规则集，冻结 Rules"]
    E --> F["预测增强阶段：加性残差网络<br/>Transformer 学习修正 logit x̂_k^{(δ)}"]
    F --> G["最终输出分布与归因分析<br/>softmax(x̂_k^{(r)} + x̂_k^{(δ)})"]

关键设计¶

1. 谓词层：将事件匹配与连续延迟松弛为可微谓词 传统序列规则无法直接通过反向传播优化的主要难点在于，判定“历史序列中是否存在特定事件且其发生时间落在指定区间”是一个不可导的离散指示函数。Rules 在第一隐藏层通过引入事件权重向量 $W_i \in \mathbb{R}^D$ 与连续延迟边界参数 $\delta_i^{\min}, \delta_i^{\max} \in \mathbb{R}_{>0}$，将事件-时间谓词 $p_i^*(S_{<t})$ 构造为由温度参数 $\tau_1$ 控制的连续平滑函数。针对类别事件匹配，模型利用温度缩放的 LogSumExp（lse）结合 Sigmoid 函数构建软匹配度： $$e_i(x_l; W_i, \tau_1) = \sigma\left(\frac{1}{\tau_1^2}\left(W_{i, x_l} - (1-\tau_1)\text{lse}(W_i; \tau_1)\right)\right)$$ 当 $\tau_1 \to 0^+$ 时，$\text{lse}(W_i; \tau_1)$ 逼近 $\max_d W_{i,d}$，缩放因子 $1/\tau_1^2$ 驱动 Sigmoid 趋于阶跃函数，使得神经元精确激活于最大权重事件 $\mathbb{I}(x_l = \arg\max_d W_{i,d})$。对于连续时间延迟约束 $\Delta_i = [\delta_i^{\min}, \delta_i^{\max}]$，模型采用基于软分桶（soft-binning）的区间归属函数 $\pi_i(t_k - t_l; \delta_i^{\min}, \delta_i^{\max}, \tau_1)$，在反向传播中配合投影梯度下降强制满足 $\delta_i^{\min} \le \delta_i^{\max}$。序列中任意事件满足该条件的析取（OR 逻辑）则通过对时序乘积 $\tilde{p}_i(l, k) = e_i \cdot \pi_i$ 施加带有缩放温度 $0.1\tau_1$ 的 Softmax 加权平均来实现，使得整个谓词在数学上严格收敛于度量时序逻辑（MTL）中的“过去曾经发生”算子。

2. 前件层：软合取与分步退火优化 为了组合多个离散谓词形成完整的规则前件（如“1-43天前购买机箱且 2-21天前购买CPU”），Rules 的第二隐藏层引入非负权重矩阵 $U_{j, i}$ 建立可微软合取（Soft Conjunction）。通过温度受控的 Softplus 参数化强制 $U_{j,i} \ge 0$，前件神经元 $j$ 的激活值定义为： $$a_j(S_{<t_k}; U_j, \tau_2) = \sigma\left(\frac{1}{\tau_2}\left(\sum_{i=1}^I U_{j,i}\left(p_i(S_{<t_k}) + \frac{\tau_2}{2} - 1\right)\right) - \log(\tau_2)\right)$$ 在数学机制上，由于 $p_i \in [0, 1]$ 且 $U_{j,i} \ge 0$，求和项 $\sum U_{j,i}(p_i - 1)$ 恒为非正，且当且仅当所有被选谓词（$U_{j,i} > 0$）均完全满足（$p_i = 1$）时才达到最大值 0。偏置项 $-\log(\tau_2)$ 确保在 $\tau_2 \to 0^+$ 时，合取完全满足的输出收敛为 1，而任何未满足的谓词将迫使输入发散至 $-\infty$ 导致输出为 0。为了避免联合优化中底层谓词漂移引起的前件剧烈饱和，训练采用了分步退火策略（Two-phase Annealing Schedule）：首先固定 $\tau_2 = 1$，仅退火第一层温度 $\tau_1 \to 0$，待事件识别与时间区间收敛稳定后，再启动第二层温度退火 $\tau_2 \to 0$。

3. 后件层与规则符号化离散：无加权 Logit 累加与均值中心化筛选 现存神经规则模型在分类层往往为每个规则分配可学习的连续标量乘子，这破坏了符号规则的直观含义。Rules 的输出层直接将各规则前件的二值激活与未经缩放的后件向量 $O_j \in \mathbb{R}^D$ 结合：$\hat{x}_k^{(r)} = b + \sum_j a_j(S_{<t_k}) \cdot O_j$。退火完成后 $a_j \in \{0, 1\}$，模型预测本质上是所有被触发规则后件 logit 的无加权叠加。利用 Softmax 的平移不变性，模型对各规则 logit 执行均值中心化 $\tilde{O}_j = O_j - \mu(O_j)\vec{1}$，直观量化规则对各事件类别的正负偏好；随后通过极差变异阈值 $\theta_{\text{var}}$（剔除无影响的近常数规则）、分位数阈值 $\theta_{\text{quant}}$（筛选全局显著规则）与包含阈值 $\theta_{\text{inc}}$（选出后件高概率事件集合），导出完全离散的人类可读规则集。在此基础上，通过消除数据等价谓词、合并重叠时间区间与紧致化延迟边界等后处理，大幅提升了规则集的紧凑度与可读性。

4. 预测增强阶段：加性残差网络与透明归因决策 现实世界序列中不可避免地存在高噪声、长程微弱关联或难以被简明合取逻辑概括的复杂模式。为了在不牺牲可解释性的前提下打破纯符号模型的容量上限，Runes 在第二阶段将训练好的 Rules 参数完全冻结，并引入序列模型（如带连续时间 RoPE 的因果 Transformer）作为残差网络，输出修正 logit $\hat{x}_k^{(\delta)}$。最终预测分布由规则 logit 与残差 logit 线性相加后经 Softmax 计算得出： $$P(x_k \mid S_{<t_k}, t_k) = \text{softmax}\left(\hat{x}_k^{(r)} + \hat{x}_k^{(\delta)}\right)$$ 加性 logit 的核心优势在于保证了逐样本归因的透明性：用户可以明确观察到每一个预测是由哪些具体规则激发的（各自贡献的未加权 logit 大小），以及残差网络施加了多少正负微调。更重要的是，Rules 预测分布的熵与两网络间的对称 KL 散度构成了无监督决策凭证——当规则处于低熵且 KL 较小时，规则预测具有极高正确率，用户可选择直接采信规则；仅当残差网络施加高 KL 偏移时才借助黑盒修正。

一个完整示例¶

以电商购物篮预测为例，假设词表中包含“机箱”、“CPU”、“硬盘”、“显卡”、“电源”、“主板”等数码硬件。 1. 输入序列：用户历史在 40 天前购买了机箱、15 天前购买了 CPU、65 天前购买了硬盘。当前时刻发出预测查询。 2. 谓词与前件激活：谓词层中，$p_1$（43天内购买机箱）、$p_2$（21天内购买CPU）与 $p_3$（69天内购买硬盘）全部判定为真（值为 1）；第二层前件神经元 $a_2$ 汇聚该三元合取，输出硬激活 $a_2 = 1$。 3. 后件输出：该规则输出均值中心化 logit，对“主板”赋予 +3.2、对“电源”赋予 +2.8、对“显卡”赋予 +2.1，其余商品均为负 logit。 4. 残差融合：残差 Transformer 评估后产生微弱修正（各类别残差 logit 幅度 $< 0.4$，对称 KL 散度低至 0.25），模型直接触发“信赖规则”机制，输出高置信度推荐组合并附带解释：“由于用户在近期相继采购了机箱、CPU 与硬盘，系统判定进入装机最终阶段，预测下一步将采购主板与电源”。

损失函数 / 训练策略¶

两阶段均采用标准的自监督下一事件交叉熵损失，排除了缺乏上下文的序列首个事件： $$\mathcal{L}_{\text{CE}} = \frac{1}{L_c}\sum_{n=1}^N \sum_{k=2}^{L^n} \mathcal{L}_{\text{CE}}\left(f(S_{<t_k^n}^n, t_k^n), x_k^n\right), \quad L_c = \sum_{n=1}^N (L^n - 1)$$ 优化采用 Adam 优化器，Rules 学习率为 0.03，残差 Transformer 学习率为 $3 \times 10^{-4}$。在温度退火环节，经历固定预热轮次后，以因子 0.9 衰减 $\tau_1$ 直至 $10^{-4}$，随后启动 $\tau_2$ 衰减直至 $10^{-5}$。区间边界在每次反向传播后执行截断，强制保证最小区间跨度 $\ge 1$ 且不超过最大回溯窗口 $\omega$。

实验关键数据¶

主实验¶

在 5 个涵盖现实工业流程、电商交易、软件开发与古典音乐的公开真实数据集上，对 Rules、Runes 及基线模型进行了测试准确率（Acc. %）与模型诱导规则规模（$|\mathbf{R}|$）的全面评测。

数据集	Rules 规则数	Rules Acc.	Runes Acc.	PPM 规则数	PPM Acc.	CatBoost 规则数	CatBoost Acc.	XGBoost 规则数	XGBoost Acc.	Transformer Acc.
Holidays	26	97.57	100.00	14	100.00	1,129	100.00	1,455	100.00	100.00
Chorales	33	21.00	37.00	180	31.40	11,596	37.10	34,462	37.72	39.35
Commits	51	19.60	18.31	80	18.11	380	15.55	83,965	17.03	20.10
Rolling Mill	77	34.13	70.44	9,583	67.64	13,809	65.64	640,723	68.84	71.24
Amazon	42	6.53	17.55	993	15.16	13,123	11.79	5,149,683	15.37	17.61
平均排名	-	5.2	2.4	-	3.6	-	4.0	-	2.8	1.0

消融与分析实验¶

为了深入分析残差网络对规则预测的动态干预机制，下表展示了 Runes 在规则激活（Rule Active，覆盖测试集 64% 的样本）与未激活（No Rule Active，覆盖 36% 的样本）两种情境下，对 Rules 预测正确（✓）与错误（✗）的调整分布（测试集平均占比）：

Rules 状态	Runes 判定 (规则激活组, 占 64%)	Runes 判定 (无规则激活组, 占 36%)	现象说明
Rules 正确 (✓)	40% (保持正确)	19% (保持正确)	残差网络在绝大部分有效规则样本上维持原判
Rules 正确 (✓)	3% (误改错 ✗)	3% (误改错 ✗)	残差网络推翻原本正确规则预测的比例极低（仅 3%）
Rules 错误 (✗)	17% (纠正对 ✓)	36% (纠正对 ✓)	当规则预测失误时，残差网络成功修正了 17% 的案例
Rules 错误 (✗)	40% (依然错 ✗)	42% (依然错 ✗)	残差网络与规则共同受制于数据固有的高随机性与噪声

此外，针对符号后处理（去除等价谓词、合并重叠区间与延迟紧致化）对规则精炼的影响，实验显示：在 Holidays 上，规则平均前件长度从 3.1 降至 1.2，区间宽度从 107.6 骤降至 8.5 天，准确率反而从 96.12% 提升至 97.57%；在 Amazon 上，后处理使每条样本活跃规则数显著稀疏化至 0-4 条，极大增强了实例级解释的纯粹性。

关键发现¶

极端紧凑的全局可解释性：Rules 在所有数据集上提取出的规则总数均控制在几十条以内（26 至 77 条），平均前件长度仅 1.2 至 4.2 个事件。相比之下，同样具备符号解释潜力的 XGBoost 树模型诱导出的叶子路径数高达数万乃至五百万条，PPM 马尔可夫上下文亦随词表急剧膨胀，完全失去了人工整体审阅的可行性。
残差修正的单向安全性：当规则处于激活状态时，残差网络以 17% 的高比率纠正规则错误，却极少（仅 3%）破坏规则的正确预测。这赋予了实际部署极大的灵活性：在规则与残差一致时采信规则解释，在严重分歧时启用黑盒修正，实现了精准受控的精度-透明度权衡。
真实合成规则的高保真恢复：在合成数据实验中，Rules 在多种信号噪声比与随机事件干扰下，均能精准拟合生成数据的真值规则（Ground-truth recovery），且相似度主要受前件-后件确定性驱动，对孤立噪声事件展现出强大的鲁棒性。

亮点与洞察¶

可微连续松弛与 MTL 逻辑的优雅对齐：论文巧妙利用温度缩放的 LogSumExp、软分桶与 Softmax 极大值松弛，构建了一个在数学极限下严格等价于度量时序逻辑（MTL）合取公式的神经网络层，免去了组合搜索的爆炸问题。
加性 Logit 解耦与残差安全设计：将神经符号规则与残差网络以无加权加性 Logit 融合，既保留了单条规则与残差项的线性能量归因特性，又通过两阶段解耦训练防止了深度残差网络过早“吸收”并架空符号规则。
对称 KL 与熵的置信度双重标尺：利用 Rules 预测熵与两模型间的对称 KL 散度作为无监督置信度信号，使系统在缺乏真值标签的线上推理阶段也能自主判断“何时该向用户呈现纯规则解释、何时必须依赖残差模型”。

局限与展望¶

单时刻单事件的建模约束：当前模型假设每个时间步仅发生单一离散事件，尚无法直接原生建模同一时间戳内并发多事件（Sets of events / Transactions）的复杂场景。
超参数敏感度与温度退火调优成本：作为神经松弛模型，谓词层神经元数量 $I$、前件神经元数量 $J$ 以及退火速率的选择对规则质量影响显著，对于超长序列和大回溯窗口需要细致的网格调优。
更丰富逻辑结构的扩展空间：目前的规则模板局限于“合取前件 $\Rightarrow$ 析取后件”，未来可进一步探索包含否定（Negation）、析取前件或多步时序链式推理的通用神经符号序列架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将度量时间合取规则无缝集成进可微神经网络中，开创了序列下一事件预测的神经符号新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成数据真值恢复、5个多领域真实数据集、模型规模消融、残差动态分析及案例定性对比，论据翔实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，附录收敛性证明完备，方法与动机叙述清晰流畅。
价值: ⭐⭐⭐⭐⭐ 为高风险、强合规场景下的序列决策系统提供了一种高精度且完全透明可信的解决方案。