A Set-Sequence Model for Time Series¶

会议: NeurIPS 2026
arXiv: 2505.11243
领域: 时间序列
关键词: 集合序列模型、截面可交换性、多变量时间序列、信用风险预测、投资组合优化

一句话总结¶

针对金融与工程中大规模高维截面时间序列预测难题，提出 Set-Sequence 架构，利用置换不变的 Set 模块在每步线性时间内自适应提取截面聚合表征，并与单体时序特征拼接送入序列骨干模型，在完全消除人工特征工程的同时兼顾未对齐时序和推理期动态样本规模。

研究背景与动机¶

在量化金融、信贷风控与工程监测中，广泛存在着大规模相互关联的个体时间序列预测问题（如全美房贷违约预测、数千只股票收益预测或海量传感器监控）。这类场景呈现出典型的二维依赖结构：既包含每个单元在时间跨度 $T$ 上的动态演化，又交织着 $M$ 个截面个体之间的交互与共同潜变量影响（如信贷市场中的违约传染效应或宏观流动性冲击）。由于联合建模整个截面系统的联合分布会导致特征维度极度膨胀（例如 10,000 笔贷款各自带有 50 维特征，每步截面维度高达 500,000），直接构建全截面联合时序模型在计算上完全不可行。

为了回避维数灾难，工业界和学术界长期采用“独立单元建模 + 人工截面统计特征”的折中方案：为所有单元共享同一套单序列模型参数，同时人工注入全局汇总指标（如全市场历史断供率、截面均值或中位数）。然而，这种手工特征高度依赖专家经验，难以捕捉潜在的非线性交互与深层潜在因子，且无法泛化至未预先设计特征的复杂交互场景。另一方面，现有图神经网络（GNN）需要构建耗时且脆弱的关系图，而传统基于全注意力机制的多元时序模型（如 iTransformer、CrossFormer）对截面单元规模具有二次方计算复杂度 $\mathcal{O}(M^2)$，既无法扩展到数千乃至数万规模的个体集合，也无法处理推理阶段单元数量动态变化、个体进入与退出的未对齐现实设定。

这篇论文的突破口在于敏锐地抓住了多数现实多序列问题中的“截面可交换性（Exchangeability）”——即预测目标主要取决于特征的多重集分布而非特定编号标识（如股票代码或贷款 ID）。由此，截面汇总可以被严格形式化为排列不变的集合聚合函数。核心 idea：将截面集合建模与时间序列建模显式解耦，在每个时步利用排列不变的浅层 Set 模块以 $\mathcal{O}(M)$ 线性复杂度抽取低维全局潜变量摘要，并将其拼接至单体特征输入任意通用序列骨干中进行逐单元预测。

方法详解¶

整体框架¶

Set-Sequence 模型由两个级联的核心模块构成：处理截面维度的 Set 模块 和处理时间维度的 Sequence 模块。在任意时刻 $t$，系统接收全部有效单元的历史特征片段，Set 模块先将各单元的时间块特征映射至嵌入空间，经置换不变的池化操作汇总为全截面低维状态向量 $F_t$；接着将 $F_t$ 与各单元自身特征拼接融合，交由下游序列网络（如 LongConv、Transformer 或 S4）独立进行时间序列推演并输出下一步预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入截面序列<br/>M个单元的动态特征块 X(t-L, t)"] --> B["时间局部块编码与集合池化<br/>ϕ映射与无序均值聚合"]
    B --> C["低维截面摘要与特征拼接<br/>投影为Ft并与个体特征融合"]
    C --> D["单单元时序骨干推演<br/>SeqLayer独立捕获跨期动态"]
    D --> E["下一步预测输出<br/>逐单元输出Y(t+1)"]

关键设计¶

1. 时间局部块编码与集合池化：以线性复杂度捕获排列不变的截面动态 面对成千上万个非对齐且时序动态变化的数据单元，传统成对注意力机制会导致显存与计算量爆炸。该设计首先引入长度为 $L$ 的时间回溯窗口，将每个单元在区间 $[t-L, t]$ 内的历史片段 $X_{(t-L,t)}^i$ 通过两层前馈网络 $\phi$ 映射为低维特征嵌入 $\phi(X_{(t-L,t)}^i)$。随后基于单元的可交换性原理，通过对全截面所有有效个体施加对称的均值池化，并经由非线性投影网络 $\rho$ 生成低维截面摘要向量： $$F_t = \rho\left(\frac{1}{M}\sum_{i=1}^M \phi\left(X_{(t-L,t)}^i\right)\right) \in \mathbb{R}^r$$ 论文在理论上严格证明了该机制的优越性：在复杂度层面，前向传播仅需 $\Theta(TMd) + \Theta(M \cdot C_{\text{seq}}(T, d))$，在单元规模 $M$ 上保持严格线性缩放，彻底消除了全注意力模型 $\Theta(TM^2d)$ 的二次方瓶颈；在表达能力层面（Proposition 2），基于 Stone-Weierstrass 定理证明，当截面具有可交换性时，通过有限阶数单项式均值池化，该集合模块可以在紧集上一致逼近任意连续的排列不变截面统计量，从而在理论上保证了浅层无参数聚合不仅高效，而且不损失潜在因子的表达能力。

2. 摘要条件增强与时序骨干解耦：无缝兼容任意序列架构 如何让每个独立序列敏锐感知全局大盘变化同时保持推理时的单体灵活性，是解耦设计的关键。模型在生成当前时刻的截面摘要 $F_t$ 后，将其与单元本身的原始特征 $X_t^i$ 直接拼接，并通过融合投影层 $\psi$ 获得增强特征向量 $\tilde{X}_t^i = \psi([X_t^i, F_t]^T)$。随后，各单元的增强序列 $\tilde{X}_{(1,t)}^i$ 被送入标准的序列模型层 $\text{SeqLayer}$（如 LongConv、S4、H3 或因果 Transformer）中输出预测目标 $Y_{t+1}^i$。这种设计使得模型结构高度正交，不仅无需针对不同下游序列网络重写截面逻辑，而且天然支持推理期任意单元数量的动态扩展与遮蔽，即使部分单元在生命周期中途进入或提前终止，也无需重新初始化模型权重。

3. 门控选择变体（MHA-Seq / Gated-Selection）：在强交互子群中自适应路由 当截面规模较小或个体之间存在非对称关联时，全局均值池化可能无法刻画局部集群效应。为此论文提出了两种进阶交互结构作为补充：其一是全交叉多头注意力机制（MHA-Seq），使单元之间按注意力权重互相汇聚信息；其二是轻量级门控选择结构（Gated Selection）。门控机制利用投影矩阵 $W$ 计算单元之间的余弦亲和度矩阵 $A_{ij} = \frac{X_i^T W^T W X_j}{\|WX_i\|_2 \|WX_j\|_2}$，并按行进行 Softmax 归一化得到门控路由矩阵 $G$。每个单元的截面摘要变为加权和 $F_t^i = \rho(\sum_{j=1}^M G_{ij} \phi(X_{(t-L,t)}^j))$。通过在样本时间跨度内共享门控矩阵 $G$，模型既能保留类似注意力的子群聚集能力（如房贷任务中自适应聚焦相同 ZIP 区域与信用资质的贷款群体），又将时序梯度的显存开销压缩至与时间步数无关。

一个完整示例¶

以含有 $M=1000$ 笔贷款的违约预测任务为例：在时刻 $t$，系统取过去 $L=3$ 个月的贷款特征片段。首先，前馈网络 $\phi$ 将每笔贷款的局部时序输入压缩为 5 维特征嵌入；随后，对全部 1000 个嵌入向量执行逐元素均值操作，并经过投影网络 $\rho$ 输出仅有 2 维的全局截面摘要 $F_t$（实际实验表明该向量高度线性吻合潜在的宏观传染因子 $\lambda_t$）；接着，将这 2 维宏观环境特征广播并拼接到每笔贷款当前的 52 维属性中，输入 6 层 LongConv 序列模型独立更新各自的隐状态，最终输出每笔贷款在下一月份的 7 种还款状态（正常、逾期 30/60/90 天、违约、结清等）转移概率。

损失函数 / 训练策略¶

针对不同任务采用对应的针对性目标函数：在房贷状态转移分类与合成违约任务中，采用多类别交叉熵损失 $\mathcal{L}_{\text{CE}}$；在股票资产组合优化中，模型输出全市场权重向量 $\hat{w}_t$ 并进行 $L_1$ 范数归一化保持单位杠杆（$\|\hat{w}_t\|_1 = 1$），直接以负年化夏普比率 $-\text{SR} = -\frac{\bar{r}}{\sigma_r}$（或扣除换手与做空成本后的 Net Sharpe）作为可微损失进行反向传播端到端优化。在训练采样层面，为了使模型在推理阶段能够泛化到任意数量的可见单元，合成任务中以 $D \sim (1-\gamma)\delta_M + \gamma \cdot \text{LogUnif}(1, M)$（$\gamma=0.08$）动态抽取批次单元数，迫使模型在极端稀疏到完全全知的不同数据富集区间均能稳健提取截面摘要。

实验关键数据¶

主实验¶

在跨度长达 20 年（2002–2021）的真实美股全截面投资组合构建（基于 CRSP 36,600 只股票筛选出每期前 500 大流动资产，输入 79 维异质特征）中，以年化夏普比率（Sharpe Ratio）、年化收益率、年化波动率、市场贝塔与日换手率为综合评价指标，主结果对比如下：

模型架构	夏普比率 (Sharpe ↑)	年化收益率 (%)	年化波动率 (%)	市场 Beta	日均换手率
LongConv (基线)	3.64 ± 0.14	12.8	3.51	0.033	0.97
S4 (基线)	3.94 ± 0.29	13.5	3.43	0.028	0.90
H3 (基线)	3.46 ± 0.28	10.6	3.08	0.026	1.12
Transformer (基线)	3.65 ± 0.52	12.9	3.62	0.035	0.83
Hyena (基线)	2.91 ± 0.33	8.7	3.02	0.032	1.28
Set-Sequence (本文)	4.82 ± 0.12	13.0	2.69	0.028	0.91

在扣除真实市场摩擦与做空借贷费用的严格回测期（2002–2016），对比针对该任务专门设计的统计套利领域 SOTA 模型（IPCA CNN-Transformer，Guijarro-Ordonez et al. 2022）： - IPCA CNN-Transformer ($K=5$): 夏普比率 4.16，年化收益率 8.7%，波动率 2.1% - IPCA CNN-Transformer ($K=15$): 夏普比率 4.17，年化收益率 8.4%，波动率 2.0% - Set-Sequence (本文): 夏普比率 5.91 ± 0.21，年化收益率 14.7%，波动率 2.5%（夏普比率相对领域 SOTA 提升达 42%）

在全美房贷违约转移预测（CoreLogic 500 万次贷款-月状态转换，52 维特征）任务中： - 领域标杆 5 层全连接网络（Sadhwani et al. 2020）：交叉熵 0.205，平均 AUC 0.642 - 逻辑回归（Logistic Regression）：交叉熵 0.225，平均 AUC 0.622 - Transformer 独立建模：交叉熵 0.227，平均 AUC 0.666 - Set-Sequence (本文): 交叉熵 0.200，平均 AUC 0.683（在 25 种可能的状态转移中有 22 种取得了显著更高的 AUC 优势）

消融实验¶

在合成贷款违约与传染动力学任务中，对截面聚合机制（None / Set / MHA）与时序回溯长度（1 或 50）进行全面消融，实验记录了真伪转移概率分布的 KL 散度、稀有违约状态预测 AUC 以及在单张 RTX A6000 上的相对训练耗时和显存消耗：

时序模型	截面建模模块	时序长度	预测 KL 散度 (↓)	违约分类 AUC (↑)	相对 Epoch 耗时	相对训练显存
LongConv	None (单体独立)	1	0.00210	0.693	0.51	0.86
LongConv	None (单体独立)	50	0.00180	0.757	0.64	0.93
LongConv	Set (本文均值聚合)	1	0.00054	0.792	0.60	0.88
LongConv	Set (本文均值聚合)	50	0.00018	0.802	1.00	1.00
LongConv	MHA (多头注意力)	50	0.00004	0.815	3.35	3.52

此外，在五种主流时序骨干（LongConv, S4, H3, Transformer, Hyena）上验证 Set 模块插件的普适性：加入 Set 模块后，各骨干在合成任务上的 KL 散度均下降了 4.4 倍至 10.2 倍（例如 LongConv 从 0.0018 降至 0.00018），AUC 一致提高约 0.04 点，证明性能收益完全独立于具体的时序骨干选择。

关键发现¶

截面信息权重大于单体深度：即使在时序长度仅为 1 的极限退化场景下，引入 Set 模块的 LongConv（AUC 0.792）依然大幅碾压拥有 50 步长完整历史却缺乏截面交互的单体模型（AUC 0.757），证明在多主体联动系统中，全局状态是驱动个体决策的核心动因。
线性均值聚合性价比极佳：尽管 MHA-Seq 能够获得微弱的指标提升（AUC 0.815 vs 0.802），但其计算时间增加 3.35 倍、显存翻了 3.52 倍；在成千上万个单元的大规模实际资产和信贷池中，Set 线性聚合是唯一能够支撑全量训练的可行方案。
潜在物理因子的无监督精确对齐：在合成实验中，随着观测个体数从 20 增至 1000，第 5 层 Set 摘要与真实潜在传染因子 $\lambda_{0,t}$ 的皮尔逊相关系数从 0.444 飙升至 0.804（第 3 层高达 0.951）；在房贷真实数据中，第一层 Set 摘要与全美真实断供率的相关性达到 0.67，证明模型无需人工干预即可自主还原宏观风险周期。

亮点与洞察¶

抓住可交换性精髓避开二次方计算陷阱：利用多元时序截面天然具备的排列对称性，巧妙用无序均值池化替代沉重的全截面自注意力，以极简的线性操作解锁了超大规模高维截面的联合建模能力。
理论完备性支撑架构选择：通过 Proposition 1 的精确算力阶数界定与 Proposition 2 的单项式矩矩生成逼近证明，打破了“只有复杂注意力才能拟合非线性高维交互”的思维惯性，确立了简单池化聚合的坚实理论基石。
工业级泛化能力与生命周期容忍度：无需填充虚拟占位符或为离散实体训练专用 Embedding，支持推理期随时调整样本容量 $M$，并天生兼容新个体的随时加入与旧个体的自然终止，完美契合现实世界的动态池机制。

局限与展望¶

强对称性假设在异构子结构下的局限：当不同单元之间存在不可交换的刚性拓扑约束（如电网物理连接、特定供应链上下游依附关系）时，全局均值池化无法区分特定边缘关系，此时需要退化到图神经网络或依赖门控选择机制。
对宏观外部混淆因子的隔离不足：当前架构学到的潜变量为全截面所有个体统计量的混合反映，无法显式区分究竟是全域外生冲击（如基准利率突变）还是截面内部微观个体违约级联产生的内生传染。未来可探索因果解耦结构，将外生宏观趋势与内生微观相互作用分离建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用截面可交换性解耦集合操作与时序骨干，理论证明优雅透彻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成传染机制验证、20年美股组合实战及500万房贷大样本，消融与可解释性分析极其完备。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，图表详实，复杂数学推导与工程直觉兼备。
价值: ⭐⭐⭐⭐⭐ 对量化金融、信贷风控与大规模工业物联网监控的多序列预测提供了极具落地价值的标准范式。