TraXion: Rethinking Pre-training Frameworks for Mobility and Beyond¶

会议: NeurIPS 2026
arXiv: 2605.06906
代码: https://github.com/ktxlh/TraXion
领域: 预训练
关键词: 多实体时空事件流, 基础模型预训练, 实体原型对比学习, 解耦注意力, 噪声检测

一句话总结¶

针对传统自监督预训练将轨迹机械类比为文本所导致的语义割裂，本文形式化了多实体时空事件流（MESES）并提出满足三项公理的 TraXion 框架，通过属性联合扰动的噪声检测、双重角色的实体原型对比学习与共现解耦 Transformer，在移动分析、安全日志和临床预测等跨领域任务上全面超越专用基线。

研究背景与动机¶

人类移动轨迹以及企业认证日志、电子病历等序列数据，广泛表现为多个实体在共享上下文基础设施下产生的离散事件流。当前移动基础模型通常直接照搬自然语言处理中的因果掩码预测或掩码自编码范式，将轨迹生硬地类比为句子、将单次签到或访问类比为单词词表中的离散 Token。然而，这种语言类比在多实体时空事件流（MESES）中面临着根本性的结构失配：语言中的单词语义高度封装在词表索引内，而时空事件是由空间位置、绝对时间、持续时长和活动类型组成的元组，其语义严格依赖于多维属性在联合分布下的合理性，孤立地预测单一边缘属性无法识别组合上的异常；语言模型假设文本生成自共享的通用语言先验，而 MESES 中的每个实体（如个人、系统用户、病患）都具有高度稳固的个体行为特征签名；此外，不同说话者之间的文本通常相互独立，但时空事件流在共享基底环境中的时空共现是群体关系与交互的主要信息载体，而非无关噪声。

语言驱动的预训练范式由于缺乏对上述特性的显式约束，使得学到的表征在面对需要全局个体一致性的异常检测或多实体共现推断时泛化能力严重受限。为了使表征学习从语言假设回归数据本质，预训练框架必须同时满足三项数学公理：联合属性密度依赖（A1，训练信号必须直接约束多维属性的联合分布而非边际分布分解）、实体耦合表征（A2，实体身份必须作为输入特征进入编码器，并通过受监督目标约束实体表征，实现输入端与目标端的双向耦合）以及共享上下文循环利用（A3，表征必须同时捕捉跨实体共享位置的群体共现以及实体自身历史位置的重访先验）。

面对因果自回归模型在处理 MESES 数据时难以兼顾多维联合依赖与非局部共现的内在困境，本文的切入角度是将生成式的词预测任务转化为判别式的扰动判别与全局原型对齐。核心 idea：将多实体时空事件流预训练重构为“局部联合噪声检测”与“全局实体原型对比”的协同优化，在输入端注入低秩分解的实体原型并利用多头交叉注意力捕捉局部共现实体，仅对未扰动事件施加原型对比拉力，以无监督方式迫使骨干网络同时学会“正常事件是什么”与“事件属于哪位实体”。

方法详解¶

整体框架¶

TraXion 面向实体集合 $\mathcal{U}$ 在共享基底 $\mathcal{X}$ 上产生的事件序列 $e_{u,t} = (u, x_{u,t}, \tau_{u,t}, a_{u,t}, \delta_{u,t})$，构建端到端特征投影、时空共现检索、三维解耦注意力骨干与双头自监督目标。输入时间窗口首先通过空间多尺度 Space2Vec、双时间戳 Time2Vec、实体原型查找及活动类别映射拆解为 5 个特征 Token；同时，基于基底上下文倒排索引检索空间重合且时间邻近的至多 $C-1$ 个同行实体事件，组装为高阶张量。经过特征轴自注意力、焦点至同行的非对称交叉注意力、以及时序自注意力的交替编码，输出融合个体签名与群体脉络的事件表征，最终送入联合噪声检测头与实体原型投影头进行多任务联合预训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始时空事件流<br/>(u, x, tau, a, delta)"] --> B["多尺度时空与实体解耦特征标记化<br/>Space2Vec + Time2Vec + 实体原型 pu + 类别映射"]
    A -.->|空间倒排索引检索| C["同行实体共现检索<br/>Top-(C-1) 共享上下文近邻事件"]
    B --> D["三维解耦注意力骨干网络<br/>特征自注意力 → 焦点至同行交叉注意力 → 时序自注意力"]
    C --> D
    D --> E["联合属性扰动的噪声检测预训练目标<br/>空域AOI重采样与时序邻域抖动扰动预测 (BCE)"]
    D --> F["无扰动锚点绑定的实体原型对比学习<br/>仅对未扰动事件执行 InfoNCE 对齐"]
    E --> G["下游多任务适配与微调<br/>异常检测 / POI推荐 / 社交推断 / 临床死亡率"]
    F --> G

关键设计¶

1. 多尺度时空与实体解耦特征标记化：打破单一词表并显式引入个体先验

传统模型试图将连续且多维的时空事件强行量化为离散 ID，破坏了空间连续几何与周期性时间结构，且完全缺失对实体独有特征的直接建模。TraXion 将每个事件 $e_{u,t}$ 映射为 $F=5$ 个维度为 $d_f = d/F$ 的特征 Token 组成的矩阵 $Z_{u,t} \in \mathbb{R}^{F \times d_f}$。空间坐标 $\phi(x_{u,t})$ 采用平面六边形格网在 $N_s$ 个几何跨度尺度 $[\lambda_{\min}, \lambda_{\max}]$ 上计算多尺度多相位的 Space2Vec 编码，经过线性层与 ReLU 形成 $\mathbf{z}^{\mathrm{loc}}_{u,t}$；事件起始时间 $\tau$ 与结束时间 $\tau+\delta$ 分别通过具有周期模运算的 Time2Vec 编码为 $\mathbf{z}^{\mathrm{start}}_{u,t}$ 和 $\mathbf{z}^{\mathrm{stop}}_{u,t}$；活动类别则经由线性嵌入得到 $\mathbf{z}^{\mathrm{act}}_{u,t}$。

最为关键的是实体 Token $\mathbf{z}^{\mathrm{ent}}_{u,t}$ 的设计。针对实体规模极大的现实挑战，实体原型表 $P \in \mathbb{R}^{|\mathcal{U}| \times d_f}$ 被因子分解为低秩隐变量查找 $q_u \in \mathbb{R}^h$ 与共享投影矩阵 $W_P \in \mathbb{R}^{d_f \times h}$（满足 $h \ll d_f$）： $$\mathbf{z}^{\mathrm{ent}}_{u,t} = p_u = W_P q_u \in \mathbb{R}^{d_f}$$ 这一设计使得实体的全局个体特征在第一层就作为归纳偏置进入模型，同时将数万实体的参数量压缩到可承受范围内。

2. 三维解耦注意力与跨实体共现轴：平衡群体上下文建模与二次方复杂度

若在时间步 $T$、特征 Token $F$ 以及共现实体 $C$ 的全扁平序列上计算全局自注意力，计算复杂度高达 $\mathcal{O}((TFC)^2)$，计算成本不可承受；而若完全隔离实体，又无法捕捉地点聚集所带来的群体协同信号。TraXion 将事件窗口组织为阶数为 5 的张量 $(B, T, F, C, d_f)$，其中 $C$ 包含 1 个焦点事件和从空间倒排索引中按时间重叠度检索出的至多 $C-1$ 个其他实体的同行事件。注意力操作被因子分解为三个独立子层：首先在 $F$ 轴上做自注意力以融合单事件的多模态属性；接着引入单向非对称的跨实体交叉注意力（XAttn），只允许焦点事件从同行候选事件中查询聚合信息，而同行槽位不相互计算注意力也不被更新，从而将共现计算代价严格限制在 $\mathcal{O}(T \cdot C)$；最后，仅在焦点事件的 $T$ 轴上执行时序自注意力，提取长程轨迹模式。这种解耦机制完整实现了公理 A3 对跨实体共享上下文循环利用的严苛要求。

3. 联合属性扰动的噪声检测预训练目标：基于联合分布偏差的全局一致性学习

因果掩码重建往往落入单一维度的局部预测，容易对“在常见时间发生的错误地点”或“在正常地点发生的异常时间”产生预测钝化。TraXion 设计了随机扰动算子 $\eta$。对于给定的实体轨迹窗口 $E_u$，以 $1-p_{\text{norm}}$ 的概率激活扰动，对其中选定的事件分别施加空间扰动（在感兴趣区域 AOI 内均匀重采样并对齐到最近基底实体，同时替换为该实体的对应活动类型）或时间扰动（在前后相邻事件的时间间隔区间内均匀随机抖动时间戳，打破合理驻留节律）。骨干网络的编码输出 $\mathcal{H}_{u,t} \in \mathbb{R}^d$ 接入轻量线性分类头 $g_\psi$，计算掩码二元交叉熵损失： $$\mathcal{L}_{\text{noise}} = \frac{1}{|\mathcal{V}|} \sum_{(u,t) \in \mathcal{V}} \mathrm{BCE}\bigl(g_\psi(\mathcal{H}_{u,t}), y_{u,t}\bigr)$$ 模型必须敏锐捕捉时空与活动的细微失配才能判断事件是否被篡改，从而迫使编码器学到严格的联合属性概率密度（满足公理 A1）。

4. 无扰动锚点绑定的实体原型对比学习：防止捷径坍塌并绑定个体表征

若在输入端提供实体原型 $p_u$，Transformer 的残差连接存在直接将其原样复制到输出端的捷径风险。TraXion 的破局点在于精妙的双重角色设计与锚点过滤机制：实体原型 $p_u$ 既是输入特征，又是对比学习的目标。为了避免原型表征被噪声污染，对比损失的锚点严格限制在未经扰动的纯净事件集合 $\mathcal{V}^+$ 上。事件表征经由投影头 $\pi_\theta$ 映射并归一化为 $\bar{\mathcal{H}}_{u,t}$，与经 $\ell_2$ 归一化的原型 $\bar{p}_u$ 计算 InfoNCE 损失： $$\mathcal{L}_{\text{prototype}} = \frac{1}{|\mathcal{V}^+|} \sum_{(u,t) \in \mathcal{V}^+} -\log \frac{\exp\bigl(\bar{\mathcal{H}}_{u,t}^\top \bar{p}_u / \beta\bigr)}{\sum_{u' \in B} \exp\bigl(\bar{\mathcal{H}}_{u,t}^\top \bar{p}_{u'} / \beta\bigr)}$$ 分子将当前事件表征拉近其所属实体的全局画像，分母则推开同批次内的其他实体。由于 $\mathcal{L}_{\text{noise}}$ 强制模型理解时空环境，模型无法仅通过照抄 $p_u$ 来同时降低两个损失，最终使得 $p_u$ 成为实体固有行为习惯的坚固表征，满足了公理 A2。

损失函数 / 训练策略¶

预训练阶段的联合目标函数形式简洁： $$\mathcal{L}(\theta, \psi) = \mathcal{L}_{\text{noise}}(\theta, \psi) + \gamma \mathcal{L}_{\text{prototype}}(\theta)$$ 默认超参数设定为平衡权重 $\gamma = 0.5$、对比温度系数 $\beta = 0.07$、未扰动窗口概率 $p_{\text{norm}} = 0.7$。优化器采用 AdamW，峰值学习率为 $2 \times 10^{-4}$，权重衰减为 $10^{-3}$，配合余弦退火学习率衰减（最低衰减至 $10^{-6}$）与梯度范数截断（1.0）。针对时间特征，根据不同数据集的验证集表现，在 Time2Vec 编码前对时间戳取模（如日周期 24h 或周周期 168h），显著加速了模型收敛并提升了密度拟合精度。下游微调时，保持预训练骨干架构，仅替换或接入特定任务头（如异常检测的 3 层 MLP、POI 推荐的负采样 Softmax 头、社交关系的成对打分头），实现一次预训练多任务复用。

实验关键数据¶

主实验¶

TraXion 在六大人群移动公开数据集以及两项非移动的时空事件流（企业网络认证日志 LANL、重症监护室电子病历 eICU-CRD）上进行了全面评估。下表汇总了跨越异常检测、下一 POI 推荐、社交关系推断以及非移动事件流上的核心对比结果。

任务 / 数据集	核心指标	TraXion (本文)	最佳对比基线	之前 SOTA 方法	性能绝对提升
NUMOSIM-LA 访问级异常	AP / Max F1	0.2512 / 0.3660	0.0283 / 0.1477	ICAD (SIGSPATIAL'25)	+0.2229 / +0.2183
NUMOSIM-LA Agent级异常	AP / Max F1	0.6020 / 0.6750	0.0329 / 0.0894	ICAD (SIGSPATIAL'25)	+0.5691 / +0.5856
UA-Berlin 轨迹异常检测	AP / Max F1	0.4558 / 0.4608	0.2435 / 0.2623	UniTraj (NeurIPS'25)	+0.2123 / +0.1985
Foursquare-Tokyo 下一POI	H@10 / H@20	0.4055 / 0.5002	0.3827 / 0.4508	MobTCast (NeurIPS'21)	+0.0228 / +0.0494
Gowalla-Austin 下一POI	H@10 / H@20	0.2545 / 0.3181	0.1988 / 0.2492	LoTNext (NeurIPS'24)	+0.0557 / +0.0689
Foursquare-Tokyo 社交推断	AP / H@10	0.9354 / 0.7790	0.9138 / 0.7091	H3GNN (TKDD'25)	+0.0216 / +0.0699
LANL 认证日志异常 (事件级)	AP / AUROC	0.0315 / 0.9402	0.0076 / 0.8861	LogBERT (IJCNN'21)	+0.0239 (3.1×) / +0.0541
eICU-CRD 重症监护室死亡率	AP / [email protected]	0.3113 / 0.4479	0.2956 / 0.4375	STraTS (TKDD'22)	+0.0157 / +0.0104

消融实验¶

在 UA-Berlin（移动异常）、Gowalla-Austin（下一访问与社交推断）和 LANL（系统日志异常）上对七项核心设计进行了系统消融。

消融配置	移动异常 AP	下一访问 H@10	下一访问 $T_{\pm 60}$	社交关系 AP	社交关系 H@10	日志异常 AP	变动解析与核心影响说明
完整 TraXion	0.4558	0.2693	0.2138	0.8907	0.6476	0.2798	全功能模型，所有组件协同运作
C1: 去除实体原型损失 $\mathcal{L}_{\text{proto}}$	0.1249	0.1237	0.0904	0.8856	0.6419	0.1120	异常 AP 骤降 73%，下一访问暴跌 54%
C2: 去除噪声检测损失 $\mathcal{L}_{\text{noise}}$	0.3031	0.2653	0.2321	0.8732	0.5420	0.0382	日志 AP 暴跌至 0.038，捷径复制使表征退化
C3: 移除输入端实体原型 $p_u$	0.1671	0.1693	0.1316	0.8168	0.4241	0.1332	社交 H@10 发生最大滑坡 (-0.2235)
C4: 因果自回归预训练 (Next-Token)	0.3629	0.2641	0.1600	0.8805	0.5906	0.1534	语言因果建模在日志中劣于不预训练
C5: 掩码自编码预训练 (Masked-Token)	0.4221	0.2619	0.1752	0.8772	0.5797	0.2065	UniTraj 风格，多维属性联合感知不足
C6: 完全不进行预训练 (Scratch)	0.1320	0.2458	0.2017	0.8509	0.5602	0.2464	证实通用预训练若设计不当反会带来负迁移
C7: 展平标准 Transformer 编码器	0.1241	0.0491	0.1396	0.8898	0.6451	0.0179	维度展平导致复杂度爆炸与时空特征坍塌

关键发现¶

原型监督对个体感知至关重要：去除原型对比损失（C1）直接导致异常检测 AP 下降超过 72%、下一访问命中率减半，证明个体行为基线的维持必须依赖显式的全局对比约束。
输入端原型的桥梁作用：若仅保留对比目标而在输入端删除原型 Token（C3），社交推断 H@10 暴跌超过 22 个百分点，表明输入端的实体上下文为跨实体匹配提供了强有力的直接线索。
语言类预训练范式的失效：传统的因果预测（C4）和掩码预测（C5）在日志异常检测中的表现甚至显著低于完全不进行预训练的基线（C6），表明未经时空结构适配的通用语言预训练目标在 MESES 数据上会产生显著的负迁移。
共现轴的任务特异性选择：共现交叉注意力在社交关系推断（强依赖人群巧合）和地点聚集型异常中提升显著（如 NUMOSIM 访问级提升超 3.5 个百分点），但在纯个人行为偏移（如 UA 系列中的日常习惯偏离）或密集 POI 推荐中可能引入轻微噪声，因此在微调时灵活旁路该层具有充分的实用价值。

亮点与洞察¶

多实体时空事件流（MESES）的形式化与公理体系：精准提炼出“联合属性依赖、实体表征耦合、共享上下文循环”三项核心数学公理，为非语言序列数据的预训练提供了严格的设计准则。
输入特征与对比目标对称绑定的双重原型机制：让同一实体原型向量既作为特征自底向上提供归纳偏置，又作为对比学习的正类监督自顶向下聚合纯净特征，配合噪声分类任务完美化解了恒等复制的捷径坍塌。
优雅的非对称共现解耦注意力：通过空间倒排索引动态构建局部同行视窗，在不破坏实体主线序列因果性的前提下，以极轻的计算代价实现了动态群体时空交互感知。
跨越领域的普适迁移能力：同一个架构和预训练流程，无需任何结构性修改，仅通过 UMAP 构建隐式空间基底，即可在物理移动、网络安全认证、ICU 医疗事件三类异构数据上全部实现领先。

局限与展望¶

判别式目标对连续概率时间估计的局限：TraXion 属于判别式编码器，在预测未来事件发生精确时间点（$T_{\pm 60}$ 似然估计）上略逊于专用的时间点过程（TPP）或自回归大语言模型，未来可探索在判别式骨干上叠加连续时间强度头。
固定的人工基底流形投影：对于网络认证和电子病历等非几何数据，目前依赖于预先通过 UMAP 计算并冻结的二维上下文坐标，无法随着模型训练动态演进，未来值得研究端到端联合学习基底几何。
冷启动实体泛化限制：实体原型表与训练集预见的用户严格绑定，在完全未见过的冷启动用户上需要退化到通用初始化或零样本均值，缺乏微调前的免微调自适应机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出 MESES 概念并确立三项公理，双重实体原型与共现解耦机制极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个移动数据集及 2 个非移动数据集，跨越 5 类任务，消融对比细致深入。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰深刻，数学定义严谨规范，附录实现细节异常详实。
价值: ⭐⭐⭐⭐⭐ 彻底打破了时空轨迹盲目套用 NLP 预训练的范式惯性，为非文本时空序列基础模型指明了方向。