From Retrieval to Recognition: Knowledge-Enhanced Post-training of Time Series Foundation Models for Classification¶

会议: NeurIPS 2026
arXiv: 2610.26114
代码: https://github.com/ZLiu21/R2R
领域: 时间序列
关键词: 时间序列分类、时间序列基座模型、后训练范式、检索增强、最优传输

一句话总结¶

提出即插即用的检索增强后训练范式 R2R，通过免梯度查询编码器从预训练知识库中显式检索判别性数值模式，并利用门控残差网络与基座模型参数化嵌入融合，在 158 个时序数据集上显著超越纯参数微调基线。

研究背景与动机¶

时间序列分类（TSC）作为时序分析的核心任务，经历了从弹性距离度量、Rocket 等特征工程算法到端到端深度卷积网络的发展。近年来，时序基座模型（TSFMs）通过在海量跨域多源数据上执行大规模预训练，能够从底层波形中学习到丰富的通用时序表征，为下游任务提供了极佳的参数初始化。然而在下游分类适配的后训练（post-training）阶段，现有工作普遍沿用传统的监督微调（SFT）策略，仅依赖模型权重所承载的隐式参数知识迁移。

这种纯参数微调模式存在显著瓶颈：预训练阶段吸收的显式数值实例在微调时被彻底抛弃，下游任务所需的核心判别模式与海量无关知识共同纠缠在庞大的参数空间中，模型难以被精确激活以提取针对特定类别的关键波形。此外已有实证研究表明，单纯扩大基座模型的参数规模并不能带来分类性能的稳定增益；而在时序分类中，决定分类边界的关键子序列（如 Shapelets）往往稀疏分布且极易被高噪声淹没。直接将庞大预训练集拼入微调训练又会导致极高的计算代价。

受预训练语言模型中检索增强生成（RAG）范式的启发，本文的切入角度是：无需重新预训练全新的基座模型，而是在后训练阶段通过显式的数据级检索，让模型精准找回预训练数据集中最相关的数值模式。核心 idea：构建即插即用框架 R2R，利用包含局部-全局-位置多尺度特征的免梯度查询编码器检索预训练知识库，通过最优传输加权获取显式数值特征并与基座模型类标记自适应门控融合，实现参数级与特征级的双重知识迁移。

方法详解¶

整体框架¶

R2R 的核心定位是为现有任意预训练时序基座模型（如 UniShape、Mantis、NuTime 等）赋能的即插即用后训练增强框架，无需改动原基座模型的预训练权重与目标。整个处理流水线包含三大模块：知识抽取（Knowledge Extraction）、知识检索（Knowledge Retrieval）与知识增强（Knowledge Enhancement）。

输入目标样本先分别输入预训练基座模型与免梯度查询编码器；查询编码器提取由局部波形、下采样多尺度全局走势以及峰值位置特征构成的综合查询向量，在离线建立好的预训练数值知识库中利用 Faiss IVFPQ 索引快速检索出 Top-$K$ 个最相关的数值近邻模式；随后利用最优传输（Optimal Transport）代价函数自适应赋权聚合得到显式特征表征；最后通过两路门控残差网络将隐式类标记与显式检索特征融合并送入轻量分类头。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入单变量时序样本 x"] --> Backbone["预训练基座模型 (TSFM)<br/>提取隐式参数表征"]
    In --> MultiScale["免梯度局部/全局/位置特征抽取<br/>Downsample + 转向点门控 + 包络"]

    Backbone --> ClassToken["基座模型类标记嵌入 z_c"]
    MultiScale --> QueryProj["可学习轻量映射层<br/>生成查询向量 z_q"]

    QueryProj --> IVFPQ["Faiss IVFPQ 相似度检索<br/>从 100K 预训练知识库检索 Top-K"]
    IVFPQ --> OTWeight["最优传输 (OT) 距离赋权聚合<br/>保留近邻模式与残差差值"]
    OTWeight --> AugFeat["显式增强数值表征 z_aug"]

    ClassToken --> GatedFusion["门控残差特征融合层<br/>自适应调节参数与检索知识"]
    QueryProj --> GatedFusion
    AugFeat --> GatedFusion

    GatedFusion --> ClsHead["轻量级分类头 H(·)<br/>交叉熵损失联合反向传播"]
    ClsHead --> Out["输出类别预测概率 y"]

关键设计¶

1. 免梯度多模式知识抽取：解耦提取局部、全局与位置模式 为了从无标注的时序波形中抽取出对分类最具判别力的数值特征，同时避免昂贵的端到端编码器训练，R2R 采用免梯度（gradient-free）骨干网络（如固定初始化的卷积核或冻结权重的表征网络）作为特征提取核心，并针对时序分类中长程依赖与波形相位的独特性，从三个互补维度进行特征建模： - 局部模式：输入序列经过免梯度骨干 $\phi(\cdot)$ 生成局部基础表征 $\mathbf{f}_{\text{raw}}$；为捕获信号能量分布与瞬时振幅，引入滑动窗口均值池化后的峰值包络特征 $f_{\text{env}} = \max_{t}[\text{AvgPool1D}(|\hat{\mathbf{x}}|, l)]_{t}$。 - 全局模式：现有卷积特征受感受野限制难以感知全序列长期演变，R2R 引入步长下采样 $\text{Downsample}(\hat{\mathbf{x}}, s)$ 构建多尺度长程输入并提取多尺度特征 $\mathbf{f}_{\text{ds}, s}$；针对大步长采样可能丢失关键转折动态的问题，计算一阶差分检测转向点，并通过转向点密度构建标量门控因子： $$f_{\text{tp}}=\frac{1}{L-2}\sum_{t=1}^{L-2}\mathbb{I}((\Delta x_t \cdot \Delta x_{t+1}) < 0),\quad \mathbf{f}_{\text{gated}}=\mathbf{f}_{\text{ds}, s} \cdot \tanh(f_{\text{tp}})$$ - 位置模式：分类往往强依赖判别子序列出现的时间点，R2R 拼接包络、转向点密度与全局最大振幅归一化时间戳：$f_{\text{pos}} = f_{\text{env}} \oplus f_{\text{tp}} \oplus \frac{\arg\max_{t}|\hat{\mathbf{x}}_t|}{L}$。最终通过轻量投影层 $\psi(\cdot)$ 整合得到低维嵌入 $\mathbf{z} = \psi(\mathbf{f}_{\text{raw}} \oplus \mathbf{f}_{\text{ds}, s} \oplus \mathbf{f}_{\text{gated}} \oplus f_{\text{pos}})$。

2. 基于最优传输的高效知识检索：兼顾检索效率与分布对齐 在由预训练数据构建的知识库 $\mathcal{Z}_S$ 中快速寻优，R2R 采用 Faiss 的倒排索引与乘积量化（IVFPQ），将检索复杂度从线性降低至亚线性 $\mathcal{O}(n_{\text{probe}}\cdot \frac{N}{n_{\text{list}}}\cdot m)$，即使在百万级知识库规模下查询延迟依然保持在毫秒级。检索得到 Top-$K$ 个归一化近邻后，传统注意力或简单均值难以准确度量时序分布几何层面的匹配差异。R2R 引入最优传输（OT）代价机制评估匹配样本间的相似度： $$c_k = 1 - \langle\tilde{\mathbf{z}}_q, \tilde{\mathbf{z}}_{S, k}\rangle,\quad w_k = \frac{\exp(-c_k / \varepsilon)}{\sum_{j=1}^K \exp(-c_j / \varepsilon) + \epsilon}$$ 最终的显式数值增强表征不仅融合了按 OT 权重聚合的知识模式，还显式拼入了查询与其聚合中心的差值残差，以保留目标样本特有的局部判别信息： $$\mathbf{z}_{\text{aug}} = \sum_{k=1}^K w_k \mathbf{z}_{S, k} \oplus \left(\mathbf{z}_q - \sum_{k=1}^K w_k \mathbf{z}_{S, k}\right)$$

3. 门控残差知识融合：参数记忆与显式检索的双向协调 获取到显式特征 $\mathbf{z}_{\text{aug}}$ 与查询表征 $\mathbf{z}_q$ 后，如何与时序基座模型的隐式类标记 $\mathbf{z}_c$ 有效融合至关重要。若直接相加或简单拼接，易导致特征尺度不匹配或检索噪声主导预测。R2R 设计了以类标记为引导的门控机制，分别计算查询门控向量与检索门控向量： $$\mathbf{g}_q = \sigma(\mathbf{W}_q \mathbf{z}_c),\quad \mathbf{g}_r = \sigma(\mathbf{W}_r \mathbf{z}_c)$$ $$\mathbf{z}_{\text{fused}} = \text{LayerNorm}(\mathbf{z}_c + \mathbf{g}_q \odot \mathbf{z}_q + \mathbf{g}_r \odot \mathbf{z}_{\text{aug}})$$ 该设计不仅能自适应平衡参数记忆表征与外部检索实例的权重，还将下游分类梯度反向传播至查询投影层 $\psi(\cdot)$，促使免梯度抽取层映射出的查询向量在微调迭代中不断与预训练知识库的对齐边界相互校准。

损失函数 / 训练策略¶

在后训练阶段，融合表征 $\mathbf{z}_{\text{fused}}$ 送入单一全连接分类头 $H(\cdot)$，采用标准交叉熵损失进行端到端优化： $$\mathcal{L}_{\text{CE}} = -\frac{1}{|\mathcal{D}_t|}\sum_{i=1}^{|\mathcal{D}_t|} \log p_{i, y_i}$$ 在训练过程中，预训练基座模型参数、特征映射层 $\psi$ 以及融合门控权重矩阵联合更新；而预训练知识库特征向量 $\mathcal{Z}_S$ 及知识提取中的免梯度提取网络均保持冻结，显著降低了后训练的内存消耗与计算开销。

实验关键数据¶

主实验¶

在 128 个 UCR 单变量时序分类基准数据集上的完全监督微调设置下，将 R2R 插入三种主流 SOTA 基座模型（NuTime、Mantis、UniShape），并与 18 种代表性基线模型（包含非深度特征工程模型、经典监督深度模型及各类时序基座模型）对比。评估指标包括平均排名（Avg. Rank）、胜出数据集数量（Win）以及与最优模型配对的 Wilcoxon 符号秩检验 P 值。

方法类型	模型 / 方法	平均排名 (Avg. Rank) ↓	胜出数据集数 (Win) ↑	显著性 P 值 (vs R2R-UniShape)
Non-DL	Rocket	7.62	18	1.01E-13
	MiniRocket	7.75	13	1.82E-13
	RDST	7.38	20	1.12E-11
	MultiRocket-Hydra	6.27	22	2.04E-10
	HIVE-COTE 2.0	5.16	31	3.62E-07
S-DL	InceptionTime	9.41	13	1.56E-15
	TS2Vec	12.65	8	1.25E-18
	PatchTST	18.19	6	1.20E-20
	TimesNet	17.11	5	9.47E-21
	SoftShape	9.20	14	2.03E-14
	MambaSL	13.13	14	7.37E-18
TSFMs	GPT4TS	17.06	4	9.47E-21
	MOMENT	17.58	2	8.47E-21
	UniTS	16.74	2	5.93E-21
	NuTime	10.26	15	2.21E-15
	TS-RAG	9.31	11	1.44E-16
	Mantis	8.07	21	8.43E-12
	UniShape	4.47	31	1.68E-04
本文 (R2R)	$\text{R2R}_{\text{NuTime}}$	7.90	23	5.64E-12
	$\text{R2R}_{\text{Mantis}}$	6.18	29	2.31E-07
	$\text{R2R}_{\text{UniShape}}$	3.01	48	—

在 30 个额外时序数据集的零样本特征提取（Zero-shot Probing，冻结骨干提取特征后训练随机森林）设置下，R2R 同样展现出强劲的泛化性能，平均排名达到 1.73，在 30 个数据集中独揽 21 场胜利，大幅超越 UniShape（5.20）、TS-RAG（3.97）和 Mantis（5.80）。

消融实验¶

在 128 个 UCR 数据集上针对各个组件的消融验证表明，纯参数微调与纯特征检索均非最优解，双重知识协同是性能跃升的核心动力。

模型配置	抽取骨干 (Backbone)	平均排名 (Avg. Rank) ↓	胜出数据集数 (Win) ↑	P 值 (vs Full)
$\text{R2R}_{\text{UniShape}}$ (Full)	—	1.48	86	—
w/o 特征迁移 (仅基座微调)	—	2.45	48	1.68E-04
仅特征迁移 (w/ 检索)	MiniRocket	4.14	13	3.60E-18
仅特征迁移 (w/o 检索)	MiniRocket	5.09	11	1.58E-18
仅特征迁移 (w/o 多尺度全局位置)	MiniRocket	5.59	8	4.56E-19
仅特征迁移 (w/o 检索)	Rocket	5.91	8	9.56E-19
仅特征迁移 (w/o 检索)	MultiRocket	4.06	18	4.69E-17
仅特征迁移 (w/o 检索)	UniShape (冻结)	4.52	13	5.58E-19

知识库规模与持续微调分析¶

知识库规模平衡：在 18 个代表性 UCR 数据集上的测试表明，采用类别均衡采样的 100K 样本库在准确度（平均排名 2.33，8 胜）与耗时（平均耗时 92.11s）之间取得了最优平衡；盲目扩充至 1.89M 全量数据（平均排名 4.17，耗时 414.80s）反而因冗余噪声引起微弱性能下降；且类别平衡采样显著优于随机采样（排名 3.17）和非平衡采样（排名 6.50）。
缓解灾难性遗忘：在持续跨任务微调（Continual Fine-tuning）中，相比纯参数微调高达 40%~60% 的遗忘率，R2R 借助外部知识库的固定锚定效应，在维持新任务高精度的同时使遗忘率普遍降低 15%~30%（如 AsphaltRegularity 任务从遗忘 47.67% 降至 18.25%）。

关键发现¶

检索知识与参数微调具有互补性：仅保留预训练基座参数微调时平均排名退化至 2.45，完全移除基座模型仅依靠特征检索时平均排名掉至 4.06~5.91，证明基座模型的参数先验是主体，而外部显式数值实例提供了关键的补强对齐。
对比经典数据增强策略（如 Jitter、Time warp、Magnitude warp、Scaling 等在时序上常引发负迁移导致排名落后于 Raw 的 2.39），R2R 检索得到的真实样本模式平均排名达 2.00，有效规避了人工随机扰动对时序内在类结构的破坏。

亮点与洞察¶

即插即用的后训练升级：无需承担代价高昂的大规模预训练，直接在现有主流 TSFMs 的下游微调阶段作为即插即用外挂引入，为后训练阶段的知识激发提供了全新范式。
免梯度的多尺度特征解耦：采用固定卷积加长程下采样与转向点门控的免梯度特征抽取，既保证了查询与建库的高效计算，又补齐了单尺度特征对波形相位与全局走势的盲区。
最优传输赋权保留分布结构：将时序特征间的语义相关度转化为最优传输代价求解，配合差值残差机制，克服了余弦相似度均值聚合容易导致高频细节被平滑的缺陷。

局限与展望¶

单变量时序局限：当前的检索库构建与多尺度特征提取主要针对单变量时间序列设计，虽然附录展示了通过线性通道适配器推广至多变量 UEA 数据集的初步效果，但未能原生捕获变量间的动态交叉依赖。
跨域检索的域差异开销：当目标下游时序的采样频率或物理生成机制与知识库中的主流域差异过大时，可能检索到次优邻居，未来可研究层次化域索引或对比学习对齐的知识库过滤策略。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将检索增强后训练范式系统化引入时序基座模型的分类任务，解耦特征抽取与最优传输融合设计巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 128 个 UCR 监督微调数据集与 30 个零样本泛化数据集，配套消融、知识库容量、抗遗忘等多维分析。
写作质量: ⭐⭐⭐⭐⭐ 论文结构紧凑、动机清晰、公式推导严谨且图表展现直观。
价值: ⭐⭐⭐⭐⭐ 为时序大模型的落地适配提供了低成本高回报的后训练工程路线，兼具实用价值与理论启发。

模型配置	抽取骨干 (Backbone)	平均排名 (Avg. Rank) ↓	胜出数据集数 (Win) ↑	P 值 (vs Full)
\(\text{R2R}_{\text{UniShape}}\) (Full)	—	1.48	86	—
w/o 特征迁移 (仅基座微调)	—	2.45	48	1.68E-04
仅特征迁移 (w/ 检索)	MiniRocket	4.14	13	3.60E-18
仅特征迁移 (w/o 检索)	MiniRocket	5.09	11	1.58E-18
仅特征迁移 (w/o 多尺度全局位置)	MiniRocket	5.59	8	4.56E-19
仅特征迁移 (w/o 检索)	Rocket	5.91	8	9.56E-19
仅特征迁移 (w/o 检索)	MultiRocket	4.06	18	4.69E-17
仅特征迁移 (w/o 检索)	UniShape (冻结)	4.52	13	5.58E-19