TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning¶

会议: NeurIPS 2026
arXiv: 2606.03629
代码: https://github.com/clsr1008/TSQualityAgent
领域: 时间序列
关键词: 时间序列数据质量, 智能体推理, 大语言模型, 工具增强, 群组相对策略优化

一句话总结¶

针对大语言模型在时序数据质量评估中维度泛化差与数值推理弱的问题，本文提出包含感知者、检查者和裁判者的多智能体框架 TSQAgent，通过定制 GRPO 强化学习进行自适应维度规划并结合 16 种外置时序工具实现精准成对质检与数据筛选。

研究背景与动机¶

时间序列数据的质量对构建高性能时序预测和分类模型具有决定性影响，现实采集的数据普遍存在缺失值、脉冲异常、噪声污染、趋势漂移与周期破坏等多维质量缺陷。传统的数据质量评估主要依赖静态统计特征分析、启发式过滤规则，或者借由影响函数（Influence Functions）与 Shapley 值进行数据贡献度归因，但此类方法计算成本极高（面临 Hessian 矩阵求逆或指数级组合爆炸），且难以捕捉时间序列中交织的复杂动态模式与多维结构畸变。

随着大语言模型在时序理解与预测任务中的兴起，研究者开始尝试利用 LLM 的通用知识与语义理解能力进行多维度时序质量打分。然而现有方法多依赖人工预先指定的单一或固定质量维度（如固定的趋势、频率四维度），并主要采用纯文本叙述驱动的定性推理。这引出了一个核心科学问题：大语言模型到底能否自主识别不同时序样本对中最具判别力的质量维度，又是否具备针对特定维度的定量数值对比能力？

为了探究这一问题，作者构建了首个专注评估 LLM 时序质量分析能力的基准 TSQBench。评测结果揭示现有开源与闭源 LLM 普遍存在两大瓶颈：其一是在维度识别任务中倾向于泛选、误选无关维度（精确率仅 33%–43%）；其二是在纯文本模式下缺乏可靠的时序数值与波形定量分析能力，成对质量比较准确率仅略高于随机猜测（54%–61%）。核心 idea：将时序数据质量评测显式解耦为基于强化的维度自适应规划与工具增强的定量循证分析，通过感知者（Perceiver）、检查者（Inspector）与裁判者（Adjudicator）三智能体协同，实现兼具高精度与可解释性的成对时序质量裁决。

方法详解¶

整体框架¶

TSQAgent 是一个面向成对时间序列质量评估的多智能体协作系统。给定两段候选时间序列 $(\text{series}_A, \text{series}_B)$ 以及对应数据集上下文 $c$，框架通过三个专职角色的级联协作，最终输出全局胜出者 $w \in \{A, B, \text{TIE}\}$、置信度 $s \in [0, 1]$ 以及由多维证据支撑的解释报告 $C$。随后，成对偏好结果可通过 Bradley-Terry 目标优化轻量级打分模型，从而为全量数据集生成标量质量分以指导下游高价值数据子集筛选。

整体执行流水线分为三个主要阶段： 1. 感知规划阶段：Perceiver 接收原始序列和统计摘要，分析两序列的宏观差异，并从预定义的 7 个通用质量维度中自适应筛选出最相关的检验维度子集 $\mathcal{D}_{\text{plan}}$； 2. 细粒度检查阶段：Inspector 针对规划出的每个质量维度，在有界 ReAct 循环中结合内部时序认知调用外置分析工具库，提取量化证据并生成维度判决； 3. 审判与反思阶段：Adjudicator 汇聚各维度判决与证据，执行一致性反思机制；若证据不足或冲突则触发局部重新检查或重规划，最终聚合输出裁决结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：候选序列对与上下文<br/>(series_A, series_B, context)"] --> B["自适应维度规划<br/>Perceiver 经定制 GRPO 筛选核心维度集"]
    B --> C["工具增强量化检查<br/>Inspector 在 ReAct 循环中调用16个时序分析工具"]
    C --> D["反思机制与证据仲裁<br/>Adjudicator 评估一致性并在无冲突后汇总全局胜负"]
    D -->|反思分支：证据不足或冲突| B
    D -->|仲裁完成| E["输出全局裁决与结构化证据<br/>(winner, confidence, explanation)"]

关键设计¶

1. 自适应维度规划：抑制无效维度的感知者强化学习策略 普通大模型在面对复杂的时序输入时，极易将所有可能相关的维度全盘纳入考量，导致后续推理冗长且噪声累积。感知者（Perceiver）旨在从包含缺失值（Missing Value）、噪声水平（Noise Level）、罕见模式（Rare Pattern）、趋势（Trend）、频率（Frequency）、振幅（Amplitude）和模式一致性（Pattern Consistency）的统一维度库 $\mathcal{D}$ 中，挑选出真正产生质量分化的子集 $\mathcal{D}_{\text{plan}} \subseteq \mathcal{D}$。为了使感知者学会“聚焦关键矛盾、抑制无关冗余”，作者设计了时序质量定制的群组相对策略优化（GRPO）微调方案。通过在合成配对数据上为每个输入采样一组候选补全，构造格式合规奖励与维度精确率奖励相结合的强化目标： $$R = 0.10 \cdot R_{\text{format}} + 0.90 \cdot \frac{|\mathcal{D}_{pred} \cap \mathcal{D}_{gt}|}{|\mathcal{D}_{pred}|}$$ 该奖励函数对误报施加惩罚，极大压低了无用维度的入选率，不仅提升了维度筛选的准确度，还将下游检查者的调用次数、Token 消耗和推理延迟显著缩减。

2. 工具增强量化检查：基于 ReAct 循环的外置时序分析工具箱 检查者（Inspector）负责对规划维度逐一进行深入的成对比较。大语言模型直接读取离散数值时无法准确评估功率谱、局部离散度或非平稳漂移，因此纯文本定性推理极易引发幻觉。TSQAgent 为检查者配备了覆盖信号完整性、罕见模式检测与时序结构特性的 16 种专用分析工具，包括缺失率统计、滑动噪声比估计、一阶差分波动率、基于四分位距与中位数绝对偏差（MAD）的局部残差异常检测、PELT 变点定位、自相关周期检测以及局部/周期振幅变异系数度量等。在有限步数 $K$ 的 ReAct 循环（Reason $\rightarrow$ Action $\rightarrow$ Observation）中，检查者针对特定维度按需调用工具获取确定性观测值： $$q_d \rightarrow (\text{Reason}_t \rightarrow \text{Action}_t \rightarrow \text{Observation}_t)^{*K} \rightarrow R_d$$ 工具返回的数值结果被严格注入推理轨迹，并建立跨维度缓存机制以避免重复计算，最终为各维度生成包含胜者 $w_d$、置信度 $s_d$、数值证据 $E_d$ 和文字总结 $C_d$ 的严密记录。

3. 反思机制与证据仲裁：防死循环的有界闭环一致性检验 多维度检验的证据可能存在局部矛盾或信息不全，裁判者（Adjudicator）不仅承担简单的分数加权，还充当质检审计机制。在聚合各维度的 $R_d$ 之前，裁判者审视全部证据链条并给出反思指令 $\rho \in \{\texttt{recheck}(\mathcal{D}_{\text{recheck}}), \texttt{replan}, \varnothing\}$：当某些维度的证据不足或存在逻辑冲突时，触发 recheck 要求检查者补充特定工具观测；当发现现有维度集存在根本性缺失时，触发 replan 要求感知者引入辅助维度。为了避免智能体间陷入无休止的反思死循环，反思次数被严格硬性限制，预算耗尽时自动强制执行 $\rho = \varnothing$ 并完成全量证据的置信度加权归纳，兼顾了多智能体推理的鲁棒性与确定性。

损失函数 / 训练策略¶

TSQAgent 的训练分为感知者策略优化与下游标量打分模型优化两个阶段： 1. Perceiver 策略微调：采用 LoRA（rank=16, alpha=32, dropout=0.05）作用于 Qwen3-4B 的注意力投影层（q_proj, k_proj, v_proj），在单个 A100 GPU 上利用 TRL 进行 GRPO 训练。训练时每条 Prompt 采样 $K=8$ 个输出，学习率为 $10^{-5}$ 并配备余弦衰减，KL 散度惩罚系数设为 $\beta=0.04$ 以防止格式崩溃和过度简化。 2. 标量质量打分模型训练：冻结预训练的 MOMENT 时序基础模型（109M 参数）提取嵌入表征，接入 3 层隐藏维度为 256 的 MLP 预测标量质量得分 $s_\theta(\mathbf{x})$。利用智能体生成的成对比较偏好样本集 $\mathcal{J}$，基于 Bradley-Terry 排序准则通过交叉熵对齐损失完成优化： $$\mathcal{L}_\theta = \mathbb{E}_{(\mathbf{x}_i, \mathbf{x}_j, p_{i \succ j}) \in \mathcal{J}} \Big[-p_{i \succ j} \log \sigma\big(s_\theta(\mathbf{x}_i) - s_\theta(\mathbf{x}_j)\big) - (1 - p_{i \succ j}) \log \sigma\big(s_\theta(\mathbf{x}_j) - s_\theta(\mathbf{x}_i)\big)\Big]$$ 在跨数据集混合训练场景中，打分模型进一步结合 MAML 风格的一阶元学习更新，保证不同量纲与场景间数据质量评分的一致性。

实验关键数据¶

主实验¶

在 11 个真实数据集（涵盖长期预测、短期预测与时间序列分类）上，以 50% 数据预算筛选高质子集训练下游模型。下表展示在 Linear、CNN 及 PatchTST 三种下游网络架构下的核心任务对比数据：

模型架构	筛选方法	长期预测: Elec. (RMSE ↓)	长期预测: Wea. (RMSE ↓)	短期预测: M4M (MAPE ↓)	分类: MImg (Accuracy ↑)	分类: CBF (Accuracy ↑)
Linear	随机选择 (Random)	1.601	0.665	1.208	0.390	0.294
Linear	DataShapley	1.580	0.638	1.207	0.432	0.337
Linear	TimeInf	1.391	0.616	1.178	0.428	0.320
Linear	TSRating	1.390	0.611	1.112	0.459	0.361
Linear	TSQAgent (Ours)	1.273	0.593	1.072	0.488	0.379
CNN	随机选择 (Random)	1.592	0.769	1.124	0.554	0.595
CNN	TimeInf	1.530	0.758	1.117	0.567	0.563
CNN	TSRating	1.511	0.734	1.075	0.561	0.679
CNN	TSQAgent (Ours)	1.419	0.723	1.108	0.574	0.668
PatchTST	随机选择 (Random)	0.406	0.474	2.044	0.561	0.470
PatchTST	TimeInf	0.415	0.510	2.019	0.522	0.467
PatchTST	TSRating	0.397	0.467	1.957	0.572	0.511
PatchTST	TSQAgent (Ours)	0.405	0.450	1.856	0.573	0.516

消融实验¶

在合成基准 TSQBench 及跨数据集时序大模型（Timer-S1，8.3B 参数）微调任务上，各核心机制的表现如下：

配置 / 模块设置	TSQBench 维度精确率	TSQBench 对比准确率	Timer-S1 微调 4 数据集平均 RMSE (↓)	说明
基线 LLM (Qwen3-4B 零样本)	33.5%	54.7%	-	原始模型易滥选维度，数值对比逼近随机
+ 定制 GRPO 训练	59.2%	56.1%	-	显著抑制无关维度误报，推理效率明显改善
+ 16 种分析工具增强	34.1%	79.8%	-	外部定量分析为对比提供扎实物理证据
完整框架 (TSQAgent)	~60.0%	>80.0%	-	兼具精准维度聚焦与高质量数值判断
Timer-S1: 随机筛选 (50% 数据)	-	-	0.364	随机削减数据导致大模型性能严重退化
Timer-S1: TSQAgent (50% 数据)	-	-	0.353	超越 50% 随机选择，逼近高预算水平
Timer-S1: 随机筛选 (75% 数据)	-	-	0.350	仍落后于全量数据训练基准
Timer-S1: TSQAgent (75% 数据)	-	-	0.341	仅用 75% 优质数据即可逼近全量训练 (0.338)

关键发现¶

维度泛选是大模型做时序质检的通病：未经强化学习微调的 LLM 在识别时序质量差异维度时召回率普遍可达 70%–83%，但精确率仅 33%–43%。GRPO 针对维度重合度设计的奖励将选定维度数压缩至最小必要集合，推理 Token 消耗与耗时同步减半。
工具调用带来跨模态质变：无论开源模型（Qwen3、Gemma4、Phi4）还是闭源大模型（GPT-4o mini、Claude Haiku 4.5），单纯靠上下文文本比较时序数值的准确率都在 55%–61% 间徘徊，而接入 16 种分析工具后准确率全部跃升至 78%–84% 以上。
大模型微调的数据效率飞跃：在当今参数规模最大的开源时序基础模型 Timer-S1（8.3B）的微调中，TSQAgent 筛选出的前 75% 高质量样本在 Electricity、ExchangeRate、Traffic、Weather 上的表现（平均 RMSE 0.341）几乎追平了使用 100% 全量数据微调的结果（0.338），显著缩减了计算与显存开销。

亮点与洞察¶

任务形式的解耦转化：将主观且缺乏绝对真值的时序质量评分，转化为相对直观的成对胜负判决，既降低了大模型直接给标量分时的校准难度，又可通过 Bradley-Terry 排序平滑还原全局评分。
以精准度为导向的 GRPO 奖励塑造：针对智能体易堆砌推理分支的痛点，将 RL 奖励重点放在维度判别的 Precision（$|\mathcal{D}_{pred} \cap \mathcal{D}_{gt}| / |\mathcal{D}_{pred}|$）上，优雅地利用强化学习约束了 Agent 的规划搜索空间。
时序工具箱与符号推理的紧密嵌合：把 16 种经典信号处理、变点检测与周期统计算法封装为 Agent 原生工具，弥补了语言模型处理高频连续浮点向量的固有缺陷。

局限与展望¶

合成微调数据的分布偏差：感知者的 GRPO 训练依赖 TSQBench 生成的受控扰动，在面临工业界未知、高度耦合或非标准分布的复杂畸变时，维度规划策略可能受到合成生成先验的制约。
多智能体循环交互的推理开销：检查者在 ReAct 循环中涉及工具调用和中间观察解析，多轮审判与反思带来了较高的测试时计算成本，在超大规模流式时序质检中落地需要进一步轻量化。
绝对阈值判决的泛化拓展：当前方案主要依赖成对样本的相对优劣裁决，在缺乏参照样本的孤立单序列绝对质量评估场景下，仍需探索单序列自审与全局校准机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统评测了大模型在时序数据质量领域的维度认知与数值推理缺陷，并提出结合 GRPO 与工具增强的多智能体框架。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾合成基准 TSQBench 评测、11 个真实数据集的下游任务验证以及 8.3B 规模基础模型 Timer-S1 的跨数据集筛选微调。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，三智能体职责边界明确，形式化表述与附录工具库说明详实完备。
价值: ⭐⭐⭐⭐⭐ 为时序大模型与基础模型的预训练/微调数据清洗提供了高实用价值的自动化评估范式。