A Scalable Multi-Task Model for Virtual Sensors¶
会议: NeurIPS 2026
arXiv: 2601.20634
OpenReview: https://openreview.net/forum?id=mxCxGqU9Yz
论文: https://arxiv.org/abs/2601.20634
领域: 时间序列
关键词: 虚拟传感器, 多任务学习, 时间序列预测, 稀疏注意力, 可解释性
一句话总结¶
针对传统虚拟传感器依赖孤立模型与人工选特征、难以协同且开销随测点线性爆炸的困境，本文提出首个统一的多任务虚拟传感器模型，通过原型 token 选择性预测新信号，端到端学习基于注意力的输入关联并实施结构化稀疏剪枝，在保持预测精度的同时实现最高 415 倍推理加速与 951 倍显存缩减。
研究背景与动机¶
高精度传感器在自动驾驶、工业过程控制与健康监测等场景中不可或缺，但许多物理传感器因造价高昂、恶劣环境下易损耗、维护复杂或侵入式风险，极难进行大规模全量布设。虚拟传感器（Virtual Sensors）通过机器学习方法利用系统中已有的低成本或易测信号实时反演目标状态，不仅能替代高昂硬件、构建安全冗余，还能间接测量如电池健康状态（State of Health, SoH）等无法直接用物理探针测量的关键参数。
然而，现存的虚拟传感器构建范式存在严重的扩展性与协同性瓶颈。传统方法高度依赖领域专家人工挑选输入特征，并为每一个虚拟测点单独训练、部署与维护孤立的专用模型（如专用 LSTM 或浅层 MLP）。这种割裂模式导致计算与维护成本随测点数量线性爆炸，完全无法复用不同物理量之间的系统级动力学协同先验。与此同时，近年来兴起的时间序列基础模型（Time Series Foundation Models）虽具备强大的多任务与通用表示能力，却仅能自回归预测输入上下文自身的未来轨迹，根本无法从已有物理信号跨模态推断未包含在输入集中的全新信号，且其密集的全通道注意力计算对边缘车载等计算受限设备过于沉重。
本文的核心矛盾在于：既要打破孤立模型壁垒、利用全网信号间的系统级物理协同来联合推断任意全新虚拟信号，又不能承受通道注意力随千级测点暴涨带来的高昂计算与存储代价。本文的核心 idea 是：将虚拟传感器推断统一为基于原型 Token 的自回归生成模型，利用正交变量嵌入与端到端注意力梯度动态学习每个虚拟传感器专有的输入关联矩阵，并在训练后期进行结构化硬稀疏剪枝与按需查询，以极小的参数增量实现多测点高精度协同与极致轻量化推理。
方法详解¶
整体框架¶
本文构建了一个基于因果 Decoder-only Transformer 的统一虚拟传感器多任务架构。对于包含 \(M\) 个输入物理信号的系统集合 \(\mathcal{Z} = \{z_i\}_{i=1}^M\) 和待预测的 \(N\) 个目标虚拟传感器 \(\mathcal{Z}' = \{z'_j\}_{j=1}^N\)，模型整体流程分为四个阶段： 1. 多变量时序切片与正交嵌入：对各物理信号进行标准化后切分为长度为 \(p\) 的无重叠 Patch，经由 MLP 投影为 \(d\) 维 Patch Token，并叠加正交的时间位置嵌入与变量标识嵌入； 2. 原型 Token 引导的选择性生成：当需要预测第 \(j\) 个虚拟传感器时，在序列末端插入全零占位原型 Token \(\vec{0}\) 并附加目标变量嵌入 \(v'_j\)，引导注意力机制聚合所需的前序测量上下文； 3. 注意力梯度驱动的关联学习与结构化剪枝：通过可学习的信号关联向量计算外积偏置注入注意力打分矩阵，动态评估各物理信号对目标虚拟传感器的贡献，并通过阈值硬剪枝过滤无关输入通道； 4. 教师强制与按需自回归推演：训练阶段采用教师强制实现高效短路径更新，推理时按需查询指定测点，前序预测输出循环反馈支撑长程推演。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["物理测量信号输入<br/>标准化与 Patch 划分"] --> B["正交时序与变量嵌入<br/>时间 Sin-Cos 嵌入 + 可学习变量嵌入"]
B --> C["原型 Token 引导的选择性预测<br/>插入零向量原型与目标虚拟变量嵌入"]
C --> D["端到端信号关联学习<br/>关联向量外积构成跨层注意力偏置"]
D --> E["结构化稀疏剪枝与按需推演<br/>阈值截断无关通道并自回归长程更新"]
E --> F["输出目标虚拟传感器预测"]关键设计¶
1. 原型 Token 引导的选择性预测：打破输入输出对称限制
现有时间序列基础模型普遍假设输出变量包含在输入变量历史中，无法直接用于虚拟传感器这种“利用信号集合 A 预测非重叠信号 B”的非对称生成任务。为实现灵活的任意虚拟传感器推断，模型针对第 \(j\) 个目标虚拟传感器 \(z'_j\)，在输入 Token 序列中插入一个初始全零向量 \(\vec{0}\) 作为原型占位符（Prototype Token）。
为了让网络明确该原型所指代的物理实体与时间槽位，模型引入可学习的正交变量嵌入向量 \(\mathcal{V}' = \{v'_j\}_{j=1}^N\)（其中 \(v'_j \in \mathbb{R}^d\)）与正弦时间位置编码，直接加和到原型 Token 上： $\(x_{0, j} = \vec{0} + v'_j + \text{PE}_{\text{time}}\)$ 网络在因果注意力掩码下，通过多头自注意力将可用输入测量中的前序上下文信息映射到该原型中，从而自回归生成未来 \(p\) 步的时序预测值。在多步滚动预测中，前一步生成的预测块作为新的已知上下文反馈到输入序列中，后续步骤仅需预测残差更新。这一机制使得模型不仅能以统一权重按需推断单个或多个虚拟传感器，还能针对车载工况中发动机温度（高频控制）与环境温度（低频监控）采样周期不同的现实需求进行动态多频推断。
2. 端到端信号关联学习：注意力梯度驱动的可解释特征选择
传统虚拟传感器严重依赖领域专家凭借经验指定输入特征，面对包含上千信号的车辆总线网络时极易遗漏高阶耦合信号或引入噪声。本文提出利用 Transformer 内部注意力机制的梯度流直接反传学习信号重要性，消除人工介入并提供物理可解释性。
模型为每个虚拟传感器 \(j\) 分配一个可学习的全局信号关联向量 \(r'_j \in \mathbb{R}^{M+N}\)，该向量编码了所有输入测量和其它虚拟传感器对目标测点 \(j\) 的关联程度（支持多虚拟测点间的层级依赖）。在推断虚拟传感器 \(j\) 时，通过向量外积构建信号间的双向通信偏置矩阵，并沿时间步维度复制平铺为全局时间无关偏置 \(B \in \mathbb{R}^{(M+N) \times (M+N)}\)。该矩阵直接作为静态加性偏置嵌入每一层 Transformer 的缩放点积注意力中： $\(\text{Attention}(Q, K, V)_l = \text{softmax}\left(\frac{Q_l K_l^T}{\sqrt{d_k}} + B\right) V_l\)$ 由于关联向量在训练初期初始化为全 1 向量以维持未加偏置时的平滑梯度流动，注意力层梯度在反向传播中逐层回传更新 \(r'_j\)。浅层注意力自发捕获基础的低阶相关性，而深层注意力则能学习到复杂的非线性动力学交互。
3. 结构化稀疏剪枝与按需推演：实现边缘端百倍加速
尽管全通道统一模型带来了协同优势，但当车辆或传感器网络包含数千测点时，全局点积注意力的二次复杂度会导致显存和延时无法承受。基于大多数物理量仅与少数关键信号强相关的物理事实，本文在模型训练后期与推理阶段对关联向量 \(r'_j\) 实施结构化稀疏剪枝。
设定硬阈值 \(r'_{\text{thres}}\)，凡重要性得分低于该阈值的通道直接置为 \(-\infty\)： $\(r'_{j, k} = \begin{cases} r'_{j, k}, & \text{若 } r'_{j, k} \ge r'_{\text{thres}} \\ -\infty, & \text{若 } r'_{j, k} < r'_{\text{thres}} \end{cases}\)$ 由于外积操作与时间维度的平铺广播，置为 \(-\infty\) 的通道会直接将注意力偏置矩阵 \(B\) 对应的整行与整列屏蔽，其经由 softmax 后的注意力权重严格归零。因此，在物理执行层面无需进行低效的非结构化稀疏乘法，而是直接在输入端剔除无关通道，仅将活跃子集 \(\mathcal{Z}_j \subseteq \mathcal{Z}\) 送入 Tokenizer，将输入 Token 总量 \(s\) 压缩至极限。若需要同时预测多个虚拟传感器，只需对目标测点的偏置矩阵求平均并取各输入子集的并集。
损失函数 / 训练策略¶
模型仅计算目标虚拟传感器的真实测量与预测值之间的均方误差（MSE），输入测量信号不参与损失回传。若在每次迭代中同时训练全量 \(N\) 个虚拟传感器，所有关联向量 \(r'_j\) 将接收到几乎完全一致的梯度更新，导致退化为相同的输入集合；反之单任务交替训练又会降低梯度信息量。为此，训练阶段采用子集随机采样策略：在每轮迭代中随机选择 \(N_{\text{train}} < N\)（实验标定最优为 4）个虚拟传感器联合更新，有效解耦关联向量的相关性。此外，训练全流程以教师强制（Teacher Forcing）为主导单步前向迭代，消除 BPTT 递归反向传播的高显存开销与长路径梯度发散，在模型收敛后可选择性接入短步长 BPTT 微调以补偿自回归误差累积。
实验关键数据¶
主实验¶
评估在标准公开时序数据集（Traffic, Electricity, Solar）及包含 1,713 个信号、1.75 万公里实际行车记录、180 亿样本的大规模真实车载 CAN 总线数据集上展开。对比文献中常用的孤立单模型（LSTM、独立 Transformer）与本文提出的统一模型各阶段表现。
| 数据集 | 模型架构 | MSE \(\downarrow\) | 推理时间 \(\downarrow\) | 动态峰值显存 \(\downarrow\) | 可训练参数量 |
|---|---|---|---|---|---|
| Traffic | 16 个独立 LSTM (基线) | 0.316 | 0.33 ms | 0.0010 GB | 145.9 M |
| Traffic | 16 个独立 Transformer | 0.285 | 16.62 ms | 0.90 GB | 118.4 M |
| Traffic | 统一模型基线 (无变量嵌入) | 0.556 | 16.70 ms | 0.90 GB | 7.0 M |
| Traffic | + 变量嵌入 \(\mathcal{V}, \mathcal{V}'\) | 0.275 | 16.76 ms | 0.90 GB | 7.4 M |
| Traffic | + 信号关联 \(\mathcal{R}'\) (\(N_{\text{train}}=4\)) | 0.272 | 16.85 ms | 0.90 GB | 7.4 M |
| Traffic | 本文完整方案 (稀疏输入集 + 传感器选择) | 0.282 | 0.87 ms | 0.0352 GB | 7.4 M |
| CAN bus | 16 个独立 LSTM (基线) | 0.124 | 0.35 ms | 0.0011 GB | 174.7 M |
| CAN bus | 16 个独立 Transformer | 0.318 | 58.05 ms | 3.42 GB | 124.8 M |
| CAN bus | 统一模型基线 (无变量嵌入) | 0.727 | 58.19 ms | 3.46 GB | 7.0 M |
| CAN bus | + 变量嵌入 \(\mathcal{V}, \mathcal{V}'\) | 0.119 | 58.23 ms | 3.46 GB | 7.8 M |
| CAN bus | + 信号关联 \(\mathcal{R}'\) (\(N_{\text{train}}=4\)) | 0.136 | 58.41 ms | 3.46 GB | 7.8 M |
| CAN bus | 本文完整方案 (稀疏输入集 + 传感器选择) | 0.121 | 0.14 ms | 0.0036 GB | 7.8 M |
消融实验¶
针对训练策略与输入关联确定方式开展深度消融，分析其对预测误差、训练速度与资源占用的影响。
| 实验维度 | 配置选项 | MSE \(\downarrow\) | 单步训练耗时 | 显存占用 | 说明 |
|---|---|---|---|---|---|
| 信号关联机制 (Traffic) | 随机选取输入 (稀疏度 82.0%) | 0.319 | - | - | 无法捕获通道耦合 |
| 信号关联机制 (Traffic) | 互相关代理 (稀疏度 82.0%) | 0.492 | - | - | 线性时域统计指标失效 |
| 信号关联机制 (Traffic) | 注意力梯度学习 (稀疏度 82.1%) | 0.282 | - | - | 捕获非线性高阶依赖 |
| 信号关联机制 (CAN bus) | 随机选取输入 (稀疏度 97.7%) | 0.601 | - | - | 大量关键动力学特征缺失 |
| 信号关联机制 (CAN bus) | 互相关代理 (稀疏度 97.8%) | 0.267 | - | - | 仅捕获粗粒度浅层共变 |
| 信号关联机制 (CAN bus) | 注意力梯度学习 (稀疏度 97.8%) | 0.121 | - | - | 精准识别温度/电流/转速源 |
| 训练策略 (CAN bus) | 纯 BPTT 反向传播 | 失败 (发散) | 1.11 s | 72.0 GB | 递归梯度链导致梯度爆炸/消失 |
| 训练策略 (CAN bus) | 教师强制 (Teacher Forcing) | 0.136 | 0.19 s | 16.6 GB | 显存减少 77%，加速 5.8 倍 |
| 训练策略 (CAN bus) | 教师强制预训练 + BPTT 微调 | 0.083 | 1.10 s | 72.0 GB | 兼顾收敛稳定性与长程误差修正 |
关键发现¶
- 结构化稀疏带来的极限硬件加速：在具有 1,713 维信号的 CAN bus 数据集上，经结构化稀疏剪枝后平均每个虚拟传感器仅需 38 个输入信号（稀疏度达 97.8%）。结合单传感器按需推断机制，推理延时由密集统一模型的 58.19 ms 暴跌至 0.14 ms（加速 415 倍），显存峰值从 3.46 GB 压缩至 0.0036 GB（减少 951 倍），完全达到车载毫秒级实时计算标准。
- 变量嵌入是虚拟传感器成立的前提：在时序基础模型中常被忽视的变量嵌入，在本架构中起到了决定性作用。无变量嵌入时模型在 CAN bus 上的 MSE 高达 0.727，引入变量嵌入后锐降至 0.119，证实了显式区分输入通道与目标原型物理属性的必要性。
- 优异的可扩展性与物理一致性：当虚拟传感器数量从 4 扩展至 512 时，统一模型的预测性能保持高度平稳（Traffic 数据集标准差仅 0.028，CAN bus 标准差仅 0.008），且参数量基本恒定（约 7.8M）。此外，学习得到的关联向量高度契合物理常识：电池/电机温度传感器自动筛选冷却剂流量与温度信号，电机扭矩自动匹配轮速与加速度信号，电压传感器自动汇聚电流回路。
亮点与洞察¶
- 原型 Token 与注意力偏置解耦协同机制：通过在输入序列尾部附加携带目标物理属性的可学习原型 Token，将原本结构不对称的虚拟传感器反演巧妙转化为标准的自回归填充任务，既规避了针对不同测点重新定制解码头的繁琐设计，又天然继承了 Transformer 处理多变量交互的全部建模红利。
- 由反向梯度驱动的结构化硬通道剪枝：不同于传统的后验皮尔逊相关系数筛选或非结构化权重剪枝，本文通过可学习的外积关联矩阵将物理特征筛选融入端到端优化，并在推理时直接剔除无关变量的 Patch 输入，使理论稀疏度无缝转化为硬件维度的真实低延时与低显存。
- 多任务学习对有限标注测点的知识迁移迁移：在 CAN 总线数据上的迁移实验表明，仅使用 10% 的训练样本和 3.6% 的计算开销，预训练模型即可在新引入的虚拟测点上达到从头全量训练相当的精度，大幅降低了新型车辆引入新传感器时的实车标定成本。
局限与展望¶
- 时序依赖超参数依赖网格标定：Patch 长度固定为 32 且各通道统一切片，未针对不同物理信号（如毫秒级高频振动与小时级缓变温度）在物理采样率与动态响应时间常数上的多尺度异构性进行自适应分块。
- 输入集合缺失下的动态容错机制：尽管模型提供了关联性解释，但当某些被判定为核心的物理传感器在实际运行中发生硬件故障或通信丢包时，模型缺乏即时重构次优输入子集的降级策略。
- 复杂工况跨车型泛化探索有待深入：车载实验主要在单款奥迪 e-tron 车型上完成，面对悬架结构、电机拓扑或电池包热管理构型完全不同的平台，跨平台零样本或少样本微调能力仍有待进一步验证。
相关工作与启发¶
- vs 传统独立虚拟传感器方法 (如 Ziaukas et al., Kalyanasundaram et al.)：以往方法为侧偏角或废气排放单独构建 LSTM 或专用浅层 MLP，测点间完全隔离且特征依赖人工选取；本文通过统一 Decoder-only 架构实现全测点参数复用与自主特征学习，参数量由随测点线性增长变为恒定，并在多个测点上超越独立模型精度。
- vs 通用时序基础模型 (如 Chronos, UniTS, Chronos-2)：主流时序基础模型基于自回归上下文外推输入序列自身的演化，无法处理输出变量未出现在输入序列中的虚拟推断问题，且密集自注意力计算开销过大；本文通过原型 Token 机制赋予了基础模型跨变量预测新信号的能力，并通过结构化剪枝实现了边缘设备可用。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立可扩展的多任务统一虚拟传感器架构，提出了原型 Token 引导预测与注意力梯度关联学习的优雅设计。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个标准时序基准及 180 亿级真实车载 CAN 总线数据，从消融、效率、扩展性到可解释性均提供了详实的硬件实测指标。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，逻辑层层递进，软硬件效率平衡与物理可解释性论证极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破了工业界虚拟传感器孤立构建的技术瓶颈，对汽车、智能制造与物联网大规模传感器降本增效具有重大的工程部署价值。