跳转至

Revitalizing Medical Time Series with Vision-Informed Retrieval: A Vision-Language Perspective

会议: NeurIPS 2026
arXiv: 2609.34652
代码: https://github.com/yu-guoqi/ViRe
领域: 时间序列
关键词: 医疗时间序列, 视觉语言模型, 跨模态检索, 脑电/心电分类, 跨注意力机制

一句话总结

针对传统医疗时间序列仅建模数值序列而忽视临床波形形态学线索的问题,ViRe利用预训练冻结的CLIP提取波形视觉Query,通过双分支交叉注意力从时序与通道数值特征中检索临床相关证据,在六项公开基准上实现平均6.42%的性能提升。

研究背景与动机

医疗时间序列(MedTS,如脑电图 EEG 和心电图 ECG)是心律失常筛查、癫痫发作监测、睡眠分期以及心肌梗死诊断等临床任务的核心依据。从早期的手工频段特征工程,到近年来卷积网络、循环网络以及长程注意力 Transformer 的广泛应用,深度学习在自动化时序诊断中取得了长足进步。然而,这些现有模型大多遵循一个高度简化的假设:将 MedTS 纯粹视为多通道一维数值序列或离散数值矩阵,仅依赖信号幅值变化与数值依赖关系学习表征。

这种以纯数值为中心的建模范式与实际临床诊断推理之间存在显著的结构性脱节。在临床真实工作流中,神经科与心血管科医师并不是逐点核对数据矩阵,而是通过观察波形图(如 P-QRS-T 波群、ST 段偏移、癫痫样异常放电及多导联共激活模式)来快速捕捉全局形态与局部病理突变,并将其转化为结构化报告与量化指标。传统时序模型缺乏波形视觉几何与形态学(morphology)的归纳偏置,容易受到设备漂移、幅值尺度变化和局部噪声的干扰,难以建立与临床专家直觉一致的判读依据。

如果直接从头训练一个能够理解波形视觉形态的模型,不仅极度依赖高昂标注成本,而且在跨患者和跨设备迁移时极其脆弱。相比之下,大规模预训练的视觉语言模型(如 CLIP)在自然语言监督下构建了对视觉概念高度结构化的先验空间,能够敏锐捕捉波形图像中的趋势、尖峰突变与周期波动。核心 idea:将多导联医疗时序确定性渲染为波形图并经冻结 CLIP 提取形态学先验向量作为视觉 Query,通过非对称双分支交叉注意力机制从时序片段与通道轨迹特征中定向检索病理证据。

方法详解

整体框架

ViRe 的核心思想是建立双重视角并进行非对称跨模态对齐:一方面通过数值分支建模多变量时序的局部时间动态与通道相关性;另一方面将相同信号确定性绘制为紧凑波形图,提取冻结的 CLIP 全局形态学特征作为 Query,定向引导数值特征的自适应加权聚合。

方法的整体流程包含四个阶段:数值时序与通道双轴分词、确定性波形可视化与视觉先验抽取、跨模态非对称检索对齐、以及多轴特征融合与疾病分类。整个架构中,冻结视觉分支仅提供检索 Query,不直接充当独立分类路径,所有 Key 与 Value 均严格来自原始数值表征,从而保证模型在保留数值精度的同时获得全局波形形态学先验的指引。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["多通道医疗时序信号<br/>X ∈ R^(T × C)"] --> N_T["时间轴切片分词<br/>非重叠窗口映射 U"]
    IN --> N_C["通道全轨迹分词<br/>各导联投影 V"]
    IN --> V_OP["确定性波形绘制<br/>多导联纵向拼接 I"]
    N_T --> E_T["时间编码器<br/>提取时序特征 U-bar"]
    N_C --> E_C["通道编码器<br/>提取导联特征 V-bar"]
    V_OP --> CLIP["冻结 CLIP Vision 编码器<br/>提取形态学特征 Z"]
    CLIP --> ALIGN["维度对齐投影<br/>全局视觉查询 Q ∈ R^(1 × D)"]
    ALIGN --> CA_T["时序交叉检索<br/>CrossAttn(Q, U-bar, U-bar)"]
    ALIGN --> CA_C["通道交叉检索<br/>CrossAttn(Q, V-bar, V-bar)"]
    E_T --> CA_T
    E_C --> CA_C
    CA_T --> FUSE["双路检索特征加和 O = U~ + V~"]
    CA_C --> FUSE
    FUSE --> OUT["线性分类头<br/>诊断预测概率 Y-hat"]

关键设计

1. 双轴互补数值分词:解耦时间演变规律与跨通道空间语义 为充分捕捉多导联时序在时间演变与空间导联分布上的双重特性,ViRe 沿两个正交轴对输入信号 \(X \in \mathbb{R}^{T \times C}\) 分别分词。沿时间轴,信号被划分为长度为 \(L\) 的不重叠片段,展平后投影并加上可学习时间位置编码,形成时间词元序列 \(U \in \mathbb{R}^{P \times D}\)(其中 \(P = \lceil T/L \rceil\)),用于建模时序局部趋势与长程周期依赖;沿通道轴,每个导联在整个采样时隙 \(T\) 内的完整时序轨迹被单独投影为一个通道词元,并赋予通道位置编码,构成通道词元序列 \(V \in \mathbb{R}^{C \times D}\),专门保留导联专属物理语义。两组词元分别送入独立的 6 层标准 Transformer 编码器,输出富含上下文时序信息的时序特征 \(\bar{U} \in \mathbb{R}^{P \times D}\) 和跨导联特征 \(\bar{V} \in \mathbb{R}^{C \times D}\)。

2. 确定性波形可视化与冻结视觉 Query 提取:零额外参数引入形态学先验 为了让模型感知波形图中的几何突变,ViRe 定义了一套完全确定性的可视化算子 \(\mathcal{V}(X)\)。该算子遍历全部 \(C\) 个通道,在独立画布上根据采样时间轴渲染信号曲线,去除坐标刻度、网格、边框和图例等非临床伪影装饰,并将生成的单通道 RGB 面板在纵向按固定顺序拼接为紧凑图像 \(I \in \mathbb{R}^{H \times W \times 3}\)。该图像输入到完全冻结的预训练 CLIP ViT 视觉编码器中,直接抽取高维视觉特征 \(Z \in \mathbb{R}^{\tilde{D}}\)。随后仅通过一个轻量线性维度对齐层(Dimension Align)将其映射到数值隐藏空间: $\(\bar{Z} = Z W_z + b_z, \quad W_z \in \mathbb{R}^{\tilde{D} \times D}, \; b_z \in \mathbb{R}^D\)$ 将 \(\bar{Z}\) 调整维度为 \(Q \in \mathbb{R}^{1 \times D}\) 作为全局视觉查询(Vision Query)。由于 CLIP 已经在海量图文对中学会对趋势、突变、尖峰等视觉模式的高层概念语义对齐,该 Query 包含了丰富的临床波形形态学先验,且在训练中不微调 CLIP 参数,极大降低了显存与计算负担。

3. 非对称跨模态双分支检索:自适应动态汇聚数值病理证据 在获得全局视觉查询 \(Q\) 后,ViRe 并非采用朴素的特征拼接或元素相加,而是构建非对称跨模态交叉注意力检索。将 \(Q\) 作为统一的 Query,分别以时序表征 \(\bar{U}\) 和通道表征 \(\bar{V}\) 充当 Key 与 Value: $\(\widetilde{U} = \mathrm{CrossAttn}(Q, \bar{U}, \bar{U}) \in \mathbb{R}^{1 \times D}, \qquad \widetilde{V} = \mathrm{CrossAttn}(Q, \bar{V}, \bar{V}) \in \mathbb{R}^{1 \times D}\)$ 在数学机制上,这种交叉注意力本质上等价于由波形视觉先验与数值特征共同决定的自适应池化算子: $\(\alpha(Q, K) = \mathrm{softmax}\left(\frac{Q W_Q (K W_K)^\top}{\sqrt{d}}\right), \qquad \mathrm{Attn}(Q, K) = \sum_{s=1}^S \alpha_s(Q, K) k_s W_V\)$ 当视觉 Query 识别出异常波形形态(例如心电图中的 QRS 异常增宽或脑电图中的棘慢复合波)时,能够自适应地对对应的时间段片段与受累导联通道赋予高注意力权重。最终,两路检索结果直接相加融合并通过线性分类器输出预测: $\(O = \widetilde{U} + \widetilde{V}, \qquad \widehat{Y} = O W_y + b_y\)$

损失函数 / 训练策略

模型采用标准的交叉熵损失函数进行端到端优化: $\(\mathcal{L} = -\sum_{k=1}^K Y_k \log \widehat{Y}_k\)$ 在训练过程中,采用统一的数据增强策略,每次从时间翻转(Temporal flipping)、通道随机置乱(Channel shuffling)、全通道时间遮掩(Temporal masking)、频域遮掩(Frequency masking)、随机噪声抖动(Jittering)与神经元随机失活(Dropout)六种操作中等概率抽取一种;增强后的时序信号与根据其重新绘制的波形图保持严格同步,确保两模态输入无偏差。在验证与测试阶段彻底关闭数据增强,采用确定性流水线。此外,训练前可对波形图像一次性离线提取 CLIP 特征并缓存,使单步训练开销与纯数值 Transformer 基本一致。

实验关键数据

主实验

在严格遵循跨受试者划分(Subject-Independent)的 6 个脑电与心电公开基准数据集上,ViRe 与十种代表性时序模型(涵盖 Autoformer、FEDformer、Informer、iTransformer、MTST、PatchTST、Reformer、Medformer 等)进行了全面对比。下表汇总了各数据集上 6 项综合指标(Accuracy, Precision, Recall, F1, AUROC, AUPRC)的算术平均分 Avg:

数据集 模态 / 类别数 最优基线模型 最优基线 Avg ViRe (本文) 相对提升
APAVA EEG (2类) Medformer 79.74 92.79 +16.37% (+13.05)
ADFTD EEG (3类) Medformer 54.63 59.83 +9.52% (+5.20)
TDBrain EEG (2类) Medformer 91.91 95.54 +3.95% (+3.63)
PTB ECG (2类) iTransformer 84.95 89.08 +4.86% (+4.13)
PTB-XL ECG (5类) PatchTST 69.90 69.47 -0.61% (-0.43)
MIMIC ECG (2类) Reformer 87.90 90.68 +3.16% (+2.78)
平均 (Mean) 跨6项基准 Medformer 77.90 82.90 +6.42% (+5.00)

消融实验

针对检索 Query 类型、多模态融合机制以及视觉骨干网络类型,在 ADFTD、APAVA、PTB 与 MIMIC 四个典型数据集上进行了深入消融,下表展示了各核心设计的贡献(以 Accuracy、F1-Score 及相对于无检索基线 w/o 的平均相对增益为指标):

消融维度 具体配置 ADFTD (Acc / F1) APAVA (Acc / F1) PTB (Acc / F1) MIMIC (Acc / F1) 平均相对增益
Query 类型 无检索 (w/o) 54.79 / 51.73 83.86 / 82.45 81.45 / 74.58 84.92 / 84.81 基准 (0.00%)
全零 Query (Zero) 54.72 / 51.23 84.34 / 83.73 84.62 / 80.21 86.13 / 86.06 +1.92%
高斯噪声 (Gaussian) 54.46 / 51.54 82.89 / 81.65 82.83 / 77.34 86.50 / 86.44 +0.76%
视觉形态 Query (ViRe) 57.83 / 54.02 91.43 / 91.19 88.26 / 85.81 88.61 / 88.54 +7.72%
融合策略 直接相加 (Add) 56.67 / 53.53 85.95 / 85.45 84.81 / 81.26 87.57 / 87.49 +4.05%
拼接投影 (Concat) 56.86 / 53.55 84.23 / 83.02 83.60 / 79.13 87.88 / 87.81 +3.02%
交叉检索 (Retrieval) 57.83 / 54.02 91.43 / 91.19 88.26 / 85.81 88.61 / 88.54 +7.72%
视觉骨干 随机初始化 ViT 37.39 / 27.34 80.62 / 77.18 80.65 / 73.50 83.67 / 83.58 -11.81%
ImageNet 预训练 ViT 52.21 / 50.55 84.48 / 84.86 82.06 / 75.72 86.52 / 86.42 +0.34%
CLIP 视觉编码器 57.83 / 54.02 91.43 / 91.19 88.26 / 85.81 88.61 / 88.54 +7.72%

关键发现

  • 视觉形态 Query 是性能增益的决定性来源:无形态学内容的无信息 Query(全零或高斯先验)仅带来微弱增益(0.76%~1.92%),而 CLIP 视觉 Query 带来高达 7.72% 的平均提升,证明增益并非来自交叉注意力层引入的模型容量扩充,而是来自真实波形语义先验的定向指引。
  • 图文对齐先验远胜通用视觉预训练:随机初始化的 ViT 使性能大幅暴跌 -11.81%,ImageNet 预训练仅提升 0.34%,而 CLIP-Vision 带来显著正向赋能,说明只有经过大规模自然语言语义约束的视觉空间才能提炼出贴近人类概念的形态学规律。
  • 在小样本与复杂病理上优势更显著:在受试者较少的 APAVA(提升 16.37%)和诊断难度极高的 ADFTD(提升 9.52%)上增益最为突出;在 PTB-XL 的细粒度病理中,左心室肥厚(LVH)的 F1 暴涨 19.78 点,心肌肥厚(HYP)大涨 15.32 点。
  • 注意力与临床波形高度对齐:高曲率关注比率(MAR)与 QRS 复波关注比率(CAR)显著超越非语义基线(PTB 上 MAR 达 1.81 vs 1.46,CAR 达 1.65 vs 1.33),且跨患者视觉图像置乱打乱后宏 F1 暴跌 15.61 点,进一步确证视觉检索直接捕捉了患者特异性的真实形态学异常。

亮点与洞察

  • 将视觉大模型降维为轻量级时序先验检索器:巧妙地将计算沉重的冻结视觉编码器定位于检索 Query 发生器,而非独立的端到端诊断管道,既吸收了视觉语言模型强大的几何形态感知能力,又保持了数值时间序列的高效性与高精度。
  • 理论上严格包容纯数值均值池化:作者在附录中证明了标准交叉注意力机制参数空间严格包含均值池化操作,从而在数学上确立了 ViRe 假说空间对纯数值模型的包含关系与经验风险下界优势。
  • 即插即用的跨模态增强范式:通过确定性渲染将一维时序信号无损映射到二维图像域并缓存 CLIP 特征,无需复杂多模态端到端联合训练或昂贵的配对文本数据标注,为传统生理电信号处理提供了极具启发性的思路。

局限与展望

  • 作者承认的局限:波形渲染采用了固定的纵向单列面板拼接策略,导联之间的相对垂直排布以及固定画幅限制可能在超多导联(如 128 导联高密度 EEG)扩展时受到分辨率上限的约束。
  • 额外观察的局限:对长程连续未切片波形(如 24 小时动态心电图 Holter)的建模尚未涉及,目前的固定窗口分词与整段渲染更适合短程片段诊断;此外,在超大规模且时序规律性极强的数据集(如 PTB-XL)上,Patch 级纯数值切片模型仍具极强竞争力,视觉先验的边际效益相对收敛。
  • 改进思路:未来可探索可学习波形渲染机制(如自适应色彩图谱与动态多导联排布布局),或进一步引入 CLIP 文本编码器注入显式医学文本诊断提示词,构建多模态三向对齐框架。

相关工作与启发

  • vs Medformer (NeurIPS 2024):Medformer 是专为医学时序设计的多粒度 Patch 补丁 Transformer,但在本质上仍完全依赖纯数值建模;ViRe 在双轴数值表征的基础上,引入波形视觉先验与交叉检索,在 APAVA 与 ADFTD 上取得了大幅度超越。
  • vs TS-CLIP (EMNLP 2025) / ViTime (TMLR 2025):TS-CLIP 侧重于利用文本编码器实现时序与文本的对齐以进行零样本泛化,而 ViTime 则直接将视觉空间作为预测的主建模空间;ViRe 独辟蹊径地将冻结的视觉特征作为辅助 Query 检索数值特征,兼顾了形态学先验与数值敏感度。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出将冻结 VLM 的波形视觉特征作为形态学 Query 检索数值特征,视角新颖且动机充分。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个涵盖 EEG 与 ECG 的公开基准、10 个强基线、完备的几何/聚类/临床概念解码与扰动实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅、逻辑严密、理论证明与经验分析兼备。
  • 价值: ⭐⭐⭐⭐⭐ 成功打通了计算机视觉大模型与医学时序信号分析的壁垒,代码全开源且具高度可复现性。