Revitalizing Medical Time Series with Vision-Informed Retrieval: A Vision-Language Perspective¶

会议: NeurIPS2026
arXiv: 2609.34652
代码: https://github.com/Levi-Ackman/ViRe
领域: 时间序列
关键词: 医学时间序列、波形形态、视觉查询、双路径检索、冻结CLIP

一句话总结¶

ViRe 将同一 EEG/ECG 数值片段绘成波形，用冻结 CLIP 的视觉特征作为查询，从时间和通道数值 token 中检索证据；六个基准的六指标综合均值由 Medformer 的 77.90 提升到 82.90，但不是六个数据集全部领先，也不是患者级诊断准确率。

研究背景与动机¶

EEG/ECG 分类需要同时识别局部波形事件和通道间关系。CNN、循环网络及 Medformer 等 Transformer 已能直接处理数值信号，但模型必须从任务标签中学出哪些变化值得保留。临床波形阅读则把尖峰、复合波形及跨导联同步变化放在一个可见的布局中；这种形态组织可以成为数值特征聚合的先验，而不必完全靠有限患者标签重新学习。

把波形绘成图片并没有采集新的信息：图片和数值矩阵来自同一个预处理片段。真正可能互补的是表示方式与预训练知识。数值编码器压缩信号时可能淡化某些形状结构，而经过图文预训练的视觉编码器可能保留另一种形态摘要。不过，通用 CLIP 并不天然等同于医学专家，也不能因为图文预训练就假定其已学会病理概念；这需要消融、概念探针和临床关联分析来检验。

本文没有让视觉模型直接给疾病类别，也没有输入患者报告或调用 CLIP 文本编码器。核心 idea：让冻结视觉表示决定“从数值信号中关注什么”，用同一个全局视觉查询分别聚合时间与通道证据，再由数值证据摘要完成分类。

方法详解¶

整体框架¶

输入是一段多通道医学时间序列，输出是该片段的类别 logits。ViRe 的形态查询构建把确定性波形图编码为一个全局查询；双轴数值编码同时生成时间和通道 token；双路径查询检索用视觉查询读取两组数值特征，最后将两个摘要相加并线性分类。

这里的“检索”是当前样本内部的交叉注意力，不是搜索外部病例库。两条路径读取的是同一片段的不同数值组织，CLIP 只提供 Query，Key 和 Value 都来自数值编码器；图中没有视觉特征绕过检索直接分类的支路。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    X["同源数值片段"] --> Q["形态查询构建<br/>确定性绘图与冻结CLIP"]
    X --> N["双轴数值编码<br/>时间与通道token"]
    Q -->|共享Query| R["双路径查询检索"]
    N -->|数值Key与Value| R
    R --> O["两摘要相加<br/>线性分类"]
    O -.->|仅训练| L["交叉熵监督"]
    Y["片段标签"] -.-> L

实线表示训练和推理共有的数据流，虚线表示仅训练使用的监督。CLIP 权重始终冻结，但维度对齐投影、数值编码器、两个检索块及分类器参与优化。

关键设计¶

1. 形态查询构建：把波形布局转为选择证据的条件

先对每个通道分别绘制波形，再按通道顺序纵向拼接成 RGB 图片。附录 D.3 的算子采用固定坐标轴并去掉刻度、边框、图例和网格，尽量让图像编码器看到的是形态与跨通道时间对应，而不是绘图装饰。冻结 CLIP 视觉编码器给出整张图的全局特征，一个可训练线性投影把它映射到数值模型的共同维度，形成单个视觉查询。

这不是为每个时间点生成一个视觉 token，也不是让每个通道各自得到一个诊断结果。整个片段共用一个形态摘要，因此视觉支路适合提供“哪些数值模式值得聚合”的条件，而精细数值仍留在后续 Key/Value 中。由于图像来自原信号的确定性变换，其作用应理解为预训练表示的归纳偏置，不应说成增加了一种独立传感观测。

绘图本身仍有信息瓶颈：很多通道被压入有限画幅，线宽和分辨率会影响可见形态。附录 H 的敏感性分析说明，这不是一个可以忽略的前处理环节；但缓存中的具体 DPI 文本存在重复数字，不能据此重建精确默认设置。

2. 双轴数值编码：让查询既能找时间段，也能找通道

时间路径沿时间轴切成长度为 \(L\) 的非重叠 patch，每个 patch 包含所有通道，展平后线性投影并添加位置编码。这样一个时间 token 表示一段跨通道的局部状态，独立 Transformer 编码器再建立时间段之间的关系。时间 token 数为 \(P=\lceil T/L\rceil\)；若不能整除，缓存正文没有明确给出末尾 patch 的补齐实现，不宜自行补成作者的确定规则。

通道路径则把每个通道的完整轨迹线性映射成一个 token，加通道位置编码，再由另一个 Transformer 学习通道间关系。它不是第二份时间切片，而是保留“哪条通道在这个片段中表现怎样”的组织方式。时间路径擅长定位局部事件，通道路径提供跨导联关系，两者共享特征维度但采用各自的编码器。

这种双轴组织也界定了模型能解释什么：时间检索权重落在时间 token 上，通道检索权重落在通道 token 上，不能把两者混称为逐采样点的病灶定位。TDBrain 的通道编码深度设为 0，是实现配置中的特例；这不等于取消通道 token 或通道检索路径。

3. 双路径查询检索：视觉决定权重，数值提供被聚合内容

同一个对齐后的全局查询分别进入两个交叉注意力编码器。时间特征提供一组 Key/Value，通道特征提供另一组；各自得到一个长度为 1 的证据摘要。沿用原文式 (6) 的符号，核心操作为：

\[ \widetilde{U}=\mathrm{CrossAttn}(Q,\bar{U},\bar{U}),\qquad \widetilde{V}=\mathrm{CrossAttn}(Q,\bar{V},\bar{V}). \]

所谓非对称，是视觉仅处于 Query 位置，不能作为 Value 被直接塞进分类表示。两条路径共用查询并不意味着所有参数共享：正文描述的是两个交叉注意力编码器。检索后两摘要相加，线性层输出类别 logits；本文不额外拼接视觉特征作为独立诊断分支。

为什么这不只是给模型加一条支路？单头注意力实质上以查询和数值 Key 的匹配分数对数值 Value 做加权池化：改变波形形态摘要，就会改变读取当前数值 token 的权重。附录 A 进一步说明，将注意力分数设成相同可退化为均值池化；ViRe 因而包含一种不依赖形态的数值聚合特例，视觉先验是否有用仍取决于学到的权重。

这个包含关系只约束理想优化下的经验风险，不保证实际训练得到更优解，也不保证未见患者上的风险降低。附录关于条件信息的讨论同样依赖“视觉表示相对已压缩数值表示保留标签信息”的假设，不意味着图片比原始信号拥有更多信息。

一个完整示例¶

以主基准中的一个 PTB 心搏片段为例：输入有 15 个通道、300 个采样点，时间粒度 \(L=1\)，因此时间路径产生 300 个 token，通道路径产生 15 个 token。原片段同时被画成 15 个纵向面板，冻结 CLIP 将整图压成一个查询，并投影到 128 维。

时间检索在 300 个时间 token 中聚合一个摘要，通道检索在 15 个通道 token 中聚合另一个摘要，两者相加后输出二分类 logits。若某些导联同步出现显著变化，查询可能提高相应时间片或通道的权重；这里描述的是机制示例，不是宣称所有样本都会关注同一个位置，也不是患者最终确诊流程。

训练时，片段标签仅在分类端施加交叉熵监督；测试时不需要标签，也不需要临床报告。新输入的在线预测仍需完成绘图和视觉编码，除非该片段的视觉特征已缓存。

损失函数 / 训练策略¶

模型只使用标准分类交叉熵，没有额外图文对比损失或形态标注监督。ViRe 的批量大小为 128，维度为 128，时间编码器深度为 6；通道编码器默认深度为 6，TDBrain 为 0。APAVA、TDBrain、ADFTD、PTB、PTB-XL、MIMIC 的 \(L\) 分别为 1、3、8、1、6、6。

优化器为 Adam，学习率 \(10^{-4}\)，最多训练 100 个 epoch，以验证集 macro-F1 早停，patience 为 10。主实验固定患者互斥划分，运行五个随机种子；测试指标来自最佳验证 checkpoint。基线附录对 APAVA/TDBrain 使用批量 32，而 ViRe 配置为 128，因此“共有训练协议”并不等于所有超参数完全相同。

附录 C 每次从六种操作中均匀选择一种增强，包括时间翻转、通道打乱、时间遮挡、频率遮挡、抖动和 dropout。其文字要求先增强数值片段，再从增强后的同一片段重新绘图，避免两个视图错配；验证及测试关闭增强。然而附录 D.2 又称每个样本只缓存一次冻结 CLIP 特征，这与每次动态增强后重新绘图的执行描述存在未解释的张力，不能把两者自行拼成一个已核实实现。

实验关键数据¶

主实验¶

六个主基准按患者划分，但模型输入和主体指标的统计单元是分割后的片段或心搏。EEG 使用 1 秒窗口，PTB-XL 使用 1 秒窗口，PTB/MIMIC 使用 R 峰对齐心搏；测试片段来自训练未见患者，不等于报告了每名患者聚合后的诊断表现。

表中 Avg 是 Accuracy、macro-Precision、macro-Recall、macro-F1、macro-AUROC、macro-AUPRC 六指标的算术平均，均按百分数刻度表示。最后一行再对六个数据集的 Avg 平均，不可称为 accuracy；数据来自原文表 2。

数据集	ViRe Avg	Medformer Avg	最强非ViRe基线 Avg	对最强基线差值（点）
APAVA	92.79	79.74	Medformer 79.74	+13.05
ADFTD	59.83	54.63	Medformer 54.63	+5.20
TDBrain	95.54	91.91	Medformer 91.91	+3.63
PTB	89.08	84.69	iTransformer 84.95	+4.13
PTB-XL	69.47	69.28	PatchTST 69.90	-0.43
MIMIC	90.68	87.14	Reformer 87.90	+2.78
六数据集均值	82.90	77.90	Medformer 77.90	+5.00

摘要的 6.42% 是总体均值相对 Medformer 的相对提升，即以 77.90 为分母计算 5.00 的增量，不是提高 6.42 个百分点，也不是逐数据集相对增益的平均。PTB-XL 尤其需要拆开看：表 13 中 ViRe macro-F1 为 61.59，而 Medformer 为 62.02、PatchTST 为 62.61；综合 Avg 小幅高于 Medformer，并不表示每项指标都更好。

消融实验¶

下表选取表 3–5 的四数据集 macro-F1 均值。Avg. Gain 保留作者的汇总值，指相对无检索版本、四数据集 Accuracy 与 F1 共八项相对增益的平均，不是上表的六指标 Avg。

配置	ADFTD F1	APAVA F1	PTB F1	MIMIC F1	Avg. Gain
无检索，数值双路径相加	51.73	82.45	74.58	84.81	—
零查询检索	51.23	83.73	80.21	86.06	+1.92%
高斯查询检索	51.54	81.65	77.34	86.44	+0.76%
视觉特征直接相加	53.53	85.45	81.26	87.49	+4.05%
视觉特征拼接	53.55	83.02	79.13	87.81	+3.02%
随机初始化ViT查询	27.34	77.18	73.50	83.58	-11.81%
ImageNet ViT查询	50.55	84.86	75.72	86.42	+0.34%
CLIP视觉查询检索	54.02	91.19	85.81	88.54	+7.72%

这些结果分开支持两点：有内容的视觉查询优于内容无关查询，交叉注意力读取优于简单加入视觉特征。随机 ViT 反而大幅退化，说明“多一个图像编码器”本身不够；不过 CLIP/ImageNet 的差异不能单凭此表完全归因于语言监督，也可能受预训练数据和实现配置影响。

关键发现¶

无检索版本并非在所有单项指标上最差：ADFTD F1 的无检索值 51.73 高于零查询 51.23 和高斯查询 51.54。本文不继承正文“去掉检索最差”的绝对措辞。
附录 F 在 APAVA、批量 128 下报告缓存训练耗时 ViRe/Medformer 为 211.9/313.1 ms、峰值内存 698.2/838.4 MB；在线推理为 267.7/152.6 ms、740.8/408.5 MB。训练缓存口径不能用来宣称新输入的在线推理更便宜。
附录 I 的 PTB-XL 13 诊断补充协议给出 64.93 对 61.57、差值 +3.36，患者聚类 95% CI 为 [+1.46,+5.10]；重复划分获胜 7/7。它是不同任务/划分协议，不应覆盖主表 PTB-XL 的结果。
主文表 8 的患者匹配视觉干预中，零遮挡使 macro-F1 降低 6.19 点，跨患者打乱降低 15.61 点。这支持查询内容与当前片段匹配的重要性，但干预也引入分布变化，不能单独证明临床因果解释。

原文还用注意力密度富集检验检索是否偏向形态区域。令 \(A_t\) 为归一化时间注意力，\(\rho_A(S)\) 为区域内单位时间的平均注意力密度；\(S_{\mathrm{curv}}\) 是通道平均二阶差分绝对值最高的 20% 时间点，\(S_{\mathrm{qrs}}\) 是 QRS 区域，横线表示时间补集：

\[ \rho_A(S)=\frac{1}{|S|}\sum_{t\in S}A_t,\qquad \mathrm{MAR}=\frac{\rho_A(S_{\mathrm{curv}})}{\rho_A(\bar S_{\mathrm{curv}})},\qquad \mathrm{CAR}=\frac{\rho_A(S_{\mathrm{qrs}})}{\rho_A(\bar S_{\mathrm{qrs}})}. \]

ECG数据集	ViRe MAR	高斯查询 MAR	ViRe CAR	高斯查询 CAR
PTB	1.81	1.46	1.65	1.33
PTB-XL	1.67	1.38	1.51	1.27
MIMIC	1.72	1.41	1.63	1.35

表 7 中大于 1 表示目标区域的注意力密度高于补集，ViRe 在这两个指标上均高于高斯查询。但高曲率区域和 QRS 富集只是选择性关注的证据，不等于疾病定位正确或预测具有因果解释。MEETI 冻结表示探针补充了可解码概念证据，例如幅度范围 Spearman 相关为 0.903 对随机表示的 0.501，延长 QT 的 AUROC 为 0.904 对 0.656；这些不是 ViRe 主分类任务的准确率。

亮点与洞察¶

视觉先验用于控制读取，而非替代数值证据：Query-only 的结构限制让贡献容易定位到聚合规则。它适合迁移到“原信号精度重要，但形态先验可帮助选重点”的任务，而非一律把图片和数值拼接。
同源双表示的互补来自压缩方式：不增加观测仍可能改善有限标签下的学习。更有价值的比较是形态条件池化与数值自适应池化，而不只是更多输入模态。
机制证据层次较丰富：查询替换、融合、预训练、注意力富集和概念探针各自检验不同环节。它们提供相互补充的证据，但不能合并成“CLIP 已拥有临床诊断知识”的强结论。

局限与展望¶

临床外推有限：主体研究是回顾性片段分类，患者互斥防止同患者泄漏，但大量心搏不等于大量独立患者。仍需患者级聚合、校准、跨设备/中心验证和前瞻性研究；作者明确将系统定位为辅助决策。
呈现与增强假设需要验证：通用 CLIP 可能遗漏细微病理形态；时间翻转和通道打乱是否始终保留标签语义，也不能仅凭增强动机确认。应按疾病和导联定义检验，并报告绘图尺度、分辨率及极端噪声的鲁棒性。
实现冲突保留：增强后重新绘图与单次样本缓存的关系未说明；TDBrain 表 1 写 72 名患者，而附录 B 写 25 PD + 25 HC，列出的测试 ID 又达到 53。本文不猜测哪个人数或划分才正确。
数值冲突保留：APAVA ViRe F1 在消融表为 \(91.19\pm1.03\)，表 13 为 \(91.19\pm1.01\)；ADFTD 分别为 \(54.02\pm2.22\) 与 \(54.02\pm3.19\)。表 5 正文所称 CLIP 相对 ImageNet 提升 7.11%，与表中汇总增益 +7.72%/+0.34% 不能直接对应，口径未解释。
缓存抽取与复现细节不足：附录 H 的低/中分辨率写成重复数字“55”“5050–200200 DPI”，不擅自修成精确参数。正文没有明确 CLIP 具体检查点和末尾 patch 处理；这些需要核对公开实现，当前离线笔记未核验代码。
扩展边界不同：附录 I 的不规则预测/分类支持方法可迁移，但不是六个 EEG/ECG 主基准的同一评测。临床报告联合建模、专门波形编码器及适应性绘图仍是未来方向，不是现有 ViRe 已实现的模块。

评分¶

新颖性: 4/5。将冻结波形视觉先验限制在共享查询位置，明确区别于直接融合，但双轴编码与注意力部件本身已有先例。
实验充分度: 4/5。六主基准、消融、干预和转移分析较丰富，患者级临床验证及部分复现细节仍不足。
写作质量: 3/5。机制清晰，但人数、缓存增强和统计数值冲突降低可复现性。
价值: 4/5。为医学时间序列提供可复用的形态条件聚合方式，部署成本和跨中心有效性仍需检验。