Extending Pretrained 10-Second ECG Foundation Models to Longer Horizons¶
会议: NeurIPS 2026
arXiv: 2605.16975
领域: 自监督学习
关键词: 心电图基础模型, 长时序扩展, 参数高效微调, 局部对比学习, 动态一致性
一句话总结¶
针对心电图基础模型受限于10秒短输入、无法捕获长程临床动态的问题，本文提出一种免重新训练主干的轻量级扩展框架，通过分层位置编码与教师引导的双重语义正则化，实现了对可变长长时序心电的高效泛化。
研究背景与动机¶
心电图（ECG）是心血管临床诊断与监护的黄金标准。近年来，在大规模临床数据集上通过自监督学习预训练的心电基础模型（如 CSFM、ECG-JEPA、MERL）展现出了强大的跨机构、跨设备泛化能力，成为下游各类心脏疾病诊断的核心表征提取器。然而，现有心电基础模型几乎都采用“固定时长快照处理器”（snapshot processor）的假设，无论是预训练还是下游微调均绑定在标准的10秒诊断片段上。这种设计虽然能敏锐捕捉局部P-QRS-T波形形态与短程节律，但缺乏建模跨片段长时间依赖的内在机制。
在ICU持续监护、长程动态心电（Holter）监测以及急诊分诊等高价值临床场景中，记录往往持续数分钟甚至数天，且推理时段长度灵活多变。临床危急事件（如阵发性心房颤动、室性心动过速、脓毒症先兆等）在时间分布上往往高度离散、稀疏且短暂。传统的滑动窗口切片后进行均值池化或外挂轻量序列模型（如 LSTM）的方案，不仅计算冗余，而且往往直接将整段长序列坍缩为一个标签，割裂了跨窗口深层依赖，也无法在观测时长动态变化时提供稳健的风险判别。
直接对全长序列微调基础模型不仅算力代价极其高昂，还会破坏预训练模型在海量数据上习得的高频局部波形先验。因此，如何在冻结预训练10秒主干的前提下，兼顾长序列结构的无缝兼容与长时间语义的连贯聚合，成为心电基础模型走向真实长程临床监护的关键瓶颈。本文的核心 idea 是：将预训练10秒主干作为冻结的教师，构建局部细粒度与全局粗粒度的分层位置编码消除结构不兼容，并通过局部秩排序对比学习与动态亲和度一致性正则化，在轻量参数微调下实现免重训的可变长长时序心电表征扩展。
方法详解¶
整体框架¶
本文方法的输入为任意长度 \(L > 10\,\text{s}\)（主实验设定为180秒）且支持推理时动态变长的多导联心电信号，输出为下游长程临床任务的判别预测结果。方法分为“结构扩展”与“语义扩展”两大互补阶段：结构扩展通过保留原始局部位置编码并叠加可学习的粗粒度全局段落编码，配合软提示微调让冻结的 Transformer 主干直接兼容长序列；语义扩展则利用冻结的10秒主干作为教师特征生成器，在局部尺度约束学生保持片段形态语义排序，在全局尺度利用片段间亲和矩阵筛选出高亲和度基准片段，施加全局动态一致性约束，防止端到端优化过度坍缩为单一稀疏目标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长程心电信号输入<br/>(L秒可变长，如180s)"] --> B["分块切片与局部嵌入<br/>(Patch Sequence)"]
B --> C["分层位置编码与提示微调<br/>(局部保留 + 全局广播 + Soft Prompt)"]
C --> D["冻结 Transformer 主干<br/>(参数保持不变)"]
D --> E["双重语义正则化学习"]
E --> F["下游临床任务预测输出<br/>(分类 / 风险评分)"]关键设计¶
1. 分层位置编码与提示微调：解决时序长度与采样先验的结构不兼容 在视觉 Transformer 中扩展输入分辨率通常采用位置编码插值，但生物时序信号的位置编码紧密绑定信号物理采样率与波形生理形态周期，插值会直接扭曲心肌除极和复极的特征频率。针对这一痛点，本文设计了局部与全局解耦的分层位置编码方案。对于由 \(N_{[L]}\) 个 Patch 构成的长序列，将其划分为 \(M = N_{[L]} / N_{[10\text{s}]}\) 个10秒窗口，补丁索引 \(t\) 处的位置编码由原始预训练编码与全局段落编码线性叠加而成： $$ \mathbf{E}{[L]}[t] = \mathbf{E}}]}[t \bmod N_{[10\text{s}]}] + \mathbf{E{\text{global}}[\lfloor t / N \rfloor] $$ 其中局部项 }]\(\mathbf{E}_{[10\text{s}]}\) 原样复用预训练参数并周期性重复，确保模型对单个波形微观形态与高频特征的敏感度完全不失真；全局项 \(\mathbf{E}_{\text{global}} \in \mathbb{R}^{M \times D}\) 为新增的可学习矩阵，向对应10秒窗口内的所有 Patch 广播粗粒度时间锚点。在此基础上，通过在输入层和深层网络中插入少量可学习的软提示 Token（Soft Prompts），仅更新数个轻量 Token 即可自适应激活冻结主干长程时序交叉注意力的传递。
2. 教师引导的局部秩对比学习：防止长程微调导致的局部波形语义退化 当把长序列输入整体映射到下游单一稀疏标签进行优化时，随机初始化的提示词与全局位置参数极易使梯度扰乱局部波形表征，导致模型遗忘10秒预训练阶段学到的病理形态知识。为了约束学生模型在长程上下文中仍保留局部稳健性，本文构建了一种无需显式配对假设的软对比蒸馏机制。利用冻结的基础模型作为教师，独立提取各10秒窗口的表征，并计算窗口间的两两相似度矩阵 \(\mathbf{S}^{T}\)。对于给定的锚点片段 \(i\)，如果教师判别片段 \(j\) 与其相似度高于片段 \(k\)（即 \(\mathbf{S}^{T}_{i,j} > \mathbf{S}^{T}_{i,k}\)），则强制约束学生模型经过局部投影头 \(g_{\text{local}}(\cdot)\) 映射后的表征 \(\mathbf{S}^{S}\) 严格保留该相对排序： $$ \mathcal{L}{\text{local}} = -\frac{1}{K}\sum}^{K}\log\frac{\exp(\mathbf{S}^{S{i,j}/\tau)}{\sum}}\exp(\mathbf{S}^{S{i,k}/\tau)+\exp(\mathbf{S}^{S} $$ 其中 }/\tau)\(\Omega_{i,j} = \{k \mid \mathbf{S}^{T}_{i,k} < \mathbf{S}^{T}_{i,j}\}\) 为教师空间中比 \(j\) 相似度更低的所有负样本集合。该设计通过相对秩次结构作为软监督，既不破坏长上下文自注意力对全局模式的学习，又强力锚定了局部生理信号的拓扑流形。
3. 基于亲和度采样的动态一致性学习：平衡非平稳长记录中的异质性与全局模式 人体心电在长时程记录中具有极强的非平稳性，整段记录往往混杂了背景稳态心律、间歇性病理异常以及偶发性电极伪影。若一视同仁地对所有片段强加一致性，会导致突发短暂异常被抹平；而若完全由任务损失驱动，模型又容易过拟合个别极端片段。为此，本文提出通过教师表征计算长记录内部所有10秒片段的两两亲和度矩阵，根据亲和度均值排序，将片段自适应划分为高亲和度基准集合 \(\mathcal{I}_{ha}\) 与动态变化集合。高亲和度集合对应于体现患者基础心律与全时程平稳特性的核心段落。模型要求高亲和度片段的表征通过投影头 \(g_{\text{dyn}}(\cdot)\) 逼近整段长序列的时空全局均值表征 \(\bar{\mathbf{z}}_{S}\)，并对全局表征施加梯度截断（stop-gradient）： $$ \mathcal{L}{\text{dyn}} = \frac{1}{|\mathcal{I}}|}\sum_{i\in\mathcal{I{ha}}\mathcal{D}}}\left(g_{\text{dyn}}(\mathbf{z{S}^{(i)}), \text{stopgrad}(\bar{\mathbf{z}})\right) $$ 这一设计有效引导模型在忽略孤立噪声和剧烈波动的同时建立全局基线背景，使动态病理变化能够在稳定的生理语境下被准确定位与判别。
损失函数 / 训练策略¶
框架整体采用端到端多任务联合优化，总损失函数包含下游任务分类损失与两项自监督辅助损失： $$ \mathcal{L} = \mathcal{L}{\text{task}} + \lambda}\mathcal{L{\text{local}} + \lambda $$ 其中 }\mathcal{L}_{\text{dyn}\(\mathcal{L}_{\text{task}}\) 为交叉熵等标准任务损失，\(\lambda_{1}\) 与 \(\lambda_{2}\) 为平衡系数。训练过程完全保持预训练主干模型权重冻结，仅更新全局位置编码矩阵、Soft Prompts、轻量级任务预测头以及辅助投影头，训练阶段固定输入时长为最长可用记录（180秒），而推理阶段无需任何重训即可无缝直接评估不同长度（10秒、30秒、60秒、120秒、180秒）的输入信号。
实验关键数据¶
主实验¶
实验在四个经典长程心电基准上进行系统评测：重症ICU室性心动过速真假报警消除（VTaC）、急诊分诊去向与急诊危重度五级分级（MC-MED ED & Acuity）、以及长程Holter阵发性房颤检测（CPSC2021）。采用 CSFM-Tiny、CSFM-Base、ECG-JEPA 和 MERL 四种不同规模与预训练范式的心电基础模型主干。下表展示在 CSFM-Base 与 CSFM-Tiny 上的主评测结果对比（评价指标为 AUC %，包含180秒最长时序及5种时长评估的平均值与标准差）：
| 主干模型与方法 | VTaC (180s) | VTaC (Avg.) | MC-MED ED (180s) | MC-MED ED (Avg.) | CPSC2021 (180s) | CPSC2021 (Avg.) | 总体平均 (Avg.) |
|---|---|---|---|---|---|---|---|
| CSFM-Tiny | |||||||
| Token Pooling | 74.05 | 76.24 (2.28) | 70.80 | 68.72 (2.69) | 96.81 | 96.59 (0.39) | 75.39 |
| Logit Pooling | 73.83 | 75.83 (1.96) | 71.15 | 69.28 (2.26) | 97.23 | 97.26 (0.16) | 75.58 |
| Full Fine-tuning | 79.01 | 70.54 (6.89) | 70.81 | 68.09 (3.05) | 94.24 | 93.23 (1.91) | 73.73 |
| Adapter | 79.33 | 72.83 (5.08) | 71.24 | 68.60 (3.01) | 98.01 | 96.24 (2.99) | 74.55 |
| LSTM Tuning | 84.97 | 83.01 (2.39) | 71.31 | 65.18 (7.55) | 98.75 | 98.09 (0.63) | 76.27 |
| 本文方法 (Ours) | 89.50 | 88.13 (2.32) | 72.02 | 69.79 (3.18) | 98.86 | 98.63 (0.79) | 79.98 |
| CSFM-Base | |||||||
| Token Pooling | 77.94 | 79.84 (2.09) | 71.23 | 69.30 (2.51) | 97.02 | 97.33 (0.40) | 77.81 |
| Logit Pooling | 77.83 | 79.64 (1.98) | 71.59 | 69.90 (2.46) | 97.54 | 97.52 (0.23) | 77.98 |
| Full Fine-tuning | 84.23 | 72.46 (9.58) | 72.30 | 69.83 (3.13) | 95.66 | 95.66 (1.13) | 75.35 |
| Adapter | 88.43 | 78.95 (7.96) | 71.90 | 69.22 (3.45) | 98.41 | 96.85 (2.87) | 77.19 |
| LSTM Tuning | 86.93 | 85.22 (1.33) | 72.03 | 67.77 (6.33) | 98.74 | 98.31 (0.47) | 79.12 |
| 本文方法 (Ours) | 91.23 | 89.62 (1.53) | 72.89 | 70.36 (3.43) | 99.56 | 98.46 (1.08) | 81.11 |
消融实验¶
下表基于 CSFM 在 VTaC 任务上，分析了分层位置编码策略（重复、插值、本文提出的全局叠加编码）、局部对比损失 \(\mathcal{L}_{\text{local}}\) 和动态一致性损失 \(\mathcal{L}_{\text{dyn}}\) 对不同推理长度性能的具体贡献（AUC %）：
| 位置编码策略 (PE) | \(\mathcal{L}_{\text{local}}\) | \(\mathcal{L}_{\text{dyn}}\) | 10s | 30s | 60s | 120s | 180s | 模块贡献说明 |
|---|---|---|---|---|---|---|---|---|
| Repeat (周期重复) | ✗ | ✗ | 70.43 | 73.09 | 70.60 | 72.43 | 71.45 | 缺乏长序列绝对时序区分能力 |
| Interpolate (线性插值) | ✗ | ✗ | 60.78 | 67.44 | 74.37 | 80.86 | 88.18 | 破坏高频局部采样率，短输入急剧恶化 |
| Global (全局叠加) | ✗ | ✗ | 78.13 | 83.96 | 87.45 | 89.08 | 88.92 | 纯结构扩展，显著优于传统编码扩展 |
| Global (全局叠加) | ✓ | ✗ | 83.62 | 87.13 | 88.42 | 89.30 | 89.00 | 局部语义锚定，短时序判别大幅恢复 |
| Global (全局叠加) | ✗ | ✓ | 80.01 | 85.90 | 87.80 | 88.86 | 88.90 | 引入全局平稳背景，增强长时间抗噪 |
| Global (完整模型) | ✓ | ✓ | 84.10 | 88.29 | 89.01 | 89.76 | 89.50 | 双重语义协同，全时段综合性能最佳 |
关键发现¶
- 分层位置编码超越传统插值：传统直接插值在180秒时虽能达到88.18%，但在10秒短输入下断崖式下跌至60.78%；而本文的分层位置编码无需插值即可完美保留局部采样率，使10秒输入达到78.13%，完整模型更达到84.10%，消除了可变长推理的性能崩塌。
- 参数高效胜过全量微调：全量微调（Full Fine-tuning）在长输入上易出现严重过拟合且破坏预训练先验，在 CSFM-Base 上全量微调全时长平均 AUC 仅 75.35%（方差达 9.58%），而本文冻结主干的方法达到 81.11%（方差仅 1.53%），证明保留预训练通用知识的重要性。
- 引导源质量对语义扩展起决定性作用：在针对 MERL 主干的外部教师引导实验中，用更强的 CSFM-Base 作为引导教师替代 MERL 自身表征后，VTaC 180秒 AUC 从 82.60% 跃升至 86.07%，说明本框架能即插即用地将更强基础模型的先验知识蒸馏给目标学生。
亮点与洞察¶
- 生理信号友好的分层位置编码：不盲从视觉领域的插值手段，而是通过局部周期重复与全局粗粒度广播的相加解耦，巧妙解决了生物时序中采样率敏感与长程上下文感知的天然冲突。
- 免标注的自监督教师引导蒸馏：将冻结的基础模型自身作为教师，既通过相对秩次保持了局部微观波形形态拓扑，又通过亲和度矩阵筛选平稳背景约束全局动态，构思极为巧妙。
- 生理多模态与可变长时序的强泛化性：在仅训练最长180秒单次配置下，零重训无缝泛化至10秒至3分钟任意时长，并在脉搏容积波（PPG）及联合监测下保持一致收益，具备极佳的跨模态通用价值。
局限与展望¶
- 上下文时序窗口仍有上限：实验主要探索了180秒（3分钟）范围内的长时序扩展，对于数小时至数天的超长 Holter 或多日 ICU 连续波形，显存与注意力复杂度仍需结合更稀疏或线性状态空间机制进行扩展。
- 外部教师与学生异构适配：目前跨模型引导需要统一将表示对齐至相似度空间，对于跨架构（如纯 CNN 与 Transformer）的高阶特征传递机制仍待进一步探索。
- 硬件能耗与边缘端适配：在长程移动穿戴设备上，虽然微调阶段参数高效，但完整 Transformer 主干在长时间运行下的推理能耗仍面临工程挑战。
相关工作与启发¶
- vs 滑动窗口聚合（Token/Logit Pooling, LSTM Tuning）：传统窗口切片方案割裂了跨片段的长程动态依赖，且输出方差巨大；本文端到端处理整长序列并通过注意力机制建模全局时空交互，在多任务上显著提高4%~6%的综合 AUC。
- vs 参数高效微调（Adapter, VPT）：通用 PEFT 方法仅在特征层进行参数插拔，忽视了生物时序信号位置编码畸变与局部语义遗忘的痛点；本文通过物理启发的编码设计与双重语义正则化，在相近参数量下全面大幅领先。
评分¶
- 新颖性: ⭐⭐⭐⭐ [针对心电基础模型10秒快照痛点，提出生理合理的分层编码与教师引导正则化]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨4大任务、3个数据集、4种顶会基础模型，包含完备消融与跨模态扩展]
- 写作质量: ⭐⭐⭐⭐⭐ [动机明确，问题剖析透彻，结构逻辑层层递进]
- 价值: ⭐⭐⭐⭐⭐ [为大规模预训练生理基础模型走向临床持续监护提供了兼顾算力与性能的高效范式]