BrainPro: Process-conditioned Pretraining with Topographic Retrieval for Large EEG Models¶

会议: NeurIPS 2026
arXiv: 2509.22050
代码: https://github.com/yi-ding-cs/BrainPro
领域: 医学图像
关键词: 脑电大模型, 过程条件预训练, 地形图检索, 脑机接口, 自监督学习

一句话总结¶

针对脑电基础模型中多数据集导联排布异质性与实验范式上下文线索被忽视的问题，BrainPro 提出基于通用模板的地形图空间滤波检索机制与多分支心理过程条件化掩码预训练框架，在 9 个跨范式 BCI 基准上显著超越现有 SOTA 模型。

研究背景与动机¶

脑电图（EEG）通过头皮电位记录反映认知、情绪和运动等复杂神经动力学，是无创脑机接口（BCI）与脑状态解码的核心工具。不同心理过程在脑皮层上兼具通用神经基础与过程特异性表现：例如情绪反应既涉及前额叶与颞叶的非对称激活，也会调动运动皮层；而运动想象则高度局域化于感觉运动区与中央区 $\mu/\beta$ 节律。为了学习跨任务、跨个体的通用表征，近年来大规模脑电基础模型（EFM）广泛采用自监督掩码重构（MAE）进行预训练。

然而，现存 EFM 普遍面临两项被忽视的结构性矛盾。其一，现有模型通常将所有预训练数据混入单一表征空间，完全忽略了多数据集采集协议本身所携带的心理过程线索（Mental-process cues，如诱发刺激属于情绪唤醒还是运动想象），导致全局通用特征与特定任务变异深度纠缠，难以自适应提取任务特异性表征。其二，不同机构与实验的电极导联系统（Montage）在通道数、电极间距及头皮覆盖范围上差异巨大，基于通道索引嵌入或自注意力机制的隐式空间建模往往学到的是特定导联布局的过拟合模式，而非生理一致的头皮拓扑结构。

这两种缺陷相互耦合：若缺乏生理对齐的空间基底，过程条件化分支容易拟合局部通道伪影；而缺乏过程线索的引导，通用模型又无法激活与生理机制相符的局部注意区。核心 idea：通过通用头皮模板显式检索通道与区域级空间滤波器建立统一空间基底，并由协议派生的心理过程线索动态路由共享编码器、情绪/运动特异分支与残差分支，配合神经先验区域加权掩码重构，实现解耦、可迁移的大规模脑电表征学习。

方法详解¶

整体框架¶

BrainPro 接收任意导联排布的 EEG 片段，通过三阶段流水线输出多粒度解码表征：首先通过 1D 时序 CNN 提取单通道时序特征，再基于标准化 3D 头部坐标映射至预定义的 60 通道通用模板并并行检索通道级与功能区域级空间滤波器，构建跨导联一致的空间表征；接着将特征 Patch 化投影后送入 Transformer 编码器；在预训练阶段，系统维护一个共享编码器 $\mathcal{E}_S$、两个主要过程特异编码器（情绪 $\mathcal{E}_A$、运动 $\mathcal{E}_M$）以及一个辅助残差编码器 $\mathcal{E}_O$，根据样本的心理过程标签 $y_{\text{proc}}$ 激活对应分支并利用基于余弦边界的解耦损失消除特征冗余；最后将共享与特异表征拼接，经过程引导的区域加权解码器重构被掩码的脑电信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    In["输入多导联EEG信号 X<br/>(C 通道 × T 时间步)"] --> TEnc["时序CNN特征提取<br/>H_temp (保持时间分辨率)"]
    TEnc --> TR["地形图检索模块<br/>3D坐标最近邻映射至60通道通用模板"]
    TR --> CatS["多尺度空间融合<br/>通道滤波 H_C 与 区域滤波 H_R 拼接"]
    CatS --> Patch["Patch切块与位置嵌入<br/>构建 Token 序列 Z"]
    Patch --> EncRouter{"过程线索 y_proc 路由"}

    subgraph SpecBranch["多分支编码与表征解耦"]
        direction TB
        S_Enc["共享编码器 E_S<br/>(捕获跨领域通用EEG动力学)"]
        A_Enc["特异编码器 E_A / E_M / E_O<br/>(按线索更新活跃分支，非活跃分支截断梯度)"]
        SepL["表征解耦约束<br/>余弦相似度 Margin Loss (L_sep)"]
        S_Enc -.-> SepL
        A_Enc -.-> SepL
    end

    EncRouter --> S_Enc
    EncRouter --> A_Enc
    S_Enc --> FuseComb["特征拼接 Z_comb"]
    A_Enc --> FuseComb
    FuseComb --> Dec["过程特异解码器 D_yproc<br/>过程引导区域加权重构 (L_rec)"]
    Dec --> Out["重构EEG目标 X^ 与下游微调表征"]

关键设计¶

1. 地形图对齐空间滤波检索：建立跨异质导联的生理一致空间基 现有 EFM 采用通道序号 Embedding 或全连接 Self-Attention，其参数依赖输入样本的通道顺序，无法跨越导联缺失或位置漂移。BrainPro 定义了一个包含 $C_{\text{pre}}=60$ 个电极和 $N_{\text{region}}=24$ 个半球功能区域的通用头皮模板，并预设两组可学习空间滤波库：通道级滤波器 $\mathbf{W}_{\text{C}} \in \mathbb{R}^{C_{\text{pre}} \times K_{\text{C}}}$ 与区域级滤波器 $\mathbf{W}_{\text{R}} \in \mathbb{R}^{N_{\text{region}} \times K_{\text{R}}}$。对于输入导联 $C$ 个通道，通过标准化 3D 头部坐标最近邻匹配确定匹配索引子集 $I_{\text{ch}}$，显式检索对应参数计算通道特征 $\mathbf{H}_{\text{C}} = \sigma(\mathbf{W}_{\text{C}}[I_{\text{ch}}]^\top \mathbf{H}_{\text{temp}}^{\text{reshp}})$；同时在功能区域内汇聚时序特征后检索区域滤波参数计算 $\mathbf{H}_{\text{R}}$。该机制保证了同一头皮物理位置始终共享相同的滤波权重，从理论上赋予空间表示显式的几何与生理语义。

2. 心理过程条件化多分支架构与解耦机制：分离通用动力学与过程特异变异 为防止单一潜空间中全局基础脑电波形掩盖特定心理状态下的微弱调谐信号，BrainPro 将编码网络解耦为共享分支 $\mathcal{E}_S$、两个主过程分支（情绪 $\mathcal{E}_A$、运动 $\mathcal{E}_M$）及吸收非情绪/非运动复杂异质数据的辅助残差分支 $\mathcal{E}_O$。预训练阶段仅更新共享分支与当前样本对应的活跃分支 $\mathcal{E}_{y_{\text{proc}}}$，非活跃分支计算图截断（Detach）。为了显式防止表征坍缩并拉大特征正交性，设计了基于边界 $m=0.1$ 的余弦相似度惩罚损失，同时约束共享-活跃分支正交以及活跃-非活跃分支互斥： $$ \mathcal{L}{\text{sim}}(\mathbf{a}, \mathbf{b}) = \max(\text{sim}}}(\mathbf{a}, \mathbf{b}) - m, 0), \quad \mathcal{L{\text{sep}} = \mathcal{L}}}(\mathbf{Z{\text{shared}}, \mathbf{Z}}}}) + \sum_{k \neq y_{\text{proc}}} \mathcal{L{\text{sim}}(\mathbf{Z}_k) $$}}}, \mathbf{Z

3. 过程引导的神经先验区域加权掩码重构：定向强化关键功能区建模 标准 MAE 对所有通道与时序区域一视同仁，未充分利用认知神经科学积累的明确脑区先验。BrainPro 在 50% 补丁掩码率的基础上，为不同心理过程分支赋予先验通道重要性向量 $\mathbf{w}^{(y_{\text{proc}})}$：情绪分支加权前额叶与颞叶通道，运动分支加权中央区感觉运动与顶叶通道，辅助残差分支保持均匀加权。为了平衡早期通用重构与后期特异性强化，引入随训练周期逐步退火平滑函数： $$ \text{weights}(w) = 0.5 + \sigma(\tau \cdot (w - 0.5)), \quad \tau = \text{epoch} $$ 重构损失仅在输入实际存在的映射电极集合 $S(\mathbf{X})$ 上计算加权均方误差，既避免强迫模型脑补未观测通道的生理噪声，又实现了神经先验的高效无监督注入。

损失函数 / 训练策略¶

BrainPro 采用端到端联合训练策略，总目标函数为重构损失与解耦正则项的加权求和： $$ \mathcal{L}{\text{BrainPro}} = \mathcal{L} $$ 其中，}} + \mathcal{L}_{\text{sep}$\mathcal{L}_{\text{rec}} = \frac{1}{|S(\mathbf{X})|T} \sum_{i \in S(\mathbf{X})} \sum_{t=1}^T \text{weights}(w_i^{(y_{\text{proc}})}) \cdot (\mathbf{X}_{i,t} - \hat{\mathbf{X}}_{i,t})^2$。预训练在大规模清洗后包含约 2,180 小时（784,937 个 10 秒片段）的 13 个公开脑电数据集上进行，采用 AdamW 优化器，余弦退火调度，最大学习率 $1\times 10^{-4}$，在 5 张 NVIDIA A800 上预训练 30 个 Epoch（约 360 GPU 小时）。在下游适配时，共享编码器常驻开启，根据下游任务类型接入对应特异分支（情绪任务激活 $\mathcal{E}_A$，运动想象激活 $\mathcal{E}_M$，未知/语音任务激活 $\mathcal{E}_O$），将时序位置编码重置后与轻量分类器微调。

实验关键数据¶

主实验¶

在涵盖 6 大任务家族（情绪识别、运动想象、意念语音、抑郁症辅助诊断、认知压力检测、注意力检测）的 9 个下游公开 BCI 基准数据集上评估。针对非平衡任务报告平衡准确率（ACC-B）、Cohen's Kappa、加权 F1（F1-W）或 AUC-PR/AUROC。

数据集 (任务 / 类别)	指标	BrainPro (本文)	CodeBrain (前SOTA)	CBraMod	LaBraM	提升幅度
FACED (情绪 / 9类)	ACC-B / Kappa / F1-W	0.5937 / 0.5418 / 0.6023	0.5801 / 0.5242 / 0.5821	0.5669 / 0.5112 / 0.5729	0.5224 / 0.4610 / 0.5259	+1.36% / +1.76% / +2.02%
SEED-V (情绪 / 5类)	ACC-B / Kappa / F1-W	0.4078 / 0.2612 / 0.4115	0.4025 / 0.2564 / 0.4095	0.3960 / 0.2521 / 0.4050	0.3986 / 0.2491 / 0.4040	+0.53% / +0.48% / +0.20%
BCI-IV-2a (运动 / 4类)	ACC-B / Kappa / F1-W	0.5674 / 0.4232 / 0.5653	0.5024 / 0.3366 / 0.4952	0.5148 / 0.3530 / 0.5032	0.5255 / 0.3674 / 0.5095	+6.50% / +8.66% / +7.01%
SHU (运动 / 2类)	ACC-B / AUROC	0.6319 / 0.7105	0.6205 / 0.6833	0.6108 / 0.6668	0.6175 / 0.6720	+1.14% / +2.72%
Mental Arithmetic (压力 / 2类)	ACC-B / AUROC	0.8083 / 0.8512	0.7111 / 0.7510	0.7354 / 0.7654	0.6688 / 0.7168	+9.72% / +10.02%
Mumtaz2016 (抑郁 / 2类)	ACC-B / AUROC	0.9161 / 0.9803	0.9079 / 0.9804	0.8909 / 0.9726	0.8986 / 0.9754	+0.82% / -0.01%
BCIC2020-3 (意念语音 / 5类)	ACC-B / Kappa / F1-W	0.5253 / 0.4067 / 0.5244	0.5124 / 0.3906 / 0.5117	0.5061 / 0.3827 / 0.5050	0.4880 / 0.3600 / 0.4871	+1.29% / +1.61% / +1.27%

消融实验¶

在情绪任务（FACED 9-class）和运动想象任务（BCI-IV-2A 4-class）上对核心设计组件进行系统消融验证：

变体配置	FACED (ACC-B)	FACED (Kappa)	BCI-IV-2A (ACC-B)	BCI-IV-2A (Kappa)	说明
完整模型 (BrainPro)	0.5937 ± 0.0087	0.5418 ± 0.0092	0.5674 ± 0.0148	0.4232 ± 0.0198	具备检索、解耦及区域先验的完整架构
w/o 重构目标 ($\mathcal{L}_{\text{rec}}$)	0.5391 ± 0.0151	0.3854 ± 0.0202	0.4354 ± 0.0329	0.2472 ± 0.0439	移除掩码自监督重构，表征泛化崩塌
w/o 表征解耦 ($\mathcal{L}_{\text{sep}}$)	0.5638 ± 0.0138	0.4184 ± 0.0185	0.4870 ± 0.0184	0.3160 ± 0.0246	移除余弦距离正则，分支特征退化严重
随机拓扑检索 (Random Retrieval)	0.5747 ± 0.0098	0.4329 ± 0.0130	0.5125 ± 0.0308	0.3500 ± 0.0410	随机分配空间滤波参数，破坏解剖对齐
w/o 空间区域先验权重	0.5634 ± 0.0271	0.5060 ± 0.0319	0.5496 ± 0.0143	0.3994 ± 0.0191	均匀重构损失，缺失功能脑区定向增强
随机过程线索 (Random Cue)	0.5269 ± 0.0288	0.4682 ± 0.0341	0.5232 ± 0.0065	0.3642 ± 0.0087	错乱条件路由严重损害下游特异表征
单编码器基线 (Single Encoder)	0.5683 ± 0.0241	0.5133 ± 0.0281	0.5554 ± 0.0142	0.4072 ± 0.0189	同参数量单一编码器无法媲美多分支解耦
w/o 预训练 (Train from scratch)	0.4244 ± 0.2751	0.3512 ± 0.3088	0.4479 ± 0.1066	0.2639 ± 0.1421	缺乏自监督预训练导致高方差与欠拟合

关键发现¶

拓扑检索带来极端电极缺失下的鲁棒性：在信道丢弃（Channel-Drop）鲁棒性测试中，当随机丢弃 50% 的电极时，BrainPro 在 FACED 上的 ACC-B 仅下降 0.1667（降至 0.4270），显著优于 CBraMod（下降 0.1998 跌至 0.3671）和 LaBraM（下降 0.1827 跌至 0.3397）。由于空间滤波器绑定固定几何坐标，模型能够在稀疏导联下稳定保持基础空间响应。
编码器分支组合具备互补性：单分支测试中，S+A 在情绪任务上表现最佳，S+M 在运动任务上最佳；而在两项任务上同时接入 S+A+M 均可带来额外提升（FACED 达到 0.5988，BCI-IV-2A 达到 0.5797），证明情绪与运动皮层表征具有深层协同潜力；但盲目混入无明确过程先验的残差分支（S+A+M+O）会产生噪声干扰。
学到的空间滤波器与神经科学先验高度契合：头皮地形图可视化显示，情绪分支权重自发聚焦于额叶与颞叶，运动分支高度聚焦于中央感运动感觉区，共享分支呈现全局漫反射分布，证实解耦损失有效引导了脑区功能特化。

亮点与洞察¶

空间显式几何绑定的工程范式：不同于常规模型让 Transformer 自行“猜测”通道空间关联，BrainPro 借助 3D 头部模板与检索机制将空间滤波参数锚定在解剖学真实位置，成功化解跨数据集导联异质性。
利用范式标签进行免标注自监督解耦：巧妙挖掘了无标签脑电预训练数据中天然蕴含的实验元数据（实验刺激类型），在不依赖具体任务类别标注的前提下，利用简单协议元数据实现了脑电大模型的脑区功能特异化。
高能效比模型架构：BrainPro 拥有 7.69M 参数与 531M FLOPs，在性能超越 51.66M 参数、9.31G FLOPs 的 EEGPT 的同时，大幅降低计算开销，具备边缘 BCI 设备部署价值。

局限与展望¶

心理过程分类粒度较粗：目前仅显式建模情绪、运动两个范式大类，语言、工作记忆、注意力和认知负荷等更精细认知过程被粗暴归入残差分支，未能进行精细子分支解耦。
多数据集先验与设备偏差交织：预训练样本来自不同硬件设备（如 NeuroScan、BioSemi、BrainAmp）与采样环境，协议过程线索与硬件/实验室分布存在部分统计共线性。
动态过程拓展空间：未来可探索分层级心理过程本体论（Hierarchical Process Taxonomy）以及动态自适应分配分支容量的网络结构，并融入 fNIRS、眼动等跨模态生理信号。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将头皮地形图空间检索与协议心理过程条件化预训练相结合，解耦机制直击 EFM 核心痛点。
实验充分度: ⭐⭐⭐⭐⭐ 跨 9 个基准、6 大任务家族，涵盖主表、消融、信道丢弃鲁棒性、编码器配置、线性探测及滤波器可视化，论证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机与形式化阐述严谨清晰，附录提供了完备的理论推导、超参细节与伦理声明。
价值: ⭐⭐⭐⭐⭐ 为异质导联脑电大模型预训练与脑机接口通用表征提供了高度实用的标准化范式。