跳转至

LEAF: Language-EEG Aligned Foundation Model for Brain-Computer Interfaces

会议: NeurIPS 2026
arXiv: 2509.24302
领域: 医学图像
关键词: 脑机接口, 脑电基础模型, 语言对齐, 语义任务指令, 谱时空重构

一句话总结

LEAF 提出了一种面向脑机接口的语言-脑电对齐基础模型,通过自监督谱时空联合重构(STR)捕捉频带与双向/因果时序动力学,并借助指令条件 Q-Former(IQF)引入任务提示词与文本原型语义对齐,在 16 个跨范式 BCI 数据集上全面刷新 SOTA。

研究背景与动机

脑电图(EEG)具备毫秒级的超高时间分辨率、高便携性与低采集成本,是非侵入式脑机接口(BCI)在运动想象(MI)、情感识别、稳态视觉诱发神经电位(SSVEP)及隐蔽语音解码等场景中的核心信号模态。然而,EEG 信号信噪比极低、非平稳性强,且在不同受试者、不同实验范式与硬件设备之间存在极其严重的分布漂移与个体差异,极大制约了传统小模型的泛化能力。近年来,受大规模预训练驱动,EEG 基础模型(如 BIOT、EEGPT、LaBraM、CBraMod)相继涌现,试图通过海量未标注脑电预训练提取通用的神经表征。但现存 EEG 基础模型几乎均局限于离散数字标签(如二分类 0/1)的孤立监督,忽略了语言语义中蕴含的跨任务统摄先验与语义层次结构,难以支撑泛化至异构下游任务的开放式脑电解码。

现有模型的核心矛盾体现在两个层面:首先,在脑电内部动力学建模上,大脑电信号是频域神经节律(如 \(\alpha\)、\(\beta\) 波波段)与多时间尺度动态变化(既包含局部诱发电位的因果演变,又包含长程认知/情绪状态的全局上下文波动)的强耦合产物,以往工作普遍割裂了频谱抑制与双向/因果时序建模的统一;其次,在脑电-语言对齐机制上,少数探索性工作(如 NeuroLM)仅采用粗粒度的对抗式分布匹配,将离散脑电 token 强制映射至文本空间,缺乏细粒度的任务语义引导与显式约束,导致语言先验无法动态重塑与调控脑电潜空间。

本文的切入角度是:利用显式自然语言指令作为语义先验引导脑电表征结构,并将基础模型预训练解耦为谱时空物理动力学捕获与查询驱动的跨模态语义投影两阶段。核心 idea:通过引入随机频带抑制与双分支上下文/因果重构的谱时空重构框架(STR)预训练鲁棒脑电表征,并构建指令条件 Q-Former(IQF),利用 FiLM 调制注入任务指令先验并通过紧凑可学习查询将神经特征与文本语义原型对齐,实现零额外分类头的高效通用脑电解码。

方法详解

整体框架

LEAF 的处理管线分为两阶段:第一阶段为无监督谱时空重构预训练(STR),在统一通道蒙太奇的未标注多源 EEG 信号上联合训练频谱扰动鲁棒性与双分支时序预测;第二阶段为多任务指令微调(Instruction Tuning),冻结文本编码器并预计算指令与类别原型向量,利用指令条件 Q-Former 将脑电特征调制对齐至文本语义空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多通道连续 EEG 信号<br/>标准化 65 导联重采样 200Hz"] --> B["时间窗口切片<br/>x_i ∈ R^{C×t}"]
    B --> C["谱扰动与双流时序重构 (STR)<br/>随机频带掩码 + 卷积 Tokenizer"]
    C --> D1["双向上下文分支 (Contextual)<br/>随机掩码重构 L_ctx"]
    C --> D2["因果自回归分支 (Causal)<br/>未来时序预测 L_cau"]
    D1 & D2 --> E["拼接双分支表征<br/>m ∈ R^{2N×d}"]
    E --> F["指令特征线性调制 (FiLM)<br/>冻结文本编码器注入指令先验 e_ins"]
    F --> G["紧凑查询跨模态对齐 (IQF)<br/>8 个可学习 Query 瓶颈过滤"]
    G --> H["轻量投影与 L2 归一化<br/>得到脑电语义表征 h_hat"]
    H --> I["文本原型余弦相似度损失<br/>与类别原型 e_tgt^c 对齐"]
    I --> J["解码输出 / 跨任务推理<br/>arg max cos(h_hat, e_tgt^y)"]

关键设计

1. 谱扰动与双流时序重构预训练(STR):联合建模频带不变性与多尺度时序动力学 针对脑电信号中频谱节律与时序动态紧密交织却常被割裂建模的痛点,STR 首先在输入端实施物理层面的频域数据增强。对切片后的时间窗口 \(x_i \in \mathbb{R}^{C \times t}\) 进行快速傅里叶变换计算频谱 \(X_{f,i} = \mathrm{FFT}(x_i)\),在 1–50 Hz 范围内随机切除宽度为 \(f_{\mathrm{band}} = 6\text{ Hz}\) 的连续频带产生掩码频谱 \(\widetilde{X}_{f,i} = \mathcal{M}_{[f_{\min}, f_{\max}]}(X_{f,i})\),并通过逆傅里叶变换恢复为扰动信号 \(\widetilde{x}_i = \mathrm{iFFT}(\widetilde{X}_{f,i})\)。此举迫使编码器学会在局部频带缺失时依然提取稳健的不变表征。扰动信号经由轻量级卷积 Tokenizer 映射为隐层 token \(\widetilde{\mathbf{z}}_i \in \mathbb{R}^{N \times d}\): $\(\widetilde{\mathbf{z}}_i = \mathrm{Pool}\big(\mathrm{BatchNorm}(\mathrm{Conv}_S(\mathrm{Conv}_T(\widetilde{x}_i)))\big)\)$ 在骨干网络中,STR 设计了并行的双时序分支以兼顾长程全局认知状态与局部诱发电位的因果转换:双向 Transformer 采用 50% 随机掩码预测未掩码上下文中的原始信号,通过两层 MLP 解码器 \(g(\cdot)\) 最小化上下文重构误差 \(\mathcal{L}_{\mathrm{ctx}}\);因果 Transformer 则施加未来掩码阻止未来信息泄漏,迫使模型单向自回归预测下一个时间片 token \(\widetilde{\mathbf{z}}_{i+1}\) 并最小化因果预测误差 \(\mathcal{L}_{\mathrm{cau}}\)。两个分支共享预训练损失并捕获互补的动态特征。

2. 基于特征线性调制(FiLM)的指令引导注入:将任务语义先验植入神经潜空间 以往多模态脑电模型仅在输出端做松散的统计分布拉近,无法引导模型在表征提取阶段聚焦于特定任务维度。LEAF 引入显式文本指令 \(s_{\mathrm{ins}}\)(例如“这是一个运动想象任务,解码左右手动作”),利用预先冻结的文本编码器(all-mpnet-base-v2)提取归一化指令嵌入向量 \(\mathbf{e}_{\mathrm{ins}} \in \mathbb{R}^k\)。为了让指令自适应调节双流 Transformer 产出的级联脑电表征 \(\mathbf{m} \in \mathbb{R}^{2N \times d}\),模型通过非线性投影生成仿射变换参数: $\((\bm{\gamma}, \bm{\beta}) = \tanh(\mathbf{W}_{\gamma\beta} \mathbf{e}_{\mathrm{ins}} + \mathbf{b}_{\gamma\beta})\)$ 其中 \(\mathbf{W}_{\gamma\beta} \in \mathbb{R}^{2d \times k}\),并将切分后的 \(d\) 维向量 \(\bm{\gamma}, \bm{\beta}\) 沿序列长度广播至 \(2N \times d\)。经元素级调制后获得指令条件化表征 \(\widetilde{\mathbf{m}} = (1 + \bm{\gamma}) \odot \mathbf{m} + \bm{\beta}\)。这种设计让高维神经激活在进入交叉注意力之前,在潜空间几何流形上直接受到任务意图的重塑与约束,大幅降低类内方差。

3. 紧凑可学习查询的指令条件 Q-Former(IQF):跨模态信息瓶颈与文本原型对齐 调制后的脑电表征维度极高且包含通道噪声,直接对齐容易发生维度坍缩与过拟合。LEAF 设计了包含仅 4 层 Transformer 的指令条件 Q-Former,引入 \(N_q = 8\) 个低维可学习潜查询向量 \(\mathbf{Q}_0 \in \mathbb{R}^{N_q \times d}\) 作为信息瓶颈探针。查询向量通过交叉注意力机制主动从 \(\widetilde{\mathbf{m}}\) 中汇聚与指令相关的脑电模式: $\(\mathbf{Q} = \mathrm{softmax}\left(\frac{\mathbf{Q}_0 W_Q (\widetilde{\mathbf{m}} W_K)^\top}{\sqrt{d}}\right) \widetilde{\mathbf{m}} W_V\)$ 查询输出展平后通过轻量 MLP 映射并进行 \(\ell_2\) 归一化,输出紧凑的脑电表征向量 \(\hat{\mathbf{h}}\)。在对齐空间中,目标标签名称 \(s_{\mathrm{tgt}}\)(如“Left hand”、“Happy”)通过相同冻结文本编码器投影为语义原型向量 \(\mathbf{e}_{\mathrm{tgt}}\),模型直接优化余弦相似度对齐损失,使同类脑电表征紧密贴合其自然语言语义原型,彻底省去了传统为每个下游任务额外构建独立分类头的冗余开销。

一个完整示例

以受试者进行 4 分类运动想象任务(BCIC-IV-2a)为例: 1. 输入与预处理:受试者 22 导联 EEG 信号经空间插值扩展为标准 10–10 系统的 65 通道,重采样至 200 Hz,截取 0.5 秒时间窗口,得到 \(x_i \in \mathbb{R}^{65 \times 100}\)。 2. STR 特征编码:FFT 切除 12–18 Hz 频带(覆盖部分 \(\mu\) / \(\beta\) 节律),经空间/时间卷积提取为 token。双向分支与因果分支分别前向,输出拼接为 \(\mathbf{m} \in \mathbb{R}^{2N \times 256}\)。 3. 指令调制与瓶颈交互:输入指令文本“This is a motor imagery task; decode Left hand, Right hand, Foot, Tongue”,离线文本编码器输出 768 维向量 \(\mathbf{e}_{\mathrm{ins}}\)。FiLM 生成缩放参数 \(\bm{\gamma}\) 与位移参数 \(\bm{\beta}\),对 \(\mathbf{m}\) 进行特征线性调制得到 \(\widetilde{\mathbf{m}}\)。8 个查询向量与 \(\widetilde{\mathbf{m}}\) 发生交叉注意力,提取出与肢体运动意图相关的局部神经响应,映射为归一化表征 \(\hat{\mathbf{h}}\)。 4. 原型判定:计算 \(\hat{\mathbf{h}}\) 与 4 个类别文本原型(“Left hand”、“Right hand”、“Foot”、“Tongue”)的余弦相似度,若与“Right hand”的相似度最高(例如 0.82,其余均低于 0.35),则最终预测输出为右利手运动想象。

损失函数 / 训练策略

LEAF 采用两阶段解耦优化方案: 1. 自监督预训练损失:在海量未标注数据集上联合优化双向掩码重构与单向因果预测: $\(\mathcal{L}_{\mathrm{pretrain}} = \lambda_{\mathrm{ctx}} \mathcal{L}_{\mathrm{ctx}} + \lambda_{\mathrm{cau}} \mathcal{L}_{\mathrm{cau}} = \frac{\lambda_{\mathrm{ctx}}}{|\mathcal{M}|} \sum_{i \in \mathcal{M}} \|g(\widetilde{\mathbf{z}}_i) - x_i\|_2^2 + \frac{\lambda_{\mathrm{cau}}}{N-1} \sum_{i=1}^{N-1} \|g(\widetilde{\mathbf{z}}_{i+1}) - x_{i+1}\|_2^2\)$ 其中平衡权重默认设为 \(\lambda_{\mathrm{ctx}} = \lambda_{\mathrm{cau}} = 1.0\)。 2. 多任务指令对齐损失:在多任务指令微调阶段,最小化脑电表征与目标标签原型的余弦距离: $\(\mathcal{L}_{\mathrm{align}} = \frac{1}{|\mathcal{C}|} \sum_{c \in \mathcal{C}} \Big(1 - \cos(\hat{\mathbf{h}}, \mathbf{e}_{\mathrm{tgt}}^c)\Big) \mathbb{I}[y = c]\)$ 3. 优化配置与算力开销:模型总参数量仅 26.42M(Tokenizer 0.27M,Dual Transformer 20.23M,Q-Former 6.19M),在 4 块 NVIDIA H100 GPU 上采用 AdamW 优化器(\(\beta_1=0.9, \beta_2=0.999\),权重衰减 \(10^{-3}\))与 bf16 混合精度训练,批大小为 512,最大学习率 \(10^{-3}\)(Transformer 主干缩放系数为 0.1),采用余弦退火策略降至 \(10^{-4}\)。文本编码器完全冻结且特征离线预存,不产生额外显存与反向传播负担。

实验关键数据

主实验

LEAF 在 16 个异构下游脑电数据集上进行了严格评估,涵盖运动想象(MI)、情感识别(Emotion)、稳态视觉诱发神经电位(SSVEP)、隐蔽语音(Covert Speech)和脑力负荷(Mental Workload)五大主流范式。表 1 展示了范式层面的平均平衡准确率(Balanced Accuracy, B.Acc)与 Cohen's Kappa 系数对比,表 2 给出了 16 个具体数据集上的精细化指标。

表 1:各大脑电范式与全任务平均性能对比(B.Acc / Kappa, %)

模型架构 模型类型 MI (8 个数据集)
B.Acc / Kappa
Emotion (5 个数据集)
B.Acc / Kappa
Other (3 个数据集)
B.Acc / Kappa
Overall (16 个数据集)
B.Acc / Kappa
EEGNet 专用小模型 68.74 / 44.41 37.56 / 21.56 58.70 / 37.05 57.11 / 35.89
Conformer 专用小模型 68.45 / 42.45 43.12 / 28.28 63.78 / 43.86 59.66 / 38.29
TSception 专用小模型 63.14 / 34.60 38.85 / 23.50 66.07 / 48.58 56.10 / 33.75
ST-Transformer 专用小模型 64.79 / 38.38 34.80 / 18.29 66.66 / 49.03 55.77 / 34.10
BIOT 基础模型 53.08 / 19.71 37.33 / 21.73 55.71 / 32.92 48.65 / 22.82
EEGPT 基础模型 61.23 / 33.50 31.33 / 13.63 55.30 / 32.66 50.77 / 27.14
LaBraM 基础模型 68.00 / 42.91 48.42 / 35.41 63.89 / 45.92 61.11 / 41.13
CBraMod 基础模型 68.87 / 43.08 49.67 / 36.68 64.10 / 44.93 61.97 / 41.43
LEAF (本文) 基础模型 70.34 / 46.06 49.88 / 36.78 71.36 / 55.78 64.14 / 44.98

表 2:16 个下游数据集具体测试集表现(B.Acc / Kappa,三随机种子均值±标准差)

任务类型 数据集名称 划分方式 类别数 最优对比基线 (模型名) LEAF (本文) 性能提升 (B.Acc / Kappa)
MI BCIC-IV-2a 跨受试者 (CS) 4 0.6369 / 0.4685 (EEGNet) 0.6381±0.0120 / 0.4692±0.0160 +0.12% / +0.07%
MI OpenBMI-MI 跨受试者 (CS) 2 0.8274 / 0.6387 (Conformer) 0.8134±0.0031 / 0.6127±0.0112 -1.40% / -2.60%
MI BCIC-Upperlimb 跨受试者 (CS) 3 0.5473 / 0.3145 (Conformer/CBra) 0.5483±0.0038 / 0.3187±0.0057 +0.10% / +0.42%
MI SHU-MI 跨受试者 (CS) 2 0.6403 / 0.2384 (CBraMod) 0.6134±0.0008 / 0.2267±0.0017 -2.69% / -1.17%
MI HighGamma 跨受试者 (CS) 3 0.7856 / 0.5838 (EEGNet) 0.7982±0.0035 / 0.5965±0.0070 +1.26% / +1.27%
MI Cho2017 跨受试者 (CS) 2 0.7838 / 0.5719 (Conformer) 0.7908±0.0060 / 0.5816±0.0120 +0.70% / +0.97%
MI Shin2017A 跨受试者 (CS) 2 0.7054 / 0.4521 (EEGNet) 0.7256±0.0088 / 0.4811±0.0176 +2.02% / +2.90%
MI PhysioNet-MI 跨受试者 (CS) 2 0.7246 / 0.4487 (LaBraM) 0.6992±0.0035 / 0.3983±0.0214 -2.54% / -5.04%
Emotion FACED 跨受试者 (CS) 9 0.5787 / 0.4941 (CBraMod) 0.5819±0.0023 / 0.5243±0.0430 +0.32% / +3.02%
Emotion SEED 跨试次 (CT) 3 0.7102 / 0.5868 (CBraMod) 0.7011±0.0068 / 0.5543±0.0176 -0.91% / -3.25%
Emotion SEED-IV 跨试次 (CT) 4 0.4605 / 0.2728 (CBraMod) 0.4630±0.0034 / 0.2754±0.0214 +0.25% / +0.26%
Emotion SEED-V 跨试次 (CT) 5 0.4029 / 0.2570 (CBraMod) 0.4126±0.0023 / 0.2575±0.0430 +0.97% / +0.05%
Emotion SEED-VII 跨试次 (CT) 7 0.3311 / 0.2233 (CBraMod) 0.3356±0.0012 / 0.2275±0.0430 +0.45% / +0.42%
SSVEP OpenBMI-SSVEP 跨受试者 (CS) 4 0.9430 / 0.9253 (EEGNet) 0.9462±0.0043 / 0.9283±0.0320 +0.32% / +0.30%
Speech BCIC-Speech 跨试次 (CT) 5 0.5314 / 0.4164 (TSception) 0.5453±0.0023 / 0.4317±0.0410 +1.39% / +1.53%
Workload Mental Workload 跨受试者 (CS) 2 0.6480 / 0.3034 (TSception) 0.6493±0.0211 / 0.3134±0.0160 +0.13% / +1.00%

消融实验

表 3 汇总了 STR 预训练中频谱掩码、随机双向掩码及因果掩码的有效性验证。

表 3:STR 掩码策略消融实验结果(OpenBMI-MI 与 SEED 数据集)

频带掩码 (Freq.) 随机双向掩码 (Rand.) 因果掩码 (Causal) OpenBMI-MI (B.Acc / Kappa) SEED (B.Acc / Kappa) 说明
✓ 0.8078 / 0.6195 0.6882 / 0.5487 仅保留频带扰动与单路编码
✓ ✓ 0.7896 / 0.6017 0.6771 / 0.5298 去除因果分支,仅双向重构
✓ ✓ 0.8033 / 0.6152 0.6957 / 0.5499 去除双向分支,仅因果自回归
✓ ✓ ✓ 0.8144 / 0.6287 0.7011 / 0.5543 完整 STR 架构(双流时空协同)

表 4:指令提示词丰富度与架构关键维度消融

消融维度 具体配置 平均平衡准确率 (Mean B.Acc) 核心发现与机制说明
指令丰富度 无指令 (No-instruction) 0.4738 缺乏语义约束,类间边界重叠严重
指令丰富度 仅任务指令 (Task-only) 0.4867 明确范式先验后,准确率提升 1.29%
指令丰富度 任务 + 目标类别指令 (Task & Target) 0.5004 注入类别名原型,准确率再提升 1.37%,类内方差大幅收敛
Transformer 深度 8 层 / 12 层 / 16 层 0.4891 / 0.5004 / 0.4962 12 层容量最佳,过深在小样本数据集存在过拟合
Q-Former 层数 2 层 / 4 层 / 6 层 0.4880 / 0.5004 / 0.4950 4 层 Q-Former 足以平衡瓶颈过滤与表征表达力
文本编码器选择 BERT / E5 / Qwen3-Emb / all-mpnet 0.4820 / 0.4912 / 0.4950 / 0.5004 强语义句子嵌入模型(mpnet)提供最连贯的几何原型分布

关键发现

  • 指令先验直接重塑神经表征几何分布:定量度量表明,引入任务与目标指令使类内方差(Intra-class variance)从无指令状态的极度发散迅速收缩,同时类间距离(Inter-class distance)显著扩大,UMAP 投影中各类别紧密聚集在其自然语言原型周围。
  • 频带与时序双流缺一不可:在 STR 消融中,同时保留频带随机切除、双向上下文掩码与因果预测取得了最优泛化效果(OpenBMI 上达 0.8144 B.Acc),印证了脑电特征中非平稳节律与因果状态转移的强互补性。
  • 冷启动直接推理(Direct Inference)极具实用价值:在不进行任何下游微调的直接推理下,仅依赖“This is an MI task; decode Left vs. Right”即可激发模型的跨任务判别能力,丰富指令带来的增益在复杂多分类情感与精细动作识别上尤为显著。
  • 轻量紧凑架构避免过拟合:LEAF 仅用 26.42M 参数即超越了多款参数量更大的通用基础模型(如 LaBraM 与 CBraMod),表明高质量跨模态对齐远胜于单纯堆叠时序 Transformer 参数量。

亮点与洞察

  • 将离散 BCI 标签映射转化为连续自然语言语义对齐:传统脑电模型将分类任务孤立地看作数字 0/1/2 的拟合,而 LEAF 巧妙利用自然语言将“左手”、“恐惧”、“8.6Hz 闪烁”转化为语义连续体,打破了传统 BCI 跨范式不可迁移的壁垒。
  • FiLM 调制与 Q-Former 构成优雅的双重信息瓶颈:先通过 FiLM 将归一化文本指令参数化为通道尺度仿射变换,再通过 8 个可学习 Query 在交叉注意力中滤除无关神经噪声,设计紧凑且计算开销极低。
  • 冻结文本编码器的离线设计极大降低部署门槛:所有指令与文本标签的原型向量均可在离线阶段单次抽取并缓存,线上训练与推理阶段完全无需加载繁重的 LLM 权重,实现了大语言模型语义红利向端侧轻量 BCI 的无损传递。

局限与展望

  • 跨通道重采样的拓扑损失:当前方案将所有不同通道的脑电输入通过空间插值强制对齐至 65 通道 10–10 系统,对于仅有 3–8 个稀疏导联的便携式穿戴设备,插值可能引入空间平滑失真。
  • 错误指令对解码决策的误导性:附录分析发现,若向模型输入错误的欺骗性指令(如给运动想象数据输入情感识别提示),潜空间表征会被强行重塑为误导语义分布,表明模型对文本提示具有极高敏感性,未来需要设计指令置信度校准机制。
  • 未来方向:探索无导联依赖的动态图神经拓扑编码器,并将脑电大模型扩展至闭环人机交互与大语言模型自主意图解码系统。

相关工作与启发

  • vs NeuroLM:NeuroLM 采用 VQ 离散化脑电 token 并通过对抗判别器与 LLM 词表做粗粒度分布对齐,参数量庞大且需要端到端微调生成模型;LEAF 则采用判别式 Q-Former 与 FiLM 调制,保持文本编码器冻结,推理高效且对齐语义更加细粒度。
  • vs CBraMod / LaBraM:CBraMod 和 LaBraM 侧重于脑电通道间的空间架构设计与跨脑大尺度自监督预训练,但下游依然依赖传统的全连接分类头;LEAF 证明引入自然语言原型对齐不仅能替代传统分类头,还能提供强大的几何正则化先验。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次将指令条件 Q-Former 与双流谱时空重构结合,开创了语义引导的脑电基础模型新范式]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 16 个异构数据集、5 大主流范式、全方位的消融与几何表征空间可视化]
  • 写作质量: ⭐⭐⭐⭐⭐ [架构图设计清晰,数学推导完备,实验对比严谨自洽]
  • 价值: ⭐⭐⭐⭐⭐ [打破 BCI 离散标签隔阂,为通用脑机接口与多模态神经大模型提供了极具启发性的技术路线]