DEFT: Disentanglement-Enhanced Fine-Tuning for EEG Foundation Models¶

会议: NeurIPS 2026
arXiv: 2610.14497
代码: https://github.com/wythedee/DEFT
领域: 计算生物
关键词: 脑电大模型、解耦表征学习、跨被试解码、适配器微调、高斯滤波推断

一句话总结¶

针对脑电大模型（EFM）预训练表征放大被试个体差异、干扰下游跨被试任务判决的痛点，本文提出在分类前先行解耦的即插即用微调适配器 DEFT，将混合 token 显式分解为任务内容与被试风格双分支并施加内在时间方差与外在自监督约束，在四大主流脑电骨干与多类下游任务上取得一致的跨被试性能跃升。

研究背景与动机¶

脑电图（EEG）具备毫秒级高时间分辨率，在情绪识别、运动想象、睡眠分期及精神疾病诊断等神经解码任务中具有不可替代的作用。近年来，脑电基础模型（EEG Foundation Models, EFMs，如 LaBraM、CBraMod、CodeBrain、CSBrain 等）通过在大规模多被试脑电语料库上进行自监督预训练，显著提升了脑电特征提取的泛化性与可扩展性，重塑了下游微调的范式。然而，脑电信号本身具有极强的个体差异，受颅骨解剖结构、神经功能皮层组织、电极接触阻抗及记录生理状态等长期稳定因素影响，原生就携带显著的被试特异性痕迹。

线性探测（linear probing）实验揭示了一个令人担忧的表征放大现象：相较于原始脑电，冻结的 EFM 预训练 token 虽然轻微增强了任务标签的区分度，却更剧烈地放大了被试身份（subject identity）的线性可分性。标准的微调做法通常直接在骨干输出的混合 token 顶层接入轻量分类头（如池化加全连接层）。此时预测头承受了双重过载负担——它必须完全依赖有限的下游任务监督信号，一边在同一个表征空间中压制占主导地位且极易被网络投机利用的被试捷径特征，一边艰难恢复跨被试不变的任务判决边界。在跨被试（cross-subject）评估协议下，这种结构性耦合导致分类器将宝贵容量消耗在纠正表征偏差上，极易产生过拟合与退化。

面对混合表征中被试信息喧宾夺主的困境，本文的核心切入点是转变微调范式：不让下游分类头单打独斗去过滤被试噪声，而是在骨干与分类头之间插入轻量级解耦适配器，在进入分类头之前将表征解耦。核心 idea：提出即插即用适配器 DEFT，将混合预训练 token 分解为任务内容与被试风格双分支，利用递归高斯推断交互消除重叠，结合时域方差内在约束与被试对比外在锚定，实现「先解耦、后分类」的高效跨被试自适应。

方法详解¶

整体框架¶

DEFT 作为插入在冻结或可微调 EFM 骨干与下游分类头之间的轻量级后置适配器。对于输入的脑电试验信号 \(\mathbf{x}\in\mathbb{R}^{T\times N_{\mathrm{ch}}}\)，EFM 骨干将其映射为混合 token 张量 \(\mathbf{Z}\in\mathbb{R}^{M\times W\times D}\)，其中 \(M\) 为通道组维度，\(W\) 为时间窗数量，\(D\) 为特征维度。DEFT 首先在通道组维度均值汇聚得到紧凑时间窗序列 \(\bar{\mathbf{Z}}\in\mathbb{R}^{W\times D}\)。

随后，模型通过三个连续阶段完成特征解耦与预测：首先由递归高斯推断器（Recursive Gaussian Disentangler）通过对偶减法与静态/动态状态转移交替迭代，从混合序列中推断出时间窗级的内容特征 \(\mathbf{C}^{\mathrm{win}}\) 与风格特征 \(\mathbf{S}^{\mathrm{win}}\)；接着通过残差重新注入机制（Residual Reinjection）将通道组细节信息补回，还原为完整网格粒度的内容 token \(\mathbf{C}\) 与风格 token \(\mathbf{S}\)；最后仅将内容分支 \(\mathbf{C}\) 输入下游任务分类头完成预测，同时在训练阶段引入时域方差正则、被试感知对比学习与 FiLM 调制重构损失，协同引导两分支实现精准的角色分工。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["混合预训练 Token 网格<br/>Z ∈ R^(M×W×D)"] --> POOL["通道组均值池化<br/>Z_bar ∈ R^(W×D)"]
    POOL --> RGD["1. 递归高斯推断器<br/>对偶减法 + 静态/动态转移"]
    RGD --> RES["2. 残差重新注入<br/>恢复空间细节保留通道差"]
    RES --> BRANCH_C["任务内容分支 C"]
    RES --> BRANCH_S["被试风格分支 S"]
    BRANCH_C --> LOSS_CLS["下游任务分类预测<br/>L_cls: 交叉熵"]
    BRANCH_C --> LOSS_VAR["3. 时间方差内在约束<br/>L_ord + L_sty: 动态变异 vs 稳态抑制"]
    BRANCH_S --> LOSS_VAR
    BRANCH_S --> LOSS_EXT["4. 被试感知外在约束<br/>L_con: 被试对比 + L_rec: FiLM重构"]
    BRANCH_C --> LOSS_EXT

关键设计¶

1. 递归高斯推断器：交替减法与精度加权双分支滤波

针对内容与风格在混合观测中高度交织的难题，该设计借鉴了语音 Xi-vector 精度加权线性高斯聚合与卡尔曼滤波思想。对于每个时间窗的观测 \(\bar{z}_w\)，模型预测其观测均值 \(e_w = f_\mu(\bar{z}_w)\) 与对角精度阵 \(\Lambda_w = \text{diag}(\exp(f_\lambda(\bar{z}_w)) + \epsilon)\)，用于自适应衰减接触不良或伪影干扰维度。推断的核心在于对偶减法机制：各分支在更新前，显式从混合观测中扣除另一分支当前的估计值，即 \(\tilde{e}_w = e_w - \gamma_w r_w\)，其中 \(\gamma_w \in (0, 1)\) 为可学习门控，数学上保证了两分支内积减少 \(\gamma_w \|r_w\|_2^2\)。

在状态转移建模上引入非对称先验：被试风格表征假设在单次试验内处于平稳生理稳态，采用静态恒等转移 \(T_w = I\)；而任务内容表征承载认知或动作状态的剧烈时序波动，采用动态注意力混合转移算子 \(T_w = G_w = \sum_{n=1}^N \alpha_{w,n} G_n\)，由前一状态通过门控网络软路由组合 \(N\) 个可学习转移基。高斯后验更新通过封闭解精度加权融合观测与先验预测：

\[h_w = (\Pi_w + \tilde{\Lambda}_w)^{-1} (\Pi_w T_w h_{w-1} + \tilde{\Lambda}_w \tilde{e}_w)\]

推断流程分四步交替展开：先由粗粒度静态与动态算子产出初始估计 \((s_w^{(0)}, c_w^{(0)})\)，再分别以对方为对偶项执行精细滤波，得到高保真的时间窗因子 \(\mathbf{C}^{\mathrm{win}} = [c_1, \dots, c_W]\) 和 \(\mathbf{S}^{\mathrm{win}} = [s_1, \dots, s_W]\)。

2. 残差重新注入：兼顾时间窗解耦与通道组空间细节

在时间窗级别完成滤波后，若直接丢弃通道组维度会导致严重的空间拓扑信息丢失。该设计构建了差分残差注入映射：对于属于通道组 \(m\) 与时间窗 \(w\) 的原始 token \(z_{m,w}\)，提取其偏离该时间窗通道均值的空间高频残差 \((z_{m,w} - \bar{z}_w)\)，并分别与内容向量 \(c_w\) 和风格向量 \(s_w\) 相加：

\[z^c_{m,w} = (z_{m,w} - \bar{z}_w) + c_w, \qquad z^s_{m,w} = (z_{m,w} - \bar{z}_w) + s_w\]

这种残差结构既让内容和风格主干吸收了时间维度上的纯化信息，又无损保留了脑电电极排列所固有的局部通道空间对比，产出尺寸保持为 \(M\times W\times D\) 的内容张量 \(\mathbf{C}\) 与风格张量 \(\mathbf{S}\)。下游分类头 \(h_{\mathrm{cls}}(\cdot)\) 仅挂载在 \(\mathbf{C}\) 上，从机制上切断被试身份信息对判决路径的直接渗透。

3. 时域方差内在约束：以无监督时序动态性界定表征角色

为了在缺乏细粒度神经生理标签时自主约束内容与风格的物理意义，本文设计了基于时域方差的软先验正则。定义序列方差 \(\text{Var}(\mathbf{H}) = \frac{1}{W} \sum_{w=1}^W \|h_w - \bar{h}\|_2^2\)。由于神经事件（如想象动作诱发的去同步、事件相关电位）具有突发性和时变性，而个体特征（解剖与基础节律）在数秒试验内高度稳定，模型通过排序合页损失与风格稳定惩罚强加物理约束：

\[\mathcal{L}_{\mathrm{ord}} = \max\left(0, m + \text{Var}(\mathbf{S}) - \text{Var}(\mathbf{C})\right), \qquad \mathcal{L}_{\mathrm{sty}} = \text{Var}(\mathbf{S})\]

其中 \(m\) 为预设边际。该损失的梯度推导表明，\(\mathcal{L}_{\mathrm{ord}}\) 激活时会主动推动内容时间窗远离其均值（拉大动态变异），同时迫使风格特征聚拢向其序列均值；\(\mathcal{L}_{\mathrm{sty}}\) 则进一步对风格时间窗施加绝对收缩惩罚，彻底消除风格分支内部的类内时变抖动。

4. 被试感知对比与重构外在锚定：语义角色分配与信息守恒

仅有时域方差约束可能导致风格分支坍缩为无效常数，因而需要外部先验对其赋予明确的生理语义。首先引入被试感知对比损失 \(\mathcal{L}_{\mathrm{con}}\)，利用训练集中标注的被试 ID（推理阶段完全不需要），在批次内通过被试平衡采样器构造正负样本对。将风格分支全局时间均值池化为试验级特征 \(\mathbf{s}^* = \frac{1}{W}\sum_{w=1}^W s_w\) 后，拉近同一被试不同试验的风格表征，推远跨被试样本。

同时，为防止解耦过程中丢失脑电本身的原始神经动力学细节，设计了基于特征特征仿射调制（FiLM）的轻量重构分支：由样本级风格向量预测缩放与平移系数 \(\lambda, b = g_{\mathrm{film}}(\mathbf{s}^*)\)，并对窗口级内容向量 \(c_w\) 进行逆向仿射变换生成重构 \(\hat{z}_w = \lambda \odot c_w + b\)，计算与混合特征的均方误差损失 \(\mathcal{L}_{\mathrm{rec}}\)。这种极简的参数化条件回归迫使内容向量保留可重构的完整时空动态，而风格向量则专注编码全局被试基底，实现了优雅的互补信息守恒。

损失函数 / 训练策略¶

DEFT 的总体微调目标函数整合了下游任务监督与解耦正则项：

\[\mathcal{L} = \mathcal{L}_{\mathrm{cls}} + \lambda_{\mathrm{ord}} \mathcal{L}_{\mathrm{ord}} + \lambda_{\mathrm{sty}} \mathcal{L}_{\mathrm{sty}} + \lambda_{\mathrm{con}} \mathcal{L}_{\mathrm{con}} + \lambda_{\mathrm{rec}} \mathcal{L}_{\mathrm{rec}}\]

其中 \(\mathcal{L}_{\mathrm{cls}} = \text{CE}(h_{\mathrm{cls}}(\mathbf{C}), y)\) 仅经由内容分支回传梯度。优化器采用 AdamW，批大小为 64，学习率设为 \(1\times 10^{-4}\)，权重衰减 0.05，训练 20 个 epoch。骨干网络与适配器以端到端方式协同更新。对于代表性骨干 CBraMod 和 LaBraM，超参数通常设为 \(\lambda_{\mathrm{ord}}=0.1, \lambda_{\mathrm{sty}}=0.01\sim 0.02, \lambda_{\mathrm{con}}=0.2, \lambda_{\mathrm{rec}}=0.02\)；对比学习温度参数 \(\tau=0.07\)。

实验关键数据¶

主实验¶

在严格的被试独立（subject-disjoint）跨被试协议下，评估覆盖四大代表性 EFM 骨干和六大多样化下游任务。主实验结果如表所示（展示多随机种子均值±标准差）：

骨干模型	评估配置	BCIC-IV-2a (运动想象, 4类) B-ACC / Kappa / F1	FACED (情绪识别, 9类) B-ACC / Kappa / F1	MentalArith. (心算负荷, 2类) B-ACC / ROC-AUC / PR-AUC	Mumtaz2016 (抑郁症诊断, 2类) B-ACC / ROC-AUC / PR-AUC
CodeBrain	Vanilla DEFT (本文) 增益 (Delta)	0.3678 / 0.1570 / 0.2980 0.4621 / 0.2828 / 0.4318 +0.0943 / +0.1258 / +0.1339	0.5720 / 0.5156 / 0.5719 0.5870 / 0.5297 / 0.5799 +0.0150 / +0.0141 / +0.0080	0.6351 / 0.7594 / 0.5663 0.7267 / 0.8080 / 0.5785 +0.0917 / +0.0486 / +0.0122	0.9045 / 0.9775 / 0.9814 0.9090 / 0.9701 / 0.9770 +0.0044 / -0.0074 / -0.0045
CBraMod	Vanilla DEFT (本文) 增益 (Delta)	0.4630 / 0.2840 / 0.4332 0.5579 / 0.4105 / 0.5522 +0.0949 / +0.1265 / +0.1191	0.5387 / 0.4770 / 0.5387 0.6005 / 0.5467 / 0.6002 +0.0618 / +0.0697 / +0.0615	0.6316 / 0.7224 / 0.5378 0.7292 / 0.8142 / 0.6131 +0.0976 / +0.0918 / +0.0754	0.8531 / 0.9764 / 0.9779 0.9473 / 0.9919 / 0.9935 +0.0942 / +0.0155 / +0.0156
LaBraM	Vanilla DEFT (本文) 增益 (Delta)	0.5434 / 0.3912 / 0.5349 0.5671 / 0.4228 / 0.5601 +0.0237 / +0.0316 / +0.0252	0.5336 / 0.4727 / 0.5351 0.5409 / 0.4820 / 0.5462 +0.0072 / +0.0093 / +0.0112	0.7198 / 0.7857 / 0.6088 0.7236 / 0.7753 / 0.5228 +0.0038 / -0.0104 / -0.0860	0.9109 / 0.9808 / 0.9836 0.9266 / 0.9849 / 0.9862 +0.0157 / +0.0041 / +0.0026
CSBrain	Vanilla DEFT (本文) 增益 (Delta)	0.5148 / 0.3530 / 0.4980 0.5448 / 0.3931 / 0.5345 +0.0301 / +0.0401 / +0.0365	0.4169 / 0.3441 / 0.4031 0.5748 / 0.5195 / 0.5820 +0.1579 / +0.1754 / +0.1789	0.5510 / 0.7266 / 0.4860 0.6319 / 0.7252 / 0.4201 +0.0809 / -0.0013 / -0.0659	0.8939 / 0.9804 / 0.9835 0.9220 / 0.9869 / 0.9884 +0.0281 / +0.0066 / +0.0049

(注：在全部 24 组骨干-数据集对比中，DEFT 取得平均平衡准确率 +0.0460 的显著提升，95% 置信区间为 [0.0240, 0.0745]。)

消融实验¶

在 CBraMod 骨干上固定随机种子 0–2，针对 DEFT 各核心组件的平衡准确率（B-ACC）消融结果如下：

数据集	随机猜测水平	Full DEFT	去除风格对比 (w/o StyleCL)	去除方差排序 (w/o Invar.)	去除方差惩罚 (w/o VarRatio)	去除高斯滤波 (w/o Gaussian)	去除特征重构 (w/o Rec.)
BCIC-IV-2a	0.250	0.5579±0.0310	0.4638±0.0170	0.3973±0.0664	0.3808±0.0071	0.3782±0.0198	0.4615±0.0477
FACED	0.111	0.6005±0.0101	0.5931±0.0072	0.5992±0.0011	0.5976±0.0027	0.5998±0.0087	0.6042±0.0066
MentalArith.	0.500	0.7292±0.0059	0.5830±0.0367	0.6549±0.0478	0.5687±0.0527	0.5958±0.0321	0.6135±0.0295
BCIC-Speech	0.333	0.6894±0.0172	0.4908±0.0034	0.4858±0.0082	0.4870±0.0109	0.4972±0.0076	0.4776±0.0120
Mumtaz2016	0.500	0.9473±0.0142	0.8286±0.0678	0.9049±0.0475	0.7581±0.1772	0.9126±0.0114	0.8760±0.0329
ISRUC-S1	0.200	0.7818±0.0080	0.7897±0.0012	0.7849±0.0019	0.7838±0.0121	0.7856±0.0057	0.7782±0.0090

关键发现¶

高斯滤波推断与方差排序是性能基石：在运动想象（BCIC-IV-2a）上，去除高斯递归推断器导致 B-ACC 从 0.5579 断崖式下跌至 0.3782（-0.1797），去除时域方差排序损失同样导致暴跌至 0.3973，证明了对于高度依赖瞬态脑电调制规律的认知任务，显式时变动态建模与对偶残差减法不可或缺。
被试对比损失有效锁定个体扰动：在心算、想象语音解码及抑郁症分类中，移除被试对比学习分别导致 14.6%、19.8% 和 11.9% 的绝对性能下降，表明显式拉近同被试表征能强有力地将冗余特征抽离至风格流，还内容流以高纯度。
任务对解耦机制的依赖存在异质性：睡眠分期（ISRUC-S1）主要由数分钟甚至数十分钟的宏观脑波演变主导，其单次试验时长本身较长且生理稳态定义不同，因此各解耦组件的消融波动显著小于瞬时认知与情感任务。
线性探测验证功能特化：冻结探测显示，内容分支在任务标签探测上的准确率系统性高于风格分支（如 Mumtaz2016 上内容 0.9759 vs 风格 0.9298），而风格分支在被试身份再识别上显著占优（0.1999 vs 0.0633），强有力地证实了解耦设计达成了预期的物理分工。

亮点与洞察¶

将卡尔曼式递归高斯推断与深度特征结合：利用对偶交替减法在推断前直接削减特征重叠，配合学习对角精度抑制伪影通道，用极小的参数量实现了高保真概率解耦。
无监督时序方差物理先验：敏锐抓住「脑状态动态时变、个体生物特征短时恒定」的脑电先验，巧妙利用方差排序合页损失约束表征流向，摆脱了对复杂生成对抗判别器的依赖。
推理期完全零依赖被试标签：虽然训练期利用了被试 ID 构建对比损失与采样，但在测试推断时只需将脑电输入内容分支即可直接预测，具备天然的即插即用泛化能力。

局限与展望¶

时序方差先验对长期性认知状态可能存在潜在冲突：对于某些持续性稳态认知负荷或慢性病特异性神经表征，任务标签本身在时间窗口上可能缺乏足够的方差，此时若方差权重设置过大可能导致部分静态任务线索被误划入风格分支。
仍依赖训练集被试标签构建对比正样本：若下游数据集仅包含单被试单样本或匿名混合采集，被试对比分支将被迫退化；未来可探索完全无监督聚类指导的风格锚定机制。
通道拓扑信息主要以通道间残差形式保留：目前高斯推断器主要在时间窗维度展开，未深度融合更精细的空间脑区图拓扑先验。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将高斯滤波精度推断与时间方差物理先验引入脑电大模型微调，角度新颖且扎实)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 4 大脑电骨干、6 大代表性数据集及全套跨被试/跨种子/消融与探测评测)
写作质量: ⭐⭐⭐⭐⭐ (数学推导严密清晰，动机剖析深刻到位，表征几何验证极具说服力)
价值: ⭐⭐⭐⭐⭐ (即插即用解决脑电领域老大难的跨被试过拟合问题，对脑机接口下游落地实用价值极高)