MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding¶

会议: NeurIPS 2026
arXiv: 2605.29850
代码: https://github.com/epflneuroailab/mirage
领域: 医学图像
关键词: 全脑 fMRI 编码、多模态基础模型、自适应层门控、原生多模态融合、自然主义电影刺激

一句话总结¶

提出全脑 fMRI 神经编码框架 MIRAGE，利用冻结的多模态基础模型 Qwen3-Omni 提取原生融合特征，并通过可学习隐式查询跨注意力门控自适应聚合各模态层级表征，结合时序 Transformer 编码器显著刷新 Algonauts 2025 全脑预测与分布外泛化 SOTA。

研究背景与动机¶

人类大脑在感知自然现实时接收的是交织融合的多模态感知流，而非孤立的单感官通道。计算神经科学的一个核心前沿是建立定量神经编码模型（encoding models），利用计算神经网络的表征来预测大脑在受到真实感官刺激时的活动反应。随着自然主义电影观影功能磁共振成像（naturalistic movie fMRI）数据集的涌现，研究人员得以捕捉动态视频画面、环境声音与对白语言之间复杂的时间协同效应。然而，绝大多数现存的多模态脑编码管线仍然将多模态融合视为后置的“下游脑映射问题”：即分别从独立的视觉模型、音频模型和语言模型中提取特征，直到后续的时间脑编码器或线性回归阶段才进行拼接（即 post-hoc fusion 事后融合）。

这种传统割裂式流水线暴露出两个关键核心矛盾。其一，多模态基础模型在联合预训练期间习得的跨模态交互表征（cross-modal interactions）本身是否更贴近人类皮层的表征组织，抑或多模态融合真的应该推迟到下游脑解码器中？其二，许多现存编码模型采用极其僵化的特征聚合策略——要么人工硬挑选某一特定层（如倒数第二层），要么按固定比例粗暴平均多个层级的特征。然而大脑皮层具有高度分工与层级特异性，不同脑区（如初级感觉区与高级联合区）对应着截然不同的特征抽象深度，僵化的层级截取极大地限制了全脑跨区域的自适应对齐能力。

为了厘清原生多模态交互对大脑预测的本质价值并解决表征深度的刚性瓶颈，本文将多模态特征融合的发生位置作为可控变量进行系统解耦。核心 idea：以统一的多模态基础模型为特征底座提取原生融合表征，并为视觉、听觉和文本流分别设计基于可学习隐式查询的跨注意力自适应层门控模块，在保留模态特异性层级深度的同时驱动共享时序 Transformer 实现全脑皮层的高保真神经编码。

方法详解¶

整体框架¶

MIRAGE 采用高度解耦且模块化的分阶段处理流程，端到端解决从自然主义多模态刺激到全脑皮层 BOLD 信号的时空映射。首先，针对对齐后的自然主义视频窗口（涵盖视频画面、环境与语音音频、时间戳对齐的字幕文本），将其输入冻结的多模态大模型 Qwen3-Omni-30B-A3B-Thinking，分别缓存语言模块中所有 \(L=48\) 层的隐藏状态。随后，视觉、音频和文本三路模态特征分别进入模态专用的自适应层门控模块（Layer Gating Pooler），每个模块利用一组可学习查询向量在层级轴上做多头跨注意力汇聚，输出表征各模态最佳深度混合的时序特征向量。各模态向量经线性投影至统一维度后沿隐藏维度拼接，并在训练期施加模态随机丢弃（Modality Dropout）以增强鲁棒性。紧接着，融合特征序列送入一个共享的 8 层时序 Transformer 脑编码器捕获长程时间上下文与血流动力学响应；最后通过被试专用的线性投射头（Subject Layer）映射至 Schaefer 1000 皮层分区，并在时间轴上通过自适应平均池化对齐到 fMRI 的重复时间（TR）采样网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然主义多模态刺激<br/>对齐视频 + 音频 + 文本字幕"] --> B["冻结多模态基础模型<br/>Qwen3-Omni 提取 48 层原生融合表征"]
    B --> C["模态自适应层门控<br/>24 个可学习隐式查询跨注意力汇聚"]
    C --> D["线性对齐与模态丢弃拼接<br/>投影至统一特征空间 + 随机丢弃 p=0.3"]
    D --> E["时序 Transformer 脑编码器<br/>8层 Transformer 建模全脑动态响应"]
    E --> F["被试专属线性投射头与时间池化<br/>输出 1000 皮层分区 BOLD 预测"]

关键设计¶

1. 原生多模态融合特征提取：解耦预训练交互与后置融合

现有方法多采用类似 TRIBE 的三模态独立特征范式（如 Llama-3.2-3B 提取文本、Wav2Vec-BERT-2.0 提取音频、V-JEPA 2 提取视频），其模态交互完全依赖下游读出网络。MIRAGE 创新性地引入统一多模态基础模型 Qwen3-Omni-30B-A3B-Thinking，将视频帧、音频波形和文本 token 在大模型底座内部的语言模块（Language Module）中进行原生上下文交互。模型直接从该模块缓存出经过充分跨模态调控的视觉、音频与文本特征张量 \(H^m \in \mathbb{R}^{L_m \times T \times d_m}\)（包含所有 48 个计算层）。这种设计不仅为大脑表征研究提供了绝对公平的消融对比（比较同一骨干网内部塔独立流与原生交互流），更直接证明了跨模态交互在预训练底座内部就已经形成了比孤立特征更具大脑泛化性的高阶表征。

2. 基于隐式查询的自适应层门控：可学习层级深度汇聚

大脑皮层各功能网络对表征抽象层次的需求各异，固定选取深层或均值池化会抹平关键细节。MIRAGE 为视觉、音频、文本三条流分别配置了独立的跨注意力层门控模块（Layer Gating Module）。每个模块维护一个由 \(n_q=24\) 个可学习向量构成的查询库 \(Q^{(m)} \in \mathbb{R}^{n_q \times d_m}\)。在每个刺激时刻 \(t\)，这些隐式查询与该模态在所有 \(L_m=48\) 层的隐藏状态键值对进行多头跨注意力计算：

\[\tilde{a}_{t}^{m,q} = \sum_{\ell=1}^{L_m} \pi_{t,\ell}^{m,q} V_{\ell,t}^m, \quad \pi_{t,\ell}^{m,q} = \mathrm{softmax}_{\ell}\left( \frac{(Q_q^{(m)})^\top K_{\ell,t}^m}{\sqrt{d_m / h}} \right)\]

随后将 \(n_q\) 个查询的汇聚结果直接沿特征维度拼接为 \(a_t^m = [\tilde{a}_{t}^{m,1} \| \dots \| \tilde{a}_{t}^{m,n_q}]\)。这一设计的精妙之处在于：各个查询可以自主特化并聚焦于不同的网络深度切片，而不是粗暴地将所有层压缩为一个加权平均标量。此外，注意力权重矩阵 \(\pi_{t,\ell}^{m,q}\) 具有高度透明的可解释性，能够以极高空间分辨率直接揭示不同感官模态在基础模型内部各层级的神经偏好分布。

3. 共享时序脑编码器与被试解耦读出：分离群体动态与个体解剖

多模态特征经线性投影和概率为 \(0.3\) 的模态丢弃（Modality Dropout）处理后，送入一个参数量充足的 8 层时序 Transformer 编码器（隐藏维度 \(D=3072\)，8 头注意力，4 倍前馈扩展）。该主干在全部 4 名被试间完全共享，并结合了绝对时序位置编码与旋转位置编码（RoPE），专注于从连续刺激流中提炼符合血流动力学响应特性的共性神经演化动力学。主干输出的上下文特征仅通过最后的被试专用线性层（Subject Layer）投影到特定的 1000 个 Schaefer 皮层分区，实现了群体时序认知表征与个体解剖几何变异的解耦，大幅降低了极小样本（\(N_S=4\)）神经数据的过拟合风险。

损失函数 / 训练策略¶

模型采用端到端方式优化，骨干网络完全冻结，仅训练层门控、投影层、时序脑编码器与被试读出头。训练损失函数为预测皮层响应与真实 fMRI 测量值之间的均方误差（MSE）：

\[\mathcal{L}_{\mathrm{MSE}} = \frac{1}{K \cdot P} \sum_{k=1}^K \sum_{p=1}^P (y_{k,p} - \hat{y}_{k,p})^2\]

优化器采用 AdamW，峰值学习率为 \(10^{-4}\)，解耦权重衰减为 \(10^{-2}\)，配合单周期余弦退火学习率调度策略（OneCycleLR，包含 10% 预热步），梯度范数截断阈值设定为 1.0。在最终提交中，MIRAGE 采用验证集 Pearson 相关系数加权的集成策略：从不同随机种子与超参数配置中挑选 15 个最佳检查点，根据各模型在每个被试、每个脑区上的验证集 Pearson 相关系数 \(\rho_{s,p}^{(k)}\) 计算温度系数为 \(\tau=0.3\) 的 Softmax 加权：

\[w_{s,p}^{(k)} = \frac{\exp(\rho_{s,p}^{(k)} / \tau)}{\sum_j \exp(\rho_{s,p}^{(j)} / \tau)}\]

实验关键数据¶

主实验¶

实验基于 CNeuroMod / Algonauts 2025 基准，涵盖 4 名被试观看电视连续剧《老友记》（Friends，S06 为验证集，S07 为同分布测试集）及跨域电影集（Movie10，分布外 OOD 测试集）。评价指标为全脑皮层分区预测与真实 BOLD 响应之间的平均 Pearson 相关系数 \(r\)。

模型类型	模型名称	验证集 (S06) \(r\)	同分布测试集 (S07) \(r\)	OOD 跨域测试集 \(r\)	OOD Sub-01	OOD Sub-02	OOD Sub-03	OOD Sub-05
线性模型	Linear (官方基线)	–	0.203	0.090	0.099	0.086	0.102	0.071
线性模型	Linear (Post-hoc Fusion)	0.211	0.204	0.104	0.115	0.103	0.111	0.087
线性模型	Linear (Native Fusion)	0.227	0.223	0.134	0.152	0.131	0.141	0.112
单模型	TRIBE v1 (SOTA 基线)	–	0.303	0.196	0.221	0.191	0.214	0.157
单模型	TRIBE v2	0.195	0.187	0.116	0.130	0.112	0.125	0.097
单模型	Brain Encoder (Post-hoc)	0.292	0.282	0.174	0.192	0.171	0.193	0.141
单模型	Brain Encoder (Native)	0.301	0.291	0.195	0.212	0.194	0.213	0.162
单模型	MIRAGE (本文单模型)	0.319	0.310	0.217	0.244	0.210	0.235	0.179
集成模型	MedARC 集成	–	0.288	0.209	0.230	0.200	0.230	0.174
集成模型	ModalityRNN 集成	–	0.313	0.209	0.223	0.207	0.227	0.180
集成模型	TRIBE v1 集成	–	0.320	0.215	0.238	0.210	0.238	0.172
集成模型	VIBE 集成	–	0.320	0.210	0.235	0.205	0.227	0.172
集成模型	MIRAGE (15-模型集成)	0.335	0.323	0.227	0.253	0.221	0.246	0.189

消融实验¶

消融实验围绕架构组件递进、模态输入组合、特征底座选择以及查询数量 \(n_q\) 展开，详细量化了各模块的收益来源。

实验切片	配置 / 变体	验证集相关系数 \(r\)	相对基线提升 / 说明
架构组件递进	原始输入特征 + 线性探针	0.227	纯线性读出，未建模深层时序关系
	引入跨注意力层门控 (Post-Gating)	0.253	自适应层级汇聚带来 \(+0.026\) 显著增益
	引入时序 Brain Encoder (Post-Encoder)	0.305	时序 Transformer 带来最大单项跃升 (\(+0.052\))
	完整模型端到端输出 (Full MIRAGE)	0.322	联合端到端优化达到峰值对齐
模态组合消融	单模态：仅文本 (Text only)	0.268	高级语义区域强，低级感觉区域弱
	单模态：仅视觉 (Vision only)	0.281	枕颞叶视觉区强
	单模态：仅音频 (Audio only)	0.254	颞上回听觉区强
	双模态：视觉 + 文本 (V + T)	0.301	明显优于任何单模态
	双模态：视觉 + 音频 (V + A)	0.298	视听多感官协同互补
	双模态：音频 + 文本 (A + T)	0.289	语言声学语义融合
	三模态完整输入 (V + A + T)	0.319	三模态展现出严格的互补非冗余特性
查询数量 \(n_q\)	\(n_q = 1\) (等价单层加权均值)	0.3134	压缩为单一加权向量破坏表达能力且方差大
	\(n_q = 4\)	0.3165	捕获 55% 的结构增益 (\(\Delta r \approx 0.0031\))
	\(n_q = 12\)	0.3184	性能已趋于平稳饱和
	\(n_q = 24\) (本文默认配置)	0.3190	兼顾准确率与计算开销的最佳平衡点
	\(n_q = 32\)	0.3197	边际提升极小 (\(\Delta r \approx 0.0007\))

关键发现¶

原生多模态融合的统治级泛化能力：在所有架构层级（线性脊回归、简单时序编码器、完整 MIRAGE）下，Qwen3-Omni 内部原生融合特征的预测性能均无一例外大幅超越独立单模态特征的后置拼接。更引人注目的是在 OOD 电影集上的分布外泛化：线性后置融合模型从测试集到 OOD 性能雪崩约 40%（0.223 跌至 0.134），而 MIRAGE 仅下降约 30%（0.310 跌至 0.217），表明原生融合在预训练中习得的多模态交互是跨场景通用的核心神经特征。
模块贡献度的量化归因：逐步线性探针实验表明，时序 Brain Encoder 贡献了最大单步涨幅（\(+0.052\)），证明复杂视听语言刺激对脑活动的激活必须显式建立时间动力学建模；跨注意力自适应层门控紧随其后贡献了 \(+0.026\) 增益，有力证实了自适应提取多深度表征的必要性。
皮层功能网络的特异性映射：空间差异分析显示，MIRAGE 相对于线性基线的提升广泛分布于全脑，其中在视觉网络（Visual，\(\Delta r \approx 0.13\)）与背侧注意网络（Dorsal Attention，\(\Delta r \approx 0.12\)）提升最为剧烈，而在边缘网络（Limbic，\(\Delta r \approx 0.04\)）提升最小。这与观影过程中需要高频追踪动态社交视觉（人物动作、注视流转）与自上而下注意力的神经认知机制高度契合。
直观可解释的模态层偏好剖析：各模态的层门控注意力权重展示出强烈的解剖与计算特异性。视觉模态呈现出极端层选择性，注意力高度聚焦在 Qwen3-Omni 的第 25–30 层之间；文本模态在第 25–30 层及更深的高阶语义层（35–40 层）均有分布；而音频模态则呈现出长程平缓弥散的分布特征。此外，所有模态在底座的前 10 层权重均接近于零，表明早期浅层词符嵌入对高级皮层响应的预测价值极低。

亮点与洞察¶

多模态融合范式的认识论反转：过去计算神经科学界普遍将多模态数据“各自提取、终端拼接”当作标准范式，本文通过严格对照证明，大模型内部经过深层 Transformer 交叉混合的原生特征本身就是对大脑多感官整合回路的极佳近似，为神经编码确立了以多模态预训练表征为中心的全新基石。
多查询跨注意力解决层级表征坍缩：与以往直接取均值或仅用单权重标量压缩层深度的做法不同，MIRAGE 采用 24 个隐式查询分别跨注意力加权并拼接，使单个模态能够同时捕捉浅层感知与深层抽象等多重深度表征，为下游任务保留了完整的层级谱系。
可复用的脑编码模块化设计：MIRAGE 实现了“冻结骨干表征提取 → 模态自适应层汇聚 → 共享时序动态建模 → 个体解剖线性读出”四层正交解耦，整套架构可无缝迁移至脑电（EEG）、脑磁图（MEG）或颅内脑电（ECoG）等不同时间尺度和信噪比的神经记录模态中。

局限与展望¶

受限于小样本被试规模：基准评测依托于 CNeuroMod 数据集的 4 名固定被试，尽管在被试内获得了出色的预测准确率，但难以对跨被试的人群泛化性与统计效力做出更广义的推论。
全层表征缓存带来的存储与 I/O 负担：为了实现自由可训练的跨注意力层门控，模型在离线阶段必须完整缓存大模型全部 48 层的时序隐藏状态（单模型全模态特征提取需耗费约 700 GPU-小时），这导致特征张量磁盘占用量大、数据加载 I/O 成本显著上升。
未来改进方向：可进一步探索被试共享的低秩个性化嵌入（Low-rank Subject Embeddings）或超网络（Hypernetwork）生成被试读出头，以实现零样本或少样本对新被试的快速神经适应；同时可将层级归因进一步下钻至细粒度皮层分区级别。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证原生多模态融合特征对全脑 fMRI 编码的决定性优势，并提出优雅可解释的隐式查询跨注意力层门控机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖同分布与分布外挑战赛基准评测、详尽的架构与模态消融、逐组件线性探针归因以及 Yeo 7 大功能网络空间分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构极其严密，概念解耦清晰，对神经科学问题的洞察深刻，图表规范详实。
价值: ⭐⭐⭐⭐⭐ 彻底重塑了多模态神经编码模型的设计基石，并在国际公认的 Algonauts 2025 基准上确立了全新的 SOTA 性能标杆。