RABBIT: Rapidly Adaptive BOLD Foundation Model via Brain-Tuning for Accurate Zero-Shot Decoding¶

会议: NeurIPS 2026
arXiv: 2607.05171
代码: https://github.com/bridge-ai-neuro/rabbit
领域: 其他
关键词: 脑微调 (Brain-Tuning), fMRI 编码模型, 基础模型, 零样本预测, 少样本自适应

一句话总结¶

本文提出了 RABBiT，一种紧凑的音频到 fMRI 基础模型，通过 LoRA 脑微调语音主干、学习区域特异性时间注意力的时间大脑 Transformer 以及解耦群体共享与个体特异性成分的低秩分解（SID），在 324 名未见被试上实现了超越现有 SOTA 的零样本群体响应预测，并仅需 10 分钟校准数据即可实现高精度的个体少样本自适应。

研究背景与动机¶

构建能够精确模拟自然语言在大脑中表征的计算模型是计算神经科学的核心目标。然而，大脑对语言的理解高度依赖于情境与刺激输入，并在不同个体间展现出巨大的特异性差异：初级听觉皮层在不同听者间表现出高度一致的神经激活，而高阶语言区和额顶联合皮层则呈现出显著的个体异质性。面对这种“跨刺激与跨被试双重泛化”的难题，现有的 fMRI 脑编码方法陷入了两难境地：传统的体素级岭回归（Voxel-wise Ridge Regression）模型需要为每个被试单独拟合海量的高维参数，既无法进行跨被试零样本预测，也无法在有限校准数据下高效迁移；近年来兴起的全脑基础模型（如 TRIBEv2）虽然探索了跨被试零样本预测，但其参数规模庞大、空间分辨率较粗，且需要微调大型组件才能适应新个体，难以实现轻量且精准的快速自适应。

这种困境背后的核心矛盾在于：群体级共享表征的可扩展性与个体级特异性表征的高维复杂性难以兼得。纯粹的群体平均读出头虽然参数可控，但抹杀了高阶脑区真实且系统的个体差异；而完全解耦的独立被试读出头则会导致参数量随被试数量和皮层分辨率线性暴增，并在数据受限时严重过拟合。实证分析表明，高阶语言区在留一被试相关性分析中表现出剧烈性能衰减，证明其包含强烈的特异性结构，但这种结构并非随机噪声，而是具有低秩特性的系统性偏离。

针对这一瓶颈，本文的切入角度是将皮层响应在表征层面进行结构化解耦——将语音特征到神经激活的映射解耦为全局共享的群体流形与紧凑的个体偏差流形，并结合端到端可学习的皮层时间路由机制。核心 idea：通过 LoRA 脑微调的语音主干提取神经特异性声学表征，引入时间大脑 Transformer（TBT）学习 ROI 级别的动态时间注意池化，并构建低秩共享-特异性分解（SID）读出头，在保持约 12.9M 轻量参数的同时，实现高质量的零样本群体响应预测与仅需极少校准参数的快速个体自适应。

方法详解¶

整体框架¶

RABBiT 的整体预测流水线由三个紧密协同的模块组成：首先，输入的连续自然语音波形被送入经过 LoRA 脑微调的自监督语音模型（Wav2Vec 2.0-base），以 50 Hz 的帧率输出高保真的语音特征序列；随后，时间大脑 Transformer（Temporal Brain Transformer, TBT）利用针对 30 个双侧大脑兴趣区（ROI）的自适应查询向量（Query），在语音特征的时间维度上执行交叉注意力机制，为每个脑区动态汇聚时间上下文，输出脑区级潜在表征；最后，共享-特异性分解（Shared-Idiosyncratic Decomposition, SID）模块将每个 ROI 的潜在向量通过群体共享基底与个体偏差基底并行映射至高分辨率皮层表面（~41K 顶点），完成对全脑 fMRI 信号的精准解码与预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入自然语音波形<br/>16 kHz 连续音频"] --> B["脑微调语音主干<br/>Wav2Vec 2.0 + LoRA (r=8)"]
    B -->|50 Hz 密集语音表征| C["时间大脑 Transformer<br/>ROI 查询向量交叉注意力池化"]
    C -->|ROI 级潜在表征 z_i| D["共享-特异性分解 (SID)<br/>低秩群体基底 + 个体偏差基底"]
    D -->|零样本: 群体平均偏差 / 训练: 个体分支| E["高分辨率皮层响应预测<br/>fsaverage6 表面 ~41K 顶点"]

关键设计¶

1. 脑微调语音主干：端到端适配神经响应的高频声学表征

通用的自监督语音模型（如预训练的 Wav2Vec 2.0）虽然蕴含丰富的声学和音位特征，但其表征空间与大脑皮层的实际激活模式存在显著的语义和动态偏差。若直接冻结语音特征并仅训练下游读出头，模型在跨被试预测时的表现会受到严重制约。为了使底层声学特征直接对齐皮层激活，RABBiT 将参数高效的 LoRA（Low-Rank Adaptation）适配器无缝嵌入到 Wav2Vec 2.0-base（90M 参数）的每个注意力线性投影层中（设置秩 $r=8$），仅增加约 0.6M 可训练参数。反向传播梯度从最终的皮层损失直接穿透读出头与时间 Transformer，驱动底层语音表征向大脑神经反应流形对齐。在前 3 个训练轮次中，主干网络完全冻结以稳定上层 Transformer 和 SID 读出头的初始化，随后端到端解冻 LoRA 进行协同优化，在极小参数增量下显著提升下游预测精度。

2. 时间大脑 Transformer：区域特异性动态时间路由机制

传统体素编码模型通常采用固定的血流动力学响应函数（HRF）卷积或粗暴的滑动窗口平均（Fixed Temporal Pooling），然后为每个皮层体素独立拟合回归权重。这种方式完全忽略了不同脑区在认知层级上的时间积分窗口差异（例如初级听觉区关注毫秒级瞬时声学特征，而额下回高阶语言区依赖秒级的长程语境整合）。TBT 设计了 30 个可学习的 ROI 查询向量 $q_i \in \mathbb{R}^{d_o}$（对应 30 个双侧 HCP-MMP1 脑区），采用深度为 $L=2$、头数 $H=8$、隐藏维度 $d_o=256$ 的跨注意力架构。每个 ROI 查询首先通过自注意力机制实现脑区间全局状态协同，随后跨注意力机制自适应地聚焦于 50 Hz 语音特征序列的特定时间片段，学得属于该脑区的特异性注意力轮廓 $\alpha_{i,\cdot}$。这种设计彻底摆脱了体素级独立拟合的繁重参数负担，不仅在数学上统一了全脑的区域级潜在表征 $z_i \in \mathbb{R}^{d_o}$，更令人惊喜地在无监督情况下自主涌现出从初级听觉皮层（A1）向高阶语言脑区的皮层组织层次结构。

3. 共享-特异性分解（SID）：低秩解耦群体流形与个体特异性偏差

面对个体间皮层几何和功能激活的异质性，传统的独立被试头会使参数量随被试数暴增，而单一线性头则丧失了个体适应能力。SID 创新性地将第 $i$ 个脑区（拥有 $V_i$ 个体素）中第 $s$ 个被试的神经激活向量 $\hat{y}^{(s)}_i \in \mathbb{R}^{V_i}$ 建模为一个低秩群体共享成分与一个紧凑个体特异性偏差成分的叠加： $$\hat{y}^{(s)}_{i} = \pi_{i}(z_{i})\,\Phi_{i} + \rho_{i}(z_{i})\,\Delta_{i,s}$$ 其中 $\Phi_i \in \mathbb{R}^{M \times V_i}$ 为捕获跨被试群体一致性的共享基底（设定秩 $M=100$，可覆盖 $99.3\%$ 的皮层方差），$\Delta_{i,s} \in \mathbb{R}^{R \times V_i}$ 为刻画个体系统性偏离的特异性偏差基底（设定秩 $R=15$ 作为正则化预算）；$\pi_i(z_i) \in \mathbb{R}^M$ 和 $\rho_i(z_i) \in \mathbb{R}^R$ 分别为线性投影映射。在初始化阶段，$\Phi_i$ 通过训练被试均值响应的 PCA 正交化构造，$\Delta_{i,s}$ 则通过对被试残差进行 SVD 截断获得。在零样本推理时，未知被试的偏差基底直接替换为训练集均值 $\bar{\Delta}_i = \frac{1}{S}\sum_{s} \Delta_{i,s}$，保留群体的典型结构；而在少样本个体校准时，只需完全冻结全部共享结构与基底矩阵，仅微调紧凑的偏差系数映射 $\rho_i$（全脑 30 个 ROI 累计仅约 115K 参数），从而在短短数分钟校准数据下杜绝过拟合，实现极速自适应。

损失函数 / 训练策略¶

RABBiT 的端到端训练在 CourtoisNeuroMod Friends 数据集（$S=6$ 名被试，约 565K 个 TR，共 234 小时）上进行。优化目标综合了尺度敏感的均方误差、形态敏感的皮尔逊相关系数损失以及防止基底过度漂移的锚定正则项： $$\mathcal{L} = \sum_{i} \left( s_{i}\,\mathcal{L}^{\mathrm{L2}}_{i} + \lambda_{\mathrm{corr}}\,\mathcal{L}^{\mathrm{corr}}_{i} \right) + \mathcal{L}_{\mathrm{anchor}}$$ 其中 $\mathcal{L}^{\mathrm{L2}}_i$ 为第 $i$ 个 ROI 预测与真实 z-score 标准化 fMRI 之间的体素级 MSE 损失；$\mathcal{L}^{\mathrm{corr}}_i = 1 - \frac{1}{V_i}\sum_{v \in i}\mathrm{corr}_t(\hat{y}[t,v], y[t,v])$ 为相关性损失；$s_i$ 为每个 ROI 独立学习的自适应正向标量权重，用于动态吸收不同脑区间天然的信噪比差异；超参数 $\lambda_{\mathrm{corr}} = 1.0$。基底锚定项定义为： $$\mathcal{L}_{\mathrm{anchor}} = \lambda_{\Phi}\sum_{i}\|\Phi_{i} - \Phi_{i}^{(0)}\|_{F}^{2} + \lambda_{\Delta}\sum_{i,s}\|\Delta_{i,s} - \Delta_{i,s}^{(0)}\|_{F}^{2}$$ 采用 $\lambda_{\Phi} = \lambda_{\Delta} = 10^{-3}$，有效约束基底不脱离初始经验子空间。模型使用 AdamW 优化器，基础学习率为 $1\times 10^{-4}$，批大小为 256，配合 3 轮预热和线性衰减，总训练耗时在单张 H200 GPU 上仅约 10 小时。

在少样本自适应阶段，目标函数切换为纯相关性目标加参数微调锚定正则项： $$\mathcal{L}_{\mathrm{fs}} = \sum_{i}\mathcal{L}^{\mathrm{corr}}_{i}(\rho_{i}) + \lambda_{\rho}\sum_{i}\|\rho_{i} - \rho_{i}^{(0)}\|_{F}^{2}$$ 超参数固定为 $\lambda_{\rho} = 5\times 10^{-5}$，仅优化约 115K 个系数参数即可实现对新被试的快速对齐。

实验关键数据¶

主实验¶

主实验在两个完全未见过的独立自然语言听力队列上展开零样本群体响应评测：Narratives（7 个长故事，275 名独立被试）以及 Le Petit Prince 英语有声书（49 名被试，跨不同扫描仪机型），涵盖总计 324 名未见被试。评价指标为预测响应与被试群体均值响应之间的皮尔逊相关系数 $r_{\mathrm{group}}$。

数据集 / 队列	评估设置	RABBiT (本文)	TRIBEv2 (SOTA)	线性基线	留一被试一致性 (ISC)	优势说明
Narratives (275 被试)	零样本 ($r_{\mathrm{group}}$)	0.298	0.231	0.112	0.245	超越 SOTA 约 29%，超人类 ISC 上限
Le Petit Prince (49 被试)	零样本 ($r_{\mathrm{group}}$)	0.284	0.224	0.098	0.238	跨扫描仪机型仍稳定超越基线
21styear (19 被试)	5 分钟少样本 ($r$)	0.149	0.118 (零样本)	0.110 (脑微调 Ridge)	—	仅需 5 分钟校准即显著超越零样本
21styear (19 被试)	10 分钟少样本 ($r$)	0.160	0.118 (零样本)	0.134 (脑微调 Ridge)	—	参数量少 3 个数量级但性能大幅领先
21styear (19 被试)	40 分钟少样本 ($r$)	0.182	0.118 (零样本)	0.174 (脑微调 Ridge)	—	持续领先全量体素级 Ridge 模型

消融实验¶

为了严格检验 RABBiT 各核心设计的必要性，作者在 Le Petit Prince 零样本基准以及 21styear 队列少样本任务上进行了全面的模块剥离与替代实验。

配置	核心指标 (语言区 $r_{\mathrm{group}}$)	相对完整模型变化	说明
RABBiT 完整模型	0.284	基准 (0.0%)	完整端到端模型 (~12.9M 参数)
移除主干脑微调 (w/o Brain-tuning)	0.114	-59.9% ($p < 0.001$)	冻结预训练语音主干，性能断崖式下跌
移除时间大脑 Transformer (w/o TBT)	0.242	-14.8% ($p < 0.05$)	替换为简单的线性池化读出头
独立被试头替换 SID (Per-Subject Heads)	0.285	+0.4% ($p > 0.05$)	参数暴增约 5-6 倍，零样本未见显著收益
替换为更大语音主干 (WavLM-large 317M)	0.286	+0.7% ($p > 0.05$)	参数扩充 3.5 倍以上但提升微弱
少样本移除 SID (No-SID Direct Fine-tune, 5 min)	0.118	-20.8% ($p < 0.001$)	缺乏低秩基底约束，小样本微调发生灾难性过拟合

关键发现¶

脑微调贡献最为显著：消融结果显示，去除 Wav2Vec 2.0 主干的 LoRA 脑微调会导致零样本预测相关性暴跌约 60%（从 0.284 跌至 0.114），这确凿地证实了预训练模型的纯声学特征与大脑皮层的语言语义表征存在显著鸿沟，端到端的神经信号回传至关重要。
SID 结构提供了极为坚固的正则化保护：在少样本自适应场景下，若去除 SID 结构而直接微调 TBT 后的全连接读出头（No-SID Direct），在 5 分钟（200 TRs）校准数据下模型相关性直接从零样本基准的 0.136 崩塌至 0.118；而拥有 SID 偏差约束的 RABBiT 则逆势上升至 0.149。这证明低秩基底将个体校准限制在合理的生理偏离子空间中，有效规避了少样本下的过拟合陷阱。
高阶语言脑区展现出惊人的自适应弹性：在 10 分钟少样本校准下，性能增益最为集中的区域并非听觉区，而是额下回（IFG）、缘上回、角回、背外侧额中回（MFG/DLPFC）以及内侧前额叶（mPFC），相对增益高达 30% 至 90%。这一分布与前述“共享-特异性诊断”所揭示的高阶脑区高度特异的现象高度吻合，证明少样本自适应成功捕获了有结构的个体差异。

亮点与洞察¶

低秩共享-特异性分解实现了精度与参数量的双重突破：SID 将每个脑区的高维体素激活分解为秩为 100 的共享基底和秩为 15 的个体基底，使得个体自适应时的可训练参数压缩至仅约 115K，较传统体素级 Ridge 模型降低了整整 3 个数量级，却在低样本下取得了超越全量模型的解码性能。
ROI 查询在无监督下自发涌现功能拓扑层级：从初级听觉皮层（A1）出发，沿着 TBT 学习到的 ROI 查询向量进行最近邻余弦相似度贪婪游走，轨迹严格沿着“A1 → 听觉带状区 → 上颞沟/上颞回（STG/STS）→ 额颞高阶语言区”依序延伸。这证明注意力机制在未接受任何解剖空间监督的情况下，自发重构了大脑处理言语信号的层级组织规律。
具备强大的 In-silico 语言网络定位与虚拟实验潜力：在未经任何人工局部定位器微调的情况下，将完整语音与退化失真语音作为输入送入模型，所计算出的 Intact - Degraded 对比激活图在左侧前颞叶（$t=+5.7$）、角回（$t=+6.2$）、额中回（$t=+5.8$）呈现出极强的典型左半球偏侧化语言网络激活，可作为高度保真的“硅基实验模型生物”（In-silico Model Organism）。

局限与展望¶

输入模态局限于连续自然听觉语音：当前模型仅支持音频输入，未涵盖阅读文字、多模态视听交互以及对话情境中的认知解码，未来需探索跨模态特征融合在全脑各网络中的泛化机制。
跨数据集混合训练的负迁移现象仍待解决：作者在尝试将 Friends 数据集与 Moth Radio Hour 混合训练时发现，零样本预测性能反而出现了约 8% 的相对回落，提示不同采集中心和刺激范式间的数据集异质性需要专门的域自适应策略。
非语言控制脑区的预测仍处于随机水平：在视听输入被剥离为纯音频时，模型对视皮层、运动皮层等控制脑区的预测均接近基线，如何建立全脑统一的跨模态多任务协同基础模型仍是未来的重要探索方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出 TBT 区域注意力与 SID 低秩分解机制，在结构上完美契合大脑皮层的生理一致性与特异性特征。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 324 名跨队列、跨扫描仪的未见被试，兼具零样本对比、少样本时间饱和曲线、组件消融以及脑功能定位分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，动机推导与实证分析环环相扣，图表详实且极富神经科学解释性。
价值: ⭐⭐⭐⭐⭐ 为计算神经科学与神经语言学提供了极具潜力的轻量化基础模型，彻底降低了个体 fMRI 数据拟合的高昂成本。

数据集 / 队列	评估设置	RABBiT (本文)	TRIBEv2 (SOTA)	线性基线	留一被试一致性 (ISC)	优势说明
Narratives (275 被试)	零样本 (\(r_{\mathrm{group}}\))	0.298	0.231	0.112	0.245	超越 SOTA 约 29%，超人类 ISC 上限
Le Petit Prince (49 被试)	零样本 (\(r_{\mathrm{group}}\))	0.284	0.224	0.098	0.238	跨扫描仪机型仍稳定超越基线
21styear (19 被试)	5 分钟少样本 (\(r\))	0.149	0.118 (零样本)	0.110 (脑微调 Ridge)	—	仅需 5 分钟校准即显著超越零样本
21styear (19 被试)	10 分钟少样本 (\(r\))	0.160	0.118 (零样本)	0.134 (脑微调 Ridge)	—	参数量少 3 个数量级但性能大幅领先
21styear (19 被试)	40 分钟少样本 (\(r\))	0.182	0.118 (零样本)	0.174 (脑微调 Ridge)	—	持续领先全量体素级 Ridge 模型