FlexiBrain: Resolution-Agnostic Voxel-Level Encoding for Native fMRI¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/OneMore1/FlexiBrain
领域: 医学图像
关键词: 原生 fMRI、物理尺度补丁、动态卷积核、Mamba-JEPA、疾病分类

一句话总结¶

FlexiBrain 将 fMRI 补丁定义在毫米与秒上，通过动态调整共享编码核、物理坐标位置编码和 Mamba-JEPA，直接学习不同分辨率的原生空间数据，在五项疾病分类中取得四项最高准确率，同时避免耗时的模板空间配准。

研究背景与动机¶

fMRI 是随时间变化的三维体数据，但不同医院和扫描协议产生的“一个体素”和“一个时间点”并不等价。正文举出的常见空间分辨率约为 2–4 mm，时间采样间隔从 720 ms 到超过 3000 ms；受试者自身的解剖差异又进一步改变体数据形状。若直接使用固定体素数的补丁，同一卷积核在一个数据集上可能覆盖局部组织，在另一个数据集上却覆盖更大脑区或更长时间。传统流程先将功能像非线性配准到统一模板，再进行体素级建模或提取感兴趣区域（ROI）的平均时间序列。这让输入便于批处理，却把插值、解剖形变和较长预处理时间一起带入了学习流程。

直接保留原生空间看似能避开这些问题，但“不配准”不等于已经解决跨受试者共享模型的问题。固定网格位置不再可靠，体素数量也不固定；MindEye2 一类面向个体视觉解码的方法依赖受试者特定映射，不能直接替代大队列上的统一编码器。更细的体素还带来很长的序列，而重建所有原始信号既昂贵，也可能让模型过度关注高频噪声。因此，本文需要同时回答三个问题：不同分辨率下如何共享补丁编码参数，移除规则网格后如何保存空间位置，以及如何负担体素级自监督训练。

FlexiBrain 把共享对象从“固定大小的数组块”改成“覆盖相近物理范围的测量块”。这个选择只统一感受野的物理含义，并不要求不同受试者的同一坐标已经对应同一脑区，也不把低分辨率数据变成高分辨率数据。随后再用线性复杂度序列模型和潜空间预测降低计算负担，让保留原生几何成为可训练的方案。 核心 idea：不把所有人的 fMRI 重采样成同一种输入，而是按毫米与秒动态调整共享编码器，再从带物理位置的体素补丁中学习可迁移表征。

方法详解¶

整体框架¶

输入是保留原始空间与时间分辨率、经过最低限度处理的四维 fMRI，以及描述体素间距、采样间隔和空间变换的元数据。动态物理补丁先聚合短时信号，再进行空间投影；前景与物理位置模块去掉纯背景补丁，为剩余序列补回真实空间信息。 Mamba 长序列编码承担特征提取，JEPA 非对称预测只在预训练阶段提供潜空间学习目标。下游微调和推理则使用预训练骨干与分类头，不需要预测被遮挡的原始体素，也不需要推理时的教师分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["原生 fMRI<br/>分辨率与空间元数据"] --> Patch["动态物理补丁"]
        Patch --> Position["前景与物理位置"]
        Position --> Backbone["Mamba 长序列编码"]
        Backbone -->|预训练| Predict["JEPA 非对称预测<br/>MoE、预测器与 EMA 目标"]
        Backbone -->|下游微调与推理| Output["分类头<br/>疾病预测"]

关键设计¶

1. 动态物理补丁：改变核的离散尺寸，而不是统一数据网格

模型先指定时间范围 \(\tau\) 和三个空间方向的物理尺度 \(\rho_d\)，再根据当前受试者的采样间隔 \(tr\) 和体素间距 \(v_d\) 算出卷积核需要覆盖多少采样点。按照原文式（1），离散尺寸使用最近整数取整：

\[ k_t=\operatorname{round}(\tau/tr),\qquad k_d=\operatorname{round}(\rho_d/v_d),\quad d\in\{x,y,z\}. \]

因此，共享的不是完全相同的核数组形状，而是基础核参数及其物理覆盖范围。由于必须取整，各协议下的实际物理覆盖只是近似一致；“分辨率无关”不应被理解为连续尺度上的严格不变性。模型维护一组时间基础核和一组空间基础核，借鉴 FlexiViT 的核调整思路，用前向插值矩阵的 Moore-Penrose 伪逆将基础权重映射到目标尺寸。这与对输入影像进行模板重采样不同，也不是为每一种分辨率重新初始化独立参数。其目的在于尽量保持滤波器原有的功能映射，使不同协议的数据能够共同更新基础参数。

具体编码顺序是先时间、后空间。一维时间卷积以 \(k_t\) 为步长聚合每个体素的短时动态，产生时间长度缩短、带中间通道的特征。接着把缩短后的时间维折叠进通道维，并沿输入通道方向重复空间核，以匹配这些时间块。原文明确以此表达“空间结构不随时间索引改变”的假设，再用三维卷积和对应空间步长得到最终嵌入。读者不应把这里的四维输入误读为送入骨干的完整四维 token 网格：正文描述的是时间信息进入通道后，空间补丁被展平成序列。这种分解让跨分辨率共享主要发生在两个可调整的编码核上，而不是在后续骨干中引入大量受试者专用适配器。

2. 前景与物理位置：删掉无信号区域，但保留补丁在哪里

体素空间包含大量脑外背景，让模型处理这些位置既增加序列长度，也浪费预测目标。 FlexiBrain 使用受试者特定前景掩码删除纯背景补丁，随后只展平有效补丁。正文报告约 80% 的纯背景补丁被丢弃，但每位受试者仍会留下约 4,000 个 token，因此前景筛选并未消除长序列问题。删除背景后，序列中的相邻编号也不再充分说明两个补丁在脑中的距离，普通离散位置索引尤其难以跨不同网格复用。为此，模型从 NIfTI 头部读取仿射矩阵和偏移，把补丁中心从体素索引转换到物理坐标。

\[ c_i=p_iA^{\top}+t. \]

这里 \(p_i\) 是第 \(i\) 个补丁的离散中心，\(A\) 和 \(t\) 是该受试者的空间变换，\(c_i\) 是连续三维物理位置。模型先缩放坐标，再分别对三个轴应用对数间隔频带的正弦特征，拼接后用线性投影匹配 token 维度，并加到补丁嵌入上。这一步让模型看到毫米尺度上的位置，而不只是一个依赖分辨率的数组编号。但它没有执行跨受试者非线性解剖配准；物理坐标可比较与精确脑区对应是两个不同层次的问题。这一边界也解释了为什么保留原生空间可能保留个体信息，却仍需要应对扫描中心、姿态和采集协议变化。

3. Mamba 长序列编码：让有效体素数量不再触发平方级注意力开销

保留数千个空间补丁是细粒度建模的代价，简单换回 ROI 平均会丢掉本文试图保留的信息。因此，骨干采用选择性状态空间模型 Mamba，而不是用全局自注意力处理整个长序列。这里的复杂度对比是序列长度上的 \(O(N)\) 与 \(O(N^2)\)，不是声称整个系统的任何组成部分都具有线性成本。在预训练中，随机掩码将有效 token 分成可见上下文与遮挡目标，堆叠的 Mamba 上下文编码器只接收可见部分。目标分支采用相同的骨干结构，对真实遮挡 token 编码；目标权重由上下文骨干的指数移动平均（EMA）更新。

这种安排同时减少无效输入和上下文路径的处理量，但模型仍必须通过位置与序列组织学习空间关系。正文在约 50M 参数的对比下报告，ViT 使用 28.24 GFLOPs、8.29 GB 显存，Mamba 使用 18.59 GFLOPs、1.97 GB 显存。这些是第 11 页的实测配置结果，不是对所有序列长度和硬件都适用的固定加速倍数。下游并非完全不使用 Transformer：作者在骨干输出前拼接可学习分类 token，交给轻量 Transformer 分类头，再对分类特征归一化并通过 MLP 输出 logits。因此，本文证明的是把昂贵的主要编码工作交给 Mamba 的收益，而不是“任何注意力都无效”。

4. JEPA 非对称预测：预测语义目标，同时降低表征坍塌风险

如果要求模型重建所有被遮挡体素，高分辨率样本会贡献更多原始信号项，噪声也可能在目标中占据过大比重。 JEPA 将预测目标改为目标编码器生成的潜在特征，不需要恢复每一种采样网格上的原始体素数组。目标骨干通过 EMA 跟随上下文骨干，而不是被预测误差直接更新；这为训练提供缓慢变化的目标。仅有这套设计仍可能产生低多样性表征，所以作者在上下文编码器末端追加轻量混合专家（MoE）模块。 token 级路由器计算软混合权重，将可见 token 送往一部分 MLP 专家，使上下文侧多出内容相关的变换。 MoE 是对既有上下文/目标非对称和 EMA 的补充，不应被理解为替代教师或一项普适的防坍塌证明。

预测之前，将经过 MoE 的可见特征放回原序列位置，在遮挡位置填入可学习 mask token。浅层 Mamba 预测器在恢复后的序列上传播信息，并只在遮挡位置输出预测特征。原文第 9 页的目标是预测与教师特征分别做单位长度归一化后的平均平方距离；下式用清晰记号表达同一目标：

\[ \mathcal{L}=\frac{1}{|\mathcal{M}|}\sum_{i\in\mathcal{M}} \left\|\frac{\hat H_i}{\|\hat H_i\|_2}-\frac{H_i}{\|H_i\|_2}\right\|_2^2. \]

其中 \(\mathcal{M}\) 是遮挡位置集合，\(\hat H_i\) 为预测器输出，\(H_i\) 为 EMA 目标特征。归一化让损失侧重特征方向，而不是依靠增减向量幅度匹配目标。因此，这条训练链路学习的是“从可见脑信号推测缺失区域的潜在表征”，并不是在推理时补全影像。论文用下游消融和目标 token 相似度图支持 MoE 的经验收益，不能把这种支持升级为数学上的坍塌排除保证。

一个完整示例¶

以论文推荐的 \(\tau=6\) 秒、每轴 \(\rho_d=12\) mm 为例，假设一份输入具有 2 mm 等距体素和 2 秒采样间隔。按式（1）计算，时间核覆盖 3 个采样点，每个空间方向覆盖 6 个体素。若另一份输入是 3 mm 等距体素、3 秒采样间隔，对应尺寸变为 2 个时间点和每轴 4 个体素。这是依据公式构造的示例，不是论文额外报告的一组实验。两份输入的核数组尺寸不同，却都对应 6 秒、12 mm 的目标范围；它们使用同一组基础权重经过核调整得到编码器。编码后删除背景并加入各自物理位置，可见 token 进入上下文骨干，遮挡 token 只向目标路径提供监督。推理时不再随机制造这一预训练预测任务，而是提取骨干特征并输出分类结果。

损失函数 / 训练策略¶

自监督预训练联合使用 ABIDE、ADHD-200 和 ADNI，随后针对疾病分类微调；PPMI 没有进入预训练。 ABIDE 与 ADHD-200 为二分类，ADNI 分成 MCI 对 CN 和 AD 对 CN 两项二分类，PPMI 为三分类。外部 PPMI 结果是在下游适配流程中的留一数据集预训练评估，不应称为完全零样本诊断。正文称各基线按各自论文所需流程预处理，并为匹配需要结构扫描的基线而限制受试者集合。它同时将具体超参数、数据细目和附加实验指向附录 A–C；当前全文缓存仅含主文与参考文献，不能据此补出学习率、掩码比例或中心留出数值。

实验关键数据¶

主实验¶

下表取自原文表 1（第 10 页），指标均为百分数，结果为三个随机种子的均值与标准差。基线列选择各任务准确率最高的已有方法；该行 F1 是同一个基线的 F1，不一定是该任务所有基线中的最高 F1。

任务	FlexiBrain ACC	FlexiBrain F1	最高 ACC 基线	基线 ACC	基线 F1
ADHD-200	69.76 ± 1.75	69.85 ± 1.69	SwiFT	62.50 ± 1.50	59.99 ± 4.71
ABIDE	65.45 ± 0.69	64.82 ± 0.52	BrainMass	63.33 ± 1.18	65.35 ± 2.00
ADNI（MCI）	79.16 ± 1.48	78.82 ± 1.51	NeuroSTORM	66.67 ± 1.06	62.17 ± 8.93
ADNI（AD）	82.34 ± 2.39	79.41 ± 4.42	NeuroSTORM	84.26 ± 0.80	83.91 ± 0.75
PPMI	74.31 ± 1.77	70.54 ± 1.19	NeuroSTORM	68.25 ± 1.18	65.18 ± 1.19

最明显的准确率收益在 ADNI（MCI）：79.16 对 66.67，相差 12.49 个百分点；PPMI 相差 6.06 个百分点。但 ADNI（AD）准确率低 1.92 个百分点，ABIDE F1 也低于 BrainMass，因此摘要中“持续超越”的说法需要按指标收窄。表 1 的星号表示 Cohen's \(d\geq0.8\) 的大效应量，不能直接当作显著性检验的 p 值阈值。

消融实验¶

下表取自原文表 2（第 12 页），均为百分数；表中未逐项给出标准差。除末列特别标明 F1，其余四列均为 ACC；各行共同考察骨干、预训练和 MoE 的配置。

配置	ABIDE ACC	ADHD-200 ACC	ADNI（MCI）ACC	ADNI（AD）ACC	ADNI（AD）F1
Mamba，预训练，无 MoE	52.55	61.86	71.88	71.43	70.40
Mamba，无预训练，有 MoE	59.85	65.98	68.75	80.95	80.59
ViT，预训练，有 MoE	61.31	63.92	66.66	76.85	72.92
Mamba，预训练，有 MoE	65.45	69.76	79.16	82.34	79.41

删除 MoE 后，ABIDE ACC 从 65.45 降到 52.55，下降 12.90 个百分点，是这组四项 ACC 中最大的降幅。预训练改善四项 ACC，但 ADNI（AD）F1 从无预训练的 80.59 变成 79.41，不能笼统写成所有指标都提高。将 Mamba 换成 ViT 时，ADNI（MCI）ACC 从 79.16 变成 66.66；这支持所测条件下的骨干选择，但并非对所有 Transformer 变体的排除。

关键发现¶

第 11 页与图 3 将原生空间预处理描述为约 3 分钟，而模板流程约 5 小时；这是预处理成本，不是端到端训练耗时。
图 3 的 ADHD 从零训练消融选择 6 秒、12 mm；缓存未保留可可靠读取的全部曲线点，因此不补写每个尺寸的准确率。
正文报告更严格的 ABIDE 留一扫描中心实验发生退化，说明“支持未见分辨率”并不等于“解决未见中心域偏移”。

亮点与洞察¶

将分辨率变化放进共享核的几何变换，而不是输入影像重采样，是本文最可复用的设计。它保留测量网格，同时让模型参数具有跨协议意义。
删除背景、线性序列建模和潜空间目标处理的是三种不同开销。组合的价值在于分别减少无效 token、主干计算和异构体素重建负担。
物理范围一致不等于信息含量一致。正文描述的受控降采样退化提醒读者，模型能接收低分辨率数据并不能恢复其中已经不存在的细节。

局限与展望¶

原生空间仍不是原始采集数据。第 11 页写最低限度处理包括脑提取并估计运动/层间时间参数，第 15 页又以运动校正为例，具体处理强度需结合未附带的实现细节核验。
扫描中心域偏移仍然存在，作者建议结合站点协调、混杂因素审计或域自适应预训练。这是向临床外部部署推进的必要问题，不宜只靠分辨率适配推断泛化完成。
本缓存不含附录 A–C 和补充表，无法独立复核分辨率分层、降采样、性别预测与严格中心留出的完整设置和数值。
从读者角度看，物理位置编码不保证解剖对应，较高分类分数也不直接证明保留了疾病因果信号。还需要更明确的混杂控制与前瞻性验证。

评分¶

新颖性: 4/5，物理尺度共享核与原生 fMRI 的结合针对明确瓶颈，组件本身有既有方法基础。
实验充分度: 4/5，覆盖五项分类和架构消融，但外部中心鲁棒性不足，补充实验无法由本缓存完整复核。
写作质量: 4/5，主线与架构较清晰，部分整体领先和防坍塌措辞强于实际证据边界。
价值: 4/5，为减少模板依赖、扩展体素级脑模型提供了具体可行的接口设计，不等同于可直接部署的诊断系统。