Platonic Representations in the Human Brain: Unsupervised Recovery of Universal Geometry¶

会议: NeurIPS 2026
arXiv: 2605.20496
OpenReview: https://openreview.net/forum?id=udfnSh2EHl
领域: 其他
关键词: 神经表示几何, 柏拉图表示假说, 无监督跨被试对齐, fMRI, 多视角自监督学习

一句话总结¶

本文将强柏拉图表示假说拓展至生物神经系统，在无需配对刺激与外部预训练模型的前提下，提出基于重复刺激的多视角自监督 fMRI 编码器与无监督正交旋转同步方法，证实人类视觉皮层表征具有近似等距的通用几何结构。

研究背景与动机¶

近年来人工智能领域的「柏拉图表示假说」（Platonic Representation Hypothesis）指出，不同架构与目标函数训练的深度神经网络会在隐空间中自发收敛至一致的世界潜变量几何结构。随后的「强柏拉图假说」更进一步证实，这种收敛具有建设性意义：在完全没有配对样本和共享输入的情况下，仅凭嵌入空间的内在几何形态，就能将一个模型的表示无监督旋转翻译至另一个模型。然而，这一强假说的证据此前几乎全部局限于人工视觉与语言模型，生物神经网络是否存在跨个体且无需外部对齐锚点的纯内在通用几何，长期处于未知状态。

在认知神经科学中，关于被试间同步性与表征相似性的经典研究虽然揭示了个体间神经激活结构的一致性，但现有的跨被试功能对齐方法（如超对齐 Hyperalignment）高度依赖于所有被试观看同一批共享刺激所建立的样本级对应关系。另一些跨被试翻译工作则必须引入外部深度神经网络作为中介特征空间或训练图像到 fMRI 的编码器，本质上是在用人工特征流形的几何去强行规整大脑。当面对被试仅观测完全不相交的自然图像这一严苛现实场景时，能否仅从各被试独立的脑活动数据出发，无监督地恢复出人类大脑共有的神经几何坐标系，构成了计算神经科学与表征学习交叉的核心技术挑战。

面对 fMRI 测量信噪比极低、单次试验噪声巨大以及跨被试解剖结构变异的现实，直接匹配体素甚至主成分空间几乎完全失效。本文切入角度是：利用自然场景实验中对同一刺激的重复呈现作为自监督约束，提炼被试特异性且对测量噪声不变的几何流形，进而验证个体间的流形差异能否仅用保持距离与内积的正交等距变换来解释。核心 idea：利用重复刺激自监督学习被试特异的紧凑神经嵌入，再通过基于几何伪对应的无监督正交旋转与全局谱同步，在不依赖配对刺激或外部模型的前提下将各被试流形投影至统一坐标系，证实人类视觉皮层表征具有通用近似等距几何。

方法详解¶

整体框架¶

本文提出的框架旨在仅凭被试独立的非共享自然图像观测数据，恢复出跨个体的统一神经潜空间。流程由三大级联阶段构成：首先针对每个被试 $s$，利用刺激重复呈现的多视角信号，经过体素可靠性加权、PCA 降维、多视角典型相关分析（MCCA）线性投影与残差非线性微调，构建紧凑且抗噪的被试特异性编码器；随后，在各被试嵌入空间中通过聚类中心几何匹配与迭代正交 Procrustes 算法估计成对无监督正交旋转；最后，通过构建块正交矩阵并求解全局正交同步问题，将成对旋转整合为每位被试唯一的正交变换，对齐到同一全局坐标系中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单被试多重复 fMRI 响应<br/>去除扫描会话混淆项"] --> B["自监督多视角编码器<br/>可靠性加权 + MCCA 蒸馏 + 残差 MLP"]
    B --> C["被试独立嵌入空间<br/>128 维紧凑表征流形"]
    C --> D["无监督正交脑间翻译<br/>锚点近邻匹配 + 迭代 Procrustes 求解"]
    D --> E["全局正交同步共享空间<br/>块循环一致性谱分解与正交投影"]
    E --> F["统一神经几何坐标系<br/>零样本跨被试图像检索与几何验证"]

关键设计¶

1. 自监督多视角编码器：克服试验级测量噪声并提取刺激不变流形

fMRI 信号具有极高的物理扫描漂移与试验级生理噪声。针对这一痛点，作者将自然场景数据集（NSD）中对同一图像呈现 $r$ 次（通常 $r=3$）的测量视为真实潜在信号的受噪视角 $\{X_i\}_{i=1}^r$。首先计算每个体素 $v$ 在不同重复视角间的 Pearson 相关系数均值作为可靠性权重： $$\gamma_v = \frac{2}{r(r-1)} \sum_{1 \le i < j \le r} \rho\big(X_i[:, v], X_j[:, v]\big)$$ 将体素加权缩放后经 PCA 降至 768 维，随后应用多视角典型相关分析（MCCA）求解各视角正交投影矩阵 $\{U_i\}_{i=1}^r$，最大化视角间相关度： $$\max_{\{U_i\}} \sum_{i < j} \rho(Y_i U_i, Y_j U_j)$$ 将多视角投影均值 $\bar{Z}_{\mathrm{lin}} = \frac{1}{r} \sum_{i=1}^r Y U_i$ 作为监督目标，通过岭回归蒸馏出单一高效线性投影矩阵 $W^* = \arg\min_W \|Y W - \bar{Z}_{\mathrm{lin}}\|_F^2 + \lambda_{\mathrm{reg}} \|W\|_F^2$。在此基础上，冻结线性部分并串联单隐层残差非线性多层感知机（MLP）$g_\theta$，使得最终输出为 $Z = Z_{\mathrm{lin}} + \alpha g_\theta(Z_{\mathrm{lin}})$。该级联结构既通过线性 MCCA 稳健抓取了重复不变子空间，又借助轻量非线性微调补足了高阶几何特征。

2. 无监督正交脑间翻译：基于内在几何伪配对估计刚性旋转

在被试间观测图像完全互斥、缺乏配对基准的严苛设定下，如何跨越脑间坐标系壁垒是第二阶段的攻坚点。借鉴小型跨流形对齐的思想，作者首先在嵌入空间对重复试验取均值消除瞬态噪声，得到各被试的图像级表征 $Z^{(s)}$ 和 $Z^{(t)}$。通过 K-means 聚类提取几何骨架，并利用二次指派（QAP）求解器匹配两被试聚类中心的成对相似度结构；以此为几何锚点，计算各样本相对于锚点的相对相似度，建立伪配对关系 $(\tilde{z}^{(s)}, \tilde{z}^{(t)})$。随后通过正交 Procrustes 算法求得初始旋转矩阵： $$R_{s \to t}^{(0)} = \arg\min_{R \in \mathcal{O}(d)} \|Z^{(s)} R - \tilde{Z}^{(t)}\|_F^2$$ 在此基础上引入类似迭代最近点（ICP）的松弛迭代：在第 $k$ 步计算当前旋转下的近邻对应点，更新正交解 $\hat{R}_{s \to t}^{(k)}$，按步长 $\beta$ 动量更新后通过 SVD 投影回正交群 $\mathcal{O}(d)$。最后通过对称化投影 $R_{s \to t} = \mathrm{Proj}_{\mathcal{O}(d)}\big(\frac{R_{s \to t} + R_{t \to s}^\top}{2}\big)$ 保证对称一致性。将搜索空间严格限制在正交群 $\mathcal{O}(d)$ 内，避免了任意非刚性空间扭曲，构成对「大脑表征流形仅相差一个正交旋转」这一假说的严谨检验。

3. 全局正交同步共享空间：图谱循环一致性降噪与统一坐标系构建

独立的成对无监督旋转容易累积误差且不满足闭环传递性（即 $R_{s \to t} R_{t \to u} \ne R_{s \to u}$），无法直接形成一个普适的共同大脑参考系。本文将全体被试视为图节点，成对正交矩阵构成边权重，构建尺寸为 $Sd \times Sd$ 的块对齐矩阵 $B$（其中第 $(s, t)$ 块为 $R_{s \to t}$，对角块为单位阵 $I$）。在无噪声理想情况下矩阵可完美低秩分解： $$B = [R_1^\top, R_2^\top, \dots, R_S^\top]^\top [R_1^\top, R_2^\top, \dots, R_S^\top]$$ 作者采用谱松弛算法求解正交同步问题，提取矩阵 $B$ 的前 $d$ 个最大特征向量构成矩阵 $U \in \mathbb{R}^{Sd \times d}$，将每个被试对应的 $d \times d$ 块 $U_s$ 投影至最近的正交矩阵得到 $R_s \in \mathcal{O}(d)$。每个被试的独立表征通过单一刚性旋转被映射至全局共享坐标系 $Z_{\mathrm{shared}}^{(s)} = Z^{(s)} R_s$。该操作在全被试图拓扑上施加了循环一致性约束，显著平滑了个体间成对估计的局部噪声。

损失函数 / 训练策略¶

残差非线性模块 $g_\theta$ 的训练采用双重视角对比目标函数。优化时对所有重复视角对计算 InfoNCE 损失，并引入样本对均值余弦拉近损失： $$\mathcal{L} = \mathcal{L}_{\mathrm{NCE}} + \lambda_{\mathrm{pull}} \mathcal{L}_{\mathrm{pull}}$$ 其中 InfoNCE 损失将同一图像在不同重复中的嵌入作为正例，同一批次内其他图像作为负例： $$\mathcal{L}_{\mathrm{NCE}} = \frac{1}{r(r-1)} \sum_{i \ne j} \mathcal{L}_{\mathrm{InfoNCE}}(Z_i, Z_j)$$ 余弦拉近项则直接惩罚对应样本间的余弦距离： $$\mathcal{L}_{\mathrm{pull}} = \frac{2}{r(r-1)} \sum_{1 \le i < j \le r} \big(1 - \mathrm{sim}(Z_i, Z_j)\big)$$ 在实验中设置超参数 $\lambda_{\mathrm{pull}} = 0.5$，$d_{\mathrm{PCA}} = 768$，$d = 128$。使用 Adam 优化器训练 2000 步，可学习缩放因子 $\alpha$ 初始学习并在跨被试中自发收敛至约 $0.4$。模型训练与旋转估计完全在无重叠的单被试图像集上进行，保留 515 张全体 8 位被试均观看 3 次的共享图像仅用于跨被试与跨重复检索评估。

实验关键数据¶

主实验¶

评估在 NSD 数据集 8 名被试共 515 张严格留出的共享图像上展开。跨被试脑间翻译评估通过将源被试 $s$ 的测试嵌入旋转后，在目标被试 $t$ 的候选库中进行最近邻检索，汇报检索均值排序（Mean Rank，随机基线为 258）、Top-1 召回率（R@1，随机基线为 0.002）以及表征相异度矩阵相关度（RSA）。

表征类型	对齐机制	Mean Rank ↓	R@1 ↑	RSA ↑
fMRI betas + PCA	无对齐 (Native space)	189.28	0.007	0.39
fMRI betas + PCA	测试集熵正则 Gromov-Wasserstein	166.04	0.011	0.39
本文自监督嵌入	测试集熵正则 Gromov-Wasserstein	80.96	0.465	0.64
ViT AugReg-L/16 + Ridge	监督视觉模型引导 (Model-guided)	5.54	0.480	0.73
CLIP ViT-B/16 + Ridge	监督视觉模型引导 (Model-guided)	6.60	0.440	0.70
DINOv2 ViT-S/14 + Ridge	监督视觉模型引导 (Model-guided)	7.00	0.470	0.67
all-MiniLM-L6-v2 + Ridge	监督语言模型引导 (LM-guided)	7.93	0.350	0.76
本文独立嵌入 (Ours)	无监督成对正交旋转 (Pairwise)	2.56	0.780	0.63
本文独立嵌入 (Ours)	全局正交同步共享空间 (Synchronized)	1.97	0.830	0.63

消融实验¶

为了剖析单被试编码器各层级设计的有效性，作者对体素可靠性加权、PCA、多视角典型相关分析（MCCA）以及残差非线性模块进行了逐项剥离测试（以单被试跨重复检索评估）：

配置	可靠性加权	PCA	MCCA	非线性残差	Mean Rank ↓	R@1 ↑	RSA ↑
PCA baseline	–	✓	–	–	77.31	0.20	0.27
Reliability + PCA	✓	✓	–	–	116.52	0.09	0.13
PCA + MCCA	–	✓	✓	–	77.31	0.20	0.27
Reliability + PCA + MCCA	✓	✓	✓	–	11.73	0.73	0.23
PCA + Nonlinear	–	✓	–	✓	14.05	0.60	0.55
PCA + MCCA + Nonlinear	–	✓	✓	✓	14.05	0.60	0.54
Reliability + PCA + Nonlinear	✓	✓	–	✓	21.89	0.43	0.51
Full Encoder (完整模型)	✓	✓	✓	✓	5.28	0.82	0.53

此外，作者对比了人工模型到大脑的有监督映射性能：在半正交约束下，DINOv2 与 CLIP 映射到人脑的 Mean Rank 仅为 22.71 与 21.65（R@1 为 0.24 与 0.23）；即使采用更具表达能力的线性岭回归，最优模型 DINOv2 的 Mean Rank 也仅为 5.86（R@1 为 0.51），显著落后于本文无需配对标签的脑间纯正交共享空间对齐（Mean Rank 1.97, R@1 0.83）。

关键发现¶

正交等距对齐完胜非配对最优传输与外部模型引导：在无需共享图像的情况下，本文的无监督正交变换取得了 2.56 的超低平均检索排名和 78% 的 R@1 精度，大幅超过依赖外部监督预训练模型的特征回归方法（如 DINOv2 + Ridge 的 7.00 和 47%）。未经对齐的原始空间接近随机猜测，证明了跨被试坐标系刚性旋转的本质作用。
循环一致性同步显著降低个体累积误差：通过多被试正交图谱的全局同步分解，检索 Mean Rank 进一步由成对的 2.47（单最好种子为 2.56）优化至 1.97，R@1 由 79% 提升至 83%，证明了各被试的独立流形与一个统一且兼容的潜在正交坐标系高度契合。
编码器模块各司其职且不可或缺：消融表明，体素可靠性加权必须与 MCCA 结合才能发挥威力（单加权因丢失方差而退化至 116.52，结合后跃升至 11.73）；非线性残差块则是拉升全局表征几何相似度（RSA 从 0.23 跃迁至 0.53）的关键驱动力。

亮点与洞察¶

将强柏拉图假说成功拓展到生物脑：首次用极其严格的数学约束证实，两个未曾看过相同图像的人类大脑，其视觉皮层表征几何流形是高度等距同构的，仅需一个正交旋转即可精确重合。
摆脱对人工深度特征作为中间锚点的依赖：不同于过往神经科学用 CLIP 或 ResNet 特征作为中介映射大脑的做法，本文完全在纯 fMRI 域内完成自监督降噪与无监督对齐，避免了人工模型归纳偏置对生物神经流形的潜在几何畸变。
反向揭示人造模型与人脑流形的几何非同构性：实验揭示人工神经网络虽然具有高语义预测能力（监督岭回归可拟合部分神经响应），但其特征流形与人脑表征并不遵循刚性正交等距，揭示了当前视觉基础模型与人类视觉皮层表征几何的深层差异。

局限与展望¶

依赖密集重复刺激协议：方法高度依赖于实验设计中多次重复呈现（$r=3$）以构建多视角自监督信号，在常规非重复或短时扫描的临床与认知 fMRI 数据集上的通用性有待验证。
对无监督初始化敏感：成对正交矩阵估计受限于 K-means 质心匹配与 ICP 优化的初始随机种子，文中主实验依赖多随机种子后验挑选最优解，亟需设计纯内部自洽的模型选择指标。
皮层范围局限于视觉通路：当前实验主要基于覆盖视觉与高阶关联皮层的 NSDGeneral ROI，在执行更复杂、异质性更强的抽象语言逻辑推理或工作记忆任务时，全脑尺度的强等距假说是否依然成立仍属未知。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在生物神经系统中无监督验证强柏拉图表示假说，跨脑无配对流形对齐概念极其突破。
实验充分度: ⭐⭐⭐⭐⭐ 在权威 NSD 数据集上进行了严密详实的留出评估、跨被试组合矩阵分析、逐模块消融与模型对比。
写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严密，从生物神经学背景推演至严谨几何表述，结构紧凑流畅。
价值: ⭐⭐⭐⭐⭐ 为无标定脑机接口、跨被试神经解码与基础模型大脑对齐研究提供了重要的理论基石与实用范式。