displacement geometry captures platonic shared reality across models and modalit¶

会议: NeurIPS 2026
arXiv: 2609.24209
代码: https://github.com/HelloSCM/Representation_Displacements/
领域: 自监督学习
关键词: 柏拉图表征假说, 位移几何, 正交对齐, 表征解耦, 影子投影 (Shadow Casting)

一句话总结¶

论文发现不同模型与模态收敛所共享的并非样本在表征空间中的绝对位置，而是样本间的方向位移向量；通过仅包含旋转与反射的正交 Procrustes 对齐与共识解耦，不仅调和了柏拉图表征假说与近期质疑的争论，更提出无需微调即可离线迁移模型能力的 Shadow Casting 范式。

研究背景与动机¶

柏拉图表征假说（Platonic Representation Hypothesis, PRH）认为，无论是何种架构、目标函数或数据模态，在大规模数据上独立训练的神经网络都会收敛向客观世界的共享统计现实模型。然而，近期一系列严格的实证评估却引发了激烈争论：当评测规模扩大或转入更严格的多对多跨模态评测时，原本基于样本近邻重合度（mutual kNN）或全局相似度矩阵（CKA）的度量指标出现严重衰减，促使学术界产生反向质疑，认为并不存在所谓收敛的共享统计现实。

争辩双方的核心矛盾在于对“共享现实”的几何定义存在本质局限。无论是支持 PRH 还是反驳 PRH 的工作，衡量标准均聚焦于样本点在特征空间中的绝对或局部“位置距离”——即考察某个样本点在模型 A 中的邻居是否在模型 B 中依然邻近。这就好比用两张坐标原点截断、方位投影标准不同的地图进行对比：如果仅比对某地标在地表网格图上的绝对经纬度位置，两张地图毫无重合；但对于真正指导通行的好地图而言，从一个地标前往另一个地标的“行进方向”却是完全一致的。

本文的切入视角正是跳脱出“样本点坐落在何处”的局限，转而考察“样本点之间指向哪里”的位移方向几何。核心 idea：模型间所真正共享的是样本间的位移向量方向（$\mathbf{a}_i - \mathbf{a}_j$ 与 $\mathbf{b}_i - \mathbf{b}_j$），表征在几何上可解耦为线性跨模型对齐的共享语义成分与非线性纠缠的私有能力成分，进而使仅需一次前向特征缓存的能力导入（Shadow Casting）成为可能。

方法详解¶

整体框架¶

整体分析与能力迁移体系分为三个阶段：特征白化与刚性正交对齐、跨模型共识分解（解耦共享语义与私有能力）、以及基于解耦几何特性的无微调能力迁移方法 Shadow Casting。

首先，针对各独立训练模型在原始空间中维度不同、且受各向异性（Anisotropy）主导方差干扰导致欧氏内积退化的问题，对特征做降维与独立白化；随后在留出集上求解极简的正交 Procrustes 矩阵（仅含刚性旋转与反射），将多模型对齐至统一因果内积空间。在此基底上，构建跨模型协方差矩阵并进行特征值分解，将空间严格划分为线性共享的语义子空间与非线性私有能力子空间。最后，利用“语义线性对齐、能力非线性纠缠”的几何性质，设计 Shadow Casting 架构（以 ShadowCLIP 为例），冻结主干并注入缓存表征，实现跨模型超轻量能力融合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多源模型表征输入<br/>(44个视觉/语言编码器)"] --> B["1. 特征白化与刚性正交对齐<br/>独立白化 + 封闭解 Procrustes 旋转"]
    B --> C["2. 跨模型位移度量<br/>Cross-Model 判定样本间位移向量平行度"]
    C --> D["3. 跨模型共识分解<br/>特征值分解 S_cross 剥离共享与私有子空间"]
    D --> E["4. 影子投影能力迁移<br/>(Shadow Casting: 冻结主干 + 缓存前向特征)"]
    E --> F["ShadowCLIP 终极表征输出<br/>(零样本分类 / 图文检索 / 细粒度感知)"]

关键设计¶

1. 预处理白化与刚性正交 Procrustes 对齐：还原真实的因果内积空间 现有模型直接比对时常因各向异性导致余弦相似度虚高或几何失真。论文通过独立经验协方差矩阵 $\Sigma_m$ 构建白化变换矩阵 $W_m = \Sigma_m^{-1/2}$，得到白化表征： $$\widehat{X}_m = (X_m - \mathbf{1}\mu_m^\top) W_m$$ 在白化后的空间内，任意两个模型 $a, b$ 的对齐仅通过正交群上的 Procrustes 优化求解： $$R_{ab} = \arg\min_{R^\top R = I} \|\widehat{X}_a R - \widehat{X}_b\|_F$$ 该问题通过 $\widehat{X}_a^\top \widehat{X}_b$ 的奇异值分解（SVD）具有唯一解析闭式解，仅包含刚性旋转与镜像反射，排除了任何缩放变换、非线性扭曲或针对具体度量指标的人为参数过拟合。

2. 跨模型位移相似度度量（Cross-Model Kernel）：捕捉共享现实的方向一致性 为了精确分离“样本位置”与“位移方向”，论文在对齐后的特征向量 $\mathbf{a}_i, \mathbf{b}_i$ 上定义了三种对比度量：Pointwise 衡量绝对位置重合度 $\cos(\mathbf{a}_i, \mathbf{b}_i)$；Cross-Object 衡量模型间差值偏移在不同样本上的平移偏置 $\cos(\mathbf{a}_i-\mathbf{b}_i, \mathbf{a}_j-\mathbf{b}_j)$（作为未经训练即可显现的架构归纳偏置基线）；而核心的 Cross-Model 指标则定义为： $$\text{Cross-Model}(i, j) = \cos(\mathbf{a}_i - \mathbf{a}_j,\; \mathbf{b}_i - \mathbf{b}_j)$$ 此式计算从样本 $i$ 移步至样本 $j$ 的位移差分向量在两个模型中的夹角。在 44 个视觉和语言编码器上的系统验证表明，Cross-Model 相似度显著碾压 Pointwise 相似度，在概念级视觉-视觉达 0.73、语言-语言达 0.91、跨模态达 0.49，完美阐明为何位置评价会判定收敛失效而方向几何展现高度共享。

3. 层级概念正交性与样本平行性继承：揭示位移几何的微观机制 跨模型样本位移平行的根源来自模型内部概念层级的几何自洽。在单一模型内部，子概念保留父概念支持（$\cos(\mathbf{v}_{\text{child}}, \mathbf{v}_{\text{parent}}) \approx 0.72$），但子概念相对于父概念的变异向量却严格正交于父概念基底： $$\cos(\mathbf{v}_{\text{child}} - \mathbf{v}_{\text{parent}},\; \mathbf{v}_{\text{parent}}) \approx 0$$ 同时，同级兄弟概念的变异向量在正交子空间中反向排布（夹角余弦约为 $-0.30$）。因为真实物理样本在语义上可建模为不同正交概念增量的加权线性组合，单模型内的正交线性解耦加之跨模型概念位移的高度平行，使样本级位移天然继承了跨模型平行性（样本级略低 0.18–0.28 是组合噪声的正常扰动投影）。

4. 跨模型共识分解（Cross-Model Consensus Decomposition）：语义与私有能力的代数分离 论文定义无监督、无标签的对称共识协方差矩阵 $S_{\text{cross}}$，对所有 $M(M-1)$ 个模型对进行平均： $$S_{\text{cross}} = \frac{1}{M(M-1)} \sum_{a \neq b} \frac{Z_a^\top Z_b + Z_b^\top Z_a}{2(n-1)}$$ 对 $S_{\text{cross}}$ 进行特征值分解，前 $r$ 个特征向量张成线性共享语义子空间 $P_r^{\text{com}}$，后 $r$ 个特征向量张成私有能力子空间 $P_r^{\text{priv}}$。实验证实，共享子空间具有极高的跨模型相似度和线性探针分类精度，而私有子空间虽然线性不可分，但在非线性 RBF 核下展现出与共享成分的强希尔伯特-施密特独立性准则（HSIC）纠缠，揭示能力特性是非线性编织在表征之中的。

5. 影子投影范式与 ShadowCLIP 架构：单次前向特征缓存的能力导入 基于“语义可线性对齐，能力需非线性转化”的结论，论文提出 Shadow Casting。在 ShadowCLIP 中，预训练 CLIP 主干完全冻结：视觉端采用 SwiGLU 残差分支，以 CLIP 表征为门控激活（Swish），以 DINO 特征为过滤值，非线性注入 DINO 的细粒度物体结构感知；语言端引入 2 层 MLP 残差，通过关系蒸馏（RKD，在白化后的余弦相似度分布上计算 KL 散度）强制向强大的 LLM2Vec-Qwen3-4B 教师对齐关系几何。两端残差分支在初始化时由归零的 $\tanh$ 门控标量控制，初始状态完全等价于原始 CLIP，训练仅需针对 1 次前向缓存的 CC12M 特征优化轻量模块，无需加载原图与主干网络反向传播。

损失函数 / 训练策略¶

ShadowCLIP 训练阶段完全冻结源模型（CLIP、DINO、LLM），利用单次离线生成的 CC12M 表征缓存进行轻量残差训练： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{InfoNCE}}(I_{\text{out}}, T_{\text{out}}) + \lambda \mathcal{L}_{\text{RKD}}(T_{\text{res}}, T_{\text{LLM}})$$ 其中 $\mathcal{L}_{\text{InfoNCE}}$ 为图像-文本双向对比学习损失，$\mathcal{L}_{\text{RKD}}$ 为对学生与 LLM 教师特征经白化矩阵作用后样本对余弦相似度分布的 KL 散度约束。优化器使用 AdamW，最大学习率 $5 \times 10^{-4}$，配合 20% 步数的预热（Warmup）与余弦衰减，在 batch size $\ge 32{,}768$ 下训练 3 个 epoch，在 8 卡 RTX Pro 6000 上仅需 0.5 小时。

实验关键数据¶

主实验¶

在 44 个主流模型（25 个涵盖不同规模与预训练目标的 ViT，19 个开源 LLM）上，针对概念级（ImageNet-22k 与 CommonWords79k 交集）和样本级（Flickr30k 配对图文）进行对齐度量；同时在 CC12M 数据集上比对 ShadowCLIP 与主流同训练源基线。

评测维度 / 任务	评估指标	本文指标 (Cross-Model / ShadowCLIP)	基线基准 (Pointwise / CLIP)	差异 / 增益
视觉-视觉 (V-V) 概念级	平均余弦相似度	0.730	0.410	+0.320 (Wilcoxon $p<0.0001$)
语言-语言 (L-L) 概念级	平均余弦相似度	0.910	0.360	+0.550 (Wilcoxon $p<0.0001$)
跨模态 (V-L) 概念级	平均余弦相似度	0.490	0.250	+0.240 (Wilcoxon $p<0.0001$)
视觉-视觉 (V-V) 样本级	平均余弦相似度	0.450	0.310	+0.140 (中位数差值 0.231)
语言-语言 (L-L) 样本级	平均余弦相似度	0.730	0.360	+0.370 (中位数差值 0.387)
跨模态 (V-L) 样本级	平均余弦相似度	0.310	0.190	+0.120 (中位数差值 0.146)
ViT-Base 零样本 ImageNet-1k	Top-1 准确率 (%)	70.2	67.0	+3.2 pp
ViT-Base 11 数据集平均分类	Top-1 准确率 (%)	70.0	65.7	+4.3 pp
ViT-Base 细粒度感知 MMVP	准确率 (%)	26.0	19.3	+6.7 pp
ViT-Large 零样本 ImageNet-1k	Top-1 准确率 (%)	76.5	72.7	+3.8 pp
ViT-Large 细粒度感知 MMVP	准确率 (%)	29.6	20.0	+9.6 pp
ViT-Large 图文检索 Flickr I2T	R@1 (%)	89.9	87.6	+2.3 pp

消融实验¶

消融实验包含两个核心部分：几何可控性验证（训练目标如何独立操纵点位与位移相似度），以及 ShadowCLIP 关键设计消融。

实验设置 / 模型变体	Pointwise 相似度	Cross-Model 相似度	零样本分类 / MMVP 性能	机制说明
CLIP-ViT-B 微调 (ImageNet 10 epoch)	$\sim 0.95$ (变动 $<0.05$)	$1.00 \to 0.72$ (深层剧烈下降)	-	保持局部邻近位置，但重构了任务关系位移
特征蒸馏 FKD (MSE 损失)	$0.50 \to 0.70$ (显著上升)	$0.48 \to 0.62$ (同步上升)	-	强行将学生点位拉近教师，方向被迫随之向其靠拢
关系蒸馏 RKD (KL 散度损失)	$0.32 \to 0.35$ (几乎不变)	$0.32 \to 0.74$ (急剧暴增)	-	仅优化几何位移关系，点位绝对位置不受约束
ShadowCLIP (ViT-Base 完整版)	-	-	IN-1k: 70.2% / MMVP: 26.0%	视觉注入 DINO + 文本 RKD 关系蒸馏
变体：微调投影层 (CLIP-FT)	-	-	IN-1k: 64.5% / MMVP: 17.0%	CC12M 数据过拟合，直接破坏 CLIP 预训练空间泛化性
变体：移除语言关系蒸馏 (w/o RKD)	-	-	IN-1k: 64.2% / MMVP: 19.3%	缺乏 LLM 几何引导，文本端无法匹配 DINO 带来的视觉细粒度增益

关键发现¶

训练目标对点位与方向的双重解耦可控性：微调操作保持点位距离不变却破坏了跨模型位移平行性；RKD 则在完全不改变绝对位置的前提下成倍拉升位移相似度。二者在几何上完全独立。
层级特征对齐深度差异：视觉-视觉模型的高位移相似度集中在对角层（同深度对应）；而跨模态（V-L）中，语言模型各层均集中与视觉模型的“深层”（语义丰富层）形成位移对齐，印证了位移几何反映的是高层语义收敛而非浅层特征拟合。
极佳的算力经济性：ShadowCLIP 在训练阶段仅需前向缓存，相较于全量微调 CLIP-Large，可训练参数减少 95%（20M vs 400M），训练 FLOPs 暴降 2000 倍，计入离线特征提取后总体算力成本仍降低 9 倍。

亮点与洞察¶

概念位移的刚性收敛性打破了位置对齐的困局：在未做任何伸缩与可学习非线性映射、仅依靠旋转和反射的情况下，不同模型概念向量差呈现极高平行度（语言模型间高达 0.91），为柏拉图表征假说找到了真正具有数学不变量意义的落脚点。
单模型正交与跨模型平行的微观几何自洽：发现模型内子概念变异向量与父概念天然正交（夹角余弦为 0），完美解释了复杂物理样本如何通过正交概念的叠加实现跨模型方向一致性的宏观传递。
影子投影（Shadow Casting）开辟了模型能力分发的新范式：由于线性语义与非线性能力解耦，开发者未来分发模型能力时，甚至无需公开大模型全部权重或要求下游进行成本高昂的端到端微调，只需分发预计算的前向特征缓存即可在任意下游架构中低成本“投影”出对应能力。

局限与展望¶

实验规模边界：尽管覆盖了 44 个从 Base 到 Huge 规模的代表性模型，但受算力限制尚未覆盖百亿至千亿级前沿超大模型（如 Llama-3-70B/405B），位移平行性在超大规模下是进一步强化还是出现新的分化拐点仍待检验。
共享几何的唯一性未获严格证明：目前仅证实独立训练的模型收敛到了相同的位移几何，但这是否是满足高性能表征的“唯一解”（安娜·卡列尼娜假说），抑或只是众多退化模式中的一种主流吸引子，仍缺乏理论封闭证明。
度量工具的简化取舍：本文主要依托白化后的差分向量余弦相似度，属于最基础的一阶位移度量。更复杂的几何复合、高阶流形曲率以及不同任务功能子空间的精细分层结构尚未充分建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了 PRH 以近邻位置为中心的传统研究范式，以位移向量几何和共识分解完美化解学界核心争论。
实验充分度: ⭐⭐⭐⭐⭐ 包含 44 个视觉与语言模型、概念级/样本级跨模态度量、理论仿真及高效可用的下游落地架构。
写作质量: ⭐⭐⭐⭐⭐ 结构极为严谨，地图方向的比喻生动贴切，从实证观察、微观几何解析到工程落地的逻辑链一气呵成。
价值: ⭐⭐⭐⭐⭐ 兼具深刻的基础理论洞见与极具颠覆性的工程应用潜力，为未来大模型能力解耦与低成本分发奠定了新基石。

实验设置 / 模型变体	Pointwise 相似度	Cross-Model 相似度	零样本分类 / MMVP 性能	机制说明
CLIP-ViT-B 微调 (ImageNet 10 epoch)	\(\sim 0.95\) (变动 \(<0.05\))	\(1.00 \to 0.72\) (深层剧烈下降)	-	保持局部邻近位置，但重构了任务关系位移
特征蒸馏 FKD (MSE 损失)	\(0.50 \to 0.70\) (显著上升)	\(0.48 \to 0.62\) (同步上升)	-	强行将学生点位拉近教师，方向被迫随之向其靠拢
关系蒸馏 RKD (KL 散度损失)	\(0.32 \to 0.35\) (几乎不变)	\(0.32 \to 0.74\) (急剧暴增)	-	仅优化几何位移关系，点位绝对位置不受约束
ShadowCLIP (ViT-Base 完整版)	-	-	IN-1k: 70.2% / MMVP: 26.0%	视觉注入 DINO + 文本 RKD 关系蒸馏
变体：微调投影层 (CLIP-FT)	-	-	IN-1k: 64.5% / MMVP: 17.0%	CC12M 数据过拟合，直接破坏 CLIP 预训练空间泛化性
变体：移除语言关系蒸馏 (w/o RKD)	-	-	IN-1k: 64.2% / MMVP: 19.3%	缺乏 LLM 几何引导，文本端无法匹配 DINO 带来的视觉细粒度增益