From Topology to Retrieval: Decoding Embedding Spaces with Unified Signatures¶
会议: NeurIPS 2026
arXiv: 2511.22150
代码: https://github.com/Boehringer-Ingelheim/unified-topological-signatures
领域: 信息检索
关键词: 统一拓扑特征, 稠密检索, 嵌入空间几何, 可检索性偏差, 柏拉图表征假说
一句话总结¶
本文提出统一拓扑特征（UTS），通过整合多尺度持续同调、内蕴维度、多样性、各向同性及聚类等几何描述符构建特征向量，实现了对文本嵌入空间的精细刻画，在无需标注数据下精准预测稠密检索下游性能与文档可检索性偏差，并证伪了基于模型规模的全局表征收敛假设。
研究背景与动机¶
基于 Transformer 架构的稠密文本嵌入在现代信息检索与检索增强生成（RAG）系统中构成了核心底座。在将海量文档与查询映射至统一高维几何流形时，不同嵌入模型的表现差异显著。然而，现有的基准评测体系（如 MTEB）严重依赖带标注的测试集来测量下游指标，既无法预测模型在新领域或未见任务上的泛化表现，也无法提供关于嵌入空间内在几何规律的机理级解释。为了探究嵌入质量的几何决定因素，近期研究分别探索了各向异性、局部内蕴维度或持续同调特征对检索能力的影响，但这些研究大多孤立地审视单一指标，无法捕捉高维流形的复杂全貌。
这种割裂分析的核心矛盾在于：高维嵌入空间的几何拓扑结构具有固有的多维属性，单一标量测度极易引入片面偏差或产生假相关。例如，单纯增大嵌入维度能够提升有效秩（Effective Rank），却可能诱发强烈的各向异性；而局部密度的改变则直接影响最近邻搜索的连通性与检索公平性。与此同时，近年备受关注的「柏拉图表征假说」（Platonic Representation Hypothesis）宣称随着模型参数规模的扩大，不同基础模型的表征将趋向于统一的全局几何形态，然而这一结论在缺乏拓扑多维对比的稠密文本检索空间中尚未得到严谨检验。
本文的切入角度是打破孤立评估单一几何特征的范式，将拓扑数据分析（TDA）与微分几何中的多重描述符融合成系统性的特征指纹。核心 idea：构建统一拓扑特征（Unified Topological Signatures, UTS），将持续同调、内蕴维度、多样性、密度、各向同性及聚类等多元几何描述符聚合为全局与局部特征向量，以此实现无需下游标签的检索性能预测与文档可检索性偏置诊断，并基于拓扑距离揭示模型架构与训练数据对表征对齐的决定性主导作用。
方法详解¶
整体框架¶
统一拓扑特征（UTS）方法旨在从全局空间与局部邻域两个尺度解码稠密文本嵌入空间。系统首先从特定模型与数据集生成的嵌入点云中进行鲁棒子采样，并行计算覆盖持续同调、内蕴维度、空间多样性、密度、各向同性与聚类质量的 15 种几何描述符，生成原始特征向量；随后经过跨空间极值归一化，形成具有统一量纲的 UTS 向量。在此基础上，全局 UTS 被用于预测下游检索性能（Recall、MAP、NDCG）、解码未知黑盒模型的架构与激活函数，并利用可分解的曼哈顿距离评估模型表征间的真实几何相似度；局部 UTS 则聚焦于文档的 \(k\) 近邻子流形，用于诊断与预测文档的可检索性偏差（Retrievability Bias）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["文本语料与模型输入<br/>27 个检索模型与 11 个 MTEB 数据集"] --> B["多维几何描述符提取<br/>同调/内蕴维度/多样性/密度/各向同性/聚类"]
B --> C["全局与局部统一拓扑特征构建<br/>点云全局特征与 k 近邻局部流形指纹"]
C --> D["极值归一化与可解释曼哈顿拓扑距离<br/>无量纲特征缩放与逐分量差异可分解度量"]
D --> E["拓扑驱动的下游性能预测与可检索性偏置诊断<br/>无标注性能回归/黑盒属性解码/偏置识别"]关键设计¶
1. 全局与局部统一拓扑特征构建：多维度融合同调与流形微观几何结构 针对单一几何标量无法完整刻画高维空间多尺度结构的问题，本文将高维点云的几何特征系统性划分为六大维度，涵盖 15 个具体指标：在同调维度，采用 Vietoris-Rips 复形提取持续同调寿命均值、中值、持续熵（Persistence Entropy）以及 Euler 示性数；在内蕴维度层面，结合极小邻域信息的 TwoNN 估计、基于协方差特征值的 Fukunaga-Olsen PCA 维度，以及衡量主成分有效利用率的有效秩（Effective Rank）；在多样性维度，引入基于有限度量空间渐近增长的 Magnitude 维度与 Magnitude 面积、Spread 测度及基于核矩阵特征值熵的 Vendi Score；在密度、各向同性与聚类维度，分别测量成对余弦/欧氏相似度、超球面均匀度（Uniformity）、空间利用各向同性度（IsoScore）以及基于最优 \(k\) 分割的轮廓系数（Silhouette Score）。全局 UTS 聚合整空间子采样点计算；针对单个文档，局部 UTS 则限制在该样本的 \(k\) 近邻点集 \(\mathcal{N}_k(x)\) 上计算，从而精准捕捉局部流形稠密程度与维度畸变。
2. 极值归一化与可解释曼哈顿拓扑距离：支持分量归因的表征相似度量 由于不同拓扑指标在物理意义与尺度上差异极大（例如 Magnitude 面积可达数千，而轮廓系数仅在 0 附近），直接拼接会导致优化器被大数值维度主导。为此，系统对每个几何指标 \(s_i^X\) 实施基于所有对比空间绝对值极大值的缩放归一化： $$ \tilde{s}i^X = \frac{s_i^X}{\max, \quad i = 1, \dots, K $$ 在度量两个嵌入空间 } |s_i(X')|\(\mathcal{E}\) 与 \(\mathcal{E}'\) 的拓扑差异时，本文采用 Manhattan 距离（\(L_1\) 范数）而非余弦相似度或欧氏距离： $$ d(\tilde{\boldsymbol{s}}^{\mathcal{E}}, \tilde{\boldsymbol{s}}^{\mathcal{E}'}) = \sum_{i=1}^{K} \left| \tilde{s}_i^{\mathcal{E}} - \tilde{s}_i^{\mathcal{E}'} \right| $$ 该设计至关重要：Manhattan 距离不仅避免了高维几何中非线性投影导致的扭曲，而且具备天然的可分解可加性，使得模型间整体几何分歧可以精确下拆为各单一维度（如「Qwen 与 BERT 的分歧主要来自有效秩，而 Gemini 与其他模型的分歧主要源于聚类轮廓」），为表征对齐分析提供了白盒可解释性。
3. 拓扑驱动的下游性能预测与可检索性偏置诊断：无标注评估与局部流形判别 为了将抽象几何结构落地为下游任务实用工具，本文设计了两套无监督诊断管线。在性能预测端，利用全局 UTS 向量训练深度受限的随机森林回归器，通过 3 折数据集分组交叉验证，在完全不接触目标数据集任何查询或真值标签的条件下，直接预测该嵌入空间在该数据集上的 Recall@k、MAP@k 与 NDCG@k；在检索公平性端，针对稠密检索中普遍存在的「部分文档极易被召回、另一部分文档沦为死角」的可检索性偏差（Retrievability Bias），通过提取最高检索频次文档与最低检索频次文档的局部 UTS 向量，训练二分类器判别文档的可检索状态。这首次证实了低可检索文档在几何流形上普遍处于离群孤立、局部有效维度畸变的区域，为后续免标注的数据增强与负采样优化提供了明确的拓扑引导。
一个完整示例¶
以在 SciFact 科学论证数据集上评估一个未知的 7B 稠密检索模型为例： 1. 采样与拓扑特征提取：从模型生成的语料库嵌入点云中，分别按照收敛性分析确定的样本量（有效秩取 100,000 点，TwoNN 取 50,000 点，持续同调取 5,000 点）进行子采样，计算得到 15 维全局原始指标向量。 2. 极值归一化：将原始值除以基准库中对应描述符的历史观测极大值，得到位于 \([0, 1]\) 区间内的全局向量 \(\tilde{\boldsymbol{s}}\)。 3. 性能预估：将 \(\tilde{\boldsymbol{s}}\) 输入预先拟合的全局随机森林模型，输出预估的 Recall@20 为 0.68，与实际 MTEB 评测值高度一致。 4. 模型属性逆向工程：分类器根据其超高的有效秩与各向异性模式，以 98% 的置信度判定该模型属于 Decoder-only 架构且采用 SiLU 激活函数。 5. 局部偏置排查：对某篇医学文档计算其 \(k=100\) 近邻局部 UTS，发现其局部成对相似度显著低于均值且局部 TwoNN 维度异常偏高，分类器预警该文档属于不可检索（Non-retrievable）死区样本，提示系统需执行针对性的重写扩增。
损失函数 / 训练策略¶
作为后验表征分析与预测框架，UTS 本身无需反向传播训练嵌入模型。在下游属性解码与性能预测任务中，采用基于 Scikit-learn 的随机森林（Random Forest）模型。为了防止高维特征在有限样本上过拟合，决策树的最大深度严格限制为 5。验证方案采用严格的 3 折数据集分组交叉验证（Group Cross-Validation by Dataset），确保训练集与验证集的数据集源完全物理隔离，所有预处理与归一化参数均严格在训练折内拟合以杜绝数据泄露。所有文本嵌入均预先进行 \(L_2\) 单位范数归一化，特征提取在 8 节点 GPU 高性能计算集群上并行完成。
实验关键数据¶
主实验¶
论文对 27 个主流文本嵌入模型（涵盖 Qwen、BGE、E5、GTR、OpenAI 等）在 11 个跨领域 MTEB 检索数据集上的 891 个独立嵌入空间进行了系统评测。
| 预测方法 | Recall@5 | Recall@20 | Recall@100 | MAP@5 | MAP@20 | MAP@100 | NDCG@5 | NDCG@20 | NDCG@100 |
|---|---|---|---|---|---|---|---|---|---|
| TwoNN 维度 | \(0.07_{\pm.09}\) | \(0.08_{\pm.11}\) | \(0.04_{\pm.09}\) | \(0.07_{\pm.11}\) | \(0.06_{\pm.11}\) | \(0.04_{\pm.09}\) | \(0.06_{\pm.11}\) | \(0.07_{\pm.10}\) | \(0.05_{\pm.09}\) |
| 有效秩 (Eff. Rank) | \(0.44_{\pm.11}\) | \(0.47_{\pm.08}\) | \(0.42_{\pm.09}\) | \(0.44_{\pm.09}\) | \(0.43_{\pm.08}\) | \(0.43_{\pm.07}\) | \(0.45_{\pm.09}\) | \(0.45_{\pm.08}\) | \(0.45_{\pm.07}\) |
| 平均相似度 (Mean Sim.) | \(0.17_{\pm.13}\) | \(0.18_{\pm.15}\) | \(0.20_{\pm.11}\) | \(0.17_{\pm.11}\) | \(0.18_{\pm.12}\) | \(0.19_{\pm.13}\) | \(0.20_{\pm.13}\) | \(0.19_{\pm.14}\) | \(0.19_{\pm.14}\) |
| 各向同性 (IsoScore) | \(0.23_{\pm.15}\) | \(0.34_{\pm.06}\) | \(0.30_{\pm.07}\) | \(0.24_{\pm.10}\) | \(0.24_{\pm.11}\) | \(0.25_{\pm.10}\) | \(0.24_{\pm.10}\) | \(0.27_{\pm.09}\) | \(0.26_{\pm.10}\) |
| UTS-PCA (前5分量) | \(0.49_{\pm.03}\) | \(0.56_{\pm.05}\) | \(0.55_{\pm.10}\) | \(0.49_{\pm.01}\) | \(0.49_{\pm.01}\) | \(0.50_{\pm.02}\) | \(0.48_{\pm.03}\) | \(0.52_{\pm.01}\) | \(0.52_{\pm.02}\) |
| 完整 UTS (本文) | \(\mathbf{0.64}_{\pm.16}\) | \(\mathbf{0.70}_{\pm.11}\) | \(\mathbf{0.67}_{\pm.12}\) | \(\mathbf{0.63}_{\pm.17}\) | \(\mathbf{0.66}_{\pm.14}\) | \(\mathbf{0.68}_{\pm.15}\) | \(\mathbf{0.66}_{\pm.14}\) | \(\mathbf{0.69}_{\pm.13}\) | \(\mathbf{0.68}_{\pm.14}\) |
在未知模型内在属性解码实验中，UTS 展现出远超传统几何特征的判别精度，甚至能直接反演未知黑盒模型的网络架构与激活函数：
| 特征输入 | 预测模型 (27类) | 预测模型族 (12类) | 预测网络架构 (Encoder/Decoder) | 预测激活函数 (GELU/ReLU/SiLU) |
|---|---|---|---|---|
| Random (随机基线) | 0.04 | 0.08 | 0.50 | 0.33 |
| Most Frequent (多数类) | 0.04 | 0.17 | 0.72 | 0.59 |
| 原始嵌入 (Raw Embeddings) | \(0.26_{\pm.01}\) | \(0.37_{\pm.02}\) | \(0.78_{\pm.01}\) | \(0.38_{\pm.01}\) |
| TwoNN 维度 | \(0.02_{\pm.00}\) | \(0.09_{\pm.01}\) | \(0.02_{\pm.00}\) | \(0.32_{\pm.01}\) |
| 有效秩 (Eff. Rank) | \(0.39_{\pm.02}\) | \(0.47_{\pm.02}\) | \(\mathbf{0.98}_{\pm.00}\) | \(0.78_{\pm.02}\) |
| 平均相似度 (Mean Sim.) | \(0.23_{\pm.05}\) | \(0.46_{\pm.04}\) | \(0.63_{\pm.04}\) | \(0.56_{\pm.02}\) |
| IsoScore | \(0.11_{\pm.03}\) | \(0.16_{\pm.01}\) | \(0.79_{\pm.03}\) | \(0.53_{\pm.02}\) |
| UTS-PCA | \(0.44_{\pm.03}\) | \(0.50_{\pm.05}\) | \(0.97_{\pm.01}\) | \(0.83_{\pm.07}\) |
| 完整 UTS (本文) | \(\mathbf{0.66}_{\pm.02}\) | \(\mathbf{0.68}_{\pm.07}\) | \(\mathbf{0.98}_{\pm.01}\) | \(\mathbf{0.84}_{\pm.02}\) |
消融实验¶
针对拓扑描述符类别的重要性，论文开展了逐组剔除实验，考察不同几何属性对模型属性预测平衡准确率（Balanced Accuracy）的贡献度：
| 描述符配置 | 预测模型 | 预测模型族 | 预测网络架构 | 预测激活函数 | 说明 |
|---|---|---|---|---|---|
| 完整 UTS 全集 | \(\mathbf{0.66}_{\pm.02}\) | \(\mathbf{0.68}_{\pm.07}\) | \(\mathbf{0.98}_{\pm.01}\) | \(\mathbf{0.84}_{\pm.10}\) | 包含全部六类几何拓扑特征 |
| 剔除持续同调 (w/o PH) | \(0.64_{\pm.02}\) | \(0.67_{\pm.07}\) | \(0.98_{\pm.01}\) | \(0.82_{\pm.07}\) | 损失细粒度拓扑洞与寿命信息，轻微掉点 |
| 剔除内蕴维度 (w/o ID) | \(0.62_{\pm.02}\) | \(0.67_{\pm.07}\) | \(0.98_{\pm.01}\) | \(0.84_{\pm.09}\) | 模型判别能力下降约 4% |
| 剔除空间密度 (w/o Density) | \(0.41_{\pm.01}\) | \(0.40_{\pm.07}\) | \(0.98_{\pm.01}\) | \(0.70_{\pm.20}\) | 性能剧烈崩塌，模型族分类掉点达 28% |
| 剔除各向同性 (w/o Isotropy) | \(0.39_{\pm.01}\) | \(0.47_{\pm.07}\) | \(0.98_{\pm.01}\) | \(0.78_{\pm.20}\) | 性能严重下降，模型分类准确率仅剩 0.39 |
关键发现¶
- 单一指标局限显著，密度与各向同性是核心基石：消融实验证明，虽然有效秩在单变量下相关性最强，但在完整多维指纹中，剔除空间密度与各向同性描述符会导致模型辨识能力产生断崖式下跌（准确率从 0.66 暴跌至约 0.40），说明高维空间的致密性与主轴坍缩方向承载着模型家族最核心的几何指征。
- 证伪规模驱动的柏拉图收敛假说：基于 UTS 曼哈顿距离的层次聚类表明，表征相似度完全由模型家族与网络架构主导，而非参数规模。同家族的不同尺寸模型（如 Qwen 系列各尺寸模型）聚类极其紧密，而相同参数量但不同架构的模型拓扑距离巨大；BERT 派系与 Decoder 派系分立分明，表明架构设计与训练目标对全局几何施加了决定性先验。
- 可检索性偏置源于局部空间隔离：基于局部 UTS 的文档可检索性分类准确率高达 0.76（远高于词长特征与原始嵌入）。分析表明不可检索文档显著聚集于极低密度的边缘孤岛，且具有更低、更畸变的局部内蕴维度，证实稠密检索的马太效应具有深刻的拓扑几何根源。
亮点与洞察¶
- 多尺度拓扑协同刻画：首次将持续同调、分形测度与微分几何多样性指标系统聚合为统一指纹，弥合了传统单一几何指标在解释复杂文本表征时的片面性。
- 无标注检索效能预知：建立了一套无需真值查询与相关性标签的嵌入质量前置监控体系，仅凭语料库嵌入点云形态即可实现 Spearman \(\rho = 0.70\) 的高精度排序性能预测。
- 黑盒模型表征溯源：展现了令人惊叹的拓扑逆向工程潜力，能够以 98% 的极高准确率通过点云几何外形推断出背后的 Encoder/Decoder 架构，乃至推断闭源商业模型的骨干来源（如 OpenAI 嵌入与 Decoder 系列在拓扑上聚为同一簇）。
局限与展望¶
- 采样计算开销瓶颈：在大规模语料库（数百万文档）中计算 Vietoris-Rips 持续同调复形与高阶矩阵特征值计算复杂度极高，目前仍严重依赖子采样近似，未来需要引入近似拓扑算法提高吞吐。
- 任务与多语言外推边界：当前验证主要集中于英文检索任务与 MTEB 语料，虽然德国法律数据集（GerDaLIRSmall）初步实验显示出跨语言有效性，但在文本分类、少样本聚类及低资源多语言场景中的拓扑表征规律仍待进一步探究。
- 前向正则化指导缺失：UTS 目前主要用于后验分析与性能评估，尚未直接形式化为可微分的损失函数项注入模型预训练中以主动重塑几何流形。
相关工作与启发¶
- vs CKA 表征相似度分析：CKA（Centered Kernel Alignment）要求样本严格一一配对，且主要捕捉旋转不变的线性/核统计相关性，极易掩盖全局流形的空洞与局部拓扑畸变；UTS 支持非配对点云比较，且支持元素级几何差异可解释分解。
- vs 单一内蕴维度研究 (TwoNN / LID)：先前工作指出局部内蕴维度与最近邻搜索效率相关，但在预测检索性能时相关性近乎为零（\(\rho = 0.08\)）；UTS 证明只有与有效秩、各向同性及密度协同考虑时，流形维度才能转化为预测力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出多维统一拓扑特征概念，打破了表征几何的单一指标范式并挑战了柏拉图假说。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 27 个主流模型、11 个代表性检索数据集与 15 种几何度量，消融与对比实验扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，数学形式化定义严谨，附录提供了详尽的收敛性与相关性论证。
- 价值: ⭐⭐⭐⭐⭐ 为稠密检索质量前置监控、无标注评估、检索公平性优化及表征对齐研究提供了全新方法论。