跳转至

No Triangulation Without Representation: Generalization in Topological Deep Learning

会议: NeurIPS 2026
arXiv: 2605.06467
代码: https://github.com/aidos-lab/mantra
领域: 学习理论
关键词: 拓扑深度学习, 单纯复形, 组合流形, 泛化评估, 细分测试

一句话总结

本文扩展了组合流形基准 MANTRA,系统证明图神经网络在恰当表示与特征编码下性能不逊于高阶消息传递模型,并提出基于星形/重心细分的拓扑泛化压力测试,揭示现有拓扑深度学习模型仅学会拟合组合结构伪影而完全丧失跨尺度拓扑泛化能力。

研究背景与动机

近年来拓扑深度学习(Topological Deep Learning, TDL)迅速发展,旨在突破传统图数据中单纯的二元成对关联(dyadic relations),在单纯复形(simplicial complexes)和胞腔复形(cell complexes)等高阶结构上实现更具表达力的几何学习。这一范式不仅在代数拓扑领域具有理论意义,在网格量子场论(时空三角剖分模拟)、生物分子性质预测以及材料科学非晶固体结构分析中也展现出迫切需求。然而,当前 TDL 社区对于高阶模型的基准评测存在严重的评估盲区与方法学缺陷:诸如 TopoBench 等主流基准中的数据集绝大多数是将普通图数据人为提升(lift)为高阶结构构建而来,并不具备内生的高阶拓扑性质,导致评测本质上退化为图分类,进而引发了社区关于高阶表示是否必要、高阶消息传递(HOMP)表达力上限的广泛质疑。

内生高阶数据集 MANTRA 虽聚焦于组合流形三角剖分,但其原有评估方案缺陷严重:在二维流形部分,80% 的三角剖分缺失同胚类型标签,导致分类任务被大幅人为剪裁;在三维流形中,超过 99.5% 的样本属于 3-球面,类别极端不平衡使得多分类评测几乎退化为平凡任务。更致命的是,拓扑学与组合学存在本质分野——同一个拓扑流形具有无穷多种组合三角剖分(在有限 Pachner 移动下保持同胚不变),而现存评估多采用简单的同分布训练集/测试集随机划分,忽视了模型究竟是学习到了跨尺度的连续流形不变量(如欧拉示性数、可定向性、挠率),还是仅仅过拟合了特定离散剖分下的局部组合伪影。

针对上述瓶颈,本文重构并拓展了组合流形基准 MANTRA,借助局部拓扑保持的 Pachner 移动与连通和运算构建出高覆盖率、类别均衡的二维与三维流形分类基准,并设计了系统性的组合图表示消融与几何细分压力测试。核心 idea:通过 Pachner 移动与连通和补全平衡多维流形同胚基准,证实传统 GNN 借助适宜表示与矩曲线编码足以饱和现有任务;进而提出基于星形细分与重心细分的尺度泛化压力测试,实证揭示现有 TDL 模型仅学到了组合离散特征而未掌握本质拓扑不变量。

方法详解

整体框架

本文构建了一套用于拓扑深度学习表示能力与真实拓扑泛化能力的基准评估规程。整体流程涵盖四个关键阶段:首先,以代数拓扑中的闭曲面分类定理与三维组合流形性质为指导,利用 Pachner 移动与连通和运算对原始 MANTRA 数据集进行拓扑保同胚数据扩增与严格去重过滤,构建高质量二维(不平衡与平衡版)与三维平衡分类基准;其次,提取组合流形的四种不同层次表示(全单纯复形、Hasse 图、对偶图、1-骨架),并赋予四类结构/位置特征编码;接着,在控制参数预算(≤500K)下全面评测图神经网络(GCN, RG-GCN, Graphormer)与高阶消息传递模型(SCCNN, CWN)的同胚分类表现;最后,引入星形细分(Stellar subdivision)与重心细分(Barycentric subdivision)构建分布外多尺度拓扑测试集,作为检验模型是否具备纯粹拓扑感知能力的试金石。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始流形三角剖分<br/>MANTRA 2D/3D Lutz 数据库"] --> B["拓扑保同胚数据扩增<br/>Pachner 移动 + 连通和 + 严格去重"]
    B --> C["基准数据多表征转换<br/>单纯复形 𝒯 / Hasse图 ℋ / 对偶图 𝒟 / 1-骨架 𝒮"]
    C --> D["特征赋予与编码映射<br/>随机特征 R / 度数 D / RWPE / 矩曲线 MC"]
    D --> E["流形同胚分类训练<br/>GNNs vs HOMP (≤500K 参数上限)"]
    E --> F["拓扑尺度细分压力测试<br/>n-graded / p-top 星形细分与重心细分"]
    F --> G["泛化瓶颈实证判定<br/>模型拟合组合结构而非本质拓扑"]

关键设计

1. 拓扑保同胚数据扩增与防泄露去重:解决高阶流形类别缺失与极端不平衡 针对 MANTRA 中 2D 流形 80% 缺乏标签以及 3D 流形中 3-球面占比超 99.5% 的核心痛点,本文借助代数拓扑定理设计了保持或可预测改变同胚类型的几何扩增规程。对于二维紧致连通闭曲面,依据 Brahana 分类定理,曲面同胚类型由欧拉示性数 \(\chi(\mathcal{T}) = \sum_{k=0}^{d} (-1)^k |\mathcal{T}_k|\) 与可定向性完全决定。研究团队采用局部重剖分 Pachner 移动(保持同胚类型)与连通和操作(沿共享边界粘合环面 \(T_2\) 或实射影平面 \(\mathbb{RP}_2\),受控生成新类型),将二维平衡集扩充至 22 个同胚类别、每类精确包含 2500 个样本(总计 55,000 个三角剖分);三维平衡集则补充 Lutz 低价三角剖分并通过 3D Pachner 移动扩充至 99 类,每类 3,000–5,000 样本。为彻底防止训练集与测试集同构泄露,团队设立了三级去重过滤流水线:首先比对各维度单纯形数量构成的 \(f\)-向量(\(f\)-vector 不同则必不同构);其次将单纯形与顶点转化为关联二部图,计算关联图的 Weisfeiler-Lehman (WL) 哈希散列值;最后对极少数哈希冲突子集执行精确图同构检测,并对顶点规模设定上限(2D 顶点数 \(\le 24\),3D 顶点数 \(\le 40\)),留出充足空间构建大规模未见测试集。

2. 组合表示降阶与矩曲线嵌入:重新审视 TDL 对高阶运算的真实依赖 储存高阶单纯复形及其各阶全边界算子(Boundary matrices)在 GPU 显存中开销巨大,且并非所有模型都需要显式存储全部面结构。为了理清不同表征层级的信息保留度与计算复杂度权衡,本文系统解构了四种输入表示:显式完整单纯复形 \(\mathcal{T}\)、描述所有面严格包含偏序关系的有向/无向 Hasse 图 \(\mathcal{H}\)、以最大面为节点且共享余维 1 面为边的对偶图 \(\mathcal{D}\),以及仅保留顶点与边的 1-骨架图 \(\mathcal{S}\)。针对图模型难以感知嵌入空间连续几何的缺陷,提出将代数拓扑中的矩曲线嵌入(Moment Curve Embedding, MC)作为通用位置编码。对于 \(d\) 维流形中的第 \(i\) 个顶点/单纯形,其归一化索引坐标映射为: $\(x_i = \left[ \left(\frac{i}{n-1}\right)^1, \left(\frac{i}{n-1}\right)^2, \dots, \left(\frac{i}{n-1}\right)^{2d+1} \right]\)$ 该设计与随机均匀特征(\(\mathbf{R}\))、节点度(\(\mathbf{D}\))及随机游走位置编码(\(\mathbf{RWPE}\))并行对比。理论与实验均证明,在对偶图 \(\mathcal{D}\) 或 Hasse 图 \(\mathcal{H}\) 上应用矩曲线特征 \(\mathbf{MC}\),能够有效弥补降维丢弃的全局嵌入几何信息,使得标准 GCN 或 Graphormer 的计算复杂度远低于胞腔/单纯形消息传递网络(CWN/SCCNN),同时分类性能足以饱和基准。

3. 拓扑细分泛化压力测试:解耦组合离散拟合与本质拓扑理解 为了终结学术界关于模型是学到“组合局部特征”还是“连续拓扑不变量”的长期混淆,本文确立了以几何细分(Subdivision)为核心的分布外压力测试机制。细分操作通过向单纯复形内部插入新单纯形增加组合离散尺度,但严格保持流形拓扑同胚类型不变。基准具体构建了三种细分测试机制:一是渐进式星形细分(\(n\)-graded stellar subdivision),针对极大单纯形 \(\sigma \in \mathcal{T}\) 执行中心加点 \(v\) 并连接边界胞腔 \(\{ \{v\} \star \tau \mid \tau \in \partial\sigma \}\),逐次增加顶点直至 \(n \in \{16, \dots, 20\}\);二是比例星形细分(\(p\)-top stellar subdivision),在 \(p \in \{0.75, 1.0\}\) 比例的极大面处同时执行单步细分;三是完全重心细分(Barycentric subdivision),取所有维度单纯形的严格包含序列生成新复形。若模型真正内化了拓扑不变量的归纳偏置,其对同胚类型的分类准确率应在细分尺度变化下保持平稳;反之若准确率断崖式下滑,则无可辩驳地证伪了模型的拓扑理解假说。

损失函数 / 训练策略

模型训练采用交叉熵损失函数(Cross-Entropy Loss),在多分类任务上进行全监督优化: $\(\mathcal{L} = -\frac{1}{N} \sum_{i=1}^N \sum_{c=1}^C y_{i,c} \log \hat{y}_{i,c}\)$ 其中 \(N\) 为批次大小,\(C\) 为同胚类别数,\(y_{i,c}\) 为真实同胚类型 one-hot 标签,\(\hat{y}_{i,c}\) 为模型预测概率分布。优化器采用 Adam,学习率在 \(\{0.01, 0.001\}\) 中网格搜索,批大小设为 128 或 256。训练数据采用 60% 训练、20% 验证与 20% 测试的随机划分,最大训练轮数为 300 轮,设置 100 轮 Early Stopping 容忍度。所有模型严格限制可学习参数量在 500K 以内,并在固定 3 个随机种子(41, 42, 43)下取验证集最佳配置评估测试集与细分泛化集。

实验关键数据

主实验

在扩展后的 MANTRA 2D(不平衡与平衡)以及 3D 平衡基准上,各模型最佳表征/编码组合的同胚分类平衡准确率(Balanced Accuracy, %)表现如下。基线对比中,\(\Delta_T\) 分别表示相比于基于欧拉示性数(2D)或 \(f\)-向量随机森林基线(3D)的相对优势:

模型类型 模型名称 2D Unbalanced (最佳配置 / Bal. Acc) 2D Balanced (最佳配置 / Bal. Acc) 3D Balanced (最佳配置 / Bal. Acc)
GNN GCN \(\mathcal{D}\) / MC: \(96.45 \pm 0.83\) (\(\Delta_T +18.65\)) \(\mathcal{H}\) / MC: \(96.16 \pm 0.79\) (\(\Delta_T +27.98\)) \(\mathcal{D}\) / MC: \(89.90 \pm 0.57\) (\(\Delta_T +7.46\))
GNN RG-GCN \(\mathcal{D}\) / MC: \(98.31 \pm 0.45\) (\(\Delta_T +20.51\)) \(\mathcal{H}\) / MC: \(98.18 \pm 0.31\) (\(\Delta_T +30.00\)) \(\mathcal{D}\) / MC: \(93.25 \pm 0.83\) (\(\Delta_T +10.81\))
GNN Graphormer \(\mathcal{D}\) / MC: \(98.45 \pm 0.71\) (\(\Delta_T +20.65\)) \(\mathcal{D}\) / MC: \(98.69 \pm 0.07\) (\(\Delta_T +30.51\)) \(\mathcal{D}\) / MC: \(97.29 \pm 1.57\) (\(\Delta_T +14.85\))
HOMP SCCNN \(\mathcal{T}\) / MC: \(96.91 \pm 0.57\) (\(\Delta_T +19.11\)) \(\mathcal{T}\) / MC: \(95.76 \pm 1.02\) (\(\Delta_T +27.58\)) \(\mathcal{T}\) / MC: \(88.27 \pm 0.02\) (\(\Delta_T +5.83\))
HOMP CWN \(\mathcal{T}\) / MC: \(\mathbf{99.86 \pm 0.01}\) (\(\Delta_T +22.06\)) \(\mathcal{T}\) / MC: \(98.19 \pm 0.09\) (\(\Delta_T +30.01\)) \(\mathcal{T}\) / MC: \(\mathbf{98.55 \pm 0.17}\) (\(\Delta_T +16.11\))

在 2D 任务中,无论是轻量级图卷积网络(GCN、RG-GCN)还是高阶胞腔网络(CWN),在引入矩曲线(MC)编码后均能达到 96%–99.8% 的极高准确率,推翻了早期文献关于普通图模型无法胜任流形拓扑分类的断言;在更严苛的 3D 流形任务中,Graphormer(97.29%)与 CWN(98.55%)旗鼓相当,而显式计算单纯形卷积的 SCCNN 反而落后于图网络。

消融实验:拓扑细分泛化压力测试

为了检验各模型在面临几何细分(分布外拓扑保同胚变形)时的泛化鲁棒性,下表给出了 2D-Balanced(22 类别,随机猜测基线为 \(1/22 \approx 4.55\%\))在最佳代表性配置下的退化表现:

模型 表征与编码 原始测试集 (<15顶点) 0.75-top 星形细分 1.0-top 星形细分 完全重心细分 (Bary.)
CWN \(\mathcal{T}\) / MC \(\mathbf{98.19 \pm 0.09}\) \(4.44 \pm 0.15\) \(4.80 \pm 0.45\) \(4.85 \pm 1.08\)
CWN \(\mathcal{T}\) / R \(97.64 \pm 0.12\) \(5.00 \pm 0.39\) \(6.21 \pm 2.62\) \(4.70 \pm 0.16\)
SCCNN \(\mathcal{T}\) / MC \(95.76 \pm 1.02\) \(7.23 \pm 1.02\) \(5.27 \pm 0.70\) \(5.27 \pm 0.70\)
Graphormer \(\mathcal{D}\) / MC \(98.69 \pm 0.07\) \(5.32 \pm 0.76\) \(4.80 \pm 1.84\) \(5.55 \pm 1.28\)
RG-GCN \(\mathcal{H}\) / MC \(98.18 \pm 0.31\) \(9.79 \pm 0.82\) \(8.62 \pm 1.42\) \(5.92 \pm 1.66\)
RG-GCN \(\mathcal{H}\) / RWPE \(97.55 \pm 0.40\) \(15.39 \pm 8.95\) \(10.58 \pm 5.24\) \(8.58 \pm 1.38\)
GCN \(\mathcal{H}\) / MC \(96.16 \pm 0.79\) \(17.08 \pm 0.98\) \(\mathbf{20.35 \pm 3.87}\) \(6.68 \pm 1.57\)

关键发现

  • 灾难性泛化崩溃:所有参评模型在经历哪怕轻度星形细分后,分类准确率均发生断崖式下跌。在 2D-Balanced 测试中,在同分布下达到 98.19% 准确率的 CWN 在 0.75-top 星形细分下骤降至 \(4.44\%\),彻底沦为随机盲猜水准(\(4.55\%\))。
  • 高阶方法退化尤甚:原本被寄予厚望的高阶拓扑方法(CWN、SCCNN)对复形细分表现出极端脆弱性,其性能降幅甚至大于在 Hasse 图上运行的传统图卷积网络(RG-GCN、GCN),证实高阶消息传递强依赖特定单纯形局域拓扑索引,对组合扰动几乎没有不变性。
  • 特征编码决定生死:在图模型上,矩曲线编码(MC)在同分布测试中提供了决定性增益,弥补了对偶图损失的高阶几何信息;但在多尺度细分下,任何依赖顶点绝对索引的编码均失效,甚至落后于简单的度数与随机特征。

亮点与洞察

  • 颠覆先验认知的方法学审视:研究系统纠正了“必须使用高阶复形消息传递才能处理流形拓扑”的学术偏见,证明在对偶图与 Hasse 图上运行的标准 GNN 在合理位置编码下足以饱和 2D 与 3D 流形同胚基准。
  • 确立几何细分作为拓扑学习检验准则:巧妙利用拓扑同胚在星形细分与重心细分下的代数不变性,构造出计算开销适中但极具判别力的分布外拓扑压力测试,成为检验未来 TDL 架构是否具备真正拓扑感知能力的“烟雾测试(Smoke Test)”。
  • 揭穿拓扑深度学习的“组合幻觉”:无可辩驳地证明了现有模型仅学会了三角剖分中的组合尺度规律与离散计数的伪相关性,根本未掌握连欧拉示性数这种初等代数不变量,为后续具备跨尺度拓扑不变性的归纳偏置设计指明了方向。

局限与展望

  • 计算复杂度制约超大规模细分评测:完全重心细分会导致单纯形数量指数级膨胀,受限于 GPU 显存限制,测试集只能截取每类前 100 个最大剖分进行小样本检验,难以在全量数据集上展开更细粒度的超大尺度连续推演。
  • 缺乏显式同调代数归纳偏置模型对照:论文重点评估了现存主流 GNN 与 HOMP 框架,尚未涵盖近期将持久同调(Persistent Homology)或谱同调算子显式硬编码进网络结构的混合拓扑架构。
  • 未来方向在于尺度不变拓扑层构建:未来研究需脱离纯粹局部消息传递套路,研发在重心细分操作下天然具备谱收敛性或代数不变性(如连续热核特征、谱投影不变算子)的真正拓扑神经网络。

相关工作与启发

  • vs TopoBench [37]: TopoBench 汇集了大量图数据人为提升至复形的任务,缺乏内生高阶结构;本文基于真实组合流形,提供数学严谨的同胚标签、Pachner 扩增及几何细分泛化评测。
  • vs MANTRA [2]: 原始 MANTRA 存在大面积标签缺失(2D 缺失 80%)与极端类别失衡(3D 3-球面超 99.5%);本文通过 Pachner 移动与连通和补齐了类别定义,建立严格的防泄露去重,并推翻了其“GNN 无法解决流形分类”的论断。
  • vs Eitan et al. [16]: Eitan 等人从表达力理论角度证明 HOMP 无法区分特定拓扑不变量;本文则从经验泛化维度实证了即使在理论可解的欧拉示性数等任务上,现有模型在几何细分下依然完全无法泛化。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出以几何细分作为拓扑深度学习本质泛化能力的严密评估范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D/3D 多种表示、4 种编码、5 类前沿模型,并在渐进星形与重心细分下系统压测。
  • 写作质量: ⭐⭐⭐⭐⭐ 拓扑学概念剖析透彻,数学定理与实证论述环环相扣,逻辑极为清晰。
  • 价值: ⭐⭐⭐⭐⭐ 揭示了 TDL 领域的关键认知盲区,为设计真正具备拓扑不变性的神经网络提供了试金石。