Classification Fields: Arbitrarily Fine Recursive Hierarchical Clustering From Few Examples¶
会议: NeurIPS 2026
arXiv: 2605.07119
OpenReview: https://openreview.net/forum?id=dLTzQWpUx2
代码: https://github.com/Yicen-Li/ClassificationFields
领域: 学习理论
关键词: 层次聚类, 递归细化法则, 分类场, 几何测度论, ReLU可实现性
一句话总结¶
提出了将层次聚类建模为由局部父到子细化法则递归生成的无限深几何对象“分类场”，仅从有限观察前缀即可学习预测器外推至任意未见深度并保持谱系、几何与路径测度结构。
研究背景与动机¶
传统的层次聚类方法通常以固定的有限样本为中心，给定 \(N\) 个观测样本，算法通过自底向上的凝聚策略（如 Ward 算法）或树状图目标函数（如 Dasgupta 代价），输出样本点间的有限划分或以样本为叶节点的有限树状图。即便在现代的可微层次聚类或基于双曲空间的树嵌入模型中，优化的目标依然是拟合静态有限树或在固定的连续几何流形中嵌入离散结构。这种有限样本视角在面对具有内在递归生成机理的多尺度几何系统时显得力不从心：真实场景中潜在的细粒度聚类中心数量往往远超已观测节点数（即 \(k \gg N\)），且其细化过程在训练层级之外仍可自相似或递归演进。
这一局限的核心矛盾在于：现有方法将层次聚类视为对静态观测数据的组合划分与叶节点汇总，缺乏能够跨层级复用、递归展开的局部动力学机制，因而无法从有限的浅层观测外推至更深的未知层次。当需要推断超越观测分辨率的精细微观聚类结构时，有限树结构既无法定义无限极限下的完备空间，也无法为递归推演提供数学保证。
本文转换了看待层次结构的基础视角：聚类结构本质上是由局部细化规则驱动的多尺度紧致度量几何对象，从有限层级学习的目标应是提炼出生成整个层次的局部演化法则。核心 idea：将无限深层次聚类形式化为局部父到子细化法则递归生成的度量有向无环图“分类场”（Classification Fields），证明有限截断在完备胞腔测度下指数收敛至极限场并具备 ReLU 神经网络可实现性，使有限浅层观测能稳定自递归外推至任意精细深度。
方法详解¶
整体框架¶
分类场的核心思想是将全局层次结构解耦为生成规则与几何实现。分类场生成器（Classification Field Generator, CFG）接收父节点聚类中心，输出一组有序且保持几何分离的子节点位移残差。在给定根节点与收缩缩放因子后，通过递归迭代 CFG 生成每一层的子聚类中心，并借助相应的 Voronoi 胞腔（Voronoi cells）划分几何空间，同时将树状谱系地址与空间欧氏几何统一为赋权有向图或度量有向无环图（DAG）。在学习阶段，分类场预测器（Classification Field Predictor, CFP）仅在有限浅层前缀上通过监督自回归对齐局部细化位移，在测试阶段则完全脱离 Teacher Forcing，以自递归外推（Rollout）的方式持续生成未见深度的聚类中心、划分胞腔与谱系路径。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：根节点 x0 与有限浅层树观测 H_train"] --> B["1. 分类场生成器与环形几何分离约束<br/>输出有序 K 元子节点位移残差"]
B --> C["2. 递归度量 DAG 与尺度敏感胞腔测度<br/>生成多层 Voronoi 划分与图路径距离"]
C --> D["3. 有限截断指数收敛与神经网络可实现性<br/>ReLU CFP 拟合有限窗口精确插值中心"]
D --> E["4. 自递归多层外推机制与槽位几何规范化<br/>摆脱 Teacher Forcing 稳定生成极限深度"]
E --> F["输出：任意深度的完备分类场与多尺度聚类中心"]关键设计¶
1. 分类场生成器与环形几何分离约束：构建局部父到子细化动力学
为了保证递归细化过程中子簇在几何空间中既不发生重合退化，也不发散至无界区域，CFG 被严格定义为映射 \(r: \mathbb{R}^d \to (\mathbb{R}^d)^K\)。对于任意单位球内的父节点 \(x \in \mathbb{B}_2^d\)，其生成的 \(K\) 个子节点残差向量 \(\{r_k(x)\}_{k=1}^K\) 必须严格落在内径为 \(\lambda_{\min}\)、外径为 \(\lambda_{\max}\) 的欧氏环形区域内，并且任意两个不同子残差之间的欧氏间距至少保持 \(s_{\operatorname{sep}} > 0\)： $\(\lambda_{\min} \leq \|r_k(x)\|_2 \leq \lambda_{\max}, \quad \|r_k(x) - r_{\tilde{k}}(x)\|_2 \geq s_{\operatorname{sep}} \quad (\forall k \neq \tilde{k}).\)$ 为构造该非线性映射族，论文通过在环形域内构建基准紧密堆积矩阵 \(C = (c_1 \mid \cdots \mid c_K) \in \mathbb{R}^{d \times K}\)，并结合反对称矩阵生成李代数旋转映射 \(A_1(x), A_2(x)\) 与正对角缩放 \(\sigma(x)\)，参数化定义 \(r(x) = \exp(A_1(x)) \operatorname{diag}(\sigma(x)) \exp(A_2(x))^\top C\)。该参数化在保证严格空间分离与尺度有界的前提下赋予生成器强大的非线性形变表达能力。
2. 递归度量 DAG 与尺度敏感胞腔测度：谱系地址与空间划分的解耦
为了使有限离散树与无限连续极限能在统一几何框架下比较，分类场引入谱系字地址 \(\alpha = (\alpha_1, \dots, \alpha_l) \in [K]_+^l\)。给定缩放收缩率 \(0 < s < 1\)，第 \(l\) 层子节点中心与 Voronoi 聚类胞腔由其父节点按如下动力学递归构造： $\(x_{\alpha k} = x_\alpha + s^l r(x_\alpha)_k, \quad C_{\alpha k} = \left\{ z \in C_\alpha : \|z - x_{\alpha k}\|_p \leq \min_{\tilde{k} \in [K]_+} \|z - x_{\alpha \tilde{k}}\|_p \right\}.\)$ 当不同分支在空间中演化至重合时，通过商空间映射 \(\mathcal{V}^{\operatorname{geo}} = \mathcal{V}^{\operatorname{tree}} / \sim\) 消除几何重合节点，将纯谱系树转化为度量 DAG。为了衡量聚类胞腔之间的多尺度差异，论文定义了结合 Hausdorff 距离与层级尺度的边权重： $\(W_{\operatorname{cell}}\big((C_\alpha, x_\alpha, \alpha), (C_{\alpha k}, x_{\alpha k}, \alpha k)\big) = s^{|\alpha|} \lambda_{\max} d_{H,p}(C_\alpha, C_{\alpha k}).\)$ 这种尺度敏感的图最短路径测度使得越往深层演化的边权按几何级数收缩，确保了赋权图在无限递归深度下的测度完备化收敛。
3. 有限截断指数收敛与神经网络可实现性：从理论完备化到神经网络逼近
在构建了无限完备胞腔测度空间 \(X_{\operatorname{cell}}\) 后，核心理论问题在于有限层级的展开能否在可控误差内逼近无限极限，以及该局部规则能否被有限深度的神经网络精确捕获。定理 4.1 表明，对于任意目标精度 \(\varepsilon \in (0, 1)\)，只要展开截断深度满足： $\(L_\varepsilon = \max\left\{2, \left\lceil \frac{\log\left(2\lambda_{\max}^2 / ((1-s)\varepsilon)\right)}{-\log s} \right\rceil\right\},\)$ 其几何截断子图 \(Y_{L_\varepsilon}\) 在完备胞腔 Hausdorff 测度下与无限分类场 \(X_{\operatorname{cell}}\) 的偏差即满足 \(d_H^{\overline{d}_{\operatorname{cell}}}(Y_{L_\varepsilon}, X_{\operatorname{cell}}) \leq \varepsilon\)。进一步利用 ReLU 网络的紧致域有限样本精确记忆性质，论文证明存在一个网络宽度为 \(\mathcal{O}(\varepsilon^{-\gamma})\)、深度为 \(\widetilde{\mathcal{O}}(\varepsilon^{-3\gamma/2})\)（其中 \(\gamma = \log K / (-\log s)\)）的 ReLU 预测器 \(\hat{r}\)，能够精确拟合有限观测窗口内的所有父节点真实位移，从而保证有限神经网络能够实现高保真度自递归展开。
4. 自递归多层外推机制与槽位几何规范化：真实数据下的鲁棒展开
在实际训练中，分类场预测器 \(\hat{r}\) 仅在有限观察树 \(\mathcal{H}_{\mathrm{train}}\) 的前 \(L_{\mathrm{train}}\) 层通过均方误差损失进行优化： $\(\mathcal{L}(\hat{r} \mid \mathcal{H}_{\mathrm{train}}) = \sum_{l=0}^{L_{\mathrm{train}}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \left\| x + s^{l+1} \hat{r}(x)_k - \mathrm{chld}(x)_k \right\|_2^2.\)$ 在测试外推时，模型禁止使用任何未见层级的真实中心引导（无 Teacher Forcing），前一层生成的预测子节点全部直接作为下一层的输入父节点。面对真实高维表征（如 CLIP 嵌入递归聚类）中子簇索引无序的问题，框架设计了基于主成分分析（PCA）平面的几何极角投影对齐规则 \(\theta_k = \operatorname{atan2}((z_k)_2, (z_k)_1)\)，按极角升序进行槽位规范化（Slot Canonicalization），从根本上消除了聚类分支置换歧义对顺序敏感型预测器的干扰。
损失函数 / 训练策略¶
模型在有限观测层 \(l \in \{0, \dots, L_{\mathrm{train}}-1\}\) 内对父子残差进行有监督回归。合成与分形实验中采用 4 层、隐层宽度为 64 的 ReLU MLP，通过 Adam 优化器以学习率 \(10^{-3}\) 训练 3000 个 epoch；在 CIFAR 的高维 CLIP 图像表征实验中，使用瓶颈层宽度为 1024、深度为 7 层的 GELU MLP（在观察深度 0 到 5 层上训练，在完全未见的第 6 层上测试外推评估）。
实验关键数据¶
主实验¶
论文在三个不同程度偏离理想理论假设的场景中进行全面评估：匹配的 CFG 递归层次、非线性迭代函数系统（Nonlinear IFS 分形体系）、以及 CIFAR-10/100 图像 CLIP 表征递归聚类层次。评测采用三大核心指标：衡量槽位顺序精确度的均方误差（MSE）、衡量无序集合空间几何契合度的置换不变倒角距离（PI-CD，以 \(10^{-3}\) 为单位）、以及衡量整棵树拓扑测度保真度的最短路径距离失真度（\(d_{\mathrm{pt}}\)-Distortion，以 \(10^{-3}\) 为单位）。
下表汇总了在完全超出 CFG 参数化假设的非线性 IFS 分形层级（外推至未见第 3-5 层）的主对比实验结果（均值 \(\pm\) 标准差，数值单位 \(10^{-3}\)）：
| 方法 | 指标 | Nonlinear Sierpiński | Nonlinear Cantor Dust | Nonlinear Koch Curve | Rand. Nonlinear IFS | Macro Avg. |
|---|---|---|---|---|---|---|
| CFP (本文) | MSE ↓ | 0.90 ± 0.19 | 0.47 ± 0.11 | 0.70 ± 0.21 | 4.16 ± 6.95 | 1.56 ± 3.55 |
| 仿射残差预测器 | MSE ↓ | 16.46 ± 5.46 | 16.15 ± 9.28 | 9.13 ± 2.02 | 5.59 ± 6.81 | 11.84 ± 7.60 |
| 可学习常数模板 | MSE ↓ | 75.97 ± 0.00 | 270.62 ± 0.00 | 62.93 ± 0.00 | 169.82 ± 59.54 | 144.84 ± 89.93 |
| 平均残差基线 | MSE ↓ | 75.98 ± 0.00 | 270.62 ± 0.00 | 62.93 ± 0.00 | 169.82 ± 59.54 | 144.84 ± 89.93 |
| CFP (本文) | PI-CD ↓ | 1.82 ± 0.32 | 1.00 ± 0.18 | 0.81 ± 0.16 | 4.30 ± 7.01 | 1.98 ± 3.53 |
| 仿射残差预测器 | PI-CD ↓ | 22.63 ± 7.65 | 19.40 ± 8.44 | 5.05 ± 1.21 | 5.84 ± 5.41 | 13.23 ± 9.95 |
| 可学习常数模板 | PI-CD ↓ | 106.42 ± 0.00 | 300.61 ± 0.00 | 39.14 ± 0.00 | 162.39 ± 72.22 | 152.14 ± 104.10 |
| 平均残差基线 | PI-CD ↓ | 106.42 ± 0.00 | 300.61 ± 0.00 | 39.14 ± 0.00 | 162.39 ± 72.22 | 152.14 ± 104.10 |
| CFP (本文) | \(d_{\mathrm{pt}}\)-Distortion ↓ | 9.86 ± 1.48 | 4.70 ± 0.52 | 9.01 ± 0.53 | 11.07 ± 6.31 | 8.66 ± 3.88 |
| 仿射残差预测器 | \(d_{\mathrm{pt}}\)-Distortion ↓ | 67.57 ± 16.28 | 47.34 ± 15.91 | 57.54 ± 15.84 | 31.59 ± 10.29 | 51.01 ± 19.25 |
| 可学习常数模板 | \(d_{\mathrm{pt}}\)-Distortion ↓ | 84.27 ± 0.00 | 95.92 ± 0.00 | 99.86 ± 0.00 | 125.82 ± 11.06 | 101.47 ± 16.38 |
| 平均残差基线 | \(d_{\mathrm{pt}}\)-Distortion ↓ | 84.27 ± 0.00 | 95.92 ± 0.00 | 99.86 ± 0.00 | 125.82 ± 11.06 | 101.47 ± 16.38 |
在最具挑战性的真实数据测试中，论文利用 CIFAR-10 和 CIFAR-100 的 CLIP 图像特征构建三叉递归聚类层次，在仅观测前 0-5 层的前提下，自递归外推至第 6 层的实验结果如下表（数值单位 \(10^{-3}\)）：
| 方法 | CIFAR-10 MSE ↓ | CIFAR-100 MSE ↓ | CIFAR-10 PI-CD ↓ | CIFAR-100 PI-CD ↓ | CIFAR-10 \(d_{\mathrm{pt}}\)-Distortion ↓ | CIFAR-100 \(d_{\mathrm{pt}}\)-Distortion ↓ |
|---|---|---|---|---|---|---|
| CFP (本文) | 2.55 ± 0.16 | 3.83 ± 0.08 | 822.47 ± 26.94 | 1104.90 ± 24.83 | 22.68 ± 0.97 | 30.15 ± 1.98 |
| 仿射残差预测器 | 6.10 ± 0.13 | 4.99 ± 0.10 | 3729.85 ± 101.96 | 2920.46 ± 65.18 | 478.95 ± 32.53 | 410.07 ± 35.60 |
| 可学习常数模板 | 6.13 ± 0.25 | 4.98 ± 0.23 | 3740.01 ± 70.42 | 2956.31 ± 80.87 | 522.23 ± 29.63 | 500.72 ± 33.19 |
| 平均残差基线 | 6.14 ± 0.23 | 4.99 ± 0.22 | 3770.91 ± 64.72 | 2972.16 ± 80.16 | 525.55 ± 28.69 | 501.54 ± 32.42 |
消融实验¶
论文在附录中针对三大影响自递归外推稳定性的核心超参数进行了细致的诊断分析与消融检验：
| 消融配置 / 条件 | 评估指标与现象 | 结论与机制分析 |
|---|---|---|
| 观测深度 \(L_{\mathrm{train}} = 1\) | 外推 MSE 与平均残差基线几乎持平 | 单层分裂无法暴露出依赖于父节点空间位置的非线性细化场规律 |
| 观测深度 \(L_{\mathrm{train}} = 2\) | 外推 MSE 相比单层下降约 1 个数量级，误差平坦 | 2 层前缀即可稳定提取可复用的局部动力学生成算子 |
| 观测深度 \(L_{\mathrm{train}} = 3\) | 预测误差进一步显著降低，深层外推曲线近乎水平 | 充分的数据前缀有效抵御了多步迭代自回归复合累积误差 |
| 收缩因子 \(s \in \{0.3, 0.5, 0.7, 0.85\}\) | \(s\) 越大外推难度越高，归一化 MSE 逐渐抬升 | 步长收缩变缓会放大递归误差传播，但 CFP 在全区间内均显著优于仿射基线 |
| 原始有序子节点槽位 | 外推精度最高（保持理论基准） | 规范严格的槽位对齐可最大化发挥参数化神经网络的容量 |
| 随机置换子节点槽位 | 外推 MSE 剧烈恶化，自回归发散 | 分支槽位置换破坏了连续映射的局部 Lipschitz 光滑性 |
| 置换 + PCA 极角几何规范化 | 外推精度近乎完全恢复至原始有序水平 | 证明极角投影规范化算法能有效纠正高维无序聚类的分支对齐歧义 |
关键发现¶
- 局部非线性依赖是自递归稳定的关键：常数模板与平均残差基线在深层外推时迅速崩溃，表明细化法则必须依赖于父节点在流形中的局部坐标；仿射模型虽优于全局常数，但在复合非线性流形上快速遭遇误差累积瓶颈。
- 几何与图测度同步高保真保留：CFP 不仅在坐标级别的 MSE 上领先，更在 PI-CD（无序集合几何轮廓）和 \(d_{\mathrm{pt}}\)-Distortion（整树路径距离矩阵失真）上取得了数量级优势（例如 CIFAR-10 上路径失真度从仿射基线的 478.95 骤降至 22.68），证明其复原的是内在的多尺度连通几何，而非机械记住局部坐标。
- 高维真实数据表征的可用性：即使在只有经验构造、非严格自相似的 CIFAR CLIP 特征树上，CFP 配合极角规范化仍成功外推生成了未见第 6 层的代表聚类中心，证明了分类场理论向非理想真实世界的泛化潜力。
亮点与洞察¶
- 范式升维：打破了将层次聚类局限在“为当前 \(N\) 个离散样本构建一棵固定叶子树”的狭隘传统，创新性地将其形式化为“学习一个生成无限精细度量图的连续动态场”，从有限前缀外推无限深度。
- 严谨完备的测度收敛理论：建立了尺度敏感的 Voronoi 胞腔 Hausdorff 距离，证明了有限深度截断在完备空间中的指数收敛速度，并给出明确的 ReLU 网络宽度和深度复杂度边界 \(\mathcal{O}(\varepsilon^{-\gamma})\) 与 \(\widetilde{\mathcal{O}}(\varepsilon^{-3\gamma/2})\)。
- 通用的递归推演工具链：提出的父子残差建模、极角槽位对齐规范化以及自递归 Rollout 框架，可直接迁移至多尺度网格细分、自相似物理场分形模拟以及开放词表概念树的无限向下延伸任务中。
局限与展望¶
- 固定分支度假设：理论与实现均假设每个父节点具有固定的分支数 \(K\)，但在复杂现实数据中，自然概念树与聚类树往往具有不规则、自适应的分支结构。
- 强依赖空间槽位一致性：模型对子节点槽位的顺序敏感，若无序聚类分支的规范化规则失效或遭遇旋转对称等歧义，自回归外推的性能会发生退化。
- 缺乏变尺度动力学与跨分支不对称建模：收缩尺度 \(s\) 目前为全局固定标量，未来可扩展至支持局部自适应收缩率、变分支拓扑以及抗噪声扰动的随机微分分类场。
相关工作与启发¶
- vs 传统凝聚与目标驱动层次聚类 (Ward / Dasgupta's Cost)：传统方法局限于给定的有限样本点集并输出离散叶节点，无法生成超过训练样本的未见细粒度簇；分类场学习的是连续空间中可复用的局部细化算子，可自递归向深层无限外推。
- vs 连续树嵌入与可微聚类 (Hyperbolic Embeddings / Tree-VAE)：连续嵌入通常在双曲流形或概率潜在空间中优化固定树结构，缺乏将已有节点作为自变量自迭代生成下一代更精细子节点的动力学机制；分类场明确定义了生成规则与图测度空间的收敛性。
- vs 迭代函数系统 (IFS Fractals)：经典 IFS 通常关注所有收缩变换复合后的极限吸引子点集自身，而分类场不仅保留了极限流形，更完整保留了每一层的明确谱系亲缘关系、Voronoi 胞腔划分及层级图路径测度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将无限深连续度量场与局部细化算子引入层次聚类，数学构架严密且视角颠覆。
- 实验充分度: ⭐⭐⭐⭐ 覆盖了合成匹配 CFG、非线性分形系统与真实高维图像表征，消融诊断详实，若有变分支实测更佳。
- 写作质量: ⭐⭐⭐⭐⭐ 概念阐释清晰透彻，测度几何理论与神经网络逼近证明完整自洽，组织严密。
- 价值: ⭐⭐⭐⭐ 为多尺度几何生成、无限分辨率概念发现与层次聚类开拓了全新的理论与算法切入点。