Geometric Analysis of Neural Regression Collapse via Intrinsic Dimension¶

会议: NeurIPS 2026
arXiv: 2510.01105
领域: 学习理论
关键词: 神经回归坍缩, 内在维度, 神经坍缩, 泛化理论, 几何表征学习

一句话总结¶

首次通过内在维度（Intrinsic Dimension）视角系统分析神经网络多元回归中的坍缩现象，揭示了过压缩与欠压缩两种泛化机制，并提出以特征与目标的内在维度差作为无须真实仿真的策略评估与模型选择准则。

研究背景与动机¶

多元回归是现代机器学习在机器人运动控制、自动驾驶模仿学习、强化学习价值函数逼近以及金融资产定价等连续决策领域的核心基石。然而，深度神经网络在拟合多维连续目标时，其倒数第二层特征所形成的几何表征结构长期缺乏深入的理论与实证刻画。在分类任务中，神经网络坍缩（Neural Collapse, NC）已被广泛证实能够将末层特征压缩到与分类器权重对齐的单纯形等角紧框架（ETF），且这种极度对称的几何坍缩通常有利于分类器的鲁棒性与泛化能力。

近期研究尝试将此现象拓展至回归任务，发现多元回归模型在权重衰减等正则化下同样会发生特征坍缩（Neural Regression Collapse, NRC），即末层特征几乎全部坍缩到由前 $n$ 个主成分张成的线性子空间中（$n$ 为回归目标维度）。然而，回归任务中却涌现出一个与分类任务截然相反的核心反常现象：发生严重回归坍缩的模型，其测试集均方误差（MSE）不仅没有改善，反而发生极其严重的退化。现有的线性 PCA 视角无法从几何上解释为何回归坍缩会直接损害泛化能力，也无法刻画特征在线性子空间内部是否进一步发生了退化。

本文的核心切入点在于引入非线性流形工具——内在维度（Intrinsic Dimension, ID）。由于数据在空间中可能弯曲折叠，传统 PCA 只能测量外在嵌入维数，而内在维度能精确反映流形上的自由度。通过度量末层特征内在维度 $\mathrm{ID}_{\mathrm{H}}$ 与回归目标内在维度 $\mathrm{ID}_{\mathrm{Y}}$ 的相对关系，核心 idea：回归坍缩本质上是特征流形自由度低于目标流形（$\mathrm{ID}_{\mathrm{H}} < \mathrm{ID}_{\mathrm{Y}}$）导致的「过压缩」，使光滑预测映射在几何上不可能覆盖整个目标流形，从而导致不可避免的泛化重构误差；而在非坍缩区，最优泛化取决于数据量与噪声水平在过压缩与欠压缩之间的平衡。

方法详解¶

整体框架¶

本文构建了一套基于非参数 2-最近邻（2-NN）内在维度估计器的几何表征分析与模型选择框架。该框架从训练好的多元回归神经网络中提取倒数第二层特征矩阵 $\mathbf{H}$ 与真实回归目标 $\mathbf{Y}$，利用局部邻域几何距离比计算各自的内在维度 $\mathrm{ID}_{\mathrm{H}}$ 与 $\mathrm{ID}_{\mathrm{Y}}$，进而判定特征所处的压缩区段并指导超参数调优。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 X 与回归目标 Y"] --> B["特征提取与 2-NN 内在维度计算<br/>估计目标内在维度 ID_Y 与特征内在维度 ID_H"]
    B --> C["几何区段判定与表征诊断<br/>比较 ID_H 与 ID_Y"]
    C -->|ID_H < ID_Y| D["过压缩机制诊断<br/>Sard 定理非满射不可重构 导致高测试 MSE"]
    C -->|ID_H >= ID_Y| E["欠压缩 / 平衡机制诊断<br/>依据数据规模与目标噪声权衡过拟合"]
    D --> F["模型选择准则：最小化内在维度间隙<br/>min |ID_H - ID_Y| 替代高成本真机仿真评测"]
    E --> F

关键设计¶

1. 非线性流形内在维度度量：突破线性 PCA 的几何分辨率极限 传统的神经回归坍缩指标 $\text{NRC1}$ 通过投影到前 $n$ 个主成分的均方残差来衡量坍缩程度。然而，即便特征在全局 PCA 意义下完全处于 $n$ 维线性子空间内部，它在子空间内部依然可能发生非线性的进一步流形卷曲或维度退化。为了克服这一缺陷，本文引入无须超参数且对密度变化鲁棒的 2-NN 内在维度估计器。对于任意点，计算其第 1 与第 2 近邻欧氏距离之比 $\mu = r_2 / r_1 \geq 1$。在局部均匀分布假设下，该比率的累积分布函数服从 Pareto 分布： $$F(\mu) = 1 - \mu^{-d}, \quad \mu \geq 1$$ 通过对经验对数变换样本对 $(\log \mu_i, -\log(1 - F_{\text{emp}}(\mu_i)))$ 进行过原点的最小二乘线性回归，其拟合斜率即为内在维度估计值 $\hat{d}$。2-NN 估计器能够在样本尺度大于 10,000 时保持极高的块分析收敛稳定性，精确揭示了在 $\text{NRC1} \to 0$ 饱和时，末层特征内在维度 $\mathrm{ID}_{\mathrm{H}}$ 仍在持续衰减至远低于目标维度 $n$ 的非线性几何事实。

2. 几何压缩两分区理论：解释回归泛化退化与 U 型性能曲线 以回归目标的内在维度 $\mathrm{ID}_{\mathrm{Y}}$ 为临界软阈值，研究揭示了决定模型泛化表现的两大几何区段： - 过压缩区段（$\mathrm{ID}_{\mathrm{H}} < \mathrm{ID}_{\mathrm{Y}}$）：特征流形维数严重不足，神经网络末层特征被过度挤压至极低维度的弯曲流形上，丢失了重建目标流形所必需的关键自由度。在此区段，无论训练误差如何，测试 MSE 均随 $\mathrm{ID}_{\mathrm{H}}$ 减小而单调激增，解释了为何强正则化诱发的回归坍缩会摧毁泛化能力。 - 欠压缩与平衡区段（$\mathrm{ID}_{\mathrm{H}} \geq \mathrm{ID}_{\mathrm{Y}}$）：特征自由度充足。此时模型的泛化规律呈现二分性：在小样本（如 1K）或高噪声目标（如域迁移特征）任务中，特征维数过高会导致模型拟合离群样本特有噪声，导致测试误差呈现以 $\mathrm{ID}_{\mathrm{H}} \approx \mathrm{ID}_{\mathrm{Y}}$ 为最低点的典型「U 型曲线」；而在大样本（如 20K）且低噪声任务中，测试 MSE 随 $\mathrm{ID}_{\mathrm{H}}$ 增大而单调减小，表现出良性过拟合特征。

3. Sard 定理与无约束特征模型：过压缩不可逆性的数学机理 通过无约束特征模型（UFM）分析，优化目标 $\min_{\mathbf{W},\mathbf{H}} \frac{1}{2M}\|\mathbf{W}\mathbf{H} - \tilde{\mathbf{Y}}\|_F^2 + \frac{\lambda_W}{2}\|\mathbf{W}\|_F^2 + \frac{\lambda_H}{2}\|\mathbf{H}\|_F^2$ 在正则化参数乘积 $c = \lambda_W \lambda_H$ 超过目标协方差最小特征值 $\lambda_n$ 时，解的秩发生突变 $\text{rank}(\mathbf{H}_\lambda) < n$，使得特征与目标间的仿射同构条件破裂，直接驱动 $\mathrm{ID}_{\mathrm{H}} < \mathrm{ID}_{\mathrm{Y}}$。进一步，将最后线性层抽象为平滑映射 $g: \mathcal{M}_H \to \mathcal{N}_Y$。根据微分拓扑中的 Sard 定理，当特征流形维数 $m = \mathrm{ID}_{\mathrm{H}}$ 严格小于目标流形维数 $n = \mathrm{ID}_{\mathrm{Y}}$ 时，微分映射 $dg_p$ 的秩恒小于 $n$，域内所有点均为临界点，因而像集 $g(\mathcal{M}_H)$ 在目标流形 $\mathcal{N}_Y$ 上的 Lebesgue 测度必然为零。这意味着模型预测输出在拓扑上根本无法覆盖真实目标流形，必然导致非零的几何重构下界与泛化崩溃。

4. 策略评估的内在维度间隙准则：免交互机器人模型选择 在视觉连续控制等强化学习与模仿学习任务中，真实环境交互评测成本高昂且存在安全风险，而验证集 MSE 往往因为对控制动态差异不敏感而失效。本文提出以最小化内在维度间隙 $|\mathrm{ID}_{\mathrm{H}} - \mathrm{ID}_{\mathrm{Y}}|$ 作为策略离线评估的代理指标。在 Cheetah-run 视觉控制中，策略的真实归一化回报随 $\mathrm{ID}_{\mathrm{H}}$ 呈现倒 U 型曲线，峰值恰好落在 $\mathrm{ID}_{\mathrm{H}} \approx \mathrm{ID}_{\mathrm{Y}}$ 处。利用该几何间隙可在无须环境部署的情况下，快速筛选出在过压缩崩溃与高维噪声过拟合之间取得最佳平衡的高性能候选策略。

损失函数 / 训练策略¶

多元回归模型以均方误差（MSE）加权重衰减为训练目标： $$\min_{\theta,\mathbf{W},\mathbf{b}} \frac{1}{2M} \sum_{i=1}^M \|f_{\theta,\mathbf{W},\mathbf{b}}(\mathbf{x}_i) - \mathbf{y}_i\|_2^2 + \frac{\lambda_{\mathrm{WD}}}{2} (\|\theta\|_2^2 + \|\mathbf{W}\|_F^2)$$ 对于 MuJoCo 连续控制任务，采用 SGD 优化器，学习率设为 $0.01$，隐藏层采用 1-5 层 MLP，宽度在 64 至 1024 之间变化；对于图像回归与视觉控制任务，采用 Adam 优化器，通过在跨越多个数量级的 $\lambda_{\mathrm{WD}}$（从 $0$ 到 $0.1$）、Dropout 丢弃率（$0$ 到 $0.8$）以及网络深度上进行网格训练，全面激发从非坍缩到完全坍缩的各类几何形态。

实验关键数据¶

主实验¶

论文在多套经典的 MuJoCo 具身机器人控制、合成图像回归以及高维视觉控制基准上测量了几何维度指标与泛化误差。下表总结了主要数据集的输入维度、内在维度及目标维度属性：

数据集	样本量	输入类型	输入外在维数 $D$	输入内在维度 $\mathrm{ID}_{\mathrm{X}}$	目标外在维数 $n$	目标内在维度 $\mathrm{ID}_{\mathrm{Y}}$
Swimmer	20,000	原始状态	8	3.98	2	2.00
Reacher	20,000	原始状态	11	3.65	2	1.99
Hopper	20,000	原始状态	11	4.35	3	2.92
Halfcheetah	20,000	原始状态	17	6.58	6	5.27
Ant	20,000	原始状态	111 (有效 27)	7.83	8	7.43
MNIST	50,000	灰度图像	$28 \times 28$	12.76	25	8.02
CIFAR-10	50,000	彩色图像	$32 \times 32 \times 3$	27.20	10	9.51
Cheetah-run	80,000	堆叠图像	$84 \times 84 \times 9$	8.96	6	6.00

在更高维度的挑战性任务中（附录 H），Humanoid 状态输入维数为 348（$\mathrm{ID}_{\mathrm{X}}=11.02$），动作目标维数 17（$\mathrm{ID}_{\mathrm{Y}}=9.85$）；Relocate 灵巧手抓取任务状态维数为 39（$\mathrm{ID}_{\mathrm{X}}=6.90$），动作目标维数 30（$\mathrm{ID}_{\mathrm{Y}}=19.82$）。

消融与分析实验：局部 PCA 检验流形弯曲结构¶

为了严格证明坍缩特征并非平坦的线性子空间，而在局部表现出高维非线性卷曲，论文在 Halfcheetah 坍缩特征（$\mathrm{ID}_{\mathrm{H}} = 3.6 < n = 6$）上对比了全局 PCA 与基于 64 最近邻的局部 PCA 投影重构误差：

主成分截断阶数 $k$	全局 PCA 投影误差	局部 PCA 投影误差 (64-NN)	结构分析说明
$k = 6$	$3.4 \times 10^{-3}$	$2.8 \times 10^{-5}$	局部误差低两个数量级，流形局部高度平坦
$k = 5$	$7.5 \times 10^{-3}$	$7.9 \times 10^{-5}$	局部投影仍保持极高精度的线性贴合
$k = 4$	$8.4 \times 10^{-2}$	$3.5 \times 10^{-4}$	全局误差发生骤增（跨越一个数量级）
$k = 3$	$4.9 \times 10^{-1}$	$1.5 \times 10^{-3}$	局部误差发生骤增，严格证实本征维数接近 4

关键发现¶

非线性几何坍缩的客观存在：局部 PCA 误差比全局 PCA 小 2 至 3 个数量级，且局部误差在 $k=4 \to 3$ 处发生跳跃，全局误差在 $k=5 \to 4$ 处跳跃，表明约 4 维的特征流形非线性地卷曲嵌入在 5 维线性子空间中。单纯基于主成分投影的线性指标 $\text{NRC1}$ 无法捕获这种子空间内部的弯曲退化。
正则化强度的突变效应：在 Reacher 等任务中，权重衰减系数仅增加 $2 \times 10^{-4}$ 就会导致模型几何发生质变，直接从非坍缩区跌入过压缩区。
Dropout 的反坍缩作用：与权重衰减单调压制内在维度不同，应用轻微的 Dropout（如 $p \leq 0.01$）反而能够显著提升 $\text{NRC1}$ 和 $\mathrm{ID}_{\mathrm{H}}$，有效阻止网络退化，为强化学习中轻量 Dropout 的经验增益提供了几何机理解释。
输出层维度饱和的相反特性：在分类任务中，输出层内在维度饱和至类别数（$\mathrm{ID}_{\mathrm{P}} \approx C$）通常代表严重的过拟合；但在多元回归任务中，测试表现优秀时输出层内在维度会趋近并紧贴目标维度 $\mathrm{ID}_{\mathrm{P}} \approx \mathrm{ID}_{\mathrm{Y}} \approx n$，若 $\mathrm{ID}_{\mathrm{P}} < \mathrm{ID}_{\mathrm{Y}}$ 则必然对应泛化灾难。

亮点与洞察¶

解开了回归坍缩与分类坍缩的泛化悖论：首次从拓扑测度与微分流形理论出发，指出分类任务只需将样本分离至离散原型的吸引子盆地，而连续回归任务必须在空间中连续重构出整个目标流形，从而揭示了过压缩在回归中造成致命泛化损失的数学根源。
建立了内在维度引导的无仿真策略筛选法则：在强化学习和机器人策略蒸馏中，利用特征与目标的内在维度差 $|\mathrm{ID}_{\mathrm{H}} - \mathrm{ID}_{\mathrm{Y}}|$ 代替对动态误差不敏感的 MSE 损失，可以在不执行昂贵且危险的环境交互评测的前提下精准命中高性能模型。
连接了表征学习与 Sard 定理的经典拓扑工具：将流形映射在低维到高维光滑变换中的非满射性质直接与深度回归网络的泛化下界建立映射，为表征压缩边界的研究提供了清晰严谨的数学范式。

局限与展望¶

理论推导基于 UFM 简化假设：当前关于正则化诱发秩缺失的解析证明主要基于无约束特征模型（UFM），尚不能完全覆盖深层卷积或 Transformer 复杂的逐层非线性动力学交互。
2-NN 估计器的高维局限性：当前的局部近邻内在维度估计器在维度大于 20 时可能面临估计方差增大与采样密度稀疏的问题，难以直接扩展至几百维的高维连续输出空间。
非可微性阻碍端到端优化：2-NN 算法基于近邻排序，本身不可微，因此目前只能作为事后诊断和超参数调优的筛选工具，无法直接作为正则化损失项放入反向传播中直接优化特征维度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从内在维度与非线性流形视角解释神经回归坍缩的泛化反常，理论视角新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 MuJoCo 运动控制、合成图像回归、高维灵巧手操作及像素级视觉控制，验证极度详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，从反常现象、工具引入、机制解释到应用法则环环相扣。
价值: ⭐⭐⭐⭐⭐ 对表征学习理论、机器人模仿学习策略评估与连续回归架构调优均具有重要指导意义。

主成分截断阶数 \(k\)	全局 PCA 投影误差	局部 PCA 投影误差 (64-NN)	结构分析说明
\(k = 6\)	\(3.4 \times 10^{-3}\)	\(2.8 \times 10^{-5}\)	局部误差低两个数量级，流形局部高度平坦
\(k = 5\)	\(7.5 \times 10^{-3}\)	\(7.9 \times 10^{-5}\)	局部投影仍保持极高精度的线性贴合
\(k = 4\)	\(8.4 \times 10^{-2}\)	\(3.5 \times 10^{-4}\)	全局误差发生骤增（跨越一个数量级）
\(k = 3\)	\(4.9 \times 10^{-1}\)	\(1.5 \times 10^{-3}\)	局部误差发生骤增，严格证实本征维数接近 4