Escaping Parameter Space: Tight Generalization Bounds via Representation Quality¶
会议: NeurIPS 2026
arXiv: 2610.23729
OpenReview: https://openreview.net/forum?id=A66lKoZWY8
论文: https://arxiv.org/abs/2610.23729
领域: 优化/理论
关键词: 泛化界, 倒数第二层表征, 局部类别几何, 交叉拟合, 训练稳定性
一句话总结¶
突破传统参数空间与后验扰动的复杂性代价，本文直接基于神经网络倒数第二层特征空间的局部几何质量与交叉拟合验证，为确定性深度网络推导出紧致、可加性分解且极具诊断价值的非真空泛化界。
研究背景与动机¶
深度神经网络在现代人工智能中取得了惊人的经验成功，但为其提供严格、非真空（non-vacuous）的有限样本泛化保证长期以来是统计学习理论的核心难题。经典统计学习理论依赖 VC 维、Rademacher 复杂度或覆盖数，在高度过参数化的现代网络中往往退化至平凡甚至真空的界。现有的现代非真空证书大多深陷于对“参数空间”的刻画：PAC-Bayes 框架通过在权重上注入扰动换取平滑性，但代价是承受与先验分布之间巨大的 KL 散度罚项；基于模型压缩与剪枝的泛化界则需要支付沉重的描述长度（description length）；近期针对确定性网络的工作也大多围绕参数空间划分、损失曲面几何或权重范数展开。无论形式如何演变，这类分析范式均将泛化能力绑定在参数本身的代数或拓扑性质上。
然而，参数空间视角存在一个根本性的内在矛盾：神经网络极度过参数化，参数组合具有高度简并性与规范对称性，且网络的线性分类头对参数微扰极为脆弱。实际上，深层网络的特征提取器将复杂的输入流形映射到了高维隐空间，真正决定下游决策边界是否清晰的，是倒数第二层表征（representation）所展现出的几何结构。先前基于自监督学习与度量学习的大量实证研究表明，良好的表征往往在度量空间中自发形成紧凑、同类聚集的“神经坍缩”或局部几何流形，即便使用极简单的非参数分类器也能实现精确判别。如果泛化的核心载体在于表征而非具体权重数值，为何证明泛化界必须在庞大脆弱的参数空间中苦苦寻找支撑？
本文的切入角度正是摆脱参数空间的泥潭，转向网络学到的特征映射几何。作者提出，不必通过权重范数、参数后验分布或压缩率来迂回证明，而是直接以网络倒数第二层隐空间中无参数的 \(k\) 近邻（\(k\)-NN）解码器为桥梁，结合样本分割交叉拟合（cross-fitting）与伯努利随机变量的 KL 集中不等式，建立针对确定性部署网络本尊的理论保证。核心 idea：将泛化误差严格分解为局部类别几何（解码器误差 \(Q_1\)）、表征忠实度（解码器与网络不一致性 \(Q_2\)）和算法训练稳定性（子模型与全模型差异 \(Q_3\)）三个可独立经验测量的经验项，在无需任何参数空间复杂度度量的前提下为确定性网络给出极度紧致且具因果可解释性的泛化证书。
方法详解¶
整体框架¶
考虑分布 \(P\) 上的样本集 \(\mathcal{S}_n = \{(\bm{x}_i, y_i)\}_{i=1}^n\) 与确定性训练算法 \(\mathcal{A}\)。在全量数据上训练得到部署网络 \(f^{(\text{full})} = \widehat{f}_{\mathcal{A}(\mathcal{S}_n)}\) 及其特征映射 \(\bm{\varphi}^{(\text{full})}\)。为对部署网络 \(f^{(\text{full})}\) 提供无需参数空间惩罚的泛化证书，本文设计了一套交叉拟合（cross-fitting）架构：将索引集划分为 \(J\) 个互斥折 \(F_1, \dots, F_J\)（每折大小 \(n_j\)），在扣除该折的互补集 \(\mathcal{S}_{-j}\) 上训练折模型 \(f^j\) 与特征映射 \(\bm{\varphi}^{(-j)}\)。在该折对应的特征空间中，利用互补集点作为参考集构建无参数的 \(k\)-NN 解码器 \(h_j^{(k)}\)，并在留出折 \(F_j\) 与独立未标注数据集 \(\mathcal{U}\) 上评估三个核心指标。
整套验证流程严格沿“解码器留出检验 \(\to\) 解码器到折模型桥接 \(\to\) 折模型到全量部署模型外推”三级推进，整体 pipeline 如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["训练集划分<br/>J 折互斥划分与互补集"] --> Dec["1. 交叉拟合非参数解码器<br/>特征空间 k-NN 规则与留出误差 Q1"]
Dec --> Agree["2. 解码器与折网络决策对齐<br/>表征忠实度与经验不一致性 Q2"]
Agree --> Stab["3. 无标签数据稳定性外推<br/>折网络与全网络预测差异 Q3"]
Stab --> Bound["4. 确定性网络紧致泛化证书<br/>KL 逆函数复合求和给出测试误差上界"]关键设计¶
1. 交叉拟合非参数解码器：无需参数惩罚的局部类别几何检验
传统方法在参数空间计算复杂度时不可避免地引入参数规模因子。为摆脱这一负担，本文采用特征映射 \(\bm{\varphi}^{(-j)}\colon \bm{X} \to \mathcal{Z}\)（实践中取为全连接分类头之前的倒数第二层特征向量 \(h^{(L)}(\bm{x})\)，度量采用标准 \(\ell_2\) 距离），并在其上诱导无参数的 \(k\)-NN 多数投票决策规则 \(h_j^{(k)}\)。由于折模型参数与参考集完全由 \(\mathcal{S}_{-j}\) 确定，条件于 \(\mathcal{S}_{-j}\) 时，留出集 \(F_j\) 上的样本点为独立同分布。令经验解码误差为 \(\widehat{R}_j^{(k)} = \frac{1}{n_j}\sum_{i\in F_j} \mathbf{1}[h_j^{(k)}(\bm{x}_i) \neq y_i]\)，直接应用 i.i.d. 伯努利随机变量的相对熵（KL）集中不等式，无需任何权重范数或先验假设，即可在置信度 \(1-\delta\) 下严格给出解码器的真实总体风险界：
其中 \(\mathrm{kl}(q\|p) = q\log\frac{q}{p} + (1-q)\log\frac{1-q}{1-p}\)，而 \(\mathrm{kl}_+^{-1}(q, c) = \sup\{p \in [q, 1] : \mathrm{kl}(q\|p) \le c\}\)。这一步直接量化了特征空间的局部类别几何是否足够纯净有序（指标 \(Q_1\)）。在预训练/迁移学习场景下，特征提取器与目标域数据完全解耦，该界直接成为部署的非参数分类器的最终泛化证书。
2. 解码器与折网络决策对齐：表征能力向参数化网络的无缝传递
即便 \(k\)-NN 解码器表现优异，部署运行的依然是参数化神经网络 \(f^j\)。为了将特征空间的几何纯度传递给折模型网络，本文利用指示函数的三角不等式建立桥梁：\(\mathbf{1}[\widehat{f}_j(\bm{x}) \neq y] \le \mathbf{1}[h_j^{(k)}(\bm{x}) \neq y] + \mathbf{1}[h_j^{(k)}(\bm{x}) \neq \widehat{f}_j(\bm{x})]\)。该分解表明，参数化网络出错的前提要么是局部几何解码失败，要么是网络自身的线性读出头与局部几何产生冲突。定义留出集上的经验不一致率 \(\widehat{D}_j^{(k)} = \frac{1}{n_j}\sum_{i\in F_j}\mathbf{1}[h_j^{(k)}(\bm{x}_i) \neq \widehat{f}_j(\bm{x}_i)]\)。由于条件于 \(\mathcal{S}_{-j}\) 下该指示变量序列同样为 i.i.d. 伯努利变量，再次通过 KL 集中不等式与联合界，以 \(1-\delta\) 的概率将折网络总风险严格上界化为两项之和：
其中置信半径 \(c_j = [\log(2|\mathcal{K}|J/\delta) + \log(n_j + 1)]/n_j\)。第二项即指标 \(Q_2\)，精确度量了线性分类头是否充分利用并忠实表达了表征空间学到的几何信息。
3. 无标签数据稳定性外推：消除优化器依赖的经验化跨模型桥接
为了最终认证全数据上训练的部署模型 \(\widehat{f}^{(\text{full})}\)，必须跨越从子集训练模型 \(\widehat{f}_j\) 到全集模型的鸿沟。根据逐点指示分解，\(\mathbf{1}[\widehat{f}^{(\text{full})}(\bm{x}) \neq y] \le \mathbf{1}[\widehat{f}_j(\bm{x}) \neq y] + \mathbf{1}[\widehat{f}_j(\bm{x}) \neq \widehat{f}^{(\text{full})}(\bm{x})]\)。传统算法稳定性分析（如 Bousquet-Elisseeff 或 Hardt 等的 SGD 稳定性分析）通常需要针对具体的损失函数、凸性、Lipschitz 平滑常数以及特定的优化器步长推导解析界，面对 AdamW、余弦退火和复杂数据增强时极易失效或产生天文数字级别的松弛。本文提出直接利用独立的未标注数据集 \(\mathcal{U} = \{\bm{x}_r\}_{r=1}^m \sim P_X^m\)（例如标准测试集的未标注输入）对两者的经验分歧率 \(\widehat{\Delta}_j^{\mathcal{U}} = \frac{1}{m}\sum_{r=1}^m \mathbf{1}[\widehat{f}_j(\bm{x}_r) \neq \widehat{f}^{(\text{full})}(\bm{x}_r)]\) 进行经验认证。由于不依赖标签，在置信度 \(1-\delta'\) 下可直接获得跨折稳定性上界 \(B_j^{\text{stab}} = \mathrm{kl}_+^{-1}(\widehat{\Delta}_j^{\mathcal{U}}, [\log(J/\delta')+\log(m+1)]/m)\)。这一设计使证书能够普适兼容任何黑盒优化算法与训练超参。
4. 确定性网络紧致泛化证书：可加性分解与机制性诊断闭环
综合上述三步，通过在联合事件上取并集，得到最终定理（Theorem 2.6）：在概率至少 \(1-\delta-\delta'\) 下，对所有折 \(j\in[J]\) 与候选搜索邻居数 \(k\in\mathcal{K}\)，全量确定性部署模型的真实泛化误差满足：
该定理将原本晦涩的泛化误差直接拆解为三个物理意义鲜明、数值可独立测量的经验项：\(Q_1\)（局部几何质量）、\(Q_2\)（头-表征一致性）与 \(Q_3\)（优化算法留折稳定性）。这种完全可加的结构使泛化界一举从“事后检验数字”转变为“诊断网络归纳偏置与表征瓶颈”的解剖工具。
实验关键数据¶
主实验¶
论文在两套主要基准上验证了泛化界的有效性：一是在目标域零训练的表征迁移场景（验证预训练特征几何 \(Q_1\)），二是从头训练网络的全流程交叉拟合认证（验证三项联合界）。全部实验均在标准测试集上基于单次前向提取的倒数第二层特征计算，置信参数设为 \(\delta = \delta' = 0.025\)（总容错 \(0.05\)），邻居数在 \(\mathcal{K} = \{1, 3, 5, 7, 11, 15, 21\}\) 上网格搜索。
下表展示了从头训练（from-scratch）各模型在 MNIST、CIFAR-10 与 CIFAR-100 上与代表性非真空泛化界方法的横向对比（数据均取自原论文最佳报告值，本文为 5 折交叉拟合）：
| 数据集 | 模型架构 | 样本数 \(n\) | 测试误差 (%) | 泛化界 Bound (%) | 紧致度 Gap (pp) | 认证对象类型与复杂度来源 |
|---|---|---|---|---|---|---|
| MNIST | FCN-600 (Dziugaite & Roy, 2017) | 60k | \(\sim 2.5\) | \(\sim 17.0\) | 14.5 | 随机扰动网络 (PAC-Bayes, KL 罚项) |
| MNIST | LeNet-5 (Lotfi et al., 2022) | 60k | \(\sim 1.0\) | 11.6 | 10.6 | 量化子空间压缩网络 (描述长度) |
| MNIST | FCN (Pérez-Ortiz et al., 2021) | 60k | \(\sim 1.4\) | \(\sim 2.3\) | 0.9 | 随机扰动网络 (Tighter PAC-Bayes) |
| MNIST | Ours (ResNet-18, ReLU) | 60k | 0.6 | 2.6 | 2.0 | 确定性网络本尊 (表征几何 + 稳定性) |
| MNIST | Ours (ViT-small, ReLU) | 60k | 0.9 | 3.5 | 2.6 | 确定性网络本尊 (表征几何 + 稳定性) |
| MNIST | Ours (FFNN 6-layer, ReLU) | 60k | 1.5 | 4.9 | 3.4 | 确定性网络本尊 (表征几何 + 稳定性) |
| CIFAR-10 | ConvNet (Lotfi et al., 2022) | 50k | – | \(\sim 58.2\) | – | 量化子空间压缩网络 (描述长度) |
| CIFAR-10 | ResNet-18 (Bazinet et al., 2026) | 50k | 5.8 | 17.36 | 11.5 | 独立训练代理模型 + 不一致性转移 |
| CIFAR-10 | Ours (ViT-small, ReLU) | 50k | 12.3 | 31.9 | 19.6 | 确定性网络本尊 (从头训练小 ViT) |
| CIFAR-10 | Ours (ResNet-18, ReLU) | 50k | 4.7 | 13.0 | 8.3 | 确定性网络本尊 (表征几何 + 稳定性) |
| CIFAR-10 | Ours (ResNet-50, ReLU) | 50k | 4.3 | 12.4 | 8.0 | 确定性网络本尊 (表征几何 + 稳定性) |
| CIFAR-100 | ConvNet (Lotfi et al., 2022) | 50k | – | 94.6 | – | 量化子空间压缩网络 (接近真空) |
| CIFAR-100 | Ours (ResNet-18, ReLU) | 50k | 21.2 | 51.1 | 29.9 | 首个确定性网络非真空界 (\(<100\%\)) |
| CIFAR-100 | Ours (ResNet-50, ReLU) | 50k | 19.4 | 44.6 | 25.2 | 首个确定性网络紧致非真空界 |
迁移与表征质量对比（无需目标域训练）¶
在迁移设定下，使用冻结的预训练骨干网络提取 \(\ell_2\) 空间特征，直接评估 \(k\)-NN 解码器的泛化界（此时 \(Q_2, Q_3 = 0\)）。实验对比了多种骨干以及随机初始化网络作为对照基线：
| 模型架构 | 参数量 | CIFAR-10 Err/Bnd (Gap) | CIFAR-100 Err/Bnd (Gap) | ImageNet Err/Bnd (Gap) | ImageNet-V2 Err/Bnd (Gap) |
|---|---|---|---|---|---|
| DINOv2-L/14 | 304M | 0.9% / 1.4% (0.5) | 10.4% / 12.1% (1.7) | 20.9% / 23.1% (2.2) | 37.5% / 43.0% (5.5) |
| DINOv2-g/14 | 1.1B | — | — | 21.2% / 23.5% (2.3) | 37.7% / 43.2% (5.5) |
| DINOv2-B/14 | 86M | 2.3% / 3.2% (0.9) | 14.9% / 16.9% (2.0) | 23.4% / 25.7% (2.3) | 41.3% / 46.8% (5.5) |
| ViT-B/16 | 86.6M | 6.8% / 8.3% (1.5) | 28.1% / 30.5% (2.4) | 21.6% / 23.8% (2.2) | 39.2% / 44.7% (5.5) |
| ResNet-50 | 25.6M | 12.1% / 13.9% (1.8) | 36.7% / 39.3% (2.6) | 26.5% / 28.9% (2.4) | 49.4% / 55.0% (5.6) |
| ResNet-18 | 11.7M | 18.0% / 20.1% (2.1) | 43.6% / 46.2% (2.6) | 44.1% / 46.8% (2.7) | 70.2% / 75.1% (4.9) |
| ResNet-18 (随机初始化) | 11.7M | 63.3% / 65.8% (2.5) | 87.8% / 89.5% (1.7) | 99.0% / 99.4% (0.4) | 99.5% / 99.9% (0.4) |
关键发现¶
- 三项分解剖析泛化成败：ResNet-50 在 CIFAR-10 上的 12.4% 紧致界由 \(Q_1 = 5.7\%\)（清晰的局部几何）、\(Q_2 = 1.8\%\)（线性头与特征高度吻合）以及 \(Q_3 = 1.2\%\)（折模型预测高度稳定）构成。相反，从头训练的小 ViT 在 CIFAR-100 上界退化至 99.3%，分解显示其每一项均崩溃（\(Q_1 = 43.7\%, Q_2 = 20.2\%, Q_3 = 35.4\%\)），说明在 4 万张图上从头训练 ViT 无法形成稳定且类别内聚的特征流形；但该 ViT 经预训练后迁移泛化界立刻收紧至 30.5%。
- 双重下降（Double Descent）的内在解耦：在宽度倍增实验（ResNet-18 从 \(1\times\) 扫描至 \(32\times\)）中，作者发现表征质量 \(Q_1\) 随模型宽度增加呈现单调递减（更宽的网络表征几何严格更优）；经典的双重下降峰值完全来源于分类头与表征的不一致项 \(Q_2\)，该项在插值阈值处尖锐激增后迅速回落。这证明测试误差的“双重下降”本质上是单调改善的表征流形与瞬态失配的线性读出头叠加的结果。
- 几何质量对泛化具备因果性（Causal Mechanism）：设计表征排斥正则项 \(\mathcal{L}_{\text{rep}} = \frac{1}{|\mathcal{P}|}\sum_{y_i=y_j} (\bar{h}(\bm{x}_i)^\top \bar{h}(\bm{x}_j))^2\) 强行推开同类隐表征，网络在 SVHN 上的训练集准确率依然能够迅速过拟合饱和至 100%（纯记忆模式），但随着 \(Q_1\) 几何被破坏，测试准确率彻底崩塌至随机猜测（\(\sim 10\%\)）。该现象在 ReLU、SiLU、GELU、tanh 四种激活函数下完全一致，证实局部类别几何是泛化能力的因果支撑而非伴随副产物。
- 参数扰动脆弱性根源：在高斯权重噪声扰动下，倒数第二层特征空间的 \(k\)-NN 判别精度衰减速度显著慢于网络自身的最终预测（例如在 \(\sigma=0.01\) 下，\(k\)-NN 保持 84% 准确率，而网络预测骤降至 67%）。这解释了为何依赖权重扰动与参数先验的 PAC-Bayes 证书极易松弛——分类头对参数噪声极其敏感，而隐表征流形具有极强的噪声鲁棒性。
亮点与洞察¶
- 跳出参数空间的思维定势：巧妙利用无参数 \(k\)-NN 作为“测量探针”，将高维参数空间中难以处理的假对称性、非凸曲面与过参数化难题，全部转化为在隐空间点云上进行留出经验集中性分析，以极简证明换取了极高紧致度。
- 可加性分解的诊断价值：将复杂的端到端测试误差拆解为 \(Q_1\)（特征学得好不好）、\(Q_2\)（线性头跟不跟得上）和 \(Q_3\)（优化算法稳不稳），不仅消除了难以计算的理论常数，更让泛化界成为定位过拟合、表征失配与训练不稳定的调试工具。
- 非真空大尺度拓展能力：在 1000 类的全量 ImageNet 上给出了 23.1% 的非真空认证界，并在分布偏移基准 ImageNet-V2 上保持非真空（43.0%），打破了统计学习理论只能在小模型、玩具数据集上提供平凡界的历史局限。
局限与展望¶
- 交叉训练计算开销：从头训练网络时需要分别训练 \(J\) 个互补折模型（本实验 \(J=5\)），在大规模模型（如超大 ViT 或大语言模型）上从头训练多折会带来成倍的算力成本开销。
- \(Q_3\) 项依赖未标注评估集：训练稳定性 \(Q_3\) 是在独立的无标签数据集 \(\mathcal{U}\) 上通过经验经验测量的，而非通过解析形式的算法稳定性定理完全闭式给出；在极其受限、无额外未标注输入的情境下可能受限。
- 度量空间假设局限：目前表征探针固定采用倒数第二层的标准欧氏距离 \(\ell_2\)，未探索更深层次的余弦角度度量、双曲空间流形或中间多层特征层级表征。
相关工作与启发¶
- vs. PAC-Bayes 参数空间方法 (Dziugaite & Roy, 2017; Pérez-Ortiz et al., 2021): PAC-Bayes 必须在网络全部参数上定义高斯后验分布，其紧致度受制于先验选取与庞大的参数 KL 散度罚项，且最终认证的是随机扰动网络；本文直接面向确定性部署网络本尊，通过表征空间浓度绕过参数空间所有罚项，界显著更紧（CIFAR-10 上提升明显，并首度征服 CIFAR-100）。
- vs. 模型压缩与量化界 (Zhou et al., 2019; Lotfi et al., 2022): 压缩理论通过对权重进行修剪、量化或子空间投影来计算描述长度，需要改变网络形态或引入专门的微调过程；本文无需对网络做任何剪枝或量化修改，保持原汁原味的架构与标准优化流程。
- vs. 代理模型与分歧度方法 (Bazinet et al., 2026): Bazinet 等人需要显式训练一个低容量的确定性代理模型，并通过无监督分歧度转移保证；本文无需独立设计或训练任何代理，而是由神经网络自身的表征空间自发诱导出一个完全无参数的 \(k\)-NN 解码器，理论框架更为自洽优雅。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统在权重空间苦求泛化界的定势，以表征质量结合交叉拟合建立确定性网络理论保证，构思极为巧妙。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖小模型到 1.1B 大模型，横跨 MNIST、CIFAR、ImageNet 及分布偏移，包含宽度扫描与因果排斥干预实验，说服力极强。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导明晰流畅，概念拆解层层递进，\(Q_1/Q_2/Q_3\) 的物理图像生动鲜明，数学表述极其规范。
- 价值: ⭐⭐⭐⭐⭐ 为深度学习理论摆脱参数维数诅咒开辟了极具前景的表征理论路径，兼具深厚理论深度与实用诊断价值。