[ECCV2026][优化/理论（噪声标注下的学习理论）][标注噪声] 论文把「不准的标注为什么还能训出准模型」拆成可分析的问题：错误标注只把噪声沉积在分类权重矩阵的低阶奇异分量上，中等错误率下主奇异子空间几乎不旋转，因而任务相关知识仍在——作者用奇异值谱、Grassmann 子空间相似度和 Davis-Kahan 角度界从实证与理论两侧论证这一点，并据此提出免训练后处理插件 LIP（保留前 k 个奇异分量 + 用训练集重估被压平的尾部奇异值），在 11 个基线、6 个真实部分标签数据集与 CIFAR/CUB 噪声设置上普遍涨点。

标签：ECCV2026 · 优化/理论（噪声标注下的学习理论） · 标注噪声 · 部分标签学习 · 奇异值分解 · 主奇异子空间 · 免训练后处理

Why Can Accurate Models Be Learned from Inaccurate Annotations?¶

会议: ECCV2026
论文: ECCV 2026 官方页
领域: 优化/理论（噪声标注下的学习理论）
关键词: 标注噪声、部分标签学习、奇异值分解、主奇异子空间、免训练后处理

一句话总结¶

论文把「不准的标注为什么还能训出准模型」拆成可分析的问题：错误标注只把噪声沉积在分类权重矩阵的低阶奇异分量上，中等错误率下主奇异子空间几乎不旋转，因而任务相关知识仍在——作者用奇异值谱、Grassmann 子空间相似度和 Davis-Kahan 角度界从实证与理论两侧论证这一点，并据此提出免训练后处理插件 LIP（保留前 k 个奇异分量 + 用训练集重估被压平的尾部奇异值），在 11 个基线、6 个真实部分标签数据集与 CIFAR/CUB 噪声设置上普遍涨点。

研究背景与动机¶

不准确的标注在真实场景中无处不在：图像标注靠众包、视频人脸的名字要从字幕里抠、医学与细粒度标签需要专家，精确标注的成本高到几乎不可行。于是深度学习长期在两类不准确标注下工作——噪声标签（真标被漏掉或被换成别的类）与部分标签（一张图配一组候选标签，其中只有一个是真标）。领域里出现了一个反复被观察到、却始终没人正面解释的现象：在这些不准标注上训出来的模型，预测往往仍然是对的，某些设置下甚至逼近用干净标签训练的模型。「为什么」这个问题被绕过去了——过去十年的工作几乎全部在回答「怎么训」，而不是「为什么能学到」。

现有方法因此可以粗分成两条路线，都不触及上面的疑问。一条是噪声鲁棒训练：设计对称交叉熵这类对噪声不敏感的损失、按模型置信度给样本动态重加权、靠 early stopping 抢在模型记忆噪声之前停手、或者显式估计噪声转移矩阵去纠正标签；另一条是部分标签消歧：把真标当作隐变量，用 EM、图上的标签传播、对比学习原型或互补分类器去逐步锁定那个正确标签（PRODEN、PICO、PL-CL、PL-AGGD 等）。这些方法各有各的鲁棒机制，但共同的隐含前提是「正确信息本来就还留在模型里，我们只需要别把它弄丢」——而这个前提本身从未被检验过。要检验它，得先找到承载任务知识的可比较载体：模型从数据里学到的东西最终凝结在分类权重矩阵里（stand-alone 方法的最优解，或深度网络最后那层分类 FC），那么问题就可以改写成一个具体得多的形式——把干净标签训出的权重记作 \(W\)、不准标签训出的记作 \(W'\)，\(W'\) 与 \(W\) 究竟差在哪里，这个差异在什么条件下还是可控的？

作者的回答分两步：先用奇异值谱和子空间相似度做诊断，再用矩阵扰动理论给出解释，最后顺着解释反过来做方法。诊断的落点是「损伤的部位」——错误标注带来的扰动主要沉积在低阶奇异分量，频谱尾部被压平趋近于零，而头部（主奇异子空间）在中等错误率下几乎原样不动；理论则把「标注错误」写成对干净标签矩阵的加性扰动 \(Y=G+M\)，推出扰动范数随错误率只按 \(\sqrt{p}\) 增长的上界，再用 Davis-Kahan 正弦定理把这个界传到主子空间旋转角上，说明角度在此范围内必然很小。核心 idea：模型能从不准标注中学到正确信息，是因为一定范围内的标注错误不会显著改变干净数据所学到的主奇异子空间——任务相关的核心信息完好地保存在权重矩阵的头部奇异分量中，因此既可以在训练后直接截取这些分量，也可以用训练数据把被噪声压平的尾部奇异值重新估回来。

方法详解¶

整体框架¶

全文可以看成「诊断 → 解释 → 处方」三段。诊断阶段，作者先用 PRODEN + ResNet-34 在干净 CIFAR-100 上训出干净权重 \(W\)，再按概率 \(p\) 随机翻转标签（每个样本至少保留一个标签）训出 \(W'\)，对两者做 SVD，从两个角度看差异：奇异值谱本身如何随 \(p\) 变化，以及两个权重的头 \(i\) / 头 \(j\) 列向量所张子空间的相似度如何随 \(p\) 变化。解释阶段，作者把最小二乘分类器的闭式解当作可解析的代理，把不准标注写成 \(Y=G+M\)，得到 \(W'=W+\Delta W\) 以及 \(\|\Delta W\|\) 关于 \(p\) 的上界，再套 Davis-Kahan 正弦定理，把权重层面的扰动界翻译成主奇异子空间旋转角 \(\theta\) 的界。处方阶段就是 LIP：拿到任意一个已训练好的分类权重 \(W'\)（也可以是干净数据训出来的），先做 SVD，用 PSP 保留前 \(k\) 个奇异分量得到 \(W_k\)，再用 LAP 在冻结左右奇异向量的前提下、用训练集重新求解剩余奇异值 \(\Sigma_l^*\)，拼回 \(W^*=W_k+U_l\Sigma_l^*V_l^{\mathsf{T}}\) 作为最终分类权重。整个流程不需要任何训练，输入是训练集加一个训练好的分类头，输出是一个可以直接替换原权重的矩阵。

关键设计¶

1. 把「标注错误」化归成「权重扰动」：用最小二乘闭式解搭建可分析的桥梁

要谈「知识还在不在」，就必须有一个能写出解析式的对照物，而深度网络整体是分析不动的。作者的取舍是只看最后那层分类头，并把它的学习目标抽象成带正则的最小二乘问题：给定特征矩阵 \(\mathbf{X}\in\mathbb{R}^{n\times q}\) 与干净标签矩阵 \(\mathbf{G}\in\{0,1\}^{n\times l}\)，求 \(\min_{\mathbf{W}}\|\mathbf{X}\mathbf{W}-\mathbf{G}\|_F^2+\lambda\|\mathbf{W}\|_F^2\)，其闭式解是 \(\mathbf{W}=\mathbf{K}^{-1}\mathbf{X}^{\mathsf{T}}\mathbf{G}\)，其中 \(\mathbf{K}=\mathbf{X}^{\mathsf{T}}\mathbf{X}+\lambda\mathbf{I}\)。这一步的合理性来自分类头的等价性——FC 层选权重时最小化的正是 \(\|\mathbf{W}^{\mathsf{T}}\mathbf{x}-\mathbf{y}\|^2\)，\(\mathbf{x}\) 是骨干抽出的特征、\(\mathbf{y}\) 是 one-hot 标签。随后把不准标注建模成对该标签矩阵的扰动：\(\mathbf{Y}=\mathbf{G}+\mathbf{M}\)，\(\mathbf{M}\in\{-1,0,1\}^{n\times l}\)，并加约束 \(\mathbf{M}+\mathbf{G}\ge 0\)，即只有原本为 1 的位置才能被置成 \(-1\)，保证「被删掉的一定是原本给出的标签」、每个样本至少还剩一个标签。代入闭式解立刻得到

\[\mathbf{W}'=\mathbf{K}^{-1}\mathbf{X}^{\mathsf{T}}\mathbf{Y}=\mathbf{W}+\underbrace{\mathbf{K}^{-1}\mathbf{X}^{\mathsf{T}}\mathbf{M}}_{\Delta\mathbf{W}}\]

这个式子把两类不准确标注统一进了一个框架：\(\mathbf{M}_{ij}=+1\) 对应「多了一个错标」（部分标签场景），\(\mathbf{M}_{ij}=-1\) 对应「漏掉了真标」（噪声标签场景）。标注错误对权重的影响由此变成一个纯粹的加性扰动 \(\Delta\mathbf{W}\)，后面所有的分析都只围绕它展开。

2. 谱诊断：从奇异值谱与子空间相似度定位「损伤发生在哪一层」

有了 \(W\) 与 \(W'\) 这一对可比较对象，作者从两个互补的角度看差异。第一个角度是奇异值谱：把 \(p\) 从 0 加到 0.4，顶部奇异值在 \(p\le 0.1\) 时与干净权重几乎重合，超过某个阈值后迅速坍塌，整个谱被压平、有效秩明显下降；噪声优先破坏低秩方向，最末尾的奇异值被压到接近零。但仅看谱只能说明「信息容量变小了」，说明不了「任务知识还在不在」，于是第二个角度是子空间相似度——仿照 LoRA 分析中使用的 Grassmann 距离归一化相似度，度量 \(V\) 的前 \(i\) 个奇异向量与 \(V'\) 的前 \(j\) 个奇异向量所张子空间的重合程度：

\[\phi(\mathbf{V}_{:i},\mathbf{V}'_{:j})=\frac{\|\mathbf{V}_{:i}^{\mathsf{T}}\mathbf{V}'_{:j}\|_F^2}{\min(i,j)}\in[0,1]\]

取值 1 表示两个子空间完全重合、0 表示完全无关。作者对 \(i,j\in[1,60]\) 全组合计算后发现：随着不准确度上升，两个权重的子空间整体上越来越不重合，而且变化最剧烈的地方恰恰是主奇异子空间（对应最大奇异值的那部分）——这正说明关键任务信息损失了，与分类精度随 \(p\) 的下跌对得上。但反过来看同一张图：在 \(p\le 0.1\) 的范围内，主奇异子空间几乎不受影响、甚至近乎恒等，对应的分类精度也与干净权重基本相同。这就是诊断给出的答案——损伤的分层是有序的，噪声沉积在低阶分量，头部在一段范围内保持不动。

3. 理论解释：扰动界 + Davis-Kahan，说明「主奇异子空间为什么转不动」

诊断只是现象，作者进一步给出为什么这一范围内角度必然小。先用范数不等式把扰动界分解开：\(\|\Delta\mathbf{W}\|_F\le\|\mathbf{K}^{-1}\|_2\|\mathbf{X}^{\mathsf{T}}\|_2\|\mathbf{M}\|_F\)。由于特征维度 \(q\) 通常远小于样本数 \(n\)，\(\mathbf{X}\) 满秩，故 \(\|\mathbf{K}^{-1}\|_2=1/\lambda_{\min}(\mathbf{X}^{\mathsf{T}}\mathbf{X}+\lambda\mathbf{I})=1/(\lambda_{\min}(\mathbf{X}^{\mathsf{T}}\mathbf{X})+\lambda)\)，\(\|\mathbf{X}^{\mathsf{T}}\|_2=\sigma_{\max}(\mathbf{X})\)；又因为 \(\mathbb{P}(\mathbf{M}_{ij}\ne 0)=p\)，\(\mathbf{M}\) 的非零元个数为 \(pnl\)，于是 \(\|\mathbf{M}\|_F=\sqrt{pnl}\)，得到

\[\|\Delta\mathbf{W}\|_F\le\frac{\sigma_{\max}(\mathbf{X})\sqrt{nl}}{\lambda_{\min}(\mathbf{X}^{\mathsf{T}}\mathbf{X})+\lambda}\sqrt{p}\]

接着把权重层面的界传到子空间层面：由 Davis-Kahan 正弦定理，扰动后主子空间的夹角 \(\theta\) 满足 \(\sin\theta\le\|\Delta\mathbf{W}\|_2/\delta\)，其中 \(\delta\) 是干净权重主奇异值之间的间隔（论文把它当作一个超参数看待）；再由 \(\|\Delta\mathbf{W}\|_2\le\|\Delta\mathbf{W}\|_F\) 把上一步的界代进去：

\[\sin\theta\le\frac{\sigma_{\max}(\mathbf{X})\sqrt{nl}}{\delta\,(\lambda_{\min}(\mathbf{X}^{\mathsf{T}}\mathbf{X})+\lambda)}\sqrt{p}\]

结论有两层。第一层是答疑：只要 \(p\) 在合理范围内，\(\theta\) 就被界在很小的值上，主奇异子空间不会大幅旋转，分类所需的关键信息因此得以保留——这就是「为什么能学到」的形式化回答。第二层是可读的推论：\(\theta\) 只随 \(\sqrt{p}\) 增长，而前面的系数由数据几何决定（\(\sigma_{\max}\)、\(\lambda_{\min}\)、\(n\)、\(l\)、涨落间隔 \(\delta\)），所以「安全范围」是数据集相关的，不是一个普适的噪声率常数。同一式子还顺手解释了两件经验事实：正则化之所以有用，可以看成增大 \(\lambda\) 直接压低了 \(\sin\theta\) 的上界；特征归一化压低 \(\sigma_{\max}\)，作用方向相同。此外作者在附录中给出经验口径——把 \(\theta\le30^\circ\) 视为可容忍的畸变，并观察到 \(p>0.4\) 时主子空间偏离已经相当严重。

4. PSP：先保住主奇异子空间，这是增益的主要来源

诊断结论直接给出了一个便宜的后处理动作：既然关键信息集中在头部，那就先把头部完整保留下来。把训练得到的 \(W'\) 做 SVD，取前 \(k\) 个奇异分量重组为 \(\mathbf{W}_k=\mathbf{U}_k\boldsymbol{\Sigma}_k\mathbf{V}_k^{\mathsf{T}}\)，用 \(k\) 截断掉被噪声污染的尾部方向，等价于对分类权重做一次谱域去噪。\(k\) 是 LIP 唯一的超参数，论文报告的经验设置是 \(k=\lceil 0.8l\rceil\)（\(l\) 为类别数），也可以借助 LIP 极快的执行速度在验证集上网格搜索。消融实验表明这一步贡献了主要增益：接在 PL-CL 上时六个真实数据集的平均精度从 49.4 提升到 51.0，已经拿到 LIP 总增益（52.2）中的大部分。

5. LAP：不丢弃尾部，而是用训练数据把被压平的奇异值重估回来

截断虽然安全，却把尾部整段扔掉了，而 SVDiff 等工作早已指出底部奇异分量对权重本身同样承载信息；图 1 里那些趋近于零的奇异值，恰恰更像是被标注噪声「压平」而非本来就是噪声。LAP 的做法是不丢弃这些方向，只重估它们的强度：保持 \(\mathbf{U}_l,\mathbf{V}_l\)（未被保留的左右奇异向量）冻结不变，回到训练数据上重新求解那组奇异值，

\[\min_{\boldsymbol{\Sigma}_l}\;\big\|\mathbf{X}\big(\mathbf{W}_k+\mathbf{U}_l\boldsymbol{\Sigma}_l\mathbf{V}_l^{\mathsf{T}}\big)-\mathbf{Y}\big\|_F^2\]

对每个 \(\sigma_j\) 求梯度并令其为零，得到逐元素的闭式解

\[\sigma_j=\frac{\mathbf{u}_j^{\mathsf{T}}\mathbf{X}^{\mathsf{T}}(\mathbf{Y}-\mathbf{X}\mathbf{W}_k)\mathbf{v}_j}{\mathbf{u}_j^{\mathsf{T}}\mathbf{X}^{\mathsf{T}}\mathbf{X}\mathbf{u}_j},\qquad j=k+1,\dots,\min(q,l)\]

（矩阵形式的写法 ⚠️ 以原文为准，缓存中该式有排版损坏。）因为方向被冻结，这一步不可能引入新的子空间，它改变的只是「每个尾部方向该占多大权重」，效果是让矩阵的有效秩被更充分地利用——消融里 LAP 带来的增益不大但一致（PL-CL 平均 51.0 → 52.2；PRODEN 在 CUB-200 上 \(p=0.04\) 时 74.41 → 74.51）。也就是说，PSP 负责「不被污染」，LAP 负责「不浪费容量」。

损失函数 / 训练策略¶

LIP 自身没有训练过程：PSP 是一次 SVD 加一次截断，复杂度 \(O(\min(q^2l,ql^2))\)；LAP 是一次闭式最小二乘，复杂度 \(O(nql)\)；总体 \(O(nql+\min(q^2l,ql^2))\)。实测在 CIFAR-100 上耗时 9.98 ms、CUB-200 上 16.13 ms，相对数小时的训练时间可以忽略，因此可以当作训练完成后的一次性后处理直接接在任意分类器上。实验侧的设置是：PICO 与 PRODEN 均用 ResNet-34 骨干，PRODEN 在 CIFAR-100 与 CUB-200 上各跑 500 次迭代，PICO 在 CUB-200 上 500 次、CIFAR-100 上 800 次；CIFAR-100N 用 ResNet-50 与带动量 0.9 的 SGD 训练 300 个 epoch；真实数据集上跑 10 次 50%/50% 随机划分取均值与标准差，CIFAR-100 / CUB-200 上跑 5 次。

实验关键数据¶

主实验¶

实验覆盖三种不准确标注形态：6 个真实部分标签数据集（FG-NET、Lost、MSRCv2、Mirflickr、Soccer Player、Yahoo!News，其中带 * 的是把 10% 样本的真标彻底删除后的加强版）、合成噪声标签（CIFAR-100 的对称/非对称噪声）、合成部分标签（CIFAR-100 与 CUB-200 上按概率 \(p\) 翻转负类标签生成假阳性候选）。

表 1 汇总 LIP 接在 7 个部分标签基线后的效果（数值为「基线 → +LIP」，最后一列为论文给出的平均相对提升）：

方法	Lost*	MSRCv2*	Soccer Player*	Yahoo!News*	平均 ↑Ratio
PL-CL → +LIP	68.3 → 72.8	45.1 → 52.1	52.1 → 53.6	60.9 → 63.9	5.7%
PL-CGR → +LIP	71.3 → 74.3	49.7 → 51.6	53.3 → 55.9	61.6 → 65.1	4.6%
DPCLS → +LIP	69.6 → 72.7	53.6 → 54.5	54.7 → 55.7	61.9 → 63.8	3.3%
PL-AGGD → +LIP	68.2 → 72.9	45.0 → 52.3	51.7 → 53.6	60.7 → 63.9	6.3%
SURE → +LIP	68.3 → 70.6	43.8 → 48.1	51.2 → 51.8	59.1 → 61.6	3.7%
LALO → +LIP	66.7 → 70.9	44.1 → 51.3	51.5 → 53.5	59.3 → 63.4	7.0%
PL-LEAF → +LIP	65.1 → 69.4	45.7 → 48.3	51.1 → 51.8	60.0 → 61.7	3.9%

表 2 是噪声标签场景（CIFAR-100、PLS 与 AGCE 两个基线），LIP 在高噪声率下的绝对增益反而更大：

方法	非对称 10%	非对称 20%	非对称 40%	非对称 50%	对称 10%	对称 20%	对称 40%	对称 80%
PLS → +LIP	79.54 → 79.75	73.90 → 74.34	53.17 → 54.42	34.51 → 38.49	79.65 → 79.87	79.13 → 79.69	77.27 → 77.38	45.92 → 47.43
AGCE → +LIP	67.32 → 67.56	63.57 → 63.99	47.25 → 48.79	27.90 → 28.25	67.61 → 67.98	64.75 → 64.93	59.78 → 59.91	24.05 → 25.43

表 3 是部分标签场景（CIFAR-100 的 \(p\) 取 0.05/0.1/0.2，CUB-200 取 0.02/0.04/0.06），并给出干净训练下的参照：

方法	CIFAR-100 p=0.05	p=0.1	p=0.2	CUB-200 p=0.02	p=0.04	p=0.06
PICO → +LIP	73.51 → 73.83	72.18 → 72.43	71.62 → 71.98	72.56 → 72.90	72.27 → 72.56	71.88 → 72.26
PRODEN → +LIP	77.12 → 77.25	76.04 → 76.42	56.83 → 56.90	74.53 → 74.73	74.36 → 74.51	72.01 → 72.33
干净数据参照	73.88（PICO） / 77.31（全监督），+LIP 后 74.09 / 77.48	—	—	76.00（PICO） / 75.70（全监督），+LIP 后 76.56 / 75.91	—	—

表 2 与表 3 的 PRODEN-CIFAR 行正好复现了诊断实验里的那组精度（77.12 / 76.04 / 56.83），说明谱分析的观测与分类表现是同一批实验。

消融实验¶

配置	PL-CL 六数据集平均	PRODEN CIFAR-100 (p=0.05)	PRODEN CIFAR-100 (p=0.2)	PRODEN CUB-200 (p=0.04)
基线（无 PSP、无 LAP）	49.4	77.12	56.83	74.36
仅 PSP	51.0	77.21	56.89	74.41
PSP + LAP（完整 LIP）	52.2	77.25	56.90	74.51

关键发现¶

PSP 是主力，LAP 是稳定的小幅补充。去掉 LAP 已经有大部分增益（PL-CL 49.4 → 51.0，占总增益 2.8 中的 1.6），LAP 再补上剩余部分；两个模块在所有数据集上都不互斥，符合「保头 + 修尾」的互补定位。
噪声越重，收益形态越能反证理论。在高噪声率的弱基线上，LIP 的绝对增益最大（PLS 非对称 50%：34.51 → 38.49，+3.98；对称 80%：45.92 → 47.43；AGCE 对称 80%：24.05 → 25.43），说明被压平的尾部确实还储着可用信息；但在 PRODEN 的 \(p=0.2\) 上只剩 56.83 → 56.90（+0.07）——这一档主子空间本身已经被破坏，后处理无从修复，与理论预期一致。
干净数据上 LIP 也涨点，这一点超出「抗噪」的直觉：全监督 CIFAR-100 上 77.31 → 77.48、PICO 的干净设定 73.88 → 74.09、CUB-200 干净参照 76.00 → 76.56、75.70 → 75.91，说明正常训练出来的权重尾部奇异值同样没有被充分利用（两处干净参照协议不同，不宜直接横比绝对值）。
真实噪声数据集上一致有效：PLS 接 LIP 后在 CIFAR-10N 上 85.99 → 86.69、CIFAR-100N 上 55.54 → 56.46、Clothing1M 上 47.59 → 48.36。
对 \(k\) 稳健：在 CUB-200 上把 LIP 接在 PRODEN 后，随 \(k\) 增大性能先升后稳，\(k>100\) 之后稳定优于 PRODEN 本身；按 \(k=\lceil0.8l\rceil\) 算，200 类的 CUB-200 落在 \(k=160\) 的稳定区间内，经验公式与敏感性曲线自洽。
与骨干无关：把 PRODEN 的骨干换成 ViT-B 后，子空间相似度随 \(p\) 的变化趋势与 ResNet-34 一致，LIP 依然涨点（81.14 → 81.89、80.39 → 81.07、62.24 → 63.13），支持「结论来自分类头几何而非卷积结构」的判断。
统计显著：表 1 中所有基线配对均通过显著性水平 0.05 的成对 t 检验。

亮点与洞察¶

把「为什么」变成可计算的问题：不直接讨论泛化，而是把标注错误搬到权重扰动上，于是「知识还在不在」变成一个奇异子空间的夹角问题，能用 Davis-Kahan 给出上界。这条路径可以整套搬到别的「训练明明有问题但结果还行」的现象上，例如 PEFT 微调时的分布漂移、持续学习中的权重漂移诊断。
诊断与方法的严格对应：诊断说「损伤在尾部、主部完好」，方法就是「保头 + 修尾」；LAP 之所以只重估奇异值而不重新学方向，正是因为在方向被冻结时不可能引入新的子空间——方法不是拍脑袋设计，而是把结论直接翻译成了操作。
一个反直觉的副产物：LIP 在干净数据上也涨点，意味着「尾部奇异值欠利用」不是噪声标注的特有病理，而是最小二乘式分类头的通病；这解释了为什么一个纯粹为了抗噪设计的后处理在完全监督设置下仍然有效。
对正则化的新解释：\(\sin\theta\) 的上界里 \(\lambda\) 与 \(\sigma_{\max}\) 出现在分母中，于是正则化（增大 \(\lambda\)）与特征归一化（压低 \(\sigma_{\max}\)）之所以有用，可以被读成「压低主子空间被扰动旋转的上界」，而不是笼统的「防止过拟合」。
可复用的 trick：LIP 的「SVD → 冻结方向 → 用训练数据闭式重估奇异值」是一套通用的权重后处理模板，几乎零成本（毫秒级、无梯度），可以套到任何以线性分类头收尾的模型上，包括已经部署、无法重训的模型。

局限与展望¶

分析被限制在最后那层分类头。中间层只给了抽象论证（把每层近似成输入到输出的线性映射），没有可验证的层间实验；作者建议的扩展方案是「在干净/含噪两版网络上分别比较中间层权重的 SVD 结构」，但正文未做。这留下一个真实的缺口：如果噪声主要破坏的是骨干特征而非分类头，本文的结论不覆盖。
「安全范围」不可直接计算。界里出现的 \(\delta\) 被当作超参数处理，\(\sigma_{\max}\)、\(\lambda_{\min}\) 又依赖具体数据，所以理论上无法给出一个先验的噪声率阈值；论文给出的 \(\theta\le30^\circ\)、\(p>0.4\) 转为严重，都是经验口径。对一个新的数据集，仍然只能靠跑实验来判断 LIP 值不值得用。
LAP 的重拟合仍使用带噪标签 \(\mathbf{Y}\)。方向冻结使它无法修复已经跑偏的主子空间，这也直接解释了 PRODEN 在 \(p=0.2\) 上只涨 0.07——此时该修的地方是头部，而 LIP 只能动尾部。把 \(\mathbf{Y}\) 换成去偏/加权的标签估计（例如对疑似错标降权）应当是一个自然的改进方向。
\(k\) 的选择缺少理论指导。经验式 \(k=\lceil0.8l\rceil\) 与类别数绑定，但理论上 \(k\) 应当与奇异值间隔 \(\delta\) 挂钩；把 \(\delta\) 从数据中估计出来、进而自动选 \(k\)，是一个未被解决的接口问题。
实验噪声的构造偏理想化。主干实验用的是按概率翻转的合成噪声，真实数据集上只报告平均精度，噪声率与噪声类型不可控；真实标注错误通常具有实例依赖性与结构性，而本文的 \(\mathbf{M}\) 模型假设各位置独立同分布地以概率 \(p\) 出错，这条假设在真实场景下是否成立没有检验。
LIP 只作用于单个已训练权重，对训练动力学（例如噪声记忆发生的时间点、early stopping 的时机）没有任何帮助，与那些在训练中干预的方法只能互补、不能替代。

评分¶

新颖性: ⭐⭐⭐⭐ 首次正面追问「不准标注为何仍能学到正确知识」，并给出实证 + 理论的双侧证据
实验充分度: ⭐⭐⭐⭐ 11 个基线 × 6 个真实数据集 + 合成噪声/部分标签 + 消融 + 敏感性 + 架构验证，但分析部分集中在单一骨干与合成噪声
写作质量: ⭐⭐⭐⭐ 诊断—理论—方法的闭环清楚、结论与实验一一对应，理论部分的关键假设（FC 层抽象、\(\delta\) 当超参）主要靠附录交代
价值: ⭐⭐⭐⭐ 免训练、毫秒级、可插拔，且对「正则化为何有用」给出可复用的解释框架