数据密度扩展律：图像自蒸馏中的样本复用与唯一样本权衡¶

会议: NeurIPS 2026
arXiv: 2610.19013
领域: 自监督学习
关键词: 图像自蒸馏, 扩展律, 数据密度, 样本复用, 语义冗余

一句话总结¶

针对图像自蒸馏中传统扩展律假设唯一样本越多越好的局限性，本文系统研究了计算预算固定时唯一样本量与重复次数的交互效应，揭示了在高冗余领域中多次复用小规模子集显著优于全量唯一样本的反直觉现象，并提出了联合唯一样本与复用密度的密度交互扩展律。

研究背景与动机¶

在大模型与基础模型快速发展的背景下，模型性能的提升通常与扩大模型参数和扩展训练数据规模紧密绑定。在自然语言处理领域，经典的 Chinchilla 扩展律表明性能随着计算量、参数量和唯一 token 数量呈幂律提升，而对相同数据的重复训练往往带来收益迅速衰减的边际递减效应。这一经验规律深刻影响了计算机视觉领域的自监督表示学习，学界普遍默认扩大无标注图像集合的唯一样本规模是提升下游视觉表征质量的黄金法则。

然而，当基础视觉模型的预训练拓展到卫星遥感、自动驾驶和第一人称视频等特定领域时，这一基本假设面临严峻挑战。与清洗良好的通用物体图像库（如 ImageNet）不同，实际应用场景中的海量视觉语料往往充斥着严重的语义冗余、时间序列近邻帧的高度相似性以及极不均匀的信息密度。在名义数据集规模庞大但有效信息覆盖受限的场景下，盲目增加名义上的唯一样本量并不能保证有效语义表征的同步增长；现有的数据受限扩展律由于将总数据暴露量简单折算为单一计算量或单调递减的数据项，无法解释视觉自监督学习中复杂的样本复用动态。更关键的是，视觉自蒸馏模型（如 iBOT）在每次重复遇到同一图像时均施加随机数据增强，且教师网络通过指数移动平均（EMA）动态演化，使得每次重复暴露提供的均是动态更新的监督信号，而非静态标签或 token 的机械重放。

这一矛盾导致传统计算或数据受限扩展律在指导视觉基础模型数据分配时频频失灵。在固定计算预算下，究竟应该追求覆盖更多唯一样本，还是应该将预算分配给高质量小样本集合的多轮深入蒸馏？本文的核心 idea 是：将训练暴露预算解耦为唯一样本量与样本复用密度的交互作用，揭示了在高度冗余语料中多次重复小规模子集可大幅超越全量唯一样本预训练的反直觉规律，并构建了显式建模唯一样本支持与复用密度惩罚项的密度交互扩展律。

方法详解¶

整体框架¶

本文通过将总训练暴露量拆解为唯一样本量与样本复用密度的显式参数化，建立了图像自蒸馏（基于 iBOT 与 DINOv2）在不同数据域下的扩展行为分析基线。输入为特定领域的无标注图像池，系统在固定的全局计算预算（总图像展示次数）下，通过控制唯一样本子集规模与遍历轮次，系统评估冻结表征在下游分类与跟踪任务上的迁移表现。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：领域无标注图像语料池<br/>遥感 / 自动驾驶 / 视频 / 自然图像"] --> B["数据预算解耦变量定义<br/>计算预算 C、唯一样本 U、复用密度 R"]
    B --> C["子集采样与多样性度量<br/>均匀随机采样 / 分层聚类 / Vendi 分数评估"]
    C --> D["动态自蒸馏模型预训练<br/>iBOT / DINOv2 (ViT-S/B/L) + EMA 教师 + 随机增强"]
    D --> E["密度交互扩展律建模<br/>联合拟合唯一样本支持与复用惩罚项"]
    E --> F["下游冻结表征评测与外推验证<br/>kNN 与逻辑回归 (遥感 / 驾驶 / 通用任务)"]

关键设计¶

1. 训练变量三元解耦与密度定义：打破计算与数据的单一维度折算

现有扩展律通常将训练过程简化为总暴露次数或等效数据规模，忽略了数据空间覆盖范围与每个样本接触频度之间的独立作用。本文针对视觉自蒸馏的优化特点，形式化定义了三个相互关联的核心物理量： - 唯一数据量 \(U\)：预训练选定图像池中不同样本的总数； - 遭遇唯一支持 \(U_{\mathrm{seen}}\)：在给定计算预算下实际接触到的唯一样本量，定义为 \(U_{\mathrm{seen}} = \min(C, U)\)； - 样本复用密度 \(R\)：每个遭遇样本在预训练期间的平均暴露次数，定义为 \(R = C / U_{\mathrm{seen}}\)，满足恒等式 \(C = U_{\mathrm{seen}} \cdot R\)； - 计算预算 \(C\)：在固定的模型架构和优化超参数下，模型前向展示的源图像总张数（以百万次展示数 M 为单位）。

与自回归语言模型中静态 token 的重复重放不同，图像自蒸馏在每次采样同一图像时均施加随机裁剪、色彩抖动和掩码重构，同时教师模型通过权重动量更新持续演进。因此，样本复用密度 \(R\) 衡量的是模型在同一组基础视觉锚点上进行多角度探索和深层对齐的频度，这为理解不同领域下数据复用的非单调影响奠定了度量基础。

2. 密度交互扩展律：显式引入唯一样本与复用密度的联合项

针对经典计算幂律与数据受限规律无法预测“小样本子集大幅超越全量样本”这一反直觉现象的缺陷，本文提出了密度交互扩展律（Density Interaction Law）。传统的 Chinchilla 形式 \(\hat{y}(C) = L - A / C^\alpha\) 无法区分相同计算量下不同 \((U, R)\) 的表现；而数据受限形式 \(\hat{y}(U, R) = L - A / U_{\mathrm{eff}}^\beta\) 假定重复数据仅带来边际收益饱和，无法预测随着唯一样本增多性能反而下降的现象。

本文在计算增长基准项的基础上，显式引入了唯一样本支持与复用密度的联合对数惩罚项，用于预测下游评估准确率 \(\mathrm{Perf}\)：

\[\mathrm{Perf}(C, U, R) = L - \frac{A}{C^\alpha} - D \cdot [\log(1 + U_{\mathrm{seen}})]^\beta \cdot [\log(1 + R)]^\gamma\]

其中 \(L\) 为渐近性能上界，\(A / C^\alpha\) 描述随总计算暴露量增加带来的基本能力提升，\(D\) 为密度惩罚系数，\(\beta\) 和 \(\gamma\) 分别表征特定数据领域对唯一样本规模和复用密度的敏感度指数。对数变换防止了名义样本量与复用次数的线性发散。该公式在现象学层面上刻画了一种潜在机制：低信息量、语义噪声或具有领域冲突的模式广泛散布在庞大的全量语料池中；采用较小的随机子集能够有效剔除大量潜在的冲突模式，而适当的重复蒸馏则能强化保留样本的核心特征表征。

3. 多域冗余结构与子集采样对比：验证子集优势的普适机制

为了厘清小样本复用优势究竟来源于数据选择策略还是数据域本身的内在冗余结构，本文结合语义嵌入空间的多样性度量展开了多维消融： - 多样性与冗余度化验：利用预训练 DINOv2 提取图像的 [CLS] 向量，计算各数据集在不同子集规模下的 Vendi 分数。结果显示，自然图像集 ImageNet 的 Vendi 分数高达 ~589，而遥感数据集 Maxar 仅为 ~48，Waymo 自动驾驶仅为 ~73，直接证明了遥感和驾驶语料中极高的语义冗余； - 采样策略正交验证：在 Maxar 0.75M 子集上，对比了均匀随机采样（Random）、基于 DINOv2 嵌入的四层层次聚类平衡采样（Hierarchical k-means）、基于图匹配的平衡数据子采样（DASSOT）以及基于自然图像质量评估器（NIQE）的图像质量筛选。实验证明，各类筛选策略在相同计算预算下均表现出显著优于全量数据的表征性能，表明子集优势主要由降低语料内在冗余度与提升有效复用密度驱动，而非特定高级剪枝算法的专属效果。

损失函数 / 训练策略¶

预训练采用标准的 iBOT 框架，主干网络采用 ViT-B/16（同时在 Maxar 上验证了 ViT-S 与 ViT-L），结合基于 EMA 的动量教师网络进行联合掩码图像预测（MIM）与自蒸馏交叉熵损失优化。优化器使用 AdamW，全局批大小 \(B = 1600\)（8 块 GPU，每卡批大小 200），配合 FlashAttention-2 提升计算效率。总训练步数严格由计算预算 \(C\) 决定（\(S = C / B\)）。下游评测保持主干特征完全冻结，统一提取最后一层归一化的 [CLS] 标记，通过全量 50M 参考运行中网格搜索选定的最优 \(k \in \{1, 5, 10, 30, 50\}\) 计算 kNN 分类准确率，并辅助 Cyanure 求解器的逻辑回归线性探测。

实验关键数据¶

主实验¶

主实验在固定的高计算预算下，系统对比了不同唯一样本子集 \(U\) 与全量数据 Full 预训练后的下游表征平均准确率（以 kNN 评测为主）。

数据域 / 数据集	计算预算 \(C\)	训练配置 (唯一样本 \(U\))	下游平均 kNN 准确率	对比全量 Full 变化	实验结论
Maxar (卫星遥感)	100M	随机子集 \(U=0.75\text{M}\) (1.5%)	0.9207	+2.13%	严重冗余域：重复小规模子集显著超越全量数据
Maxar (卫星遥感)	100M	全量数据 \(U=50\text{M}\) (Full)	0.8994	基准 (0.00%)	全量训练因混入冲突模式导致表征次优
Maxar (卫星遥感)	200M	随机子集 \(U=0.75\text{M}\) (1.5%)	0.9251	+3.11%	计算预算扩展放大子集优势，全量数据发生退化
Maxar (卫星遥感)	200M	全量数据 \(U=50\text{M}\) (Full)	0.8940	基准 (0.00%)	表现为明显的负迁移与模式干扰
Maxar (卫星遥感)	400M	随机子集 \(U=0.4\text{M}\) (0.8%)	0.9140	+2.80%	超大算力下极小子集仍保持高迁移能力
Maxar (卫星遥感)	400M	全量数据 \(U=50\text{M}\) (Full)	0.8860	基准 (0.00%)	唯一样本过多导致性能随算力出现绝对下降
ImageNet (自然图像)	100M	随机子集 \(U \approx 0.64\text{M}\) (\(F/2\))	0.6545	-4.11%	支持受限域：唯一样本减少导致表征断崖式下跌
ImageNet (自然图像)	100M	全量数据 \(U=1.28\text{M}\) (Full)	0.6956	基准 (0.00%)	高信息密度数据严格遵循唯一样本优先原则
Waymo (自动驾驶)	100M	随机子集 \(U \approx 0.36\text{M}\) (6.25%)	0.7680	-0.34%	密度容忍域：削减唯一样本 16 倍性能几乎无损
Waymo (自动驾驶)	100M	全量数据 \(U=5.81\text{M}\) (Full)	0.7714	基准 (0.00%)	时间序列近邻帧高度冗余，复用耐受度极高

消融实验¶

消融实验分为两部分：一是扩展律模型在外推预测（\(C > 50\text{M}\)）上的平均绝对误差（MAE）对比；二是针对 Maxar 0.75M 子集在不同条件下的控制变量分析。

评估配置	对应指标 / 维度	实验数值	说明
扩展律外推: Maxar (kNN)	密度交互扩展律 (Ours)	MAE = 0.0093	相比 Compute-only (0.0116) 误差降低 19.8%
扩展律外推: Maxar (kNN)	Compute-only 扩展律	MAE = 0.0116	无法区分相同计算量下不同子集的表现差异
扩展律外推: Maxar (kNN)	Data-constrained 扩展律	MAE = 0.0116	无法拟合唯一样本增多带来的负增益
扩展律外推: ImageNet (kNN)	密度交互扩展律 (Ours)	MAE = 0.0948	在非冗余自然图像域发生过拟合，外推能力弱于基线
扩展律外推: ImageNet (kNN)	Compute-only 扩展律	MAE = 0.0507	简单幂律在低冗余域外推更为稳健
Maxar 采样策略 (\(C=50\text{M}\))	均匀随机采样 (Random)	kNN = 0.9202	基准随机子集筛选
Maxar 采样策略 (\(C=50\text{M}\))	层次聚类平衡采样 (Hierarchical)	kNN = 0.9187	强行平衡嵌入聚类并未带来额外表征优势
Maxar 采样策略 (\(C=50\text{M}\))	图匹配平衡采样 (DASSOT)	kNN = 0.9202	性能与简单随机采样完全一致
Maxar 采样策略 (\(C=50\text{M}\))	盲图像质量筛选 (NIQE)	kNN = 0.9216	剔除低质图像后获得轻微额外提升 (+0.14%)
Maxar 采样策略 (\(C=50\text{M}\))	全量数据训练 (Full-50M)	kNN = 0.9015	所有 0.75M 子集配置均比全量数据高出约 2.0%
数据增强消融 (\(C=100\text{M}\))	标准完整强增强 (Full Aug)	kNN = 0.9251	包含色彩抖动、灰度、高斯模糊及曝光变化
数据增强消融 (\(C=100\text{M}\))	弱增强 (去掉色彩/灰度/模糊/曝光)	kNN = 0.8910	性能显著下降 3.41%，但随着复用轮次依然稳步提升

关键发现¶

唯一样本规模的“负效用”具有领域特异性：在遥感卫星图像（Maxar）这类高冗余领域，使用仅占总量 1.5% 的 0.75M 随机子集进行多次遍历预训练，其下游 kNN 准确率全面压制 50M 全量唯一样本（\(C=200\text{M}\) 时优势达到 3.11 个百分点）。相反，在 ImageNet 这类精心清洗且类别分布均衡的自然数据集上，唯一样本量的缩减立即带来性能单调大幅下跌。
随机子集优势与特定的子集剪枝算法弱解耦：对比层次聚类、DASSOT 图匹配与 NIQE 质量筛选，随机采样子集展现出几乎一致的表征增益，表明在高度冗余场景下，抑制有害模式协同作用的关键在于有效打破样本间的恶性共现，而非依赖极度复杂的样本挑选规则。
扩展律的可迁移性边界：提出的密度交互扩展律在 Maxar、SATLAS 和 Ego4D 等冗余度高的数据集上取得了最低的外推预测误差；但在 ImageNet 和 nuPlan 上由于引入过多非线性交互项导致外推误差增大，说明当前单一闭式方程尚无法完美跨越所有视觉数据分布。

亮点与洞察¶

打破了“数据多多益善”的直觉认知：首次在视觉自自蒸馏任务中系统性证明了过多唯一样本可能带来负面影响而非仅仅是边际效益衰减，指出有害模式在全量数据中的共存会对 EMA 教师的演进带来持续干扰。
厘清了视觉自蒸馏与语言模型重复机制的本质差异：自回归语言模型中复用 token 是静态目标重放，而视觉自蒸馏中图像经受随机视图裁剪与 EMA 教师动态预测，使得样本复用本质上成为多视图自洽性探索，极大拓宽了数据复用的上限。
工业界预训练算力分配的实用启发：在面对高重复、高冗余的行业视觉语料（如卫星监测、自动驾驶连续行车记录）时，无脑堆砌原始视频抽帧或大图切片不仅浪费存储与算力，更会导致模型表征退化；合理降采样并提高优质子集的遍历密度是性价比更高的训练策略。

局限与展望¶

扩展律形式的经验泛化瓶颈：作者承认提出的密度交互公式属于唯象经验拟合，缺乏从优化理论或统计力学出发的第一性原理推导，导致其在低冗余高多样性数据集（如 ImageNet）上外推能力不如传统简单幂律。
下游评测协议的敏感性差异：实验中观察到全量训练的性能退化在 kNN 评测下极度剧烈，但在逻辑回归线性探测中更多表现为平台饱和而非严重下跌，说明特征空间的局部几何邻域结构对复用密度更加敏感。
缺乏全量数据弱增强对照实验：在数据增强消融中仅验证了子集配置下的弱增强表现，未能提供全量数据在弱增强下的对应控制组，未能彻底解耦随机视图生成与纯样本复用对表征学习的独立贡献。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了视觉预训练中唯一样本必定优于数据复用的传统共识，系统揭示了数据密度的独特作用。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个横跨遥感、自动驾驶、第一人称视频和自然图像的数据集，遍历从 10M 到 400M 的算力网格并覆盖多尺度 ViT 与算法。
写作质量: ⭐⭐⭐⭐⭐ 实验变量解耦清晰，对反常现象的机制分析严谨克制，诚实呈现了拟合公式的适用范围与失效边界。
价值: ⭐⭐⭐⭐⭐ 为遥感与具身智能等高冗余领域的视觉基础模型预训练提供了立竿见影的算力与数据分配指导。