🔄 自监督/表示学习¶
🧠 NeurIPS2026 · 64 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (25) · 📷 CVPR2026 (97) · 🔬 ICLR2026 (82) · 💬 ACL2026 (1) · 🧪 ICML2026 (28) · 🤖 AAAI2026 (16)
🔥 高频主题: 自监督学习 ×11 · 扩散模型 ×2 · 对抗鲁棒 ×2 · 布局/合成 ×2 · 生物分子 ×2
- AmbientFM: A Foundation Model for Ambient Sensing
-
AmbientFM 在 439 天涵盖 20 类商用 IoT 设备采集的 920 万条未标注真实 WiFi CSI 信号上预训练统一骨干,融合自适应频率聚合、无线定制对比学习、掩码重构及自相关函数预测目标,仅凭轻量级微调即可跨 9 项下游感知任务取得 0.90 以上的 AUROC。
- An Open-Source Training Dataset for Foundation Models for Black-box Optimization
-
提出了首个大规模开源黑盒优化轨迹预训练数据集 BBO-Pile(含 3,095 个黑盒任务、55.7 万条轨迹、约 25 亿 token),并训练了 2M 至 80M 参数的因果 Transformer 优化模型,系统验证了优化器模仿与算力缩放法则。
- Approximation in Contrastive Representation Learning
-
本文从泛函与逼近论视角系统回答了为何内积形式评分函数能逼近不可分的点对互信息(PMI),建立了紧算子谱截断误差界、通用及结构化深度神经网络(DNN)逼近速率,并证明了密度比Tsybakov噪声下向上游对比超额风险到下游检索误差的快速校准不等式。
- Baba in Wonderland: Online Self-Supervised Dynamics Discovery for Executable World Models
-
针对规则词汇与语义先验失准的符号环境,提出闭环系统 Alice,将可执行程序更新失败所暴露的保留冲突提炼为假设类,同步驱动紧凑反例更新与边界好奇心探索。
- Benchmarking Attention for Tabular Foundation Models
-
针对表格基座模型中二维交替行列注意力的特殊形态,系统评测了横跨三代 GPU 的 7 类注意力后端,量化了内存步幅转置与张量连续性开销,提出了行注意力与列注意力解耦的混合后端调度策略并实现端到端加速。
- Beyond IID: How General Are Tabular Foundation Models, Really?
-
本文提出了覆盖 142 个真实数据集的统一表格基准 BeyondArena 及标准化数据治理框架 DataFoundry,系统评估了 3 款主流表格基础模型在独立同分布与非独立同分布任务下的泛化能力,揭示了其在复杂场景下仍被调优传统模型超越的局限。
- Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction
-
针对传统 JEPA 强制单视图嵌入服从欧氏各向同性高斯边缘分布所导致的结构失配与不可辨识问题,本文提出 HamJEPA,将结构先验从单视图边缘分布转移至跨视图预测耦合中,构建基于辛蛙跳积分器的相空间哈密顿预测机制,并在非各向同性谱下界正则化下显著提升自监督下游表征质量。
- Beyond Missing Rates: Rethinking Incomplete Multi-View Clustering with Protocol Divergence
-
论文用实际缺失率与完整样本比例揭示不完整多视图聚类的评测协议分歧,并提出只融合当前样本已观测视图的 CRAFT:在信息匹配的不完整训练中赢得 13 个条件中的 12 个,另以完整视图训练后的固定检查点评测跨协议部署。
- Beyond ViT Tokens: Masked-Diffusion Pretrained Convolutional Pathology Foundation Model for Cell-Level Dense Prediction
-
针对现有基于 ViT 的病理大模型因固定分块破坏空间连续性与细胞细粒度形态细节的瓶颈,提出结合掩码扩散预训练与 ConvNeXt-UNet 架构的卷积病理基础模型 CMD,在保持骨干冻结且仅微调极少下游参数下显著超越 ViT 基线与端到端分割网络。
- Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention
-
针对科学基础模型输出确定性且缺乏可靠不确定性的缺陷,提出在推理时将 Softmax 注意力替换为多项分布采样的随机注意力(Stochastic Attention),无需重训练仅通过一维后验校准即可输出保均值、高锐度且校准严格的预测区间。
- Can 4D Foundation Models Remember?
-
本文提出首个基于全景视频全知真值的4D基础模型视觉记忆基准PersistBench,解耦评测客体恒常性、运动连续性与外观保持度,揭示现有模型离开视野后记忆断崖式下跌的“能看见不等于能记住”本质缺陷。
- CanViT: Toward Active-Vision Foundation Models
-
本文提出了首个与任务及观测策略无关的主动视觉基础模型 CanViT,通过场景相对旋转位置编码(SR-RoPE)与非对称画布注意力(Canvas Attention)解耦瞬时感知与全景工作记忆,并基于 DINOv3 密集潜在蒸馏预训练,在极低计算量下刷新了 ADE20K 语义分割与 ImageNet-1k 分类的主动视觉 SOTA。
- CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-Supervised Representation
-
针对无配对参考-目标群体中表征相互纠缠且目标变异高度异质的难题,CASL-VAE 通过将隐空间分解为连续共有因子与“离散亚型 + 连续亚型内变异”的层次显著因子,并借助后验解耦约束与弱监督正则化,实现了无配对数据下的无监督亚型发现与配对样本反事实生成。
- Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production
-
提出了 Catch Your Breath (CYB) 训练目标,将单 Token 生成建模为序列决策过程,赋予语言模型自主输出
<don't know>弃权标记以触发额外<pause>步数的能力,实现无需增加计算与内存开销的自适应自定步调生成。 - Contrast Encodes Inductive Bias: Separating Slow Noise from Dynamics in Predictive Representation Learning
-
本文揭示了联合嵌入预测架构(JEPA)等对比预测方法在长相关时间噪声下必然坍缩于编码轨迹特异性慢噪声的理论缺陷,并提出将跨轨迹负样本替换为轨迹内负样本(WTN),使慢噪声无法充当预测捷径,从而从第一性原理上恢复系统真实物理动力学。
- Data Density Scaling Laws for Image Self-Distillation
-
系统探究了视觉自蒸馏模型在固定算力预算下的样本唯一数与重复率权衡,揭示了高度冗余域中小数据集多次重复反超全量数据的反常现象,并提出了显式建模密度交互的新型缩放法则。
- 数据密度扩展律:图像自蒸馏中的样本复用与唯一样本权衡
-
针对图像自蒸馏中传统扩展律假设唯一样本越多越好的局限性,本文系统研究了计算预算固定时唯一样本量与重复次数的交互效应,揭示了在高冗余领域中多次复用小规模子集显著优于全量唯一样本的反直觉现象,并提出了联合唯一样本与复用密度的密度交互扩展律。
- Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation
-
提出扩散元提示(Diffusion Meta-Prompting, DMP)框架,直接在预先优化的提示词仓库上训练一维扩散生成模型,无需访问原始任务数据与损失函数即可根据自然语言描述单步采样下游适配提示词,并引入测试时锚点引导机制显著增强跨任务与组合泛化能力。
- displacement geometry captures platonic shared reality across models and modalit
-
论文发现不同模型与模态收敛所共享的并非样本在表征空间中的绝对位置,而是样本间的方向位移向量;通过仅包含旋转与反射的正交 Procrustes 对齐与共识解耦,不仅调和了柏拉图表征假说与近期质疑的争论,更提出无需微调即可离线迁移模型能力的 Shadow Casting 范式。
- Diversity Curves for Graph Representation Learning
-
提出多样性曲线(Diversity Curves)框架,通过边收缩粗化多尺度跟踪图的测度空间散度(spread),构建兼具尺度鲁棒性、可解释性与高表达力的无监督图级几何表示。
- Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
-
本文将联合嵌入预测架构(JEPA)的耦合动力学线性化为驱动力与衰减力的谱竞争系统,提出由稳定性比率 \(\mu = \gamma/\sigma > 1\) 与超临界模态数决定的表征逃逸与秩预算理论,并据此设计了对角注意力偏置的 ResidualPred 预测器以结构化消除表征坍缩。
- Effective Biological Representation Learning by Masking Gene Expression
-
针对转录组基础模型普遍难以超越线性降维基线的痛点,TxFM 提出基于瓶颈 CLS 与紧凑 MLP 解码器的转录组掩码自编码器,结合有界整流 tanh 激活与泊松重构损失,仅需 140 万精选数据即可在归纳扰动表征与基因功能召回上超越百倍规模的图谱级模型。
- Efficient Dataset Distillation for Pre-Trained Self-Supervised Models via Statistical Flow Matching
-
SFM 把冻结预训练视觉骨干上的线性梯度匹配近似解释为类别中心之间的相对向量匹配,再用一次计算的全局统计量监督合成图像,在每类一张图像的分类实验中改善精度;其约 10 倍显存节省、4 倍加速来自单增强 SFM 与十增强 LGM 的跨预算比较,而不是同预算收益。
- Environment-Robust Representation Learning with Empirical Bayes
-
针对多环境预测中潜变量分布随环境漂移而生成机制稳定的问题,本文提出基于经验贝叶斯的环境鲁棒表征学习方法(EBER),通过显式建模观测条件下的环境权重来聚合环境特异性先验与后验,诱导出无需人为预设惩罚项的环境平衡变分目标,实现了未知测试环境下的最优边缘贝叶斯预测。
- Extending Pretrained 10-Second ECG Foundation Models to Longer Horizons
-
针对心电图基础模型受限于10秒短输入、无法捕获长程临床动态的问题,本文提出一种免重新训练主干的轻量级扩展框架,通过分层位置编码与教师引导的双重语义正则化,实现了对可变长长时序心电的高效泛化。
- Extracting Governing Equations from Latent Dynamics via Multi-View Contrastive Learning
-
提出多视角时间对比学习框架 DYSCO,利用同一底层动力过程的多个独立噪声观测实现去噪并重构潜状态轨迹与向量场,理论证明了仿射规范下的动力系统辨识保证,并支持下游符号回归方程提取。
- FMMI: Flow Matching Mutual Information Estimation
-
本文提出基于流匹配的互信息估计框架FMMI,将判别式互信息估计重构为从边缘分布乘积到联合分布的连续归一化流速度场回归,借助免ODE数值模拟的散度期望定理与Hutchinson迹估计,在高维与长尾分布下实现了精度高、训练步数减少20倍的高效互信息与高阶O-信息估计。
- Handwritten Text Recognition Lives in the High-Pixel Variance Subspace
-
本文用像素 PCA 投影与冻结编码器探针研究手写文本识别的信号分布,在六个拉丁文字基准上发现高方差像素方向更利于转录,且 MAE 的真实数据预训练表示取得 5.5% 平均探针 CER,结合语言解码器并全量微调后取得 4.5% 平均 CER。
- How Data Augmentation Shapes Neural Representations
-
利用统计形状分析中的黎曼形状距离将神经网络内部表征嵌入度量流形,揭示数据增强强度驱动表征沿光滑有序轨迹演化,且不同增强轨迹间的测地夹角能有效预测模型集成带来的泛化增益。
- I Have a Stream: Making Self-Supervised Learning Work on Continuous Video
-
StreamMAE 不改变 MAE 的像素重建目标,而以更强正则化、样本级 DataDrop 和运动偏置两阶段裁剪适配按时间顺序读取的视频流,在 WT++12h 上改善分类、分割和深度迁移,并在多数指标上接近同数据的离线 i.i.d. MAE。
- Inertia-1: An Open Exploration of Wearable Motion Foundation Models
-
Inertia-1 构建了涵盖 1820 万小时加速度计数据、10 种自监督算法、15 个跨域数据集与 1000 多个受控模型的动作基础模型评测基准,全面解构了感知配置、算法目标与数据规模对下游泛化能力的共同影响。
- Laplacian Heads Improve Transformers by Smoothing Token Representations
-
将 Transformer 中部分常规注意力头替换为无额外参数的拉普拉斯头(Laplacian Head),直接控制序列内表示方差并模拟图热扩散,在图像分类、语言模型和自监督学习中普遍提升表征几何质量与任务性能。
- Latent Video Prediction for World Modeling: An Evaluation Uncovering Intriguing Favorable Evidence
-
本文以统一读出协议评测四个冻结视频编码器,发现 V-JEPA 系列在退化输入下更能保留可用的动作语义,并在有限的模拟操作实验中支持更可靠的规划,但这些结果不是生成质量评测,也未因果隔离预训练目标。
- Learnable Spectral Activations
-
提出可学习谱激活(LSA),将传统隐式神经表示中固定的非线性激活替换为截断傅里叶残差级数,解耦特征选择线性权重与内部谱形状调节,显著强化了神经正切核顶阶特征模式对目标信号的能量捕获。
- Learning Compositional Latent Structure with Vector Networks
-
矢量网络(Vector Network, VN)将层间单一稠密权重矩阵解构为可复用的秩-1权重原子库,通过快速层局部能量极小化推断样本特异的稀疏权重组合,并结合局部残差驱动的 Atomic-Hebb 慢速学习,从架构层面实现了组合泛化。
- Measure Less, Know More: Self-Supervised Test-Time Feature Acquisition
-
针对测试时多模态测量与高维特征采集成本高昂且下游任务先验未知的痛点,本文提出 echo-k 强化学习范式,利用冻结预训练基础模型的全模态表征作为自监督代理目标,实现了无需下游标签的自适应长时程特征采集。
- MONROE: A Molecular Foundation Model for In-Context Probabilistic Inference
-
MONROE 提出了一种融合几何立体感知预训练与表格先验上下文概率推断的分子基础模型,借助 8100 万分子的大规模量子化学与生物活性多任务预训练,结合 TabPFN 免微调单次前向推断,在 Polaris 及 MoleculeACE 活性悬崖基准上显著超越现有 SOTA。
- MT-CC: Multi-Group Temperature Scaling for Asymmetric Calibration Behavior in Class-Incremental Learning
-
针对类增量学习中新旧任务因灾难性遗忘引发的置信度与准确率演变速率脱节难题,本文提出基于轻量分组网络的多组温度缩放框架 MT-CC,利用任务感知与对数边际统计量动态路由样本并配合组级一致性正则化,在完全保持分类精度的前提下显著降低校准误差。
- NOCE-Net: Representation Learning for Battery Operational Context via Nested Sequence Modelling
-
本文提出双层嵌套序列模型 NOCE-Net 与标准化管线 re-BatteryData,以绝对充放电通量定义的满等效循环划分时序,结合多尺度卷积 Transformer 与 GRU 骨干仅基于操作输入实现长程电压预测,并在无容量标签下自监督学习到强相关的电池老化动力学隐状态。
- OdysSim: Building Foundation Models for Human Behavior Simulation
-
论文提出了迄今最大规模的开源行为基座模型研究 OdysSim,基于五大行为能力轴的 Soul 框架构建了含 21.4M 交互与逆向生成社交接地的语料库和 23 项基准的 Soul-Index,并通过“中期训练 + 任务专属强化学习 + 专家蒸馏”端到端配方训练出 8B 参数的 Osim 模型,在 8 项任务上达到或并列第一且在真实人类用户模拟中展现出卓越的反应对齐度。
- One Loss to Rule Them All: Marked Time-to-Event for Structured EHR Foundation Models
-
针对结构化电子健康档案中事件不规则采样与连续生理数值紧密耦合的特性,本文提出一种标记时间事件预训练目标 ORA,通过离散化复合代码特定似然联合建模未来事件发生时间与关联数值,显著提升分类、生存预测与回归任务的泛化能力。
- OpenMHC: Accelerating the Science of Wearable Foundation Models
-
斯坦福与帝国理工联合发布开源可穿戴健康数据集与基准 OpenMHC,涵盖来自 11,894 名用户的逾 6,000 万小时多通道传感器数据,并开源评估了 Google LSM-2 与 Apple WBM 等穿戴基础模型在预测、插补和预测三大赛道上的能力边界。
- PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment
-
针对非对比自监督学习中自蒸馏动力学缺乏严密优化目标及易表征坍缩的问题,本文从非线性典型相关分析(CCA)视角完整刻画了 JEPA 动力学的稳定不动点,并提出了基于最佳正则化线性回归器迹对齐的无约束目标 PEIRA,从理论上杜绝了退化解并给出了高效的随机复合训练算法。
- PRISM: Prior Relational Information for Self-supervised Modeling to Enhance Solubility OOD Generalization
-
PRISM 将专家定义的化学与物理先验转化为自监督关系教师,通过条件邻域分布匹配独立预训练四个先验专用编码器并在下游进行后期加权融合,显著提升了分子溶解度在骨架、溶质、纯溶剂及未见混合溶剂环境下的分布外(OOD)泛化性能。
- Pro-t-VAE: Closed-Form Student's t Mixtures for Robust Prototype Discovery
-
针对高斯先验聚类模型对重尾噪声极度敏感且扩散模型原型推断代价高昂的难题,Pro-t-VAE 利用高斯-Gamma 尺度混合共轭构造推导出了全闭式无偏 ELBO 目标,实现了自适应样本重加权的高效鲁棒原型发现。
- RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
-
针对语音诱发 fMRI 响应中群体共享与个体特异表征难以兼顾的难题,本文提出了紧凑的音频到脑响应编码基础模型 RABBiT,通过脑微调语音主干、ROI 级时序脑 Transformer 及低秩共享-特异分解(SID),在仅需 11.5 万参数和 5-10 分钟校准数据的条件下实现了精准的零样本群体预测与高效的少样本个体自适应。
- RATS! Patches Talk Through Registers: Emergent Parts in Register Attention Transformers
-
提出寄存器注意力Transformer(RATS),通过头内硬划分的寄存器Token构建“压缩-交互-广播”三阶低秩注意力瓶颈,在纯自监督DINO目标下诱导寄存器自发特化为语义部件,在5项无监督分割基准上超越既有基线超12 mIoU。
- RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities
-
针对多模态解耦在多于两模态时面临的组合爆炸与多编码器计算瓶颈,本文提出基于信息论与 Perceiver 的自监督解耦框架 RePercENT,通过成对分解、语义编码与分组槽注意力(Group Slot Attention)实现单模态单编码器的线性复杂度解耦,并在保证最小必要信息(MNI)最优性理论界的同时显著提升下游任务表现与缺失模态鲁棒性。
- Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison
-
Gekko 提出将跨视角补全与单目掩码自编码重构误差的相对改善率作为无需标注的共视代理,通过单网络三阶段联合前向与误差自加权损失,无需任何 3D 标注或重叠度筛选即可从原始视频预训练高质量几何表征,在相对位姿估计严格阈值下较 CroCo 带来最高达 6 倍的性能跃升。
- SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception
-
SapiensID 2.0 针对现有基础模型依赖静态几何纹理导致的“语义盲区”与“运动学缺失”,通过 MLLM 离线软生物特征蒸馏(不变特征对齐 ITA 与瞬态噪声解耦 TND)和关键点时序追踪注意力头(K-SAH),首次在单一 63M ViT 骨干上统一了人脸识别、跨时空行人重识别与步态识别。
- ScreenShot: A Foundation Model for Few-Shot Combination Drug Screening
-
ScreenShot 是一个在 40 个泛癌种筛选数据集上预训练的层次化 Transformer 基础模型,直接基于药物-剂量-细胞活力功能测量在少样本上下文下零样本微调预测联合用药响应,并结合基于嵌入的目标导向主动学习大幅缩减实验筛选成本。
- Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
-
提出无需人工标注的自监督关键帧记忆框架 Keyframe Mnemonics,利用神经网络简单性偏差与掩码采样从历史中筛选动作决策关键帧,赋予行为克隆策略跨越数个数量级超长时域的视界不变泛化能力。
- SIEVE: Overcoming Topological Obstruction in Equivariant Self-Supervised Learning
-
针对三维点云在 SE(3) 等变掩码自编码器中因各向同性掩码引发的拓扑坍缩问题,提出结合球面投影掩码与等变瓶颈的自监督框架 SIEVE,将内在几何结构压缩为节点级刚体不变标量表征。
- SpatialBench: Is Your Spatial Foundation Model an All-Round Player
-
针对空间基础模型评测协议碎片化与具身泛化盲区,本文提出首个覆盖 6 大范式 41 个模型变体、聚合 19 个数据集与 546 个场景并支持确定性多密度采样的评测基准 SpatialBench,揭示全上下文与有限内存模型的互补边界,并发布 5.5M 帧具身数据集 DA-Next-5M 与基线模型 DA-Next。
- SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings
-
针对自监督学习中欧氏各向同性高斯先验因局部密度倾斜破坏近邻估计的缺陷,本文从极小化极大预测风险出发,证明了超球面均匀分布是线性回归、k 近邻与指数核岭回归的唯一样本最优几何分布,并据此提出利用 Cramér–Wold 随机切片投影与 Epps–Pulley 检验约束特征超球面均匀性的 SPHERE-JEPA 框架,在 ImageNet-1K 线性探测与非参数化纹理检索上均取得显著性能增益。
- SS3D: End2End Self-Supervised 3D from Web Videos
-
针对无约束网络视频多视角几何信号微弱和跨领域异质性导致 SfM 自监督崩溃的问题,SS3D 提出基于基础矩阵与单应矩阵误差比率的视差强度代理与课程学习采样,结合 CLIP 子领域专家聚类与统一学生模型蒸馏,实现了首个在大规模网络视频(YouTube-8M)上预训练的端到端单目几何三维估计(深度、位姿、内参联合预测)基础模型。
- Structure-Guided Masked Autoencoders for Ultra-High Resolution Scientific Image Understanding
-
SGMA 将内容自适应四叉树 token 化与跨尺度结构条件掩码共同用于 MAE 预训练,让标准 ViT 在固定序列预算下保留科学图像微结构;SpringXCT 的 SGMA-SAM 达到 95.68% Dice,PAIP 的 SGMA-SAM 2 达到 83.21%,而最高 24.8 倍推理加速来自另一个较短序列配置。
- Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning
-
针对三维偏微分方程基础模型在数据存储、跨物理系统迁移和多任务拓展上的瓶颈,Tadpole 提出基于轻量 GPU 伪谱求解器的在线流式自编码预训练框架,结合重引入跳跃连接与 LoRA 的 Tadpole-DFT 微调策略,仅用极少可训参数即可在 3D 动力学预测、高保真重构与流匹配生成等任务上显著超越传统动力学预训练基础模型。
- TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders
-
针对表格编码器大多绑定在端到端任务流水线中导致跨范式表征难以直接对比的困境,TRL-Bench 提出了标准化的跨范式表征级评测基准,解耦下游微调并统一探测头,在列/表级、行级以及组合式数据湖表格富化三大套件上揭示了编码器的能力特异性与组合匹配机制。
- Understanding the Surprising Generalization Properties of Tabular Foundation Models
-
论文揭示了表格基础模型(TFM)仅凭单个真实数据表进行自监督预训练即可获得强劲的跨域上下文泛化能力,证明决定泛化的是特征数量所衍生的任务多样性而非样本规模,并据此构建了列级数据清洗范式与基于检索-聚合的泛化机制解释。
- What DNA Foundation Models Learn Beyond Sequence Composition
-
系统评测了五种冻结 DNA 基础模型在 57 个基因组分类任务上的表现,发现简单的规范化 \(k\)-mer 频率基线极具竞争力,仅 NTv3 展现出显著超越序列构成的增量预测价值与序列顺序敏感性。
- Who Needs Labels? Adapting Vision Foundation Models With the Metadata You Already Have
-
提出了统一元数据引导自监督表征自适应框架 FINO,利用科学影像伴随的高基数离散与连续元数据,通过动量原型对比与对抗梯度反转分别强化信息因子并抑制批次伪相关,无需下游标注即可超越全监督微调与专业领域 SOTA。
- Why DiT Models Underperform as Representation Learners without Long Skip Connections
-
通过严格的控制变量从头训练与互信息探测,揭示标准各向同性 DiT 因缺失长跳跃连接而被迫在主干网络中混合传输去噪轨迹噪声与图像语义,提出并验证了「扩散噪声旁路假说」,证明长跳跃连接能够直接分流扩散噪声并大幅恢复 DiT 作为高质量表征学习器的能力。
- Your Self-Supervised Projection Head Captures Object Co-Occurrence Statistics
-
揭示自监督学习(SSL)经典预训练范式中投影头隐式建模自然物体共现统计的深层机制,证明视觉主干与投影头分别分工物体类别判别与上下文共现编码,且建模物体共现可大幅加速并提升下游类别表征学习。