ECCV2026 自监督/表示学习论文解读论文笔记自监督学习人脸/视线水印/隐写视频生成对抗鲁棒持续学习

🔄 自监督/表示学习¶

🎞️ ECCV2026 · 22 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (1) · 📷 CVPR2026 (91) · 🔬 ICLR2026 (81) · 💬 ACL2026 (1) · 🧪 ICML2026 (28) · 🤖 AAAI2026 (16)

🔥 高频主题： 自监督学习 ×5

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning: V-JEPA 2.1 把视频潜空间预测的监督扩展到可见位置和多个网络深度，在增强局部时空结构的同时恢复全局语义能力，其 ViT-G 在冻结特征评测中达到 NYUv2 深度 RMSE 0.307 和 SSv2 动作识别准确率 77.7%。
The Prism Hypothesis: Harmonizing Semantic and Pixel Representations via Unified Autoencoding: UAE 将预训练视觉表示拆成需要保留语义的低频基底和可以学习像素细节的高频残差，通过选择性蒸馏与高频掩码重建统一两种能力，表 1 的 DINOv2-B 配置在 ImageNet-1K 上达到 PSNR 32.17、SSIM 0.92 和 rFID 0.35。
DSeq-JEPA: Discriminative Sequential Joint-Embedding Predictive Architecture: DSeq-JEPA 在 I-JEPA 的潜在空间预测目标上加了两个归纳偏置——先用目标编码器的 CLS–patch 相似度显著图挑出并按判别性给区域排序（决定「预测哪里」），再让预测器沿这个顺序逐区域预测下一个区域的嵌入（决定「按什么顺序预测」）——在 ImageNet 线性探针上比 I-JEPA 提升 1.1/0.8/1.3 个点（ViT-B/L/H），并在细粒度识别、COCO/ADE20K 与 CLEVR 上一致获益，而推理端零额外开销。
Towards Geometry-Grounded Dense Semantic Matching with VGGT Priors: 本文把 VGGT 从同实例跨视角重建迁移到跨实例稠密语义匹配，通过直接预测双向采样网格、合成稠密监督和循环一致性训练，同时改善对应精度、局部结构保持与不可见区域的可靠性估计。
GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure: GhostPoint 指出 LiDAR 自监督预训练的学习信号几乎只定义在可见表面的回波点上、对遮挡与无回波区域不加约束，于是用「实例体素膨胀」在伪实例周围生成同时含可见、掩码与无回波体素的邻域体素集，让一个轻量预测器从观测上下文幻觉出这些位置的特征，并用不对称教师目标（占据体素对齐教师编码器、无回波体素对齐教师预测器）把伪遮挡与真遮挡统一到同一个自蒸馏目标下，在 nuScenes 与 Waymo 上把预训练骨干的下游 3D 检测推到 SOTA（全参数微调后 nuScenes 67.5 mAP / 71.2 NDS）。
Human-like Object Grouping in Self-supervised Vision Transformers: 本文把经典「双点同/异物体判断」心理物理学范式放大成 255 张 COCO 自然场景、1020 个试次的人类行为基准，用两个点所在 patch 特征的简单 MLP 读出预测人的判断与逐试次反应时，发现 DINO 系自监督 ViT 对齐最好（分组准确率最高 91.9%），并提出基于亲和图 ROC 的「物体中心性 AUC」——该指标跨 9 个模型与行为对齐强相关（Spearman r=0.950），最后用 Gram 矩阵蒸馏把监督模型的分组准确率提升约 8–18 个百分点。
Implicit Neural Representation Facilitates Unified Universal Vision Encoding: 本文把面向图像的隐式神经表示（INR）超网络训练成统一视觉编码器 HUVR：同一套 ViT 骨干既输出标准 token、又输出最多小 96 倍的压缩 token（TinToks）和逐 patch 的 INR 调制量，以像素重建加教师蒸馏做自监督预训练，使同一份表示在分类、语义分割、深度估计和图像重建上同时可用。
Vision-TTT: Efficient and Expressive Visual Representation Learning with Test-Time Training: 本文把 NLP 里的测试时训练（Test-Time Training, TTT）搬进视觉，把一张图的 token 序列当成一个数据集、用自监督重建的梯度下降在线更新每个 head 的隐状态，并用「双数据集策略 + Conv2d 数据集预处理」把只会单向建模的 TTT 改造成有 2D 感受野的视觉主干，ImageNet 上 Vittt-T/S/B 达 77.7/81.8/82.7 Top-1，1280×1280 分辨率下比 DeiT-T 省 79.4% FLOPs、快 4.72×、省 88.9% 显存。
Bottom-up modeling of repeated elements via single image analysis-by-synthesis: 本文通过可调外观的共享二维原型、单图裁剪课程优化和整图筛选精修，把重复元素发现转化为可解释的重建问题；在精选的 116 张 FSC-147 图像上，整图 PSNR 达到 23.76，计数 MAE 为 14.11，但这并不意味着整个系统没有预训练或尺度先验。
DP-BOA: Dirichlet-Process Birth-or-Assign for On-the-Fly Category Discovery: DP-BOA 将逐样本的在线类别发现改写为“已有类归属证据与新类出生证据”的贝叶斯比较，通过已知类先验校准、全协方差预测和在线统计更新，在 CUB 上达到 53.4% 总体、51.6% 新类聚类准确率，但并非所有数据集或已知类指标都领先。
ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling: ExPLoRe 将 Soft-MoE 的调度权重 (dispatch weights) 重新用作多目标掩码图像建模中逐 patch、可学习的损失系数，通过损失耦合 (loss-coupling) 机制让路由器依据不同区域的语义特性动态调整各目标的权重，在 ImageNet-1K 上以更低的推理计算量（11.93 GFLOPs vs. 17.45）达到了 80.6% linear probe 和 85.3% finetuning 精度，并提出了三组下游迁移策略（Freeze Routing / Expert Dropout / Freeze Attention）将语义分割的 mIoU 差距从 2.5–2.9 完全弥合。
From Phase to Phenomenon: Self-Supervised Learning of Subsurface Scattering with Minimal Phase-shift Inputs: 提出一套自监督预训练框架，利用投影仪-相机系统仅需8张高频相移条纹（PSP）图像即可学习通用的次表面散射（SSS）表征，再通过解码器预测各向异性散射足迹，实现零样本重光照，将新物体的数据采集量从数千张降至8张。
InstrAct: Towards Action-Centric Understanding in Instructional Videos: 针对教学视频预训练中语音字幕噪声大以及模型严重依赖背景与物体的“静态捷径”问题，InstrAct 提出了包含大模型驱动的动词级难负例构建、Action Perceiver 紧凑动作表征蒸馏，以及结合 Soft-DTW 时序对齐和掩码动作建模（MAM）的自监督预训练框架，显著提升了以动作为中心的语义辨识与流程时序逻辑推理能力。
LoT-Pass: Long-term-robust Image Watermarking for Image to Video Generation: LoT-Pass 提出双向鲁棒策略——训练阶段用时序演变模拟主动扩大水印的鲁棒距离，推理阶段用光流反演把严重漂移帧"拉回"可提取状态——首次在 I2V 生成场景下实现超过 95% 的视频级水印提取准确率。
Spectral-Aware Analytic Class-Incremental Learning for Long-Tailed Distributions: 针对基于递归最小二乘（RLS）的解析持续学习在长尾场景下严重的自相关矩阵“谱坍缩”病态，提出几何-谱矫正（GSR）框架，利用超球面测地线插值构建数据驱动的各向异性谱摄动，在保持线性计算复杂度 \(O(D)\) 的同时显著提升 Gram 矩阵的稳定秩。
Virtual Category-Guided Continual Generalized Category Discovery: 针对无回放持续广义类别发现（C-GCD）中模糊无标签样本易引入伪标签噪声并偏向已知类的难题，本文提出通过虚拟类别学习为歧义样本构建优化缓冲，并结合扩展邻域对比学习强化新旧类别特征解耦，显著提升持续新类发现率并抑制灾难性遗忘。
WildProp: Visual Estimation of Wildlife Body Proportions at Scale: WildProp 把野生动物形态计量变成"检索驱动的对应点问题"：用户只给一张 canonical 姿态的标注参考图，用 DINOv3 做姿态感知检索、SAM2 抑制背景、RANSAC 过滤几何不一致匹配、迭代精化关键点描述子，从 iNaturalist 级别的图像集合中估计种群级体部长度比例分布；在 AVONET（鸟）、Shorebirds（滨鸟）、Frogs（蛙）三个物理测量数据集上中位相对误差约 11–18%，单图查询即可适配新物种与新身体部位，无需任何物种专属训练。
Φeat: Physically-Grounded Material Feature Representation: 针对通用视觉基础模型聚焦语义而忽略材质反射率与微观结构的缺陷，Φeat 基于 DINOv3 架构，利用海量高保真物理渲染在可控光照与几何变化下进行弱监督自监督预训练，使特征对宏观光影几何保持不变的同时对内在物理材质高度敏感。
HVGCD: Rethinking Generalized Category Discovery through Hypothesis–Verification: 针对广义类别发现中单路径全局表征容易将新类别误判为相近已知类的问题，HVGCD 将推理过程重构为“全局假设-局部验证-统计锚定”认知循环，利用自适应原型与双重门控提取假设制导的验证证据，显著提升了新旧类别的聚类准确率。
Local-to-global Cross-modal Coordination for Self-supervised RGB-T Tracking: 针对自监督 RGB-T 目标跟踪在前向-后向循环验证中因双模态可靠性动态失衡所导致的伪标签噪声放大与模态漂移，LGCTrack 提出了编码器分层局部协同（HLC）与转向阶段全局协同（TGC）的双粒度控制机制，在无需密集人工标注的前提下超越已有自监督方案并逼近全监督性能。
One Slide, Many Views: Unifying Complementary Foundation Model Perspectives for WSI Analysis: 将全切片图像（WSI）的多基础模型集成重构为多视角学习问题，利用信息瓶颈分解出跨模型共享表征与视角特异表征，并通过多分支多示例学习头实现即插即用且稳健优于单一最强模型的病理分析性能。
Simple Filtering Improves Masked Autoencoders: 针对掩码自编码器（MAE）中图像局部高冗余导致预训练难度失衡的问题，本文通过均值最近邻距离量化掩码几何难度并提出基于池化的掩码策略提高难度，同时结合高斯平滑自适应滤除像素重建中的无用高频扰动降低目标难度，以近乎零额外计算代价显著提升 ViT 表征学习质量。