Contrast Encodes Inductive Bias: Separating Slow Noise from Dynamics in Predictive Representation Learning¶
会议: NeurIPS 2026
arXiv: 2606.07770
领域: 自监督学习
关键词: 自监督学习, 预测表示学习, 慢噪声, 归纳偏置, 对比学习
一句话总结¶
本文揭示了联合嵌入预测架构（JEPA）等对比预测方法在长相关时间噪声下必然坍缩于编码轨迹特异性慢噪声的理论缺陷，并提出将跨轨迹负样本替换为轨迹内负样本（WTN），使慢噪声无法充当预测捷径，从而从第一性原理上恢复系统真实物理动力学。
研究背景与动机¶
在物理动力学与具身智能系统的自监督表示学习中，联合嵌入预测架构（JEPA）及动力学信息瓶颈等完全在隐空间进行预测的方法展现出巨大潜力。这类方法旨在无需显式像素重构和人工监督的前提下，仅依靠高维时序观测发现支配系统的真实潜在状态变量。然而，真实实验场景和传感器视频（如物理实验、细胞显微成像、机器人视觉）中不可避免地混杂着跨越多种时间尺度的复杂干扰。最棘手的是在单条轨迹内几乎保持恒定、仅在不同轨迹间变化的“慢噪声”（slow noise），例如固定的背景纹理、缓慢漂移的光照条件或镜头上的微尘污渍。
现有对比预测目标的核心矛盾在于，模型被优化去寻找“最容易预测”的时序演化信息。由于慢噪声在单条轨迹内具有极强的自相关性与持久性（极度易于预测），而在不同轨迹之间又提供了巨大的区分熵，采用标准跨轨迹负样本（Across-Trajectory Negatives, ATN）的对比损失函数（如 InfoNCE）会优先且不可逆地捕捉这类轨迹特异性慢噪声。此时，隐空间表征被静态背景和轨迹身份完全主导，真实承载动力学变化的物理自由度被彻底淹没；即使无限增加训练轨迹数量或延长观测时长，下游探针（prober）的解码误差也无法降低，直接退化至随机猜测水平。
以往视频自监督学习主要依赖复杂的数据增强策略（如前景背景拼接、颜色抖动）来抑制静态捷径，但这些启发式规则无法消除物理动力学中未知形式的低频环境噪声。本文的核心洞察在于，这种失败并非特定模型架构的缺陷，而是对比预测目标本身固有归纳偏置的体现。核心 idea：将对比预测目标中的跨轨迹负采样改为轨迹内负采样（WTN），使同一轨迹内的慢噪声在正负样本对之间完全共享而失去区分度，从对比结构层面内化抗慢噪声的归纳偏置，强迫编码器聚焦于沿时间演化的真实动力学自由度。
方法详解¶
整体框架¶
本文构建了一个统一的对比预测分析框架，旨在从数学目标上剥离慢噪声对动力学表示的污染。整个学习流由三个核心阶段构成：时序观测加噪生成、隐空间动力学前向预测，以及基于负样本重构的对比归纳约束。
输入为受控时间相关噪声污染的高维连续观测序列。编码器将时间窗口内的连续帧映射为隐空间状态，预测器基于历史隐状态（及控制动作）自回归预测未来隐状态。为了打破模型对慢噪声的捷径依赖，方法重构了对比损失中的负样本采样分布，将传统的跨轨迹负样本（ATN）替换为轨迹内非重叠时刻的负样本（WTN）。最终，通过在冻结的隐空间表征上训练低容量线性探针，严格量化真实物理动力学变量的解码精度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["时序观测序列输入<br/>含可控时序相关 OU 慢噪声"] --> B["阶段1：时序观测建模与可控时序噪声生成"]
B --> C["阶段2：隐空间时序预测与对称信息瓶颈表征"]
C --> D["阶段3：轨迹内对比归纳偏置（WTN 对比学习目标）"]
D --> E["下游动力学状态线性探针评估<br/>解码真实位置/角度物理状态"]关键设计¶
1. 时序观测建模与可控时序噪声生成：精确定量表征环境慢噪声的时间相关尺度
为了系统分析慢噪声从高频白噪声到恒定背景的全频谱过渡过程，本文采用 Ornstein–Uhlenbeck（OU）时序递归过程建模空间非相关的像素级加性噪声场。在每个像素和每条轨迹上独立运行该随机过程： $$ \eta_t = \mu + \alpha (\eta_{t-1} - \mu) + \sqrt{1 - \alpha^2} (\xi_t - \mu), \quad 0 \le \alpha \le 1 $$ 其中噪声扰动 \(\xi_t\) 为独立同分布随机变量，噪声强度由幅度 \(\sigma\) 控制，相关时间由自回归系数 \(\alpha\) 严格决定，满足特征时间尺度 \(\tau \equiv -1/\ln \alpha\)。此时噪声的自协方差函数满足 \(\langle \eta_t \eta_{t'} \rangle - \mu^2 \propto e^{-|t - t'|/\tau}\)。当 \(\alpha \to 0\)（\(\tau \to 0\)）时，退化为帧间独立的白噪声；当 \(\alpha \to 1\)（\(\tau \to \infty\)）时，演化为单条轨迹内恒定固定、跨轨迹随机采样的永久慢噪声。该设计的精巧之处在于通过连续旋钮 \(\tau\) 与 \(\sigma\) 跨越从局部波动到全局静态偏置的全部谱系，从而严格探测对比学习目标在不同噪声相关时间下的相变行为。
2. 隐空间时序预测与对称信息瓶颈表征：解耦具体架构并验证失败模式的普适性
为了证明慢噪声捷径是目标的共性问题而非工程巧合，本文在两种机制迥异的架构上进行了并行验证。第一种是针对确定性高维动作驱动系统的 SimCLR-Predictor，通过三层卷积网络将单帧映射为 512 维隐变量 \(z_t = \phi(x_t)\)，再经由 GRU 预测器结合控制动作 \(a_{t-1}\) 自回归滚动输出预测值 \(\hat{z}_t = f(\hat{z}_{t-1}, a_{t-1})\)；第二种是面向物理连续相空间的动力学对称信息瓶颈（DySIB），对滑动窗口帧（\(n_F=2\)）执行变分推断得到高斯隐状态 \(z_t \sim \mathcal{N}(\mu, \text{diag}(\exp \ell))\)，并由残差 \(\delta\)-预测器输出前向演化预测 \(\hat{z}_{t+n_F} = z_t + \delta(z_t)\)。DySIB 的目标函数在隐空间最大化互信息下界的同时对历史进行压缩： $$ \mathcal{L}{\text{DySIB}} = \widetilde{I}^E(X; Z_t) + \widetilde{I}^E(Y; Z) $$ 当压缩权重 }) - \beta \widetilde{I}^D(Z_t; Z_{t+n_F\(\beta\) 设为较大值（如 100）时，预测项占据完全主导。这一跨架构对比设计确保了从极低维物理相空间（\(k_z=2\) 的摆角与角速度）到高维嵌入表示（\(k_z=512\)）中观察到的表征退化均直接归因于对比目标的互信息下界性质。
3. 轨迹内对比归纳偏置（WTN 对比学习目标）：通过对比配对结构消除慢噪声的判别信息
传统对比预测目标采用跨轨迹负样本（ATN），其负样本集合为同一时间步来自批次中其他轨迹的表征： $$ \mathcal{N}{\text{ATN}, t}^{(n)} = { z_t^{(n')} : n' \in \mathcal{B}, n' \ne n } $$ 当噪声相关时间 \(\tau \gg T\) 时，轨迹间固定的噪声模式成为区分正负样本最轻而易举的捷径，导致对比损失下界优化的实际是条件互信息 \(I(Z_t; \hat{Z}_t \mid t)\)。本文提出的轨迹内负样本（Within-Trajectory Negatives, WTN）将负样本采样完全限定在同一轨迹的其他时序步： $$ \mathcal{N}, t' \ne t } $$ 此时，同一轨迹内共享完全相同的慢噪声基底，慢噪声无法在正样本与负样本之间提供任何区分性 logits 差异。优化目标实质上转变为对轨迹身份求条件后的预测信息 }, t}^{(n)} = { z_{t'}^{(n)} : t' \in \mathcal{T\(I(Z_t; \hat{Z}_t \mid \text{trajectory})\)。只要单条轨迹在物理相空间中遍历了充分的多样性状态，对比损失就只能强迫编码器挖掘在时序上演化的真实动力学变化，从而构筑了抗慢噪声的内在归纳偏置。
损失函数 / 训练策略¶
对比预测目标的统一形式为对称化或标准 InfoNCE 损失： $$ \ell_t^{(n)} = -\log \frac{\exp s(\hat{z}_t^{(n)}, z_t^{(n)})}{\exp s(\hat{z}t^{(n)}, z_t^{(n)}) + \sum $$ 对于 SimCLR-Predictor，相似度打分函数采用余弦相似度 }_t^{(n)}} \exp s(\hat{z}_t^{(n)}, z^-)\(s(u, v) = u^\top v / \tau_{\text{NCE}}\)，采用 LARS 优化器与余弦退火学习率调度进行 100 个 epoch 的预训练；对于 DySIB，相似度采用预测高斯分布的对数似然对数密度 \(s(z_t, z_{t+n_F}) = \log r(z_{t+n_F} \mid z_t)\)，采用 Adam 优化器在批大小 1024 下训练 100 个 epoch。
在计算复杂度层面，对于批大小 \(N\) 与轨迹长度 \(T\)，ATN 的负样本对计算量为 \(\mathcal{O}(T N^2)\)，而 WTN 的计算量为 \(\mathcal{O}(T^2 N)\)。在 \(N \gg T\) 的常规自监督批次设置下，WTN 不仅更具物理鲁棒性，而且在计算与内存开销上显著更优，天然支持以更长轨迹替代大批次采样的训练范式。
实验关键数据¶
主实验¶
评估在移动光斑（Moving-Dot，预测二维坐标 \((x,y)\)，维度 \(D=784\)）和真实刚体单摆实验视频（Rigid-Body Pendulum，预测 \((\cos\theta, \sin\theta)\)）两个基准上展开。下游采用冻结编码器的低容量线性或随机傅里叶特征探针评估均方根误差（RMSE）。在强恒定噪声（Fixed Noise, \(\tau \to \infty\)）和独立逐帧噪声（Changing Noise, \(\tau \to 0\)）下的性能对比见下表：
| 数据集与噪声条件 | 评测指标 (Probe RMSE) | 监督基线 (Supervised) | 传统跨轨迹对比 (ATN) | 轨迹内对比 (WTN, 本文) | 性能增益 / 恢复情况 |
|---|---|---|---|---|---|
| Moving-Dot (Changing Noise, \(\sigma_U=3.0\)) | 坐标 RMSE | ~0.08 | ~0.09 | ~0.09 | 与监督基线严密贴合 |
| Moving-Dot (Fixed Noise, \(\sigma_U=3.0\)) | 坐标 RMSE | ~0.08 | 0.28 (接近随机盲猜) | 0.09 | 完全克服慢噪声坍缩 (-67.8%) |
| Pendulum (Changing Noise, \(\sigma_G=0.2\)) | 角度 RMSE (rad) | ~0.12 | ~0.15 | ~0.15 | 达到平滑角度拓扑环 |
| Pendulum (Fixed Noise, \(\sigma_G=0.2\)) | 角度 RMSE (rad) | ~0.22 | 0.85 (严重退化) | 0.24 | 接近有监督误差下限 (-71.8%) |
消融实验：噪声时间相关尺度 \(\tau\) 与轨迹长度 \(T\) 的相空间行为¶
在固定轨迹长度 \(T=17\)、噪声强度 \(\sigma_U=3.0\) 条件下，系统扫描噪声相关时间 \(\tau\)，并探究轨迹长度 \(T\) 增长对最大误差峰值的抑制效应：
| 实验配置与超参数 | 对应噪声机制 | ATN 峰值 RMSE | WTN 峰值 RMSE | 现象分析与消融结论 |
|---|---|---|---|---|
| \(\tau \to 0\) (白噪声极限) | 帧间完全独立 | ~0.09 | ~0.09 | 两种对比采样均能有效忽略不相关高频扰动 |
| \(\tau \approx T\) (\(T=17\), 中间相关时间) | 噪声变化周期与轨迹匹配 | ~0.24 (单调上升) | ~0.22 (局部误差峰值) | 类似维纳滤波困难区，噪声与信号时间尺度混叠 |
| \(\tau \to \infty\) (固定恒定慢噪声) | 轨迹内完全静态 | 0.28 (完全失效) | ~0.09 (完全恢复) | WTN 完全消除恒定背景作为判别捷径的能力 |
| WTN: 轨迹长度增大 \(T=17 \to 64\) | \(\tau \approx T\) 最恶劣条件 | 0.28 (不随 \(T\) 改善) | 显著衰减 (幂律下降 \(\sim T^{-\gamma}\)) | 增加轨迹时长提供了相空间几何约束，系统性削弱中间峰值 |
关键发现¶
- ATN 的单调失效与崩溃阈值：随着噪声相关时间 \(\tau\) 增大，ATN 的探针误差单调单向递增，当 \(\tau\) 接近轨迹长度 \(T\) 时发生急剧恶化，在固定噪声极限下彻底退化为随机猜测。增加轨迹长度 \(T\) 无法拯救 ATN，因为更长的视频只会进一步强化轨迹身份这一静态判别特征。
- WTN 的非单调峰值与维纳滤波共振：WTN 在极短相关时间（\(\tau \to 0\)）和极长相关时间（\(\tau \to \infty\)）下均能实现与有监督基线完全重合的优异解码，仅在 \(\tau \approx T\) 的中间过渡区出现局部误差峰。该现象本质上对应于经典信号处理中的维纳滤波极限——当噪声自相关函数与信号自相关函数在同一时间尺度混叠时，纯时间对比难以剥离二者。
- 长轨迹提供幂律增益：在 WTN 下，中间相关时间对应的峰值超额误差（Excess RMSE）随轨迹长度 \(T\) 的增加呈现出清晰的幂律衰减规律（\(\sim T^{-\gamma}\)）。这一重要性质证明，在存在慢噪声的环境中，采集更长时长的连续动力学观测能够彻底克服对比表征学习的退化。
亮点与洞察¶
- 将对比对构造确立为一等公民的归纳偏置：传统自监督学习通常将网络骨干与数据增强视为归纳偏置的主要载体。本文深刻指出，对比目标中负样本集合的选择绝非单纯的工程实现细节，而是直接决定了表征空间所保留与丢弃的信息几何，在自监督动力学表征中扮演着与图像增强同等重要的归纳偏置角色。
- “慢特征”假设的现代反思与去神圣化：自慢特征分析（SFA）和对比预测编码（CPC）以来，学界长期推崇“跨越较长时间步的慢特征本质上更具有信息量”的假设。本文有力地反驳了该教条，指出在复杂物理世界中，最慢的特征往往是相机脏污、光照漂移和背景纹理等与系统内在动力学毫无关联的环境伪影。
- 几何可视化的直观论证：通过在刚体单摆的二维物理相空间（\(k_z=2\)）上对隐状态进行可视化，直观揭示了 ATN 在慢噪声下将原本连续的单摆旋转环状流形（Ring Manifold）撕裂为按轨迹身份聚类的离散簇，而 WTN 则完美还原了沿物理摆角平滑分布的闭合环。
局限与展望¶
- 相空间遍历性假设的强依赖：WTN 的有效性建立在单条轨迹能够遍历充分宽广的相空间几何区域这一前提上。对于处于稳态定点、高阻尼快速衰减或相空间极度局部化的系统，轨迹内采样将退化为几乎相同的物理状态，导致对比损失出现假阴性冲突（False Negatives）。
- 周期轨道的多值性与相折叠风险：在保守系统或严格周期运动中，若轨迹时长 \(T\) 远大于振动周期，轨迹内部不同时刻将经历完全相同的物理构型。此时强行将同轨迹异时刻作为负样本推开，可能在拓扑上破坏等价物理状态的流形聚合。
- 理论边界与非对比目标的泛化：虽然本文在经验上验证了中间峰值超额误差随 \(T\) 呈幂律衰减，但尚未给出严格的统计物理或算子理论（如 Koopman 算子谱分析）解析推导；此外，该机制能否直接推广至基于掩码重构（如 Video-MAE）或非对比自蒸馏体系（如 BYOL/VICReg）仍需进一步拓展。
相关工作与启发¶
- vs. Sobal et al. (2022) [JEPA Focuses on Slow Features]: Sobal 等人首次指出了 JEPA 架构在恒定静态背景下偏向慢特征的失败现象，但仅测试了 \(\tau \to \infty\) 的极端点，并归处于 JEPA 类模型的缺陷。本文不仅将其扩展至连续相关时间谱系 \(\tau \in [0, \infty)\) 和变分信息瓶颈架构（DySIB），更从目标层面提出了彻底修复此缺陷的 WTN 机制。
- vs. 视频自监督启发式去背景方法 (Wang et al., 2021; Ding et al., 2022): 既有视频对比学习多采用背景替换、前景运动分割等复杂启发式图像增广来规避背景捷径。本文无需任何人工先验视觉假设和输入层图像修改，仅通过时序采样维度的条件化重构即可自发剥离环境慢伪影。
- vs. Koopman 算子动力学理论 (Ruiz-Morales et al., 2025): 谱分析表明原始 JEPA 极易坍缩至特征值 \(\lambda=1\) 的平凡不变模式（即静态背景）。本文的 WTN 对比约束为动力学学习摆脱平凡不变子空间、精准捕获 \(|\lambda| < 1\) 的动态衰减与振荡模态提供了通用的目标函数设计范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从对比损失条件互信息的理论视角，将对比负样本采样结构上升为抗慢噪声动力学表征的根本归纳偏置。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成随机游走与真实单摆实验视频，横跨 17,500+ 次超参扫描与多随机种子检验，给出了详尽的 \((\sigma, \tau, T)\) 相图。
- 写作质量: ⭐⭐⭐⭐⭐ 物理直觉与统计信息论推演并重，实验设计环环相扣，图表论证极其严密清晰。
- 价值: ⭐⭐⭐⭐⭐ 为所有致力于从真实世界传感器视频中提取可解释动力学流形的物理机器学习与具身世界模型研究提供了关键原则。