Structured-Noise Masked Modeling for Video, Audio and Beyond¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://carloshinojosa.me/project/structured-noise-masking
领域: 音频/语音
关键词: 掩码自编码器、结构化噪声掩码、自监督学习、视频表征学习、音频语谱图
一句话总结¶
提出了一种基于颜色噪声滤波的数据无关结构化掩码策略，通过为视频生成平滑时空演化的 3D Green 噪声掩码、为音频语谱图生成消除局部聚集的正则化蓝噪声（R-BN）掩码，在零额外计算开销下显著超越传统随机掩码与昂贵的数据自适应掩码方法。
研究背景与动机¶
自监督掩码建模（Masked Modeling）已成为图像、视频和音频表征学习的核心范式，其通过随机移除输入中的部分 token（如图像块、时空管道或时频语谱块）并训练模型进行补全重建，迫使网络捕捉丰富的上下文信息。然而，绝大多数主流框架（如 VideoMAE、AudioMAE）均沿用朴素的均匀随机掩码（Uniform Random Masking）。这种做法完全忽略了各模态内在的物理与统计结构：自然图像与视频具有局部空间相干性及时间连续性（频域上通常服从 \(1/f\) 谱分布），而音频语谱图则由精细的谐波时频模式主导。均匀随机丢弃极易粗暴切断具有关键辨识度的连续结构，产生次优的预训练监督信号。
为了让掩码模式契合数据结构，近年涌现出一批基于语义、注意力图或光流运动先验的数据自适应掩码方法（如 MGMAE、MGM、AdaMAE 等）。尽管此类方法能提升部分下游指标，但它们高度依赖预先训练的辅助模型或复杂的在线计算（例如光流估计使训练开销增加约 1.5 倍），不仅引入沉重的显存与时间负担，还难以跨越模态通用。另一方面，静态图像领域的 ColorMAE 证明了通过高斯滤波将白噪声转换为颜色噪声（红/绿/蓝噪声）能以完全数据无关的方式生成结构化掩码；但将其推广至更复杂模态时遇到了本质障碍——视频需要跨帧时空平滑演化而非生硬的静态管状或逐帧跳变，音频语谱图则对时间和频率维度的离散均匀分布有着严苛要求。
本研究正是针对这一核心矛盾切入，探索如何在不引入任何辅助网络与在线计算的前提下，设计出与视频时空连续性及音频时频能量分布深度契合的结构化噪声掩码生成机制。核心 idea：将不同数据模态的内在归纳偏置与颜色噪声的频域滤波特性显式对齐，通过动态尺度带通滤波生成具备时空平滑演化特性的 3D Green 噪声视频掩码，利用四向局部离散优化构建消除聚集的正则化蓝噪声（R-BN）音频掩码，以全数据无关、预计算张量库的方式在零额外训练开销下全面激发多模态表征能力。
方法详解¶
整体框架¶
方法旨在为掩码建模提供与模态先验一致的结构化掩码。对于视频输入，传统静态 Tube 掩码缺乏帧间时态适应性，而独立逐帧掩码破坏时空连续性；因此论文提出了 3D Green 噪声掩码，通过 3D 高斯带通滤波和随机尺度采样生成平滑流动的时空掩码块。对于音频语谱图输入，局部聚类掩码会导致整段谐波或时段信息缺失，而标准高斯蓝噪声仍存在局部聚集问题；因此论文设计了正则化蓝噪声（R-BN）算法，基于四向离散约束显式推开可见 token。最后，所有生成的 3D 与 2D 掩码在训练前预计算为张量库，在训练中配合标准几何增强即插即用，无缝赋能 VideoMAE、SIGMA、AudioMAE 及 CAV-MAE 等框架。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入多模态数据<br/>视频时空块 / 语谱图 Patch"] --> B["3D Green 视频掩码<br/>3D高斯差分滤波 + 动态尺度采样"]
A --> C["正则化蓝噪声音频掩码<br/>四向邻域离散约束 + 消除局部聚集"]
B --> D["离线预计算与增强流水线<br/>固定张量库 + 随机几何变换"]
C --> D
D --> E["掩码自编码器骨干网络<br/>可见 Token 编码 + 缺失结构重构"]
E --> F["下游迁移与表征评测<br/>动作识别 / 目标分割 / 声音事件分类"]关键设计¶
1. 3D Green 视频掩码：带通滤波与平滑时空演化 传统视频掩码自编码器（如 VideoMAE、SIGMA）普遍采用随机管道掩码（Random Tube Masking），即将相同的 2D 掩码沿时间轴简单复制。这种做法虽保证了严格的时间一致性，但完全无法适应物体运动与时态变化；若将 2D 颜色噪声独立应用到每帧，又会引发剧烈的帧间跳变，破坏时空相干性。针对此问题，本文将 2D 绿色噪声拓展为 3D 卷积空间。首先在 3D 白噪声张量 \(n_w\) 上应用两个不同尺度参数 \(\sigma_1 < \sigma_2\) 的 3D 高斯核 \(G_\sigma(x) = (2\pi)^{-3/2}\sigma^{-3}\exp(-\|x\|^2/(2\sigma^2))\) 进行带通滤波： $\(n_g^{\text{3D}} = G_{\sigma_1} * n_w - G_{\sigma_2} * n_w\)$ 更关键的是，若固定滤波器尺度 \((\sigma_1, \sigma_2)\)，掩码会受限于单一空间尺度且缺乏演化多样性；为此，本文在每个训练序列采样时，将 \((\sigma_1, \sigma_2)\) 在 \([0.5, 2.0]\) 区间内随机抽取（保持 \(\sigma_1 < \sigma_2\)）。这一随机性赋予了 3D Green 噪声平滑而富有弹性的帧间过渡能力，既保留了中频簇状掩码以提供适当的重建挑战，又有效避免了过拟合特定空间频率。
2. 正则化蓝噪声音频掩码：四向离散约束与局部去聚类 音频语谱图在物理上呈现出紧密的时频谐波结构，低中频区域承载着大量能量与语义。传统红噪声或绿噪声所生成的块状聚类掩码很容易将整个共振峰或持续时间段全部遮蔽，导致音频自编码器因信息完全断裂而无法有效学习；相反，蓝噪声（高通滤波）抑制低频分量，能够将可见 patch 相对分散地铺展于时频空间。然而，通过朴素高斯滤波生成的 2D 蓝噪声由于缺乏显式间距约束，仍会在微观区域形成可见 token 的偶发聚集。为此，本文提出了正则化蓝噪声（Regularized Blue Noise, R-BN）优化算法。算法首先通过对初始噪声阈值化生成 \(K\) 个候选掩码 \(\{M^i\}_{i=1}^K\)。在每个空间坐标 \(P=(x, y)\) 处的局部窗口 \(U_P^i \in \mathbb{R}^{\Delta \times \Delta}\) 内，统计水平（\(d_1^i\)）、垂直（\(d_2^i\)）及两条对角线（\(d_3^i, d_4^i\)）四个几何方向上的可见 patch 数量，计算综合聚集度惩罚： $\(S_P^i = \sum_{k=1}^4 w_k d_k^i\)$ 通过在各步选取使局部聚集度最小的候选配置 \(\hat{i} = \arg\min_i S_P^i\) 并迭代更新，直到满足目标可见比例 \((1-\gamma)N\)。R-BN 显著提升了可见 patch 在时间和频率轴上的空间分离度，彻底消除了微观局部聚集，使得网络能够以最佳全局时频锚点对缺失语谱完成高保真重构。
3. 离线预计算与增强流水线：零计算开销的即插即用机制 现有的自适应掩码方法（如 MGMAE、MGM）虽然能够利用光流或运动矢量生成结构化掩码，但需要在数据加载与训练前向中嵌入复杂的先验计算，导致端到端训练开销剧增（MGMAE 比基线慢约 1.5 倍）。本文提出的结构化噪声掩码具有天然的数据独立性优势：所有的 3D Green 噪声掩码和 2D R-BN 音频掩码均可在大规模训练前离线批量生成，保存为标准掩码张量文件（例如预存 \(N \times 64 \times 64 \times 64\) 大小的 3D 张量）。在训练期间，加载的掩码张量仅需执行与输入补丁尺寸（如 \(14 \times 14 \times 8\)）相匹配的插值重采样，并结合随机空间翻转与归一化等轻量几何增强。这既保证了每次前向传播掩码的多样性与几何随机性，又完全不占用 GPU 在线推理算力，实现了对各类视觉、音频及多模态掩码自编码器的即插即用赋能。
损失函数 / 训练策略¶
在预训练阶段，模型仅接收可见 patch 序列 \(X_p^{\text{visible}} = X_p \odot M\)，经编码器提取隐层表征后，结合可学习的掩码 token 传入轻量级解码器，针对原始信号 \(X\) 进行像素级或特征级重建，损失函数遵循标准的均方误差（MSE）： $\(\mathcal{L}_{\text{recon}} = \|X - \hat{X}\|_2^2\)$ 在训练参数上，视频实验采用 ViT-B 骨干网络与 90% 掩码比例，在 Kinetics-400 或 Something-Something V2 上预训练 800 个 epoch；音频实验采用 ViT-B 与 80% 掩码比例，在 AudioSet-2M 上预训练并于下游微调时使用 30% 掩码；多模态实验在 VGGSound 上使用 75% 掩码率联合预训练 25 个 epoch。预训练完成后舍弃解码器，仅对编码器进行下游任务微调。
实验关键数据¶
主实验¶
主实验覆盖了视频动作识别（SSv2、Kinetics-400）、音频事件分类（AudioSet-20k/2M、ESC-50、Speech Commands V2）以及音视频联合分类（VGGSound）。
| 任务 / 领域 | 基准框架 | 掩码策略 | 核心基准 / 评估指标 | 性能表现 | 对比基线提升 |
|---|---|---|---|---|---|
| 视频动作识别 (SSv2 Pretrain) | VideoMAE (ViT-B) | Green3D (本文) | SSv2 Top-1 准确率 (%) | 70.8 | +1.2% (vs 随机 69.6) |
| 视频动作识别 (K400 Pretrain) | VideoMAE (ViT-B) | Green3D (本文) | SSv2 Top-1 / K400 Top-1 (%) | 69.7 / 80.5 | +1.2% / +0.5% (vs 随机) |
| 视频动作识别 (SSv2 Pretrain) | SIGMA (ViT-B) | Green3D (本文) | SSv2 Top-1 准确率 (%) | 72.0 | +0.8% (vs 随机 71.2) |
| 视频动作识别 (K400 Pretrain) | SIGMA (ViT-B) | Green3D (本文) | SSv2 Top-1 / K400 Top-1 (%) | 71.8 / 82.1 | +0.7% / +0.6% (vs 随机) |
| 音频分类 (AudioSet-2M Pretrain) | Audio-MAE | R-BN (本文) | AS-20k / AS-2M / ESC-50 (%) | 36.8 / 47.2 / 94.6 | +0.7% / +0.9% / +0.5% |
| 音频分类 (AudioSet-2M Pretrain) | MaskSpec | R-BN (本文) | AS-20k / AS-2M / ESC-50 (%) | 33.4 / 47.6 / 90.4 | +1.1% / +0.5% / +0.8% |
| 音视频多模态 (VGGSound) | CAV-MAE | Green3D + R-BN | 音频 / 视频 / 音视频 Top-1 (%) | 59.1 / 46.4 / 64.9 | +0.6% / +0.8% / +0.6% |
在无监督视频目标分割（UVOS）上，VideoMAE + Green3D 在 DAVIS 聚类 mIoU 上从 29.5% 大幅飙升至 38.2%（绝对提升 +8.7%），大幅超越需光流计算的 MGMAE（31.0%）与 MGM（36.5%）。在 SEVERE 泛化基准（8 项跨域、小样本、细粒度任务）上，Green3D 分别为 VideoMAE 和 SIGMA 带来 +1.3% 与 +3.0% 的平均泛化提升。
消融实验¶
消融实验深入验证了颜色噪声类型对不同模态的影响、3D 连续性相比 2D 掩码的增益，以及 R-BN 对比普通蓝噪声的优越性。
| 模态 / 数据集 | 掩码策略与类型 | 重建损失 \(\mathcal{L}_{\text{recon}}\) | 下游关键指标 (Top-1 / Acc) | 说明 |
|---|---|---|---|---|
| 视频 (mini-Kinetics / mini-SSv2) | Random (Tube) | 0.67 | 51.6% / 52.8% | 传统基线：静态 Tube 缺乏时态变化 |
| 视频 (mini-Kinetics / mini-SSv2) | Blue 噪声 (高频) | 0.41 | 50.9% / 52.1% | 重建损失过低，任务过易导致表征欠拟合 |
| 视频 (mini-Kinetics / mini-SSv2) | Red 噪声 (低频) | 0.85 | 51.0% / 52.3% | 重建损失过高，任务过难阻碍有效学习 |
| 视频 (mini-Kinetics / mini-SSv2) | Green3D (中频带通, 本文) | 0.60 | 52.7% / 54.5% | 难度与可解性最佳平衡，性能全面最高 |
| 视频 (mini-Kinetics / mini-SSv2) | Green2D (逐帧独立) | 0.73 | 51.9% / 52.9% | 缺乏 3D 时空相干性，性能仅略高于随机 |
| 音频 (AS-20k / ESC-50) | Random | 0.52 | 36.1% / 94.1% | 传统随机基线 |
| 音频 (AS-20k / ESC-50) | Green 噪声 | 0.57 | 36.4% / 94.1% | 块状聚类切断时频线索，无显著增益 |
| 音频 (AS-20k / ESC-50) | Red 噪声 | 0.61 | 35.5% / 92.6% | 大范围遮蔽造成关键谐波丢失，显著掉点 |
| 音频 (AS-20k / ESC-50) | Vanilla Blue 噪声 | 0.45 | 36.5% / 94.2% | 高频抑制低频，均匀分散，表现优于绿/红 |
| 音频 (AS-20k / ESC-50) | Regularized Blue (R-BN, 本文) | 0.49 | 36.8% / 94.6% | 四向正则消除局部聚集，达到音频最佳表征 |
关键发现¶
- 模态归纳偏置与噪声谱特性的双向互补：在视频任务中，Green 噪声（中频带通）取得最佳效果，过高频率（Blue 噪声，\(\mathcal{L}_{\text{recon}}=0.41\)）使重建沦为无意义的邻近像素插值，过低频率（Red 噪声，\(\mathcal{L}_{\text{recon}}=0.85\)）则产生巨大的黑洞难以重建；而在音频任务中规律恰好相反，Blue 噪声全面超越 Green 与 Red 噪声，说明音频高度依赖跨时频轴的均匀全局采样以捕捉分散的泛音与谐波。
- 3D 时空平滑性不可或缺：简单将 2D Green 噪声复制为 Tube 或逐帧独立采样（Green2D），在 mini-Kinetics 上仅有 51.9% / 51.7%，而真正的 3D Green 噪声（Green3D）达到 52.7%，证实了视频掩码必须在三维时空坐标系下保持平滑演化。
- R-BN 离散正则化的增益：R-BN 相比普通高斯 Blue 噪声将 AS-20k 准确率从 36.5% 进一步推高至 36.8%，ESC-50 从 94.2% 提升至 94.6%，证明了通过多向约束显式推开局部相连 patch、消除微观聚集对音频时频建模的决定性价值。
亮点与洞察¶
- 完全数据无关的即插即用增强：无需借助光流网络、注意力模型或额外标注，纯粹通过白噪声的频域滤波与几何优化构造掩码，在零额外训练算力开销下即可达到甚至超越 MGMAE、MGM 等重型自适应掩码方法。
- 优雅的频域与模态结构解耦分析：揭示了视频（\(1/f\) 谱分布、中频带通结构）与音频（时频谐波能量分布、高频分散结构）在自监督掩码下的根本差异，为跨模态自监督学习提供了坚实的信号处理直觉。
- 可复用的通用生成范式：通过预计算张量库结合随机几何增强的训练机制，使结构化噪声掩码能够零摩擦迁移至点云、医学容积切片或雷达信号等多维物理表征学习中。
局限与展望¶
- 作者承认的局限：掩码生成过程属于启发式频域滤波与局部贪心优化，虽然经验上极其有效，但无法根据当前特定视频样本中的极端剧烈镜头切换或超高动态运动实现动态自适应调整。
- 实验与机制层面的局限：目前验证主要集中在 ViT-B 尺度，尚未在大规模超大模型（如 ViT-H/G 或多模态十亿级模型）以及生成式自回归/扩散任务上进行极端规模验证；此外 R-BN 的优化过程尽管离线完成，但多向搜索在处理超大分辨率谱图时耗时较长。
- 未来改进方向：探索可微分的频域参数自适应学习机制，让模型根据视频动态程度端到端微调滤波核带宽 \((\sigma_1, \sigma_2)\)；同时将 3D 结构化噪声掩码拓展至视频生成（Video Diffusion）的前向噪声调度中。
相关工作与启发¶
- vs ColorMAE：ColorMAE 首次将颜色噪声引入 2D 静态图像掩码；本文突破了 2D 图像的边界，针对视频提出平滑时空演化的 3D Green 噪声，针对音频提出解决局部聚集的 R-BN 算法，并成功联合扩展至音视频多模态场景。
- vs VideoMAE / AudioMAE：VideoMAE 依赖严格静态的随机管道掩码，AudioMAE 采用完全随机掩码；本文证明了在架构与超参完全冻结的情况下，仅替换掩码生成方式即可在所有基准上获得稳定增益。
- vs MGMAE / MGM：MGMAE 与 MGM 通过计算光流向量指导掩码，带来了约 1.5 倍的额外训练延迟与工程复杂度；本文以完全数据无关的离线预计算机制实现了相当甚至更优的性能，且在无监督视频目标分割（DAVIS +8.7%）上大幅领先。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将结构化颜色噪声系统性扩展至 3D 视频与 2D 音频时频建模，设计了 3D Green 演化与 R-BN 离散优化算法，思想新颖优雅。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖动作识别（SSv2/K400）、无监督视频分割（DAVIS/YTVOS）、SEVERE 泛化套件、多项音频基准及音视频联合数据集，消融极其详尽。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论动机、信号处理直觉与实验验证层层递进，表达清晰。
- 价值: ⭐⭐⭐⭐⭐ 零算力开销、纯数据无关、即插即用，对视频与音频自监督学习具有广泛的实用价值与复用前景。