Feature Information Dynamics in Diffusion¶
会议: NeurIPS 2026
arXiv: 2610.08626
OpenReview: https://openreview.net/forum?id=WDfD9WTJeJ
代码: https://github.com/AI4Science-WestlakeU/feature-information-dynamics
领域: 图像生成
关键词: 扩散模型, 特征信息动态, I-MMSE恒等式, 链式信息分解, 潜在表征学习
一句话总结¶
本文基于经典 I-MMSE 恒等式提出特征信息动态（Feature Information Dynamics）理论框架与链式分解方法，将特征信息密度转化为无条件与条件去噪损失之差，首次在连续信噪比坐标上定量刻画了不同表征空间（像素、SDVAE、VAVAE、RAE）对视觉特征生成时序的重塑机制。
研究背景与动机¶
扩散模型通过在不同信噪比（SNR）下逐步去除高斯噪声来合成高维数据。经验表明，扩散模型在生成过程中展现出层次化的生成特性，即早期的去噪阶段倾向于决定图像的宏观几何与整体语义，而晚期步骤则逐步补全高频微观纹理。这一直觉直接催生了近年来诸多非对称生成调度、语义优先采样策略以及潜在表征解耦方法，成为扩散生成领域普遍接受的启发式规律。
然而，现有研究对扩散过程中特征生成的理解在很大程度上仍停留在经验性、定性观察层面。在像素空间，这一现象常被经验性地归结为自然图像功率谱的幂律分布，认为高斯白噪声的腐蚀自然导致了低频粗粒度成分先于高频细粒度成分恢复的“频谱自回归”效应；但在潜空间表征中，不同隐空间（如重建驱动的 VAE、视觉基础模型对齐的 VAVAE、纯自监督特征的 RAE）如何在连续扩散轨迹上安排不同层级特征的生成时机，缺乏一般化、严格可定量的理论工具。现有基于互信息估计或条件熵的研究大多受限于静态标量估计、仅适用于离散分类标签，或是直接将重叠特征独立估计而造成严重的信息重复计数。
面对特征间天然存在的共享互信息以及连续噪声轴上的信息流入定位难题，本文旨在建立一个一般化、表征无关的信息论诊断体系。本文的核心 idea 是：将高斯扩散信道下的特征互信息变化率通过条件 I-MMSE 恒等式严格映射为无条件去噪模型与条件去噪模型之间的最优均方误差差距（MMSE Gap），并结合嵌套条件集合的链式分解剥离跨层共享冗余，从而在连续对数信噪比轴上定位特征增量信息涌现的动态密度谱。
方法详解¶
整体框架¶
本文构建的特征信息动态分析体系以加性高斯白噪声信道为理论基础，包含从单特征信息密度定义、等价估计子推导、嵌套特征集合链式分解到扩散模型流匹配（Flow Matching）落地的完整链路。
输入包含干净数据分布 \(\boldsymbol{X} \sim p(\boldsymbol{x})\)（如自然图像或其潜在编码向量）与感兴趣的层级特征 \(Y \sim p(y \mid \boldsymbol{x})\)（如类别标签、分割掩码、边缘结构或频带）。整个计算过程首先通过训练具有不同条件约束的最优去噪器，提取连续 SNR 轴 \(\gamma\) 上的无条件均方误差 \(m_\varnothing(\gamma)\) 与各级条件均方误差 \(m_k(\gamma)\)；随后通过链式 MMSE 差值算子剔除前序粗粒度特征中已包含的冗余互信息；最终映射到对数信噪比（\(\log \gamma\)）坐标系下输出各特征增量的时序信息密度峰值分布，以此诊断生成过程中的特征涌现时序。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据与嵌套特征层级<br/>图像 X + 链式特征 Y≤1 ⊆ Y≤2 ⊆ Y≤3"] --> B["高斯信道连续加噪<br/>X_γ = √γ X + N, N ~ N(0, I)"]
B --> C["条件流匹配去噪器训练<br/>无条件及逐级条件速度预测器"]
C --> D["单特征与链式 MMSE 差距度量<br/>Δ_k^chain(γ) = m_{k-1}(γ) - m_k(γ)"]
D --> E["双极点洛伦兹尾部外推拟合<br/>D^(log γ) = 0.5 γ Δ_k^chain(γ)"]
E --> F["特征信息动态谱输出<br/>峰值定位: 诊断特征生成先后顺序与重叠度"]关键设计¶
1. 基于条件 I-MMSE 恒等式的特征信息密度建模
经典的 I-MMSE 恒等式建立了加性高斯信道输出与干净输入之间互信息对 SNR 导数等于半倍无条件 MMSE 的基础关系：\(\frac{d}{d\gamma} I(\boldsymbol{X}; \boldsymbol{X}_\gamma) = \frac{1}{2} m_\varnothing(\gamma)\)。为了将其拓展至特定特征 \(Y\) 的动态涌现，本文利用马尔可夫链 \(Y \to \boldsymbol{X} \to \boldsymbol{X}_\gamma\) 带来的条件独立性条件 \(I(Y; \boldsymbol{X}_\gamma \mid \boldsymbol{X}) = 0\)，将互信息链式法则展开为： $\(I(Y; \boldsymbol{X}_\gamma) = I(\boldsymbol{X}; \boldsymbol{X}_\gamma) - I(\boldsymbol{X}; \boldsymbol{X}_\gamma \mid Y)\)$ 两端对信噪比 \(\gamma\) 微分，直接将特征互信息的变化率定义为特征信息密度（Feature Information Density） \(D_Y(\gamma)\)，其严格等于无条件去噪最优损失与条件去噪最优损失之间的差距（MMSE Gap）： $\(D_Y(\gamma) := \frac{d}{d\gamma} I(Y; \boldsymbol{X}_\gamma) = \frac{1}{2}\Bigl[m_\varnothing(\gamma) - m_Y(\gamma)\Bigr] = \frac{1}{2}\Delta_Y(\gamma)\)$ 在对数信噪比坐标系 \(u = \log \gamma\) 下，由于导数链式法则引入缩放因子 \(\dot{\gamma}(u) = \gamma\)，对数信噪比信息密度表示为 \(D_Y^{(\log \gamma)}(\log \gamma) = \frac{1}{2}\gamma \Delta_Y(\gamma)\)。这一公式成功将不可直接积分估计的高维互信息时序导数，转化为两个确定性监督去噪模型均方误差差值的标量监控，使连续分析任意离散或连续特征的信息涌现成为可能。
2. 剥离共享冗余的链式信息分解机制
在层次化表征中，粗粒度特征与细粒度特征之间天然共享大量互信息。如果仅进行孤立的单特征 MMSE 差距度量，低频或宏观轮廓信息会在所有特征中反复重叠，导致各特征的信息密度曲线严重混叠。为此，本文设计了累积特征包（cumulative bundle）的嵌套序列： $\(\mathcal{Y}_{\leq 0} = \varnothing \subseteq \mathcal{Y}_{\leq 1} \subseteq \cdots \subseteq \mathcal{Y}_{\leq K}\)$ 记 \(m_k(\gamma) := \operatorname{mmse}_{\boldsymbol{X}\mid\boldsymbol{X}_\gamma, \mathcal{Y}_{\leq k}}(\gamma)\) 为以累积集合 \(\mathcal{Y}_{\leq k}\) 为条件的最优去噪误差。链式条件信息密度 \(D_{k\mid k-1}^{(\log \gamma)}(\log \gamma)\) 度量的是在已知前 \(k-1\) 级特征的前提下，第 \(k\) 级特征 \(Y_k\) 所能提供的边际增量互信息： $\(D_{k\mid k-1}^{(\log \gamma)}(\log \gamma) := \frac{d}{d\log \gamma} I(\boldsymbol{X}_\gamma; Y_k \mid \mathcal{Y}_{\leq k-1}) = \frac{1}{2}\gamma \Bigl[m_{k-1}(\gamma) - m_k(\gamma)\Bigr]\)$ 通过逐级作差 \(\Delta_k^{\mathrm{chain}}(\gamma) = m_{k-1}(\gamma) - m_k(\gamma)\)，链式信息分解完全解耦了前序条件中已掌握的信息，使得信息密度曲线的单峰或主峰集中于各特征真实被生成的对数信噪比区间。
3. 双极点洛伦兹（Double-Pole Lorentzian）尾部拟合与稳定外推
在极高信噪比（\(\gamma \to \infty\) 或流匹配时间 \(t \to 1\)）区间，由于输入信号几乎不含噪声，去噪梯度的衰减常导致有限容量神经网络产生欠拟合，使经验 MMSE 尾部产生非真实的上升或噪声抖动，导致直接数值积分发生偏置或发散。本文根据高斯信道 MMSE 曲线的解析平滑衰减性质，引入双极点洛伦兹函数族： $\(\hat{\mathcal{D}}(\gamma) = \sum_{j=1}^{K_L} \frac{a_j}{(1 + b_j \gamma)^2}, \quad a_j, b_j > 0\)$ 在可靠信噪比区间（自适应采用主衰减谷底前两格的截断点），直接拟合差值曲线 \(\Delta_k^{\mathrm{chain}}(\gamma)\)（而非分别拟合 \(m_{k-1}\) 与 \(m_k\) 再作差，防止大数相减导致的残差爆炸）。由于双极点形式在 \([0, \infty)\) 具备解析可积性 \(\int_0^\infty \frac{a}{(1+b\gamma)^2} d\gamma = \frac{a}{b}\)，该设计既保证了尾部对数衰减符合物理规律，又可解析计算全积分互信息总量 \(\hat{I} = \frac{1}{2}\sum \frac{a_j}{b_j}\)。
损失函数 / 训练策略¶
在具体的扩散实现中，论文采用独立端点耦合的高斯流匹配（Gaussian Flow Matching）。连续时间插值定义为 \(\boldsymbol{X}_t = (1-t)\boldsymbol{N} + t\boldsymbol{X}\)（\(t \in [0, 1]\)），速度目标为 \(\boldsymbol{V}_t = \boldsymbol{X} - \boldsymbol{N}\)。由于 \(\boldsymbol{X}_t / (1-t) = \boldsymbol{N} + \sqrt{\gamma(t)}\boldsymbol{X}\)，其等效信噪比映射严格为 \(\gamma(t) = \left(\frac{t}{1-t}\right)^2\)。
模型训练完全复用标准速度预测（或 \(\boldsymbol{x}\)-预测）均方误差目标： $\(\mathcal{L}_{\mathrm{FM}} = \mathbb{E}_{\boldsymbol{X}, \boldsymbol{N}, t} \left[ \|\boldsymbol{V}_t - \hat{\boldsymbol{v}}(\boldsymbol{X}_t, t, \mathcal{Y}_{\leq k})\|_2^2 \right]\)$ 最优速度场与最优去噪器的数学对应关系为 \(\hat{\boldsymbol{x}}^\star(\boldsymbol{X}_t, t) = \boldsymbol{X}_t + (1-t)\hat{\boldsymbol{v}}^\star(\boldsymbol{X}_t, t)\)，因此 MMSE 损失可以直接通过缩放流匹配损失计算：\(m_k(\gamma(t)) = (1-t)^2 \min_{\hat{\boldsymbol{v}}} \mathbb{E}[\|\boldsymbol{V}_t - \hat{\boldsymbol{v}}\|^2]\)，无需引入任何辅助损失项或破坏原生扩散训练流。
实验关键数据¶
主实验¶
为了探究不同表征空间对扩散生成效率的根本影响，作者在严格统一的数据划分（ImageNet-256 的 SAM 3.1 验证子集 SR95，共 485 个类别）、统一 token 数量（\(T=256\)）、统一骨干模型结构（LDiT-XL）、统一求解步数（Euler 50 NFE）下，评测了像素空间与三种潜在表征空间的无条件生成收敛轨迹。
| 表征空间 (Representation) | 骨干模型与预测类型 | 参数量与 Patch 设置 | 最优无条件 FID (200 epoch) | 达到最优 FID 轮次 | 早期训练收敛速度评级 |
|---|---|---|---|---|---|
| Pixel Space | LDiT-XL/16 (\(\boldsymbol{x}\)-pred) | 256×256×3, Patch 16 | 78.51 | 200 ep. | 最慢 (基线) |
| SDVAE | LDiT-XL/2 (velocity) | 32×32×4, Patch 2 | 30.83 | 200 ep. | 中等偏慢 |
| VAVAE | LDiT-XL/1 (velocity) | 16×16×32, Patch 1 | 21.16 | 200 ep. | 较快 |
| RAE (DINOv2-B) | LDiT-XL/1 (\(\boldsymbol{x}\)-pred) | 16×16×768, Patch 1 | 8.39 | 180 ep. | 极快 |
消融实验与稳健性检验¶
论文在链式特征层级（类别 class \(\to\) 分割掩模 mask \(\to\) Canny 边缘 canny）下，对不同模型大小、不同训练阶段检查点以及逆转链式顺序进行了系统的对数信噪比峰值位置（\(\mu = \text{peak } \log \gamma\)）定位测试。数值越小代表特征在越早期的高噪声阶段涌现。
| 模型与检查点配置 | 条件依赖链路 (Conditioning Order) | 类别峰值 (Class \(\log\gamma\)) | 掩码峰值 (Mask \(\log\gamma\)) | Canny 边缘峰值 (Canny \(\log\gamma\)) | 层次化顺序状态 |
|---|---|---|---|---|---|
| RAE-S (132M, 20 ep.) | class \(\to\) mask \(\to\) Canny | -5.00 | -3.50 | -2.00 | 严格语义到局部 |
| RAE-S (132M, 40 ep.) | class \(\to\) mask \(\to\) Canny | -3.75 | -2.75 | -1.50 | 严格语义到局部 |
| RAE-S (132M, 60 ep.) | class \(\to\) mask \(\to\) Canny | -3.75 | -2.75 | -1.75 | 严格语义到局部 |
| RAE-S (132M, 80 ep.) | class \(\to\) mask \(\to\) Canny | -3.75 | -2.75 | -1.75 | 严格语义到局部 |
| RAE/DiTDH-XL (842M) | class \(\to\) mask \(\to\) Canny | -3.75 | -2.75 | -1.75 | 严格语义到局部 |
| RAE/DiTDH-XL (842M) | mask \(\to\) class \(\to\) Canny | -3.25 | -4.00 | -1.75 | 倒置输入保持分离 |
在频域消融中，针对双极点洛伦兹拟合在确定性连续特征（\(\alpha=0\)）下的退化问题，论文对比了引入观测噪声 \(\alpha=0.5\) 的正则化效果：在 CIFAR-10 的中频段 \(b_5\)，\(\alpha=0.5\) 与 \(\alpha=0\) 测得的峰值尺度均为 \(\mu_{lg} \approx +0.124 \sim +0.125\)；而在高频段 \(b_{10}\)，无噪声 \(\alpha=0\) 导致曲率参数崩塌至优化器下界 \(b=10^{-12}\)（视在伪峰值达 \(+12.00\)），而 \(\alpha=0.5\) 成功稳定估计出实际峰值 \(\mu_{lg}=+1.491\)。
关键发现¶
- 表征空间颠覆了特征生成的先后时序：在原生像素空间中，掩码空间支持信息（mask）的密度峰值出现在比类别语义（class）更低的对数信噪比位置，表明在像素扩散中，几何轮廓与空间支撑结构实际上比全局类别语义更早、更强地进入模型，颠覆了传统“语义绝对优先”的直觉猜想。
- 纯基础模型表征实现教科书级的层次化分离：仅有以自监督视觉特征为代表的 RAE 空间严格遵循了从高层语义（class, \(\log\gamma = -3.75\)）到中层空间布局（mask, \(\log\gamma = -2.75\)）再到低层微观边界（Canny, \(\log\gamma = -1.75\)）的单调平移时序，而 VAVAE 仅恢复了前半部分，SDVAE 与像素空间则存在明显的特征重叠或倒置。
- 频谱自回归假设在链式剥离下得到严格确证：在 MNIST 与 CIFAR-10 上的多频带实验证实，若不进行链式条件约束，单频带互信息由于低频共享成分而高度重叠；一旦使用前向链式累积条件，频带信息密度峰值沿 \(\log \gamma\) 呈现严格从低频向高频推进的单调递增排列。
亮点与洞察¶
- 将扩散时序动力学转化为可解析计算的 MMSE 差值：论文巧妙借助高斯信道下的条件 I-MMSE 定理，绕过了传统高维连续互信息难以直接估计的瓶颈，使得任意预训练扩散模型无需修改训练损失，仅需通过前向计算误差即可定量输出信息涌现谱。
- 揭示了扩散表征选择与优化速度背后的信息动力学机制：首次将潜空间表征的选择从纯粹追求重构 FID 的黑盒工程，提升到了解释优化难度的高度——特征信息密度在时间轴上层次越分明、解耦越清晰的表征（如 RAE），其生成扩散模型的收敛速度与生成质量越具显著优势。
- 提供了可迁移的时间依赖性引导与调度启发：特征信息密度的峰值位置和带宽可以直接指导自适应时间步调度策略（如针对特征活跃区间分配更高的计算密度）或动态无分类器引导（CFG），在特征涌现的关键信噪比区间施加针对性的条件增益。
局限与展望¶
- 依赖优化完备的经验去噪器替代贝叶斯最优解：理论框架严格建立在贝叶斯最优条件期望 \(\hat{\boldsymbol{x}}^\star\) 之上，实际评估受限于神经网络参数量与训练充分度；若模型在某阶段欠拟合，测得的 MMSE 差距会夹杂模型优化误差。
- 链式分解对预设特征顺序具有单向依赖性：链式归因依赖于人为指定的 \(\mathcal{Y}_{\leq k}\) 嵌套顺序（如 class \(\to\) mask \(\to\) Canny）。尽管实验证明交换次序仍能保持峰值区隔，但这并非置换不变的唯一正交分解。
- 大尺度特征链的计算成本较高：评估包含 \(K\) 层特征的层级结构需要分别训练或微调 \(K+1\) 个条件生成检查点，在超大规模预训练基础模型上全面推广面临算力开销挑战。
相关工作与启发¶
- vs Kong et al. (2023) / Yu et al. (2025) (MMG)：以往工作利用 I-MMSE 或分数差主要关注将整个生成过程的积分用来估计静态的高维标量互信息数值；本文则聚焦于微分密度曲线在时间/SNR轴上的动态局部化分布，研究的是生成过程中的“何时生成”而非“总量多少”。
- vs Handke et al. (2026)：该工作使用条件熵追踪扩散过程中的类别物种化（speciation），但其数学推导深度绑定离散分类变量与特定 SDE 形式；本文的 I-MMSE 与流匹配框架原生支持任意连续、离散的高维空间与频域特征。
- vs Dieleman (2024) (Spectral Autoregression 假说)：此前关于扩散模型等价于频域自回归的讨论主要停留在基于自然图像功率谱的理论推演与现象直觉；本文通过链式频带去噪 gap 首次给出了完全量化的实证分布曲线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用条件 I-MMSE 定理与链式分解解决扩散特征时序量化难题，视角极具创新。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖频域、像素、多种前沿潜在表征空间（SDVAE/VAVAE/RAE），提供了严格的模型大小与次序消融。
- 写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨，概念界定清晰，理论推导与工程实现结合紧密。
- 价值: ⭐⭐⭐⭐⭐ 为理解潜在表征如何重塑扩散模型生成动力学提供了坚实的信息论基础与诊断工具。