The Geometry of Noise: Why Diffusion Models Don't Need Noise Conditioning¶

会议: NeurIPS 2026
arXiv: 2602.18428
OpenReview: https://openreview.net/forum?id=YLJPbabQTH
领域: 图像生成
关键词: 扩散模型、自主生成模型、边缘能量、黎曼梯度流、流匹配

一句话总结¶

论文揭示了无噪声条件约束的自主生成模型隐式在边缘能量曲面上执行黎曼梯度流，证明了速度参数化凭借单位增益吸收后验不确定性而天然稳定，破解了无条件扩散动力学在数据流形处的奇异性悖论。

研究背景与动机¶

标准扩散模型与流匹配（Flow Matching）模型长期依赖显式的时间或噪声强度条件 $t$，由网络输入 $(u, t)$ 拟合条件分数 $\nabla_u \log p(u|t)$ 或速度场 $v(u,t)$，借此指示去噪阶段并引导反向轨迹。然而，近年来诸如 Equilibrium Matching (EqM) 以及盲去噪扩散模型（Blind Diffusion）等自主（autonomous / noise-agnostic）生成范式的兴起挑战了该设计，这类模型仅学习单一、不随时间变化的时不变向量场 $f(u)$，完全摒弃显式噪声条件。尽管已有经验观察与高维测度集中现象表明模型能从含噪输入中推断噪声水平，但底层依然存在根本性的理论佯谬：当时间 $t$ 作为隐变量被积分时，模型所追踪的全局几何能量面究竟是什么？而在接近干净数据流形时，条件梯度势必发散，一个有界且不依赖时间输入的神经网络为何能维持数值稳定而不发生轨迹崩溃？

这一矛盾的核心在于边缘能量梯度的奇异性。当将所有可能的噪声水平做先验积分后，边缘似然函数在数据流形邻域形成无限深的势阱，其直接梯度的范数呈多项式阶发散（$\lim_{u \to x_k} \|\nabla_u E_{\text{marg}}(u)\| = \infty$）。若自主模型仅仅是对发散梯度的盲目回归，其反向积分动力学必定面临极其严峻的刚性或数值溢出；然而实际中速度预测形式的盲模型却能生成高保真图像。

本文从统计物理与微分几何视角切入，严格证明了自主模型并非盲目去噪，其向量场精确对应于边缘能量（Marginal Energy）上的黎曼梯度流（Riemannian Gradient Flow）。通过能量对齐正交分解，作者指出模型隐式习得的有效梯度增益扮演了局部共形度量角色，正好抵消数据流形法向的几何发散；同时，采样稳定性严格取决于参数化形式——速度预测具有有界增益能自然吸纳后验误差，而传统噪声预测（DDPM/DDIM）则因詹森间隙（Jensen Gap）与奇异增益产生误差放大导致结构性崩溃。本文的核心 idea 是：将自主扩散动力学严格形式化为边缘能量曲面上的预条件黎曼梯度流，并从有效增益与估计误差的博弈中证明速度预测是保证无条件生成稳定的数学必然。

方法详解¶

整体框架¶

在统一的仿射扩散调度框架下，前向加噪过程定义为 $u_t = a(t)x + b(t)\epsilon$。自主生成模型通过最小化均方误差 $\mathcal{L}(f) = \mathbb{E}_{x,\epsilon,t}[\|f(u_t) - (c(t)x + d(t)\epsilon)\|^2]$ 学习时不变目标 $f^*(u)$。根据迭代期望定律，最优自主场恰好是贝叶斯后验 $p(t|u)$ 对条件最优解的期望 $f^*(u) = \mathbb{E}_{t|u}[f_t^*(u)]$。通过引入边缘能量 $E_{\text{marg}}(u) = -\log \int p(u|t)p(t)dt$ 与广义 Tweedie 公式，该场能够精确分解为自然梯度、输运校正项与线性漂移项。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["含噪观测输入 u<br/>无显式时间输入 t"] --> Deco["能量对齐分解：边缘几何表征"]
    Deco --> K1["1. 能量对齐分解：自然梯度、输运校正与线性漂移正交展开"]
    K1 --> K2["2. 几何共形预条件：局部度量完全中和数据流形法向奇异性"]
    K2 --> Scen{"收敛机制与后验集中检验"}
    Scen -->|高维几何集中 D>>d| Reg1["Regime I: 全局高维正交噪声壳层分离"]
    Scen -->|流形邻域逼近 u->X| Reg2["Regime II: 逆伽马核局部弱收敛至狄拉克测度"]
    Reg1 --> K3["3. 统一采样动力学稳定性：速度预测有界增益消解詹森间隙"]
    Reg2 --> K3
    K3 --> Out["稳定生成轨迹与数据流形吸引子"]

关键设计¶

1. 能量对齐分解：自然梯度、输运校正与线性漂移正交展开

针对自主模型缺乏时间引导的机制未知痛点，论文利用条件最优去噪器 $D_t^*(u) = \mathbb{E}[x|u,t]$ 与条件能量梯度 $\nabla E_t(u) = -\nabla_u \log p(u|t) = \frac{u - a(t)D_t^*(u)}{b(t)^2}$ 之间的广义 Tweedie 等价关系，将最优自主向量场 $f^*(u) = \mathbb{E}_{t|u}\left[\frac{d(t)}{b(t)}u + \left(c(t) - \frac{d(t)a(t)}{b(t)}\right)D_t^*(u)\right]$ 进行严密展开。通过协方差恒等式 $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y] + \text{Cov}(X,Y)$，自主场被唯一解构为三项：

\[f^*(u) = \bar{\lambda}(u) \nabla E_{\text{marg}}(u) + \mathbb{E}_{t|u}\left[(\lambda(t) - \bar{\lambda}(u))(\nabla E_t(u) - \nabla E_{\text{marg}}(u))\right] + \bar{c}_{\text{scale}}(u)u\]

其中 $\lambda(t) \triangleq \frac{b(t)}{a(t)}(d(t)a(t) - c(t)b(t))$ 为有效梯度增益，$\bar{\lambda}(u) \triangleq \mathbb{E}_{t|u}[\lambda(t)]$ 为其后验期望，$\bar{c}_{\text{scale}}(u) \triangleq \mathbb{E}_{t|u}[c(t)/a(t)]$ 为平均线性漂移系数。该式表明，自主网络拟合的向量场并不是随机杂合体，而是由边缘能量的自然梯度驱动，外加一个由噪声等级不确定性导致的输运校正项（协方差项）以及空间缩放漂移。

2. 几何共形预条件：局部度量完全中和数据流形法向奇异性

针对边缘能量在干净数据支撑集处出现势阱无限深、导致原始梯度 $\lim_{u \to x_k} \|\nabla_u E_{\text{marg}}(u)\| = \infty$ 的奇异性佯谬，论文揭示了网络实际运行的动力学属于黎曼流形上的自然梯度下降。在黎曼度量 $G(u) = \bar{\lambda}(u)^{-1} I$ 下，黎曼梯度流 $\dot{u} = -G(u)^{-1} \nabla E_{\text{marg}}(u) = -\bar{\lambda}(u) \nabla E_{\text{marg}}(u)$。论文严格推导了近数据流形（$t \to 0, b(t) \to 0$）的渐近性质：条件梯度与边缘梯度的发散速度为 $\mathcal{O}(1/b(t))$，然而有效增益 $\lambda(t)$ 恰以 $\mathcal{O}(b(t))$（或更高阶）趋向于零。这一相生相克的几何代数设计构成了完美的局部共形预条件（Conformal Preconditioning），两者相乘后发散阶数完全被消除，从而将无穷深势阱转化为平滑、有界的稳定动力学吸引子。

同时，论文分析了输运校正项消失的两大渐近区间： 1. Regime I（全局高维集中）：当环境维度 $D \gg 1$ 且数据流形维度 $d \ll D$ 时，正交噪声模长占据主导，高维高斯测度集中于极薄的超球壳层，不同噪声尺度对应的切片在空间上近乎完全分离，后验 $p(t|u)$ 弱收敛于以隐式估计值 $\hat{t}(u)$ 为中心的狄拉克测度，协方差项天然衰减为零。 2. Regime II（近流形局部逼近）：即使在低维空间中，当点 $u$ 靠近离散数据点（距离 $\epsilon \to 0$）或靠近平滑 $d$ 维子流形（正交距离 $r \to 0$，只要余维数 $D-d > 2$），似然函数退化为以 $\beta = \epsilon^2/2$（或 $\beta = r^2/2$）为尺度参数的逆伽马分布（Inverse-Gamma kernel）。随着距离归零，尺度参数 $\beta \to 0$，均值与方差同步趋于零，后验分布严格弱收敛于 $\delta(t)$，使得近流形处的输运校正项自动归零。

3. 统一采样动力学稳定性：速度预测有界增益消解詹森间隙

针对理论上静态场有界却在离散数值积分中产生剧烈分化的工程难题，论文建立了统一求解器常微分方程（ODE）框架：$\frac{du}{dt} = v_{\text{aut}}(u,t) \triangleq \mu(t)u + \nu(t)f^*(u)$。通过对比拥有完美时间感知的理想 Oracle 采样速度 $v_{\text{orc}}(u,t) = \mu(t)u + \nu(t)f_t^*(u)$，定义了漂移扰动误差（Drift Perturbation Error）：

\[\Delta v(u,t) \triangleq \|v_{\text{aut}}(u,t) - v_{\text{orc}}(u,t)\| = |\nu(t)| \cdot \|f^*(u) - f_t^*(u)\|\]

该误差揭示了接近数据流形（$t \to 0$）时的“增益-误差博弈”竞赛机制： - 噪声预测（DDPM/DDIM，目标 $\epsilon$）：有效增益 $\nu(t) = \frac{\dot{b}a - \dot{a}b}{a} \approx \dot{b}(t)$。当展开误差项时，由于倒数函数的严格凸性，涌现出无法闭合的“詹森间隙（Jensen Gap）”：$b(t)\mathbb{E}_{\tau|u}[1/b(\tau)] - 1 \neq 0$。前置系数 $\frac{\dot{b}(t)}{b(t)} = \frac{d}{dt}\ln b(t) \sim \mathcal{O}(1/t)$ 构成高增益放大器，使得漂移扰动误差剧烈发散（$\lim_{t \to 0} \Delta v_{\text{noise}} = \infty$），彻底解释了无条件 DDPM 采样时的高频噪声雪崩。 - 信号预测（EDM，目标 $x$）：增益虽具有更强发散性（$\nu(t) \propto 1/b(t)^2$），但去噪器误差在离散流形附近以高斯似然比率指数级衰减 $\exp(-\Delta^2 / 2b(t)^2)$，指数衰减以压倒性优势战胜多项式发散，极限收敛为零（$\lim_{t \to 0} \Delta v_{\text{signal}} = 0$）。 - 速度预测（Flow Matching / EqM，目标 $v = \dot{u}$）：系数行列式 $ad - bc = 1$，产生恒定有界增益 $\nu(t) = 1$。扰动误差直接等于有界的后验速度场残差，完全杜绝了任何除零奇点，后验不确定性被直接吸纳为平滑的几何漂移，因而在数学上具备结构固有稳定性。

损失函数 / 训练策略¶

统一参数化目标通过加权均方误差在含噪状态空间上联合优化： $$\mathcal{L}_{\text{MSE}}(f) = \mathbb{E}_{x \sim p_{\text{data}}, \epsilon \sim \mathcal{N}(0, I), t \sim \mathcal{U}(0,1)} \left[ \|f(a(t)x + b(t)\epsilon) - (c(t)x + d(t)\epsilon)\|^2 \right]$$ 在自主训练模式下，网络直接输入 $u_t$，移除了任何针对 $t$ 的正弦位置编码、MLP 投影与自适应归一化（adaLN）调制层。由于目标期望直接收敛至后验均值 $\mathbb{E}_{t|u}[f_t^*(u)]$，网络无需任何辅助显式损失或判别器即可隐式捕获边缘能量的共形预条件几何场。

实验关键数据¶

主实验¶

为了验证稳定性理论对生成质量的实际主导作用，作者在 CIFAR-10、SVHN 及 Fashion MNIST 上对比了显式时间条件模型与自主（盲）模型的生成效果，并在统一基准下检验了不同参数化范式的成败。

模型配置	参数化目标	增益奇异性 $\nu(t)$	CIFAR-10 FID (w/o $t$)	CIFAR-10 生成稳定性	图像伪影特征
DDIM	噪声 ($\epsilon$)	奇异发散 $\mathcal{O}(1/b(t))$	40.90	彻底崩溃	充斥高频噪点与结构残缺
DDPM Blind	噪声 ($\epsilon$)	奇异发散 $\mathcal{O}(1/b(t))$	>45.0	不稳定	严重背景发散与噪波附着
Flow Matching Blind	速度 ($v$)	恒定有界 $\mathbf{1}$	2.61	完全稳定	轮廓清晰，匹配条件模型水准
uEDM	速度/平衡态 ($v$)	恒定有界 $\mathbf{1}$	2.23	完全稳定	细节锐利，达成无条件 SOTA
FM Conditional (参考)	速度 ($v$, 含 $t$)	恒定有界 $\mathbf{1}$	2.55	完全稳定	基线黄金标准

消融实验：环境维度与参数化稳定性博弈（同心圆投影任务）¶

为了从几何上解耦“高维测度集中”与“参数化稳定性”，作者将二维同心圆流形通过正交投影矩阵 $P \in \mathbb{R}^{D \times 2}$（$P^T P = I$）嵌入到指数递增的环境维度 $D \in \{2, 8, 32, 128\}$ 中，对比自主模型反投影回 2D 后的采样表现。

环境维度 $D$	几何集中状态	DDPM Blind (噪声 $\epsilon$) 表现	Flow Matching Blind (速度 $v$) 表现	动力学机制说明
$D=2$	极弱，高斯壳层严重重叠	弥散混乱，完全无法辨识双环	弥散扩散，无法收敛清晰环结构	空间缺乏噪声正交分离线索，后验 $p(t\\|u)$ 高度模糊
$D=8$	弱集中，壳层初步出现可分性	明显背景散点，圆环结构边缘毛刺	成型清晰，形成紧凑的同心双环	参数化分水岭：FM 凭借有界增益平滑吸收残余不确定性
$D=32$	中度集中，测度进一步汇聚	依然残留显著的轨迹方差与噪点	高度精准，几何分布极其锐利	DDPM 奇异增益持续放大残余后验误差，FM 展现强鲁棒性
$D=128$	绝对几何集中，$p(t\\|u) \to \delta$	恢复正常，呈现清晰同心环	高度精准，与条件模型无差别	测度极度集中使估计误差归零速度超越增益发散，DDPM 强行收敛

关键发现¶

参数化是自主扩散的生杀线：DDIM/DDPM 在无条件设置下的生成失败（CIFAR-10 FID 骤降至 40.90）绝非模型容量不足，而是 ODE 采样过程中 $\mathcal{O}(1/b(t))$ 增益放大詹森间隙诱发的固有动力学发散；而速度参数化（FM / uEDM）凭借恒定增益 $\nu(t)=1$ 自然达成了 2.23-2.61 的顶尖生成质量。
环境维度与参数化存在代补偿关系：在超高维极限下（如 $D=128$），测度集中现象可将后验方差强行压至极小，抵消噪声预测的增益爆炸；但在图像常见的有效内在维度与中等表征尺度下，速度预测的有界性是确保避免数值发散的决定性防线。

亮点与洞察¶

将无条件扩散统一解释为边缘能量的黎曼流：论文打破了以往认为自主模型仅是纯经验近似的固有认知，严谨给出了边缘似然函数 $E_{\text{marg}}(u) = -\log p(u)$ 的封闭推导，指出有效增益 $\lambda(t)$ 构成了自适应共形度量，完美中和了流形法向原本发散的势能梯度。
精准揪出无条件 DDPM 崩溃的罪魁祸首——詹森间隙：通过将采样误差解耦为“增益 $\times$ 估计误差”，精辟指出了凸函数期望不等式导致的不可消除项，一举推翻了“无条件模型只要网络拟合能力够强就能稳定”的盲目经验假设。
统一仿射框架下的结构泛化启示：不仅适用于图像连续扩散，对视频生成、具身物理控制中的轨迹动力学建模同样具有指导价值——凡是不愿输入显式时间步或物理时间标量的高频控制策略，必须采用速度（$v$）或位移差分参数化，而切忌直接预测高斯残差。

局限与展望¶

依赖连续流形与高余维假设：局部收敛定理要求环境维数与内在维数之差满足 $D-d > 2$；对于充满离散符号或内在流形维数高度贴合环境维度的密集流形任务，逆伽马核的弱收敛速度可能受限。
缺少快速求解器自适应步长验证：实验评估主要聚焦于经典常步长 ODE 积分器，尚未在二阶自适应步长求解器（如 DPM-Solver、DEIS）中深入评估自主场的刚性特征。
潜在改进方向：可进一步探索如何显式设计黎曼度量函数以加快远离流形区域（High-Noise Transport Dominated）的输运效率，并在多模态统一模型中利用此特性省去昂贵的全局时间同步机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次严谨揭示无条件扩散动力学背后的边缘能量黎曼流机制并定位詹森间隙发散源)
实验充分度: ⭐⭐⭐⭐☆ (玩具正交流形与真实图像基准相互印证，理论闭环坚实，若补充高分辨率大模型更佳)
写作质量: ⭐⭐⭐⭐⭐ (推导极其严密优雅，几何图像直观鲜明，结构层层递进)
价值: ⭐⭐⭐⭐⭐ (为自主生成模型奠定了坚实的理论基石，终结了对时间条件必要性的认知混乱)

模型配置	参数化目标	增益奇异性 \(\nu(t)\)	CIFAR-10 FID (w/o \(t\))	CIFAR-10 生成稳定性	图像伪影特征
DDIM	噪声 (\(\epsilon\))	奇异发散 \(\mathcal{O}(1/b(t))\)	40.90	彻底崩溃	充斥高频噪点与结构残缺
DDPM Blind	噪声 (\(\epsilon\))	奇异发散 \(\mathcal{O}(1/b(t))\)	>45.0	不稳定	严重背景发散与噪波附着
Flow Matching Blind	速度 (\(v\))	恒定有界 \(\mathbf{1}\)	2.61	完全稳定	轮廓清晰，匹配条件模型水准
uEDM	速度/平衡态 (\(v\))	恒定有界 \(\mathbf{1}\)	2.23	完全稳定	细节锐利，达成无条件 SOTA
FM Conditional (参考)	速度 (\(v\), 含 \(t\))	恒定有界 \(\mathbf{1}\)	2.55	完全稳定	基线黄金标准

环境维度 \(D\)	几何集中状态	DDPM Blind (噪声 \(\epsilon\)) 表现	Flow Matching Blind (速度 \(v\)) 表现	动力学机制说明
\(D=2\)	极弱，高斯壳层严重重叠	弥散混乱，完全无法辨识双环	弥散扩散，无法收敛清晰环结构	空间缺乏噪声正交分离线索，后验 \(p(t\\|u)\) 高度模糊
\(D=8\)	弱集中，壳层初步出现可分性	明显背景散点，圆环结构边缘毛刺	成型清晰，形成紧凑的同心双环	参数化分水岭：FM 凭借有界增益平滑吸收残余不确定性
\(D=32\)	中度集中，测度进一步汇聚	依然残留显著的轨迹方差与噪点	高度精准，几何分布极其锐利	DDPM 奇异增益持续放大残余后验误差，FM 展现强鲁棒性
\(D=128\)	绝对几何集中，\(p(t\\|u) \to \delta\)	恢复正常，呈现清晰同心环	高度精准，与条件模型无差别	测度极度集中使估计误差归零速度超越增益发散，DDPM 强行收敛