Drifting Fields are not Conservative¶

会议: NeurIPS 2026
arXiv: 2604.06333
OpenReview: https://openreview.net/forum?id=8pC5fd3IzY
代码: https://github.com/lambertae/drifting
领域: 学习理论
关键词: 漂移模型, 连续流生成, 保守向量场, 尖锐核估计, 标量对数KDE损失

一句话总结¶

论文揭示了单步扩散新范式 Drifting 模型所使用的漂移场通常不具备保守性（旋度非零），指出其根源在于基于未升阶核的局部密度归一化失配，并通过引入对应逆导数性质的尖锐核（sharp kernel）构造出完全保守的漂移场与等价的标量 log-KDE 目标函数。

研究背景与动机¶

基于漂移（drifting）的生成模型近期受到广泛关注，其核心吸引力在于通过模拟样本点向真实数据分布移动的“漂移场（drift field）”，仅需单次前向传播就能生成高质量图像。传统机器学习优化几乎全部依赖标量损失函数的梯度下降，而原始漂移模型（Deng et al.）却引入了基于 stop-gradient 的固定点迭代训练策略，使样本沿显式构造的向量场演化。先验工作认为这种向量场形式是必需的，并推断其能够提供传统标量损失（如最大均值差异 MMD）所无法实现的样本自适应归一化能力，从而规避了 MMD 远离数据支撑集时梯度衰减消失的严重缺陷。

然而，这种依靠显式向量场与 stop-gradient 的复杂机制在理论上引发了一个核心疑问：漂移训练是否在隐式最小化某种标量势能，或者其所依赖的漂移场是否本质上无法由任何标量损失的梯度导出？如果该向量场是非保守的（旋度不为零），那么训练路径就会出现路径依赖与循环涡流，这是否真的是单步高质生成不可或缺的灵活性？

本文深入剖析了漂移场的微积分几何性质，证实原始漂移场在除高斯核外的绝大部分径向核（如拉普拉斯核、有理二次核、Matérn 核）下旋度均非零，因此并非保守场。研究进一步定位出非保守性的根本症结并非归一化本身，而是分子梯度与分母核密度估计（KDE）之间的“核函数阶数失配”。核心 idea：通过引入反导数定义的尖锐核（sharp kernel $k^{\#}$），将漂移场分母的归一化因子替换为尖锐核密度估计，从而在保留局部自适应归一化的同时严格恢复漂移场的保守性，使漂移训练无缝等价于直接优化一个极简的标量 log-KDE 损失。

方法详解¶

整体框架¶

原始漂移场定义为正向引力场与负向斥力场之差： $$ \mathbf{V}{p,q}^{\text{drift}}k = \frac{1}{Z_p(\mathbf{x})}\mathbb{E})] $$ 其中归一化因子分别为真实数据分布 }^+\sim p}[k(\mathbf{x},\mathbf{y}^+)(\mathbf{y}^+-\mathbf{x})] - \frac{1}{Z_q(\mathbf{x})}\mathbb{E}_{\mathbf{y}^-\sim q}[k(\mathbf{x},\mathbf{y}^-)(\mathbf{y}^--\mathbf{x$p$ 与生成分布 $q$ 针对核 $k$ 的核密度估计 $Z_p(\mathbf{x})=p_{\mathrm{KDE}}[k](\mathbf{x})$ 和 $Z_q(\mathbf{x})=q_{\mathrm{KDE}}[k](\mathbf{x})$。

对于一般的径向核函数，分子的加权位移项实质上对应了某种“平滑势能”的梯度，但分母使用的核 $k$ 却破坏了雅可比矩阵的对称性（$\partial \mathbf{V}_j/\partial x_i \neq \partial \mathbf{V}_i/\partial x_j$），导致场中存在横向涡旋。作者提出的尖锐归一化通过为核 $k$ 寻找满足 $\nabla_{\mathbf{x}}k^{\#}(\mathbf{x},\mathbf{y}) = k(\mathbf{x},\mathbf{y})(\mathbf{y}-\mathbf{x})$ 的“尖锐核（sharp kernel）$k^{\#}$”，使得漂移场分子精确成为 $p_{\mathrm{KDE}}[k^{\#}]$ 与 $q_{\mathrm{KDE}}[k^{\#}]$ 的梯度。将分母同步替换为尖锐 KDE $Z^{\#}(\mathbf{x})$ 后，整个向量场转变为两个平滑密度的得分差（score difference），从而完全等价于标量 log-KDE 势能的负梯度。

整个分析推导与优化替代流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：生成样本 x 与真实数据 y+<br/>及生成负例 y-"] --> B["分析漂移场雅可比非对称性<br/>发现旋度 ∇×V≠0 导致非保守"]
    B --> C["定义尖锐核与平坦核算子<br/>建立径向反导数对应关系"]
    C --> D["尖锐核密度归一化<br/>分子分母同阶化构建得分差场"]
    D --> E["标量对数KDE损失推导<br/>无需显式构场，原生自动微分"]
    E --> F["输出：单步生成器参数 θ 梯度更新<br/>达到平衡态 p=q"]

关键设计¶

1. 尖锐核与平坦核算子：建立核梯度与反导数的严谨映射 原始漂移场试图通过核加权位移向量 $\mathbb{E}[k(\mathbf{x},\mathbf{y})(\mathbf{y}-\mathbf{x})]$ 指引粒子移动。为了探究这一项何时能够表示为标量势能的梯度，作者借用乐理中的升降号（sharp 与 flat），定义了升阶反导数核 $k^{\#}$ 与降阶导数核 $k^{\flat}$： $$ \nabla_{\mathbf{x}}k^{#}(\mathbf{x},\mathbf{y}) = k(\mathbf{x},\mathbf{y})(\mathbf{y}-\mathbf{x}), \qquad \nabla_{\mathbf{x}}k(\mathbf{x},\mathbf{y}) = k^{\flat}(\mathbf{x},\mathbf{y})(\mathbf{y}-\mathbf{x}) $$ 对于一般的径向核 $k(\mathbf{x},\mathbf{y})=\phi(\|\mathbf{x}-\mathbf{y}\|^2)$，尖锐核拥有封闭的解析积分形式：$k^{\#}(\mathbf{x},\mathbf{y}) = \frac{1}{2}\int_{\|\mathbf{x}-\mathbf{y}\|^2}^\infty \phi(r)\,\mathrm{d}r$。这意味着未归一化的漂移位移场本身恒等于以尖锐核构成的 MMD 势能的负梯度，因而未归一化场天然是保守的。然而，一旦除以普通核 $k$ 的局部密度 $Z(\mathbf{x})$，分母与分子所对应的有效平滑核产生阶数脱节，导致空间各向异性畸变。高斯核是唯一满足 $k^{\#} \propto k$ 的径向特例，因而在原版漂移中偶然保持了保守性；而对于拉普拉斯核（其 $k^{\#}(r)=\sigma(r+\sigma)e^{-r/\sigma}$）以及有理二次核，原版漂移场均产生显著的非零旋度。

2. 尖锐归一化漂移场：平滑得分差流与平衡态唯一辨识性 为了在保留局部自适应归一化（防止样本远离数据区时信号消失）的同时彻底消除非保守涡流，作者提出尖锐归一化因子 $Z_p^{\#}(\mathbf{x}) := \mathbb{E}_{\mathbf{y}^+\sim p}[k^{\#}(\mathbf{x},\mathbf{y}^+)] = p_{\mathrm{KDE}}[k^{\#}](\mathbf{x})$。将正负子场的分母分别替换为 $Z_p^{\#}$ 与 $Z_q^{\#}$ 后，漂移向量场被重构为： $$ \mathbf{V}{p,q}^{#}(\mathbf{x}) = \frac{\nabla}}p_{\mathrm{KDE}k^{#}}{p_{\mathrm{KDE}}k^{#}} - \frac{\nabla_{\mathbf{x}}q_{\mathrm{KDE}}k^{#}}{q_{\mathrm{KDE}}k^{#}} = \nabla_{\mathbf{x}}\log p_{\mathrm{KDE}}k^{#} - \nabla_{\mathbf{x}}\log q_{\mathrm{KDE}}k^{#} $$ 这一形式与瓦瑟斯坦（Wasserstein）梯度流（即 Fokker-Planck 方程所刻画的 KL 散度最速下降速度场 $\nabla\log p - \nabla\log q_t$）完全吻合，只是其中的密度替换为了由尖锐核平滑后的核密度估计。更重要的是，在连通域及 $k^{\#}$ 特征核（characteristic kernel）条件下，该场处处为零充要等价于密度对数比为常数，结合积分质量守恒直接证明了 $\mathbf{V}_{p,q}^{\#}(\mathbf{x})=\mathbf{0} \iff p=q$。相比以往文献中繁复的伴随椭圆偏微分方程证明，尖锐归一化使得平衡态可辨识性的证明极其优雅直接。

3. 标量 log-KDE 势能：告别向量场构造的简洁训练目标 由于尖锐归一化漂移场是严格保守的，即 $\mathbf{V}_{p,q}^{\#}(\mathbf{x}) = -\nabla_{\mathbf{x}}\Phi_{p,q}^{\#}(\mathbf{x})$，其对应的标量势能函数为 $\Phi_{p,q}^{\#}(\mathbf{x}) = \log(q_{\mathrm{KDE}}[k^{\#}](\mathbf{x}) / p_{\mathrm{KDE}}[k^{\#}](\mathbf{x}))$。作者通过全导数链式法则证明，在带 stop-gradient 的生成器优化下，原本复杂的向量跟踪损失 $\nabla_\theta \mathbb{E}_\epsilon [\|f_\theta(\epsilon) - \mathrm{sg}(f_\theta(\epsilon) + \mathbf{V}(f_\theta(\epsilon)))\|^2]$ 在标量场下精确简化为标量势能期望的梯度： $$ \nabla_\theta \mathbb{E}\epsilon[\mathcal{L}^{\text{drift}}(\theta)] = 2 \nabla\theta \mathbb{E}{\mathbf{x}\sim q\theta}\left[\Phi_{p,\mathrm{sg}(q_\theta)}(\mathbf{x})\right] $$ 基于此，算法直接退化为一个极其紧凑、可通过 logsumexp 稳定实现的标量训练损失： $$ \mathcal{L}{p,q}^{\text{log-KDE}}(\theta) = \mathbb{E}}\sim q_\theta}\left[\log q_{\mathrm{KDE}k^{#} - \log p_{\mathrm{KDE}}k^{#}\right] $$ 工程实现上彻底省去了先计算成对位移矩阵、加权求和合成漂移场向量 $\mathbf{V}$、再用 MSE 逼近移动目标的冗余计算，完全兼容标准自动微分框架。

损失函数 / 训练策略¶

在具体实现中，针对高斯核与指数型核，作者给出了极具可操作性的 logsumexp 数值稳定计算策略。同时针对条件生成场景，作者将分类器无关引导（Classifier-Free Guidance, CFG）融入该标量损失：在每个 mini-batch 中混合生成样本与无条件数据样本 $p_{\text{data}}(\cdot|\varnothing)$，并将混合密度代入 $\tilde{q}_{\mathrm{KDE}}[k^{\#}](\mathbf{x})$ 的加权 logsumexp 计算中。在特征归一化上，作者摒弃了原版高方差的全局批平均距离归一化，改为维护每个类别内样本到其 $k$ 近邻平均距离的指数移动平均（EMA，$\beta=0.99, k=5$），大幅提升了单核宽训练时的尺度鲁棒性。

实验关键数据¶

主实验¶

评估在像素空间（MNIST、Fashion-MNIST）以及 Latent 空间（ImageNet-256，DiT-B/2 架构）展开。对比了标量 log-KDE 损失、原版 Drifting 实现（实测存在公式偏离，记为 Drifting）以及修正后忠实计算原始公式的 Naive Drifting 基线。

下表展示了各方法在最佳核带宽 $\sigma$ 下测得的 FID-50k（越低越好）与 F1 分数（越高越好）：

数据集	核函数	优化目标	最优带宽 $\sigma$	FID-50k ↓	F1 ↑
MNIST	高斯核	log-KDE-Gauss# (本文)	0.20	7.21 ± 0.42	0.56 ± 0.01
MNIST	高斯核	Drifting-Gauss [5]	0.25	37.62 ± 14.97	0.11 ± 0.15
MNIST	拉普拉斯核	log-KDE-Laplace# (本文)	0.10	29.12 ± 10.57	0.18 ± 0.16
MNIST	拉普拉斯核	Naive-Laplace (修正版)	0.05	10.95 ± 1.97	0.51 ± 0.03
MNIST	拉普拉斯核	Drifting-Laplace [5]	0.05	45.02 ± 14.75	0.05 ± 0.08
Fashion-MNIST	高斯核	log-KDE-Gauss# (本文)	0.25	30.57 ± 1.20	0.21 ± 0.01
Fashion-MNIST	高斯核	Drifting-Gauss [5]	0.25	64.87 ± 3.03	0.05 ± 0.01
Fashion-MNIST	拉普拉斯核	log-KDE-Laplace# (本文)	0.10	54.57 ± 4.33	0.07 ± 0.02
Fashion-MNIST	拉普拉斯核	Naive-Laplace (修正版)	0.10	48.65 ± 4.00	0.12 ± 0.02
Fashion-MNIST	拉普拉斯核	Drifting-Laplace [5]	0.10	75.69 ± 2.25	0.02 ± 0.00
ImageNet (Ablation)	高斯核	log-KDE-Gauss# (本文)	0.40	9.43	0.53
ImageNet (Ablation)	拉普拉斯核	log-KDE-Laplace# (本文)	0.40	9.35	0.50
ImageNet (Ablation)	拉普拉斯核	Drifting-Laplace [5]	0.05	8.67	n/a

消融实验与分析¶

作者对核带宽选择与漂移场构造算法的实现缺陷进行了深度消融与实证分析：

实验维度 / 配置	关键发现与量化表现	说明
原版 Drifting 归一化失配	原代码分母误用 $(Z_p+Z_q)^2$，导致正负样本交叉耦合（Eq. 21）	修正为解耦归一化的 Naive 显著由于原版（MNIST 上 FID 45.02 → 10.95）
核带宽敏感性（ImageNet）	log-KDE 偏好较平滑的大带宽（$\sigma \in [0.2, 0.4]$）	原版漂移局限于小带宽（$\sigma \in [0.05, 0.2]$），log-KDE 在宽尺度下生成更稳健
远离数据支撑集的尾部行为	MMD 梯度衰减至 0；原版漂移场无界发散；尖锐归一化保持有界平滑	图 3 显示尖锐归一化在拉普拉斯核下提供了理想的近常数恢复信号
类别条件采样队列消融	采用轻量 Class-Conditional BatchSampler 替换 201GB 显存队列	节约超 200GB 内存/显存开销，免去预热步骤且严格保持类内均匀分布

关键发现¶

标量目标完全匹敌甚至超越向量场：在 MNIST 和 Fashion-MNIST 上，标量 log-KDE 目标均大幅击败了原版 Drifting 方法（例如高斯核下 MNIST FID 从 37.62 骤降至 7.21），证明非保守自由度不仅不是性能优势，反而在某些场景下因引入涡流而损害收敛。
揭开高斯核特例的面纱：原版 Drifting 在高斯核下表现尚可，是因为高斯核的尖锐导数核与原核共线（$k^{\#} \propto k$）；但一旦拓展到其他非高斯重尾核，原版漂移场的非保守缺陷便暴露无遗。
代码级算法偏差：论文首次指出 Deng 等人在开源实现中计算的漂移场与论文正文定义存在本质差异，修正这一实现的 Naive 算法本身便带来了显著提升。

亮点与洞察¶

概念澄清的数学洞察：打破了“漂移模型必须借助非保守向量场超越标量损失”的流行迷思，证明了通过严密的尖锐核（anti-derivative kernel）归一化，漂移模型可以完美统一进 Wasserstein 梯度流与得分差匹配（score-difference transport）的古典理论体系。
极其优雅的工程简化：将原本需要构建大批次成对位移矩阵、加权求和得到向量目标、再通过 stop-gradient MSE 训练的多阶段流程，简化为一段仅需 10 行 Python 代码的标量 logsumexp 损失计算。
广泛的数学工具价值：提出的半整数阶 Matérn 核升降梯（smoothness ladder）定理，将拉普拉斯核、Matérn 族与高斯核统一在 index shift 框架下，为核方法与概率流建模提供了通用的理论分析工具。

局限与展望¶

理论与工程的现实间隙：群体层面的平衡态辨识性证明基于全分布期望假设，尚未完全覆盖有限小批量采样（minibatch KDE）、有限步优化器以及多尺度特征提取器联合训练时的动态收敛行为。
小带宽下的数值稳定性：在 ImageNet 实验中，log-KDE 相比原版漂移需要相对较大的带宽尺度（0.4 vs 0.05），在极小带宽下的数值稳定性与优化动态仍需更深入探索。
算法拓展潜力：既然后验机制已证实为分数差输运，未来可充分借鉴扩散模型中成熟的时间步调度（schedules）、去噪分数匹配策略及高阶采样器，进一步挖掘一笔前向生成的极限潜力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 理论深刻，首次严格证伪了漂移场的保守性假设，并提出优雅的尖锐核解决方案。
实验充分度: ⭐⭐⭐⭐ 覆盖了玩具集、像素生成及 ImageNet 潜在空间，消融与理论对照严密，若能补全大尺度步数生成更佳。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨流畅，概念定义清晰自然，附录证明完备。
价值: ⭐⭐⭐⭐⭐ 彻底简化了漂移模型的训练范式与理解心智模型，对单步生成理论研究具有里程碑意义。

实验维度 / 配置	关键发现与量化表现	说明
原版 Drifting 归一化失配	原代码分母误用 \((Z_p+Z_q)^2\)，导致正负样本交叉耦合（Eq. 21）	修正为解耦归一化的 Naive 显著由于原版（MNIST 上 FID 45.02 → 10.95）
核带宽敏感性（ImageNet）	log-KDE 偏好较平滑的大带宽（\(\sigma \in [0.2, 0.4]\)）	原版漂移局限于小带宽（\(\sigma \in [0.05, 0.2]\)），log-KDE 在宽尺度下生成更稳健
远离数据支撑集的尾部行为	MMD 梯度衰减至 0；原版漂移场无界发散；尖锐归一化保持有界平滑	图 3 显示尖锐归一化在拉普拉斯核下提供了理想的近常数恢复信号
类别条件采样队列消融	采用轻量 Class-Conditional BatchSampler 替换 201GB 显存队列	节约超 200GB 内存/显存开销，免去预热步骤且严格保持类内均匀分布