Training-Free Generative Sampling via Moment-Matched Score Smoothing¶

会议: NeurIPS 2026
arXiv: 2605.14276
论文: https://arxiv.org/abs/2605.14276
领域: 图像生成
关键词: 无需训练生成采样, 扩散模型, 分数平滑, 朗之万动力学, 矩匹配

一句话总结¶

提出无需训练的矩匹配分数平滑过阻尼朗之万动力学采样器（MM-SOLD），通过在相互作用粒子系统上强制约束经验均值与协方差，消除传统分数平滑引起的全局重心坍缩与过度平滑畸变，在 CPU 上实现兼具高保真度与多样性的无训练生成采样。

研究背景与动机¶

扩散模型通过反向模拟前向加噪随机微分方程（SDE）实现高质量生成，其反向漂移项严重依赖扰动数据分布的对数概率密度梯度（即 Score 函数）。然而在有限样本数据集上，经验分数匹配损失存在精确的闭式解析解——即经验测度扩散产生的高斯混合模型（GMM）的精确分数。若直接在采样中套用该闭式经验分数，随着反向时间逼近零，方差迅速衰减，Softmax 权重极度集中于最近邻训练样本，导致采样轨迹完全被拉回训练点并退化为平凡的“死记硬背”（Memorization），彻底丧失泛化生成能力。

近期理论研究指出，神经网络扩散模型之所以具备泛化性，本质上是在隐式对经验分数进行了平滑（Score Smoothing），从而捕捉低维流形几何结构。受此启发，无需训练的闭式扩散模型尝试利用高斯核卷积对经验分数进行显式平滑。然而，纯粹的分数平滑对平滑带宽具有致命的尺度敏感性：平滑核带宽过小时无法消除邻近训练点的记忆效应；带宽过大时，局部插值退化为全局样本凸组合的重心平均（Barycentric Averaging），导致采样分布向训练点重心严重坍缩，并在高维空间产生模糊畸变。

为了打破这种尺度敏感性并兼顾局部流形插值与全局真实几何，本文提出在相互作用粒子系统中引入全局统计量约束。核心 idea：将经验分数平滑与粒子级一阶、二阶矩匹配深度耦合，通过在中心化缩放 Stiefel 流形上演化相互作用粒子系统，在保留局部流形平滑插值的同时严格锁定全局均值与协方差，从根源上消除重心坍缩并实现无训练的高效生成采样。

方法详解¶

整体框架¶

MM-SOLD 的核心机制是构建一个包含 $P$ 个相互作用粒子的过阻尼朗之万动力学（Overdamped Langevin Dynamics）系统。在每一轮采样迭代中，算法不仅沿平滑后的经验分数场驱动粒子演化以探索局部流形几何，而且在每一步显式将粒子矩阵投影到满足训练数据经验均值 $\mu^*$ 与经验协方差 $\Sigma^*$ 的流形切空间中，并利用正交 QR 分解进行回拉收缩（Retraction）。

整体流水线包含三个主要阶段： 1. 坐标变换与几何流形映射：利用训练集协方差的 Cholesky 分解矩阵 $L^*$（满足 $\Sigma^* = L^*(L^*)^\top$），将原空间粒子坐标 $Z \in \mathbb{R}^{P \times d}$ 仿射变换至中心化白化空间 $Y \in \mathbb{R}^{P \times d}$，将复杂的矩匹配约束转化为标准中心化缩放 Stiefel 流形约束； 2. 切空间投影朗之万更新：在原空间中通过局部近邻估计器高效计算负平滑分数（漂移项），经 Cholesky 变换拉回至 $Y$ 空间，结合切空间正交投影算子同时约束漂移与布朗噪声，采用 Leimkuhler–Matthews（LM）差分格式平稳更新粒子； 3. 流形收缩与反向重构：通过中心化约化 QR 分解将偏离流形的粒子严格投影回 Stiefel 流形，并在迭代完成后反解恢复至高保真数据样本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：训练样本 {x_i} 与初始 GMM 粒子 Z_0"] --> B["1. 矩约束与 Stiefel 流形重构<br/>白化坐标变换 Y=(Z-1μ*^T)(L*)^-T"]
    B --> C["2. 近邻平滑分数估计<br/>对偶扰动投影空间采样与自适应无偏截断"]
    C --> D["3. 切空间投影朗之万动力学<br/>中心化切空间投影与 LM 低偏差更新"]
    D --> E["4. QR 流形收缩与几何恢复<br/>约化 QR 重投影并在迭代终止时逆变换输出"]

关键设计¶

1. 矩约束与 Stiefel 流形重构：将高维全协方差约束等价化为紧致黎曼流形

若直接在原始空间中对粒子施加经验均值 $\hat{\mu}_P(Z) = \mu^*$ 与经验协方差 $\hat{\Sigma}_P(Z) = \Sigma^*$ 的约束，计算量大且难以直接构造黎曼积分器。MM-SOLD 通过仿射映射 $Y = (Z - \mathbf{1}_P {\mu^*}^\top)(L^*)^{-\top}$ 将粒子投影至白化空间，其中 $\Sigma^* = L^*(L^*)^\top$ 为训练协方差的 Cholesky 分解。在该空间下，矩匹配条件被严格等价为两组代数约束：行和为零的中心化约束 $\mathbf{1}_P^\top Y = 0$，以及列正交缩放约束 $Y^\top Y = P I_d$。这表明粒子矩阵 $Y$ 严格演化于中心化缩放 Stiefel 流形 $\mathcal{M}_P := \{Y \in \mathbb{R}^{P \times d} : \mathbf{1}_P^\top Y = 0, Y^\top Y = P I_d\}$ 上（天然要求粒子数 $P \geq d + 1$）。通过该重构，复杂的矩阵二次方程约束被转化为标准黎曼流形优化，奠定了高维稳定采样的基础。

2. 切空间投影朗之万动力学：无偏漂移拉回与几何保持更新

在流形 $\mathcal{M}_P$ 上的粒子演化由平滑势能 $V(z) := -\mathbb{E}_{\varepsilon \sim \rho_\varepsilon}[\log \hat{p}^\delta(z + \sigma \varepsilon)]$ 驱动，其负梯度为平滑分数 $g(z) = \nabla V(z)$。为了保证粒子不脱离几何约束，算法将原空间堆叠梯度 $G^Z$ 通过拉回公式 $G^Y = G^Z L^*$ 映射至 $Y$ 空间，并设计复合切空间投影算子 $\Pi_Y(A) := \Pi_Y^{\mathrm{St}}(\Pi_{\mathrm{ctr}}(A))$。其中 $\Pi_{\mathrm{ctr}}(A) = A - \frac{1}{P} \mathbf{1}_P \mathbf{1}_P^\top A$ 保证零均值，而 $\Pi_Y^{\mathrm{St}}(A) = A - Y \operatorname{sym}(\frac{1}{P} Y^\top A)$ 保证列正交性切向。不仅漂移项经过切空间投影，各向同性布朗噪声矩阵 $\Xi$ 同样施加切空间投影，结合 Leimkuhler–Matthews（LM）对称时间离散格式： $$ \widetilde{Y}_{k+1} = Y_k - h \widetilde{G}k + \sqrt{\frac{h}{2}} (\widetilde{\Xi}_k) $$ 该设计显著降低了离散化时间步长偏差，保证相互作用粒子系统在探索数据概率密度的同时严格遵循全局几何矩约束。}} + \widetilde{\Xi

3. QR 流形收缩与几何恢复：数值漂移矫正与闭式代数重投影

虽然切空间投影保证了连续动力学或无穷小步长下的流形切向演化，但有限步长 $h$ 的数值积分必然引发粒子偏离 $\mathcal{M}_P$ 流形曲面。MM-SOLD 引入了计算轻量且数值稳定的中心化约化 QR 收缩映射：对更新后的中间状态 $\widetilde{Y}_{k+1}$ 首先进行中心化得到 $A_c = \Pi_{\mathrm{ctr}}(\widetilde{Y}_{k+1})$，随后进行约化 QR 分解 $A_c = Q R$，最终定义收缩算子为 $\mathcal{R}(\widetilde{Y}_{k+1}) = \sqrt{P} Q$（并施加对角线正负号矫正）。由于 $A_c$ 均值为零且列满秩，正交基矩阵 $Q$ 自然满足 $\mathbf{1}_P^\top Q = 0$ 与 $Q^\top Q = I_d$，使得收缩后的状态严格落回 $\mathcal{M}_P$。在完成 $T$ 步采样后，通过逆仿射变换 $Z_T = \mathbf{1}_P {\mu^*}^\top + Y_T (L^*)^\top$ 瞬间映射回真实数据空间，无需任何后处理网络修正。

4. 近邻平滑分数估计：投影子空间对偶扰动与无偏截断

当样本量 $N$ 或环境维度 $d$ 较大时，全集高斯混合评估极度消耗算力。MM-SOLD 提出了局部近邻无偏平滑估计策略：对于每个查询粒子，仅检索保留其 $K$ 个最近邻训练样本集合 $A_K(z)$，同时从剩余 $N-K$ 个样本中均匀无放回随机抽取 $L$ 个样本 $B_L(z)$ 构成修正集，分配重要性权重以消除截断偏差。更为关键的是，当子空间样本数 $K + L < d$ 时，利用局部核 Gram 矩阵 $G_{ab} = \langle \nu_a, \nu_b \rangle$ 直接在 $K+L$ 维投影空间中采样高斯扰动 $\eta \sim \mathcal{N}(0, G)$，使得局部 Softmax 对数概率增量完全由标量内积确定，彻底规避了高维 $d$ 维全空间高斯矢量的采样与矩阵投影开销；配合对偶扰动对 $z \pm \sigma \varepsilon$，在将 Monte Carlo 方差大幅削减的同时实现了近线性吞吐。

损失函数 / 训练策略¶

MM-SOLD 为纯正的无训练（Training-Free）生成算法，完全免除了神经网络的梯度反向传播、超参数优化及 GPU 训练过程。采样阶段涉及的超参数主要包括 GMM 分量标准差 $\delta$、分数平滑带宽 $\sigma$、Monte Carlo 扰动样本数 $M$ 以及朗之万步长 $h$。论文理论推导指出，高密度采样区域的局部漂移 Lipschitz 常数受限于 $L_{\mathrm{eff}} = O(\delta^{-2})$，因此数值稳定的朗之万步长尺度上限满足 $h_{\max} \asymp O(\delta^2)$。实验中通过在训练集上直接预计算经验均值 $\mu^*$ 与 Cholesky 分解矩阵 $L^*$，初始化粒子直接从经验数据 GMM 中抽取，使得粒子能够在极少迭代轮次（如 100 步）内迅速混合并收敛。

实验关键数据¶

主实验¶

论文在 NRAE（核范数正则化自编码器）隐空间中的手写数字“8”单类生成任务以及 CelebA-HQ（$256 \times 256$ 分辨率，700 维隐空间）图像生成任务上，全面对比了 MM-SOLD、无训练基线 $\sigma$-CFDM 以及有监督训练的潜空间扩散基线 Latent DDPM。评估指标包括生成保真度（KID、FID）、覆盖多样性（Recall）、记忆重复率（DupRate）及训练与单样本生成时间。

数据集	指标	MM-SOLD (本文, CPU)	$\sigma$-CFDM (无训练基线, CPU)	Latent DDPM (有训练基线, GPU)	相比 $\sigma$-CFDM 提升
Handwritten digit-8	KID $\downarrow$	0.0697 ± 0.0085	0.2699 ± 0.0266	0.2746 ± 0.0444	74.2% $\downarrow$
Handwritten digit-8	Recall $\uparrow$	0.8100 ± 0.0101	0.7707 ± 0.0122	0.7420 ± 0.0218	+5.1% $\uparrow$
Handwritten digit-8	DupRate $\downarrow$	0.0000 ± 0.0000	0.0000 ± 0.0000	0.0080 ± 0.0034	持平 (零记忆)
Handwritten digit-8	采样耗时 $\downarrow$	2.80 ms	6.67 ms	9.40 ms (V100)	2.38× 速度
CelebA-HQ ($256\times 256$)	FID $\downarrow$	1.8025 ± 0.0785	2.5255 ± 0.1209	1.6583 ± 0.1129	28.6% $\downarrow$
CelebA-HQ ($256\times 256$)	KID $\downarrow$	0.0020 ± 0.0001	0.0029 ± 0.0001	0.0017 ± 0.0001	31.0% $\downarrow$
CelebA-HQ ($256\times 256$)	Recall $\uparrow$	0.5760 ± 0.0115	0.4200 ± 0.0272	0.4820 ± 0.0394	+37.1% $\uparrow$
CelebA-HQ ($256\times 256$)	DupRate $\downarrow$	0.0000 ± 0.0000	0.0020 ± 0.0013	0.0150 ± 0.0046	彻底消除记忆
CelebA-HQ ($256\times 256$)	训练耗时 $\downarrow$	0 h	0 h	13.15 h (H100)	无需训练

消融实验¶

论文在二维 Checkerboard 数据集上系统消融了朗之万步长 $h$ 与步数 $T$ 对切片 Wasserstein 距离（$\text{SW}_2$）的影响，并在手写数字隐空间上研究了粒子规模 $P$ 与训练样本数 $N$ 对比显式倾斜动力学（Kinetic Langevin）的极限演化特性。

配置	核心指标 (手写数字 KID $\downarrow$)	机制分析与说明
MM-SOLD ($P=2000, N=1000$)	0.0697	粒子系统严格渐进逼近极限自由能最小化测度，达到最高保真度
MM-SOLD ($P=500, N=1000$)	0.0980	粒子数减少导致经验矩约束对连续测度约束的逼近精度轻微下降
MM-SOLD ($P=101, N=1000$)	0.1650	接近理论下限 $P \geq d+1 = 101$，粒子间相互作用减弱
显式动力学 Kinetic Langevin ($N=1000$)	0.1400	基于经验训练集参数估计出的 $(\hat{\lambda}, \hat{\Lambda})$ 倾斜目标采样，无粒子级强约束
显式动力学 Kinetic Langevin ($N=100$)	0.2380	样本稀疏时 Lyapunov 参数估计方差剧增，目标分布严重失真
MM-SOLD ($P=500, N=100$)	0.1500	粒子动力学直接在流形上耦合演化，在极少样本下表现出强鲁棒性

关键发现¶

矩匹配彻底粉碎重心坍缩：无约束的平滑分数采样基线 $\sigma$-CFDM 会在平滑核带宽增大时将样本压至训练点凸包内部的局部重心，表现为数字笔画断裂、人脸缺乏身份纹理与背景模糊。MM-SOLD 引入协方差正交约束后，强制粒子分散铺展于流形真实曲面，在宽泛的 $(\sigma, M)$ 网格内均保持极低的 KID 与优异的视觉多样性。
粒子级几何约束优于显式参数估计：在大粒子极限下（$P \to \infty$），MM-SOLD 粒子的平稳边缘分布在理论上等价于对朴素平滑目标进行一阶和二阶指数倾斜（Exponential Tilting）的 Gibbs-Boltzmann 分布。但在有限数据场景下，显式估计包含 $O(d^2)$ 参数的倾斜矩阵 $\Lambda$ 极易产生偏差；MM-SOLD 通过在粒子系统内部内化该几何流形约束，避免了高维参数估计误差。
CPU 高效并发与端侧友好：得益于局部近邻 Gram 投影技巧，MM-SOLD 完全无需 GPU 显存依赖。在纯 CPU 单核环境下，手写数字的单样本生成时间仅需 2.80 毫秒，较 V100 GPU 上运行的 DDPM 还要快 3.36 倍，展现出在边缘计算和低延迟在线生成场景中的巨大应用价值。

亮点与洞察¶

黎曼流形粒子耦合求解生成采样：将原本无法解析求解的矩约束变分自由能最小化问题，转化为粒子系统在中心化缩放 Stiefel 流形上的受约束过阻尼朗之万动力学，设计极其严密巧妙。
投影子空间高斯内积平滑技巧：发现高维各向同性高斯平滑对局部 Softmax logits 的扰动仅通过内积发生作用，巧妙利用局部 Gram 矩阵将 $d$ 维全空间高斯采样降维至 $K+L$ 维流形子空间，为高维核方法在生成模型中的落地扫清了算力障碍。
通用可迁移性：MM-SOLD 的矩约束相互作用粒子机制不仅适用于图像隐空间生成，还可直接迁移至语音合成、分子构型生成、贝叶斯后验推断以及强化学习中需要控制经验边界的探索轨迹采样。

局限与展望¶

粒子规模受制于特征维度：由于 Stiefel 约束的几何要求，相互作用粒子总数必须满足 $P \geq d + 1$。当隐空间特征维度极高（如数万维的原始像素或稠密嵌入）时，必须同时维护巨大的粒子批次，限制了超高维端到端像素生成的独立单样本采样。
高阶矩与深层流形结构未完全捕获：二阶矩匹配仅能精准刻画椭球类全局轮廓；当真实数据流形具有高度复杂、细长弯曲或非线性的高阶拓扑时，仅靠一二阶矩约束仍无法替代深度卷积/Transformer 架构内嵌的归纳偏置（Inductive Bias）。
未来方向：探索引入非线性核嵌入或高阶累积量（Cumulants）约束的黎曼动力学，并结合轻量级神经网络架构先验进一步缩小在复杂开放域图像生成上与大规模训练生成模型的差距。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立经验分数平滑动力学与 Stiefel 粒子矩匹配的理论等价性，从变分自由能角度证明其极限倾斜测度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D 合成流形、100 维数字隐空间、700 维人脸隐空间、分类下游评估以及详尽的步长、粒子数和样本量消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，附录证明完备，流形几何与算法映射条理极其清晰。
价值: ⭐⭐⭐⭐⭐ 为解决深度生成模型训练成本高昂与泛化机制黑盒提供了颠覆性的无训练新范式。

数据集	指标	MM-SOLD (本文, CPU)	\(\sigma\)-CFDM (无训练基线, CPU)	Latent DDPM (有训练基线, GPU)	相比 \(\sigma\)-CFDM 提升
Handwritten digit-8	KID \(\downarrow\)	0.0697 ± 0.0085	0.2699 ± 0.0266	0.2746 ± 0.0444	74.2% \(\downarrow\)
Handwritten digit-8	Recall \(\uparrow\)	0.8100 ± 0.0101	0.7707 ± 0.0122	0.7420 ± 0.0218	+5.1% \(\uparrow\)
Handwritten digit-8	DupRate \(\downarrow\)	0.0000 ± 0.0000	0.0000 ± 0.0000	0.0080 ± 0.0034	持平 (零记忆)
Handwritten digit-8	采样耗时 \(\downarrow\)	2.80 ms	6.67 ms	9.40 ms (V100)	2.38× 速度
CelebA-HQ (\(256\times 256\))	FID \(\downarrow\)	1.8025 ± 0.0785	2.5255 ± 0.1209	1.6583 ± 0.1129	28.6% \(\downarrow\)
CelebA-HQ (\(256\times 256\))	KID \(\downarrow\)	0.0020 ± 0.0001	0.0029 ± 0.0001	0.0017 ± 0.0001	31.0% \(\downarrow\)
CelebA-HQ (\(256\times 256\))	Recall \(\uparrow\)	0.5760 ± 0.0115	0.4200 ± 0.0272	0.4820 ± 0.0394	+37.1% \(\uparrow\)
CelebA-HQ (\(256\times 256\))	DupRate \(\downarrow\)	0.0000 ± 0.0000	0.0020 ± 0.0013	0.0150 ± 0.0046	彻底消除记忆
CelebA-HQ (\(256\times 256\))	训练耗时 \(\downarrow\)	0 h	0 h	13.15 h (H100)	无需训练

配置	核心指标 (手写数字 KID \(\downarrow\))	机制分析与说明
MM-SOLD (\(P=2000, N=1000\))	0.0697	粒子系统严格渐进逼近极限自由能最小化测度，达到最高保真度
MM-SOLD (\(P=500, N=1000\))	0.0980	粒子数减少导致经验矩约束对连续测度约束的逼近精度轻微下降
MM-SOLD (\(P=101, N=1000\))	0.1650	接近理论下限 \(P \geq d+1 = 101\)，粒子间相互作用减弱
显式动力学 Kinetic Langevin (\(N=1000\))	0.1400	基于经验训练集参数估计出的 \((\hat{\lambda}, \hat{\Lambda})\) 倾斜目标采样，无粒子级强约束
显式动力学 Kinetic Langevin (\(N=100\))	0.2380	样本稀疏时 Lyapunov 参数估计方差剧增，目标分布严重失真
MM-SOLD (\(P=500, N=100\))	0.1500	粒子动力学直接在流形上耦合演化，在极少样本下表现出强鲁棒性