Training-Free Generative Sampling via Moment-Matched Score Smoothing¶
会议: NeurIPS 2026
arXiv: 2605.14276
领域: 其他
关键词: 生成采样、得分平滑、朗之万动力学、免训练生成、相互作用粒子系统
一句话总结¶
提出矩匹配得分平滑过阻尼朗之万动力学（MM-SOLD），通过在采样粒子上引入中心化缩放 Stiefel 约束保持训练集一阶与二阶矩，消除经验得分平滑中的重心塌缩，无需模型训练或 GPU 即可实现高保真度与高多样性的扩散生成采样。
研究背景与动机¶
扩散模型通过反转前向加噪过程来生成高质量样本，其核心驱动力是扰动数据分布的对数梯度（即得分函数）。在实际应用中，得分函数通常由深度神经网络通过得分匹配目标进行参数化拟合。然而，这种拟合过程不仅极度消耗计算资源、高度依赖高性能 GPU 集群，而且在数据受限、在线学习或低延迟边缘场景下往往成为主要瓶颈。更引人深思的是理论层面的矛盾：在有限样本训练集上，经验得分匹配损失存在解析解——即以经验测度为初值的扩散高斯混合模型（GMM）的解析得分；然而直接沿该封闭形式得分采样会导致轨迹直接落回训练样本，产生完全的过拟合记忆，根本无法生成新样本。
近期理论研究指出，神经网络训练的隐式正则化偏置在本质上起到了对经验得分函数进行空间平滑的作用，这种平滑能够有效捕获低维流形几何并赋予模型泛化能力。然而，现有的免训练得分平滑方法（如基于直向流动 ODE 的 \(\sigma\)-CFDM）面临着严重的尺度敏感性与几何畸变难题：当平滑带宽过小时，采样器依然无法摆脱对训练样本的局部记忆；而一旦增大幅度，得分平滑在消除记忆的同时会将样本强烈拉向训练数据子集的几何重心，导致全局流形退化与严重的“重心塌缩（barycentric collapse）”，在图像空间产生高度模糊、细节丧失的均值化样本。尽管流形自适应核理论上能减缓畸变，但它所依赖的高维黎曼几何先验在实际任务中根本无法获取。
针对上述平滑尺度失真与全局塌缩的核心矛盾，本文提出的切入角度是：得分平滑应当仅承担“在训练样本之间进行局部插值”的功能，而数据的全局几何结构（至少是一阶均值与二阶协方差）必须受到硬性保护。核心 idea：构建矩匹配得分平滑过阻尼朗之万动力学（MM-SOLD），将独立采样转化为相互作用粒子系统，在每一步迭代中通过流形投影与收缩将粒子的经验均值和协方差精确对齐训练集真实矩，在大粒子极限下收敛至对朴素平滑目标进行一阶与二阶指数倾斜的吉布斯-玻尔兹曼平衡态，彻底消除重心塌缩。
方法详解¶
整体框架¶
MM-SOLD 将生成采样形式化为一个受几何约束的相互作用粒子系统（Interacting Particle System）。给定包含 \(N\) 个样本的训练集 \(\{x_i\}_{i=1}^N \subset \mathbb{R}^d\)，首先预先计算训练集的经验均值 \(\mu^*\)、经验协方差 \(\Sigma^*\) 及其 Cholesky 分解因子 \(L^*\)（满足 \(\Sigma^* = L^*(L^*)^\top\)）。采样过程中维持 \(P\) 个粒子（满足 \(P \ge d+1\)），构成粒子矩阵 \(Z \in \mathbb{R}^{P \times d}\)。为了免去在物理空间直接处理非线性矩约束的开销，算法将粒子线性变换至白化空间 \(Y \in \mathbb{R}^{P \times d}\)，将均值与协方差守恒等价转化为一个中心化且缩放的 Stiefel 紧致黎曼流形 \(\mathcal{M}_P\)。在白化流形上，算法利用拉回的平滑得分梯度与切空间投影朗之万动力学推进粒子，并通过正交收缩（Retraction）修正离散化误差，最终逆变换输出满足矩匹配的高保真样本。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练集矩预计算<br/>经验均值与协方差 Cholesky 分解"] --> B["白化与中心化映射<br/>粒子变换至 Stiefel 流形"]
B --> C["局部近邻得分估计<br/>对偶扰动与投影空间高斯降维"]
C --> D["流形切空间投影与朗之万演化<br/>LM 离散化与中心化 QR 收缩"]
D -->|T 步动力学迭代完成| E["逆白化重构输出<br/>严格保持经验一二阶矩的生成样本"]关键设计¶
1. 白化空间与中心化 Stiefel 流形重构：将全局矩阵矩约束降阶为标准紧致流形
直接在原始粒子空间 \(Z \in \mathbb{R}^{P \times d}\) 上强加经验均值 \(\hat{\mu}_P(Z) = \mu^*\) 和经验协方差 \(\hat{\Sigma}_P(Z) = \Sigma^*\) 会产生高维耦合的非线性流形，优化与数值求解难度极大。为了攻克这一计算障碍，本文设计了全局仿射白化与逆白化变换： $\(Y = (Z - \mathbf{1}_P \mu^{*\top})(L^*)^{-\top}, \quad Z = \mathbf{1}_P \mu^{*\top} + Y (L^*)^\top\)$ 在此变换下，原始矩约束被严格证明等价于白化粒子矩阵 \(Y\) 的两组紧致几何条件：列和为零 \(\mathbf{1}_P^\top Y = 0\)，且 Gram 矩阵正交标度 \(Y^\top Y = P I_d\)。这就将原本复杂的椭球约束精确规整为定义在行空间上的中心化标度 Stiefel 流形： $\(\mathcal{M}_P := \left\{Y \in \mathbb{R}^{P \times d} : \mathbf{1}_P^\top Y = 0, \; Y^\top Y = P I_d\right\}\)$ 只要粒子数 \(P \ge d+1\)，流形 \(\mathcal{M}_P\) 恒非空且具有光滑紧致的几何结构。这一重构不仅使粒子群在每一步更新时天然保全了训练数据的全局一二阶几何骨架，而且为后续的高效投影积分提供了统一的代数解析形式。
2. 切空间双重投影与 Leimkuhler-Matthews 辛退火收缩：保流形的高精度朗之万更新
在白化流形 \(\mathcal{M}_P\) 上推进粒子时，必须确保连续时间的漂移项与随机布朗运动项均严格落在流形的切空间内。对于任意扰动方向矩阵 \(A \in \mathbb{R}^{P \times d}\)，本文推导了两步正交切空间投影算子 \(\Pi_Y(A) = \Pi_Y^{\mathrm{St}}(\Pi_{\mathrm{ctr}}(A))\)。其中中心化投影消除均值漂移，而 Stiefel 切空间投影消除方差膨胀： $\(\Pi_{\mathrm{ctr}}(A) = A - \frac{1}{P} \mathbf{1}_P \mathbf{1}_P^\top A, \quad \Pi_Y^{\mathrm{St}}(A) = A - Y \operatorname{sym}\left(\frac{1}{P} Y^\top A\right)\)$ 其中 \(\operatorname{sym}(B) = \frac{1}{2}(B + B^\top)\)。在离散化积分方案上，算法弃用了截断误差较大的传统 Euler-Maruyama 格式，改用具有二阶构型精度的 Leimkuhler-Matthews (LM) 格式，通过复用上一轮投影噪声 \(\widetilde{\Xi}_{\mathrm{prev}}\) 与当前噪声 \(\widetilde{\Xi}_k\) 显著降低时间离散化偏差。由于沿切向量迈步会导致微小切向漂移离开流形，算法随后施加基于中心化约化 QR 分解的保符号正交收缩 \(\mathcal{R}(\widetilde{Y}_{k+1}) = \sqrt{P} Q\)，保证粒子轨迹在每一步迭代后以解析机器精度严格闭合在 \(\mathcal{M}_P\) 之上。
3. 大粒子极限下的自由能变分特征与指数倾斜测度：刻画约束平衡态的严格理论归宿
在理论层面，本文解答了该粒子动力学在长时间平衡态下的测度收敛性质。对于未受约束的经验得分平滑朗之万扩散，其稳态测度对应于平滑高斯混合势函数 \(V(z) = -\mathbb{E}_{\varepsilon}[\log \hat{p}^\delta(z+\sigma\varepsilon)]\) 驱动的 Gibbs 测度。定理证明：当粒子数 \(P \to \infty\) 时，相互作用粒子系统的经验分布在弱收敛意义下收敛到受限自由能泛函 \(\mathcal{F}(\rho) = \int V(z)\rho(z)dz + \int \rho(z)\log\rho(z)dz\) 在矩约束测度族 \(\mathcal{C}(\mu^*, \Sigma^*)\) 上的唯一极小元： $\(\hat{p}_{\mu^*, \Sigma^*}^{\delta, k, \sigma}(z) = \frac{1}{Z_{\lambda, \Lambda}} \exp\left(-V(z) - \lambda^\top z - \frac{1}{2}(z - \mu^*)^\top \Lambda (z - \mu^*)\right)\)$ 该极限目标在数学上等价于对朴素平滑目标施加了线性与二次指数倾斜（Exponential Tilting），使其在一阶与二阶矩完全吻合真实经验矩的同时，在 KL 散度意义下与平滑得分目标保持最近距离。拉格朗日乘子向量 \(\lambda \in \mathbb{R}^d\) 与对称矩阵 \(\Lambda \in \mathrm{Sym}_d\) 由李雅普诺夫方程确定：\(\Sigma^* \Lambda + \Lambda \Sigma^* = 2(I_d - \operatorname{sym}(C))\)，其中交叉协方差矩阵 \(C = \mathbb{E}[(Z-\mu^*)g(Z)^\top]\)。这一严格结论建立了粒子约束与测度指数倾斜之间的等价桥梁，从根本上阐明了局部微观粒子交互如何自发纠正全局宏观几何畸变。
4. 局部近邻反向去偏估计与低维正交投影采样：突破高维得分评估的计算瓶颈
在包含数万训练样本的高维图像隐空间（如 CelebA-HQ 的 700 维空间），直接对所有训练点计算平滑得分的 Softmax 权重会耗尽显存与 CPU 算力。为此，MM-SOLD 提出了两项专门的代数加速机制：首先，对每个查询点仅检索保留 \(K\) 个最近邻样本，同时从剩余训练集中均匀无放回抽取 \(L\) 个样本作为无偏校正基准，赋予加权重要性权重 \(\omega_i = (N-K)/L\) 构成局部紧凑子集；其次，利用反向对偶扰动（Antithetic Perturbations）\(z \pm \sigma \varepsilon\) 进行蒙特卡洛积分，大幅消除平滑梯度估计的有限抽样方差；最后，当近邻总数 \(K+L < d\) 时，算法避免抽取完整的 \(d\) 维高斯噪声，而是直接利用样本局部的 Gram 矩阵在子空间内进行低维投影高斯采样。这一设计将单步得分计算复杂度由 \(O(P \cdot N \cdot d)\) 暴降为局部近邻的线性尺度，使得全流程在普通 CPU 上得以极速执行。
实验关键数据¶
主实验¶
论文在两项极具代表性的高维隐空间生成任务上进行了严格评测：基于 100 维 NRAE 隐空间的手写数字（Digit-8）图像生成，以及基于 700 维 NRAE 隐空间的 CelebA-HQ（\(256 \times 256\)）高分辨率人脸生成。对比基线包括目前唯一的无训练得分平滑生成器 \(\sigma\)-CFDM，以及经过完全充分训练的隐空间扩散概率模型（Latent DDPM）。评价指标涵盖保真度（KID / FID）、多样性覆盖率（Recall）、训练集复制记忆率（DupRate）以及训练与单样本生成时间。
| 数据集 | 评估指标 | MM-SOLD (本文) | \(\sigma\)-CFDM [33] | Latent DDPM [7] | 相对 \(\sigma\)-CFDM 提升 |
|---|---|---|---|---|---|
| Handwritten Digit-8 | KID \(\downarrow\) | 0.0697 ± 0.0085 | 0.2699 ± 0.0266 | 0.2746 ± 0.0444 | -74.2% |
| (100-dim 隐空间) | Recall \(\uparrow\) | 0.8100 ± 0.0101 | 0.7707 ± 0.0122 | 0.7420 ± 0.0218 | +5.1% |
| (1,000 训练样本) | DupRate \(\downarrow\) | 0.0000 ± 0.0000 | 0.0000 ± 0.0000 | 0.0080 ± 0.0034 | 持平 (完全零记忆) |
| 训练耗时 \(\downarrow\) | 0 h | 0 h | 0.20 h | 免训练 | |
| 采样耗时 \(\downarrow\) | 2.80 ms (CPU) | 6.67 ms (CPU) | 9.40 ms (V100 GPU) | 快 2.38× (比 GPU 快 3.36×) | |
| CelebA-HQ (\(256^2\)) | FID \(\downarrow\) | 1.8025 ± 0.0785 | 2.5255 ± 0.1209 | 1.6583 ± 0.1129 | -28.6% |
| (700-dim 隐空间) | KID \(\downarrow\) | 0.0020 ± 0.0001 | 0.0029 ± 0.0001 | 0.0017 ± 0.0001 | -31.0% |
| (27,000 训练样本) | Recall \(\uparrow\) | 0.5760 ± 0.0115 | 0.4200 ± 0.0272 | 0.4820 ± 0.0394 | +37.1% (多样性最优) |
| DupRate \(\downarrow\) | 0.0000 ± 0.0000 | 0.0020 ± 0.0013 | 0.0150 ± 0.0046 | 彻底杜绝记忆 | |
| 训练耗时 \(\downarrow\) | 0 h | 0 h | 13.15 h (H100 GPU) | 免训练 (节省 13+ 小时算力) | |
| 采样耗时 \(\downarrow\) | 45.21 ms (CPU) | 54.91 ms (CPU) | 16.23 ms (H100 GPU) | CPU 采样快 1.21× |
消融实验与分析¶
为了验证粒子矩匹配机制相对于直接从估计的显式指数倾斜目标进行独立采样的优越性，以及检验超参数鲁棒性，论文在数字生成与二维玩具分布上进行了系统的对比消融。
| 实验配置 / 变量 | 关键指标 | 结果与规律说明 |
|---|---|---|
| MM-SOLD (不同粒子数 \(P\)) | KID \(\downarrow\) (\(P=101 \to 2000\)) | 随着 \(P\) 从 101 增至 2000，KID 从 0.20 持续单调降至约 0.06，在 \(P \ge 300\) 时显著反超独立动力学 |
| 动量朗之万 (Kinetic Langevin BAOAB) | KID \(\downarrow\) (直接采样估计目标) | KID 在所有样本量下均停留在 0.14~0.24 区间；在小样本 (\(N=100\)) 时因矩估计偏差严重退化至 0.238 |
| 小样本规模 (\(N=100, P=500\)) | KID: MM-SOLD vs Kinetic | MM-SOLD 取得 0.150，大幅领先 Kinetic Langevin 的 0.238，证明微观粒子刚性约束显著抑制参数估计误差 |
| 步长与步数鲁棒性 (\(h \in [10^{-5}, 8 \times 10^{-3}]\)) | SW2 距离波动 | 在 \(h \le O(\delta^2) = 10^{-2}\) 稳定区域内，切片 Wasserstein 距离变化小于 20%（0.087 ~ 0.107），极易调参 |
| 平滑带宽与 MC 采样量 (\(\sigma, M\) 网格) | 全网格热力图差异 | 在所有测试带宽与采样数下，MM-SOLD 在 KID 与 Recall 上全面优于 \(\sigma\)-CFDM，未发生任何模式坍塌 |
此外，在基于 100 维 NRAE 隐空间的手写数字 10 分类基准测试（最小期望误分类代价准则，Minimum ECM）中，直接基于解析倾斜测度构建的无训练分类器取得 98.00% 的总测试准确率，不仅碾压在原始数据上训练的深度 MLP（93.77%），亦轻微超越采用 MM-SOLD 生成数据做 10 倍数据增强后训练的 MLP（97.90%），从反向诊断角度确证了该受限几何目标对真实类条件流形刻画的高保真度。
关键发现¶
- 矩约束彻底斩断重心塌缩枷锁：在 \(\sigma\)-CFDM 中，增大平滑带宽 \(\sigma\) 会促使粒子向各局部簇的凸组合均值集中，产生模糊均质化伪影；而 MM-SOLD 强制一阶均值与二阶协方差固定，迫使平滑核的扩散效应仅作用于流形切平面的局部流线插值，在保持数字笔画连续、人脸毛发与五官高清晰度的同时，斩获最优的生成分布覆盖率（Recall 达 0.5760）。
- 粒子相互作用优于显式参数估计：直接通过有限样本估计高维二阶倾斜矩阵 \(\Lambda\) 存在 \(O(d^2)\) 的自由度估计方差，在小样本场景下极易导致能量面失真；而 MM-SOLD 通过在采样时刻动态维护粒子系流形几何，以物理动力学约束自适应抵消了非仿射漂移偏差，展现出极强的样本量鲁棒性。
- 纯 CPU 推理超越传统 GPU 训练管线：MM-SOLD 在普通 CPU 单核/多核环境下的单样本采样仅需数毫秒至几十毫秒，彻底摆脱对 GPU 加速卡与梯度反传软件栈的依赖，推理吞吐与便捷性极其适合嵌入式计算与快速原型验证。
亮点与洞察¶
- 全局正交规整与局部微观平滑的正交解耦：论文最精巧的设计在于将“反过拟合”与“保结构”两种相互冲突的力量剥离——让经验核平滑全权负责局部样本间的连续流形缝合，让中心化 Stiefel 约束刚性锚定全局宏观坐标系，两者协同攻克了长期困扰免训练扩散模型的重心塌缩顽疾。
- 令人眼前一亮的理论自洽性：从微观上看似启发式的粒子 Gram 矩阵正交投影算法，在宏观大粒子极限 \(P \to \infty\) 下居然精确等价于受约束自由能泛函的极小化，自然导出一个在朴素未平滑目标上进行线性与二次指数倾斜的 Gibbs-Boltzmann 测度，展现了统计物理与生成建模交融的美感。
- 向其他交互粒子生成范式迁移的潜力：中心化缩放 Stiefel 投影与 LM 辛退火收缩算子具有高度模块化的通用数学形式，不仅能嵌入连续朗之万扩散，还可直接平移至基于粒子的 Stein 变分梯度下降（SVGD）、非均衡态重质点粒子动力学或少样本条件引导生成任务中。
局限与展望¶
- 粒子规模与维度下界硬性约束：由于中心化 Stiefel 几何要求矩阵正交基完备，算法在数学上严格限制生成粒子总数 \(P \ge d+1\)。在数万维的超高维像素空间中，这意味着单批次生成的粒子数必须超过维度，无法像传统神经网络生成器那样单粒子独立采样。
- 强曲率真实高维流形表征仍依赖优质隐空间：尽管 MM-SOLD 在人脸隐空间中表现亮眼，但其生成质量上限依然受限于预训练自编码器（如 NRAE）的隐空间线性化程度。面对几何曲率极端扭曲或拓扑不连通的复杂自然场景，纯二阶矩匹配难以完全捕获高阶张量几何。
- 未来改进方向：可进一步探索低秩松弛正交约束以摆脱 \(P \ge d+1\) 的维度束缚；同时，将模型轻量化先验或高阶矩统计量融入粒子约束，进一步逼近顶尖全参数扩散模型的图像合成质量。
相关工作与启发¶
- vs \(\sigma\)-CFDM (Scarvelis et al., 2023)：\(\sigma\)-CFDM 首次利用经验得分平滑与直向流动 ODE 实现免训练采样，但其本质是生成训练集局部子集的重心凸组合，导致严重模糊与多样性骤降；本文 MM-SOLD 引入朗之万扩散并施加全局矩约束，从数学结构上消除了重心塌缩，保真度与覆盖率显著领先。
- vs 神经参数化隐式扩散 (Latent DDPM / DiT)：神经网络模型通过反向传播隐式学习平滑几何，需要数小时乃至数天的 GPU 算力预训练，且黑盒稳态分布难以解析；MM-SOLD 完全免训练、纯 CPU 计算、拥有解析的极限指数倾斜 Gibbs 测度，为免训练实时生成开辟了全新路径。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将经验得分平滑与 Stiefel 相互作用粒子动力学开创性结合，从理论上揭示了二阶指数倾斜的极限测度形态。]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖二维玩具分布、高维手写数字分类与生成、高分辨率人脸生成、理论极限验证与细致的超参数消融。]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密精巧，物理直觉清晰自然，实验设计层次分明且分析透彻。]
- 价值: ⭐⭐⭐⭐⭐ [为资源受限场景提供了极具竞争力的 CPU 免训练生成方案，对扩散模型泛化机制的理论理解具有重要启示。]