Statistical Convergence of Spherical First Hitting Diffusion Models¶
会议: NeurIPS 2026
arXiv: 2605.07625
领域: 图像生成
关键词: 第一击中扩散模型, Doob h-变换, 极小极大收敛速率, 球面流形, 非参数统计
一句话总结¶
针对已知球面流形上的生成建模，本文首次在理论上证明了基于 Doob \(h\)-变换的自适应随机停止时间第一击中扩散模型（FHDM）在总变差距离下能达到极小极大最优统计收敛速率 \(\mathcal{O}(n^{-\alpha/(2\alpha+d-1)})\)（忽略对数因子）。
研究背景与动机¶
基于得分匹配的去噪扩散模型（DDM）在超逼真图像生成、文本合成以及下游判别模型的合成数据扩充中取得了卓越的实证效果。然而，经典的前向-反向 DDM 采用确定性、时间非齐次的反向扩散过程，为了保证前向过程充分收敛到与目标数据无关的各向同性高斯先验，反向采样通常需要在极细的时间网格上进行数百乃至数千步数值迭代。当目标数据具有已知的几何先验（例如分布在单位球面、紧流形或受约束边界上）时，传统模型不仅在采样时容易脱离流形表面，而且其固定的仿真时间尺度完全无法自适应路径层面的噪声演化，计算开销巨大。
为了利用流形先验消除固定的确定性时间轴，近年来提出的第一击中扩散模型（FHDM）改变了时间逆转范式。FHDM 将简单的扩散过程（如布朗运动）通过 Doob \(h\)-变换进行条件化，使得粒子从球体内部出发，在随机的“第一击中时间”（First Hitting Time）到达流形边界时，终端样本严格服从目标数据分布。虽然实证研究表明 FHDM 在 3D 点云、球面气候数据建模以及图生成上具有极快的生成速度与高质量表现，但学术界对其统计收敛性质与泛化误差一直缺乏严格的理论认知——由于第一击中时间是依赖全路径的随机停时，经典扩散模型中基于确定性时间拆解的 Girsanov 测度变换与得分匹配误差分析全部失效。
本文切入这一理论空白，首次对支撑在 \(d\) 维欧氏空间单位球面 \(\partial B\)（\(d \ge 3\)）上的 FHDM 展开了完整的非参数统计收敛性分析。核心 idea：通过引入 \(\varepsilon\)-早停投影截断与 Green 核位势分解，建立时间齐次 Doob \(h\)-变换与去噪得分匹配泛化界的严格等价，证明基于稀疏 ReLU 神经网络逼近的 FHDM 在总变差距离下达到了与流形内蕴维度 \(d-1\) 匹配的极小极大最优非参数收敛速率。
方法详解¶
整体框架¶
本文考虑定义在 \(d\) 维单位球边界 \(\partial B \subset \mathbb{R}^d\)（\(d \ge 3\)）上的目标分布 \(\Pi^*\)，假设其相对于固定初值点 \(z_0 \in B\) 的布朗运动泊松核具有 \(\alpha\)-Sobolev 平滑密度 \(\pi^* = \mathrm{d}\Pi^* / \mathrm{d}\mathbb{Q}_{\partial B}(z_0, \cdot) \in H^\alpha(\partial B)\)，且处处严格大于零。整个模型的数学机制围绕 Doob \(h\)-变换展开：利用调和函数 \(h(z) = \mathbb{E}^z[\pi^*(W_\tau)]\) 将吸收布朗运动转化为条件漂移过程 \(Z_t^h\)，使得粒子在触碰球面边界时精确落在目标测度上。
在实际估计与采样中，真实得分 \(\nabla \log h\) 是未知的，且当粒子逼近球面边界时漂移项存在奇异发散。为此，算法在球体内部引入 \((1-\varepsilon)\)-球面早停机制，将末态径向投影至目标球面 \(\partial B\)；利用经验样本构建第一击中桥来拟合去噪得分匹配损失，并借助稀疏 ReLU 网络对得分场进行逼近。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标球面分布与样本集<br/>X_i ~ iid Π* on ∂B"] --> B["1. Doob h-变换与时间齐次吸收SDE<br/>构造漂移项 ∇ log h 并建立去噪得分恒等式"]
B --> C["2. 边界邻域 ε-早停与径向投影<br/>在 ∂B_(1-ε) 处停时截断并向外投影 P_∂B"]
C --> D["3. 紧支集两阶段神经网络得分逼近<br/>内球 L_inf 逼近与外环带 Green 加权 L_2 拟合"]
D --> E["4. 统计风险分解与极小极大收敛<br/>平衡逼近误差、覆盖数复杂度与截断投影偏置"]
E --> F["输出样本分布与最优TV速率<br/>E[TV(Π*, Π^n)] ≲ n^(-α/(2α+d-1)) (log n)^(7/2)"]关键设计¶
1. Doob h-变换与时间齐次吸收SDE：将终态流形匹配转化为无显式时间的静态得分漂移
为了让简单随机游走在触碰到流形边界时精准符合目标测度，传统方法要么靠拒绝采样，要么依赖复杂的反射边界局部时。本文利用经典的 Doob \(h\)-变换技巧，以数据密度在布朗运动击中时上的调和延拓 \(h(z) = \mathbb{E}^z[\pi^*(W_\tau)] = \int_{\partial B} \frac{q(x \mid z)}{q(x \mid z_0)} \Pi^*(\mathrm{d}x)\) 为引导，使得鞅过程 \((h(Z_t))_{t \ge 0}\) 诱导出如下时间齐次的吸收扩散 SDE： $$ \mathrm{d}Z_t^h = \mathbf{1}_B(Z_t^h) \big(\nabla \log h(Z_t^h) \mathrm{d}t + \mathrm{d}W_t\big), \quad Z_0^h = z_0 \in B. $$ 这种构建带来了根本性的理论优势：漂移项 \(\nabla \log h(z)\) 不依赖时间变量 \(t\)，仅取决于粒子在球内的空间位置 \(z\)。通过证明引理 \(\nabla \log h(z) = \mathbb{E}^z[\nabla_2 \log q(Z_{\tau^h}^h \mid Z_0^h)]\)，论文将难以直接计算的总体得分与泊松核对数梯度的第一击中桥相联系，从而绕开了不可计算的积分，为去噪得分匹配提供了闭形式的期望表征。
2. 边界邻域 ε-早停与径向投影：规避边界极点发散与路径截断偏置的精确控制
由于泊松核 \(q(x \mid z) = \frac{1}{\sigma(\partial B)}\frac{1-\|z\|^2}{\|z-x\|^d}\) 在 \(z \to x \in \partial B\) 时具有奇异奇点，得分漂移在边界附近满足爆炸上界 \(\|\nabla \log h(z)\| \le \frac{d+2}{1-\|z\|}\)，直接在边界 \(\partial B\) 上应用 Girsanov 变换会导致测度变换的指数鞅发散。为了解决这一技术瓶颈，论文提出了早停机制：采样过程仅仿真到击中内层球面 \(\partial B_{1-\varepsilon}\) 的停时 \(\tau_{1-\varepsilon}\)，随后通过标准径向投影算子 \(P_{\partial B}(x) = x / \|x\|\) 映射回目标球面 \(\partial B\)。 论文在 Proposition 3.1 中严格证明了由此产生的截断投影偏置在总变差意义下受到受控界定： $$ \mathrm{TV}(\Pi^*, P_{\partial B}\sharp \mathbb{Q}{\partial B \beta = (\alpha - (d-1)/2) \land 1. $$ 这一界保证了只要早停参数 }}^h) \le C \varepsilon^{\beta / 2}, \quad \text{其中 \(\varepsilon\) 随样本量 \(n\) 以多项式速率收缩，几何早停带来的结构性偏差就不会破坏主导的非参数统计估计速率。
3. 紧支集两阶段神经网络得分逼近：内球一致收敛与外环带 Green 位势加权拟合
在随机生成时间下，得分匹配损失在路径上的积分无法按时间分块处理。论文利用位势理论（Potential Theory），通过布朗运动 Green 核的占据公式将路径积分转化为空间勒贝格积分： $$ \mathbb{E}^{z_0}\Big[\int_0^{\tau_{1-\varepsilon}^h} |s(Z_t^h) - \nabla \log h(Z_t^h)|^2 \mathrm{d}t \Big] = \int_{B_{1-\varepsilon}} G_{1-\varepsilon}(z, z_0) |s(z) - \nabla \log h(z)|^2 h(z) \mathrm{d}z. $$ 基于 Green 核在内球有界而在边界处线性退化 \(G_{1-\varepsilon}(z, z_0) \asymp (1-\varepsilon - \|z\|)\) 的渐近性质，网络构建采用“空间两分与流形降维”策略： 1. 内球 \(B_R\)：得分无限平滑，直接利用深层 ReLU 网络在 \(B_R\) 上实现 \(L^\infty\) 误差为 \(\mathcal{O}(N^{-\alpha/(d-1)})\) 的一致逼近。 2. 外环带 \(B_{1-\varepsilon} \setminus B_R\)：利用球面调和函数截断级数展开 \(h_N(r, x) = \sum_{l=0}^N \sum_{m=1}^{M_l} a_{lm} r^l Y_{lm}(x)\)，在径向节点上做多项式插值并拼接立体投影网络 \(\varphi_{\partial B, \pm}\)，在内蕴维度 \(d-1\) 上逼近球面坐标，从而以极低参数量实现 Green 加权 \(L^2\) 逼近率 \(\mathcal{O}(N^{-\alpha/(d-1)} \log N \log \varepsilon^{-1})\)。 最终通过单位分解网络完成拼接，使整体网络复杂度仅依赖于内蕴维度 \(d-1\) 而非环境空间维度 \(d\)。
4. 统计风险分解与极小极大收敛：经验过程复杂度与逼近误差的精确平衡
基于 Pinsker 不等式与针对停止扩散过程的 Girsanov 测度变换，经验风险极小化估计器 \(\widehat{s}\) 的泛化风险被分解为模型逼近误差与基于覆盖数度量的经验过程复杂度： $$ \mathbb{E}{z_0}\Big[\int_0^{\tau + \delta. $$ 论文通过精细的调和分析证明了损失函数类的一致上界 }^h} |\widehat{s}(Z_t^h) - \nabla \log h(Z_t^h)|^2 \mathrm{d}t\Big] \lesssim \inf_{s \in \mathcal{S}} \text{Bias}^2(s) + C(\mathcal{L})\frac{\log \mathcal{N}(\mathcal{L}, |\cdot|_{L^\infty(\partial B)}, \delta)}{n\(C(\mathcal{L}) \lesssim \log \varepsilon^{-1} + 1\) 仅以对数形式依赖截断参数。通过选择截断参数 \(\varepsilon = n^{-2\alpha / (\beta(2\alpha + d - 1))}\) 和有效基底阶数 \(N = n^{(d-1)/(2\alpha+d-1)}\)，将网络层数 \(\mathsf{L} \lesssim \log^2 n\)、稀疏度 \(\mathsf{S} \lesssim n^{(d-1)/(2\alpha+d-1)}\log^3 n\) 带入经验覆盖数评估，使得逼近误差与方差误差同阶，最终实现了全分布总变差下的极小极大收敛。
损失函数 / 训练策略¶
训练目标基于去噪得分匹配准则。给定独立同分布数据点 \(X_1, \dots, X_n \sim \Pi^*\)，真实损失为： $$ \widehat{s} = \arg\min_{s \in \mathcal{S}} \frac{1}{n}\sum_{i=1}^n L_s^\varepsilon(X_i), \quad \text{其中 } L_s^\varepsilon(x) = \mathbb{E}^{z_0}\Big[\int_0^{\tau_{1-\varepsilon}^x} |s(Z_t^x) - \nabla_2 \log q(x \mid Z_t^x)|^2 \mathrm{d}t\Big]. $$ 此处 \(Z_t^x\) 为条件化击中 \(x \in \partial B\) 的 \(q(x \mid \cdot)\)-变换扩散桥。为约束函数空间的经验覆盖数，假定假设网络类 \(\mathcal{S}\) 满足统一的空间发散控制约束： $$ \mathcal{S} = \Big{\phi \in \mathrm{NN}(\mathsf{L, W, S, B}) : |\phi(z)| \le \frac{12(d+2)}{1-|z|}\Big}. $$
实验关键数据¶
主实验：理论极小极大收敛率与生成特性对比¶
作为一篇纯数学统计理论论文，其核心定量结论是确立了球面生成任务中各生成范式的理论收敛速率界及算法特性。下表展示了本文建立的统计收敛保证与经典生成模型/理论基线的系统对比：
| 理论生成框架 | 数据支撑流形 | 目标生成时间机制 | 总变差距离收敛率上界 \(\mathbb{E}[\mathrm{TV}(\Pi^*, \widehat{\Pi}_n)]\) | 极小极大最优性匹配 |
|---|---|---|---|---|
| FHDM (本文) | 球面 \(\partial B \subset \mathbb{R}^d\) | 自适应随机第一击中时间 | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d-1}} (\log n)^{7/2})\) | 是 (匹配 \(d-1\) 维最优率) |
| 经典前向反向 DDM [24] | 欧氏立方体 \([-1,1]^d\) | 固定确定性时间 \(T < \infty\) | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d}} \mathrm{polylog}(n))\) | 是 (受制于全环境维度 \(d\)) |
| 流形嵌入 DDM [31] | 紧流形 \(\mathcal{M} \subset \mathbb{R}^d\) | 固定确定性时间 \(T < \infty\) | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d^*}} \mathrm{polylog}(n))\) (1-Wasserstein) | 否 (仅限 Wasserstein 弱度量) |
| 反射扩散模型 RDM [14] | 凸有界紧集 \(\Omega\) | 固定确定性时间 \(T < \infty\) | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d}} \mathrm{polylog}(n))\) | 是 (存在边界反射局部时开销) |
| 非参数核密度估计 KDE | 球面 \(\partial B \subset \mathbb{R}^d\) | 无迭代 (直接核估计) | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d-1}})\) | 是 (无采样生成机制，维度灾难下难落地) |
消融实验：误差项分解阶数与网络超参数敏感性¶
论文定理 2.9 与第 3 节的证明构造了各分解误差项与网络规模的理论依赖关系。下表总结了关键组成部分在最优速率平衡下的渐近阶数：
| 误差/复杂度构成项 | 渐近阶数 (以样本量 \(n\) 表征) | 理论作用机制与消除瓶颈 |
|---|---|---|
| 早停几何偏置 \(\mathrm{TV}(\Pi^*, P_{\partial B}\sharp \mathbb{Q}^h_{\partial B_{1-\varepsilon}})\) | \(\mathcal{O}(n^{-\frac{\alpha}{2\alpha+d-1}})\) | 设定 \(\varepsilon = n^{-\frac{2\alpha}{\beta(2\alpha+d-1)}}\)，由 Hölder 嵌入消除极点发散 |
| 内球逼近误差 \(\|s - \nabla \log h\|_{L^\infty(B_R)}^2\) | \(\mathcal{O}(n^{-\frac{2\alpha}{2\alpha+d-1}})\) | 内球光滑度任意高，由深层网络以高阶 Sobolev 扩张实现超快逼近 |
| 外环带 Green 加权逼近 | \(\mathcal{O}(n^{-\frac{2\alpha}{2\alpha+d-1}} (\log n)^2)\) | 球面调和函数谱分解截断 \(N = n^{\frac{d-1}{2\alpha+d-1}}\)，Green 核线性衰减抑制边界发散 |
| 经验过程复杂度项 \(C(\mathcal{L})\frac{\log \mathcal{N}}{n}\) | \(\mathcal{O}(n^{-\frac{2\alpha}{2\alpha+d-1}} (\log n)^7)\) | 网络稀疏度 \(\mathsf{S} \asymp N \log^3 N\)，对数因子通过 Pinsker 放大后保留 \((\log n)^{7/2}\) |
| 网络深度 \(\mathsf{L}\) | \(\mathcal{O}(\log^2 n)\) | 用于高效实现乘法门控、球坐标立体投影及多项式插值 |
| 网络参数极值 \(\mathsf{B}\) | \(\mathcal{O}(\mathrm{Poly}(n) \lor \varepsilon^{-4})\) | 控制梯度爆炸上界，确保经验损失覆盖数的有限性 |
关键发现¶
- 流形自适应性自发成立：FHDM 的最终收敛速率指数为 \(\frac{\alpha}{2\alpha + (d-1)}\)，分母中出现的严格是球面的流形内在拓扑维度 \(d-1\)，证明了该生成模型能够自动摆脱外周环境欧氏空间 \(\mathbb{R}^d\) 的维度诅咒。
- 随机生成时间的双刃剑得到化解：随机停时消除了时间非齐次的反向漂移，但引入了路径级鞅停时难以求积的问题；通过将布朗运动首达时间与 Green 核占据公式相结合，证明了随机仿真的期望总开销 \(\mathbb{E}[\tau^h] < \infty\) 在理论上是有界且严格可控的。
亮点与洞察¶
- 将位势理论与扩散生成统计理论深度融合：巧妙地将经典布朗运动 Green 核的边界线性退化特征，与边界附近爆炸的得分项相抵消，为分析随机停时生成模型提供了通用的分析范式。
- 构建了无时间维度的纯空间网络逼近体系：传统扩散分析需要处理复杂的空时 Sobolev 空间，本文利用球谐函数正交展开与立体投影，将径向坐标视为等效的“收敛距离”，大幅精简了网络结构复杂度。
- 推广潜力巨大：只要目标流形具备正则的边界且对应的扩散过程具备渐近良态的泊松核与 Green 函数（如光滑李群、紧对称空间），该证明体系即可直接平移。
局限与展望¶
- 依赖密度的严格正下界假设：理论推导依赖于 \(\inf_{x \in \partial B} \pi^*(x) \ge \pi_{\min} > 0\)，使得 \(h(z)\) 在整个球内严格正，这排除了具有不相连多支柱或低维奇异测度的复杂流形分布。
- 未考虑数值离散化误差：当前理论建立在连续扩散过程与精确期望积分之上，未计入 Euler-Maruyama 离散步长与 Monte Carlo 轨迹采样的数值误差累积。
- 平滑度限制：假设中要求 Sobolev 阶数 \(\alpha > (d-1)/2\)，意味着密度函数具有连续性，无法直接涵盖具有断裂边缘或分段常数的几何信号。
相关工作与启发¶
- vs. Oko et al. (2023) [24]: 经典 DDM 奠基性统计理论工作，针对固定方块上的确定性反向 SDE。本文扩展到了流形边界上的随机第一击中扩散，将时间维度的积分完全转化为空间 Green 核测度。
- vs. Ye et al. (2022) [37]: FHDM 的算法提出者。原论文从经验上展示了极速生成与流形对齐能力，但没有任何收敛率证明；本文为其提供了首个极小极大最优性保证。
- vs. Tang & Yang (2024) [31]: 证明了经典 DDM 能在 Wasserstein 距离下适应流形结构。本文则直接在流形表面利用固有测度，并在更强的总变差（TV）度量下直接达成了最优率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立自适应随机停时扩散生成模型的极小极大统计收敛最优性界。
- 实验充分度: ⭐⭐⭐⭐☆ 纯数学统计理论论文，定理证明完备严密，涵盖从流形分析到经验过程的整套推导。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑骨架清晰，将复杂的位势分析与神经网络逼近论述得极其自洽通透。
- 价值: ⭐⭐⭐⭐⭐ 为流形约束生成模型与自适应时间扩散算法提供了坚实的统计物理与数学理论基石。