Support Before Frequency in Discrete Diffusion¶

会议: NeurIPS 2026
arXiv: 2605.13999
OpenReview: https://openreview.net/forum?id=n7xCEekbI1
论文: https://arxiv.org/abs/2605.13999
领域: 其他
关键词: 离散扩散模型、学习动态、支撑集投影、小噪声展开、生成建模

一句话总结¶

证明离散扩散语言模型在小噪声极限下，逆向核单步编辑概率天然在阶数上分离为支撑集距离尺度项与词频系数项，揭示模型在预训练中先学会辨别合法语法支撑集、后学习支撑集内精细概率分布的演进规律。

研究背景与动机¶

离散扩散语言模型（Diffusion Language Models, DLMs）近年来作为自回归模型的重要替代方案展现出巨大潜力，其非因果双向上下文建模与高度并行的去噪生成范式，为提升文本生成速度和灵活可控性提供了新契机。然而，目前针对离散扩散模型的研究绝大多数集中在网络参数化方式、离散噪声调度设计、采样加速算法以及模型规模扩展上，对于离散扩散目标在本质上如何组织模型对数据分布的学习过程，学术界尚缺乏清晰的理论刻画与机理解释。

标准扩散训练目标（如变分下界或加权离散交叉熵）在形式上直接拟合整个真实数据分布，但高维离散数据（如自然语言或形式语言）通常具有高度稀疏且结构化的分布特征：只有极小一部分序列构成合法的句子或代码语法（即数据支撑集 \(\mathcal{D} = \text{supp}(p_{\text{data}})\)），而在该合法支撑集内部，不同词串又具有各异的出现频率与统计概率。传统视角往往假设模型在优化过程中同时拟合序列的合法性与相对频率，忽视了逆向去噪动力学本身在不同分辨率下所传递的结构化归纳偏置。

本文从离散扩散模型最终去噪阶段（小噪声极限 \(\sigma \to 0\)）的真实逆向核出发，展开了严谨的渐近分析。研究发现，逆向单步编辑概率在数学上天然解耦为粗粒度的尺度阶数（由汉明距离变化量 \(\Delta d\) 决定，反映是否向合法支撑集靠拢）与细粒度的系数比值（反映支撑集内部的相对经验频率）。这种尺度分离不仅从理论上证明了粗糙乘性误差下即可实现精确的支撑集恢复，而且解释了训练动态中合法性判定早于频率校准的根本原因。核心 idea：离散扩散逆向核在小噪声极限下将单步编辑概率分解为 \(\sigma^{\Delta d}\) 支撑集尺度信号与 \(p_{\text{data}}\) 投影比值频率信号，使得模型在优化中先以粗粒度阶数学会定位合法数据支撑集，随后才在同一阶数内精细校准词频分布。

方法详解¶

整体框架¶

本文探讨在有限词表 \([K]\) 与固定序列长度 \(H\) 下的离散空间 \(\mathcal{X} = [K]^H\) 上的离散扩散过程。对于真实数据分布 \(p_{\text{data}}\)，定义其支撑集为 \(\mathcal{D} := \text{supp}(p_{\text{data}})\)。前向扩散通过在各 token 位置独立施加转移矩阵 \(Q^t\) 引入噪声，并在累积噪声水平 \(\sigma_t\) 下分别考虑均匀扩散（Uniform Diffusion）与吸收/掩码扩散（Absorbing Diffusion）。逆向生成则通过反转前向马尔可夫链，从完全噪声先验逐步恢复出真实样本。

为了分析模型究竟如何学习数据结构，作者在连续时间小噪声极限（\(T \to \infty, \sigma \to 0\)）下对真实逆向转移核 \(q_{t-1|t}\) 与参数化逆向核 \(p_{t-1|t}\) 进行级数渐近展开，导出编辑概率在支撑集距离与数据频率上的分层表达式，并在此基础上构建理论引导的低噪声投影采样器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["前向离散扩散加噪过程<br/>均匀噪声 / 吸收掩码 [MASK]"] --> B["小噪声极限逆向核展开<br/>分解为粗尺度信号与细系数信号"]
    B --> C["机制分流与阶数分离<br/>均匀三阶尺度 vs 吸收纯支撑集投影"]
    C --> D["乘性误差容忍与学习动态<br/>粗精度即可恢复支撑集方向"]
    D --> E["应用：理论引导投影采样器<br/>阈值过滤非投影编辑分量"]

关键设计¶

1. 逆向核的小噪声尺度与系数解耦展开：分离支撑集信号与词频信号

针对从当前序列 \(x\) 到单位置替换候选序列 \(x^{h \to y^h}\) 的单步逆向转移概率，定义其到数据支撑集 \(\mathcal{D}\) 的汉明距离变化量为 \(\Delta d := d(x^{h \to y^h}, \mathcal{D}) - d(x, \mathcal{D})\)，并将 \(x\) 在 \(\mathcal{D}\) 上的汉明投影点集记为 \(\text{proj}_{\mathcal{D}}(x) := \{z \in \mathcal{D} : d(x, z) = d(x, \mathcal{D})\}\)。通过对贝叶斯边缘逆向公式进行以噪声级别 \(\sigma\) 为基底的渐近展开，作者证明归一化单步逆向编辑概率在主阶项上具有如下统一分解形式：

\[\frac{q^h_{t-1|t}(y^h \mid x)}{\text{forward proposal}} \approx \Gamma_{\text{corr}}(\Delta d) \cdot \sigma^{\Delta d} \cdot \frac{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x^{h \to y^h}))}{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x))}\]

式中 \(\Gamma_{\text{corr}}(\Delta d)\) 为对应扩散机制的门控因子。该公式表明，逆向去噪编辑概率并非混沌混合，而是被清晰分划为两个分辨率完全不同的层次： - 尺度项 \(\sigma^{\Delta d}\)（支撑集信号）：以噪声水平 \(\sigma\) 的幂次直接表征候选编辑是拉近（\(\Delta d = -1\)）、维持（\(\Delta d = 0\)）还是拉远（\(\Delta d = +1\)）与合法数据支撑集的汉明距离； - 系数项 \(\frac{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x^{h \to y^h}))}{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x))}\)（频率信号）：当噪声尺度确定后，同一阶数内的候选编辑相对权重完全由其投影到合法数据空间后的真实先验概率比值决定。

这一数学结构直接确立了信息的层次性：模型只需捕捉对数或数量级尺度的粗糙信号，就能准确判断一个 token 是否合乎语法规范；而要拟合词频的高低差异，则必须在同一数量级内部达到连续系数级别的数值逼近。

2. 扩散机制分流对比：均匀扩散的三阶阶梯与吸收扩散的纯投影性

理论分析进一步揭示了两种主流离散加噪机制在逆向动力学上的本质差异： - 均匀扩散（Uniform Diffusion）：任何 token 都可随机跳变为词表中任一其他 token。在小噪声极限下，单步逆向编辑呈现严格的三阶分离尺度（定理 2.1）： - 朝向支撑集（\(\Delta d = -1\)）：阶数为 \((\sigma / K)^{-1}\)； - 保持距离不变（\(\Delta d = 0\)）：阶数为 \(1\)； - 远离支撑集（\(\Delta d = +1\)）：阶数为 \(\sigma / K\)。 - 吸收/掩码扩散（Absorbing Diffusion）：未掩码的真实 token 无法被随意篡改，逆向过程仅涉及由掩码 \([MASK]\) 还原为有效 clean token。在此约束下，编辑不可能使汉明距离增大（\(\Delta d \le 0\)）。更关键的是，定理 2.2 证明非改进编辑（\(\Delta d = 0\)）在小噪声极限下的主阶概率完全坍缩为 \(0\)： - 改进支撑集距离（\(\Delta d = -1\)）：阶数为 \(\sigma^{-1} \frac{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x_{t-1}))}{p_{\text{data}}(\text{proj}_{\mathcal{D}}(x_t))} + O(1)\)； - 距离未缩小（\(\Delta d = 0\)）：极限概率严格为 \(0\)。

这意味着吸收扩散的逆向流在小噪声区段天然具备极强的「正交投影算子」属性，主导概率全部分布在缩小支撑集距离的合法方向上；而均匀扩散虽然主阶项也是投影方向，但在低阶上仍残留着保持距离或走偏的非投影编辑成分。

3. 粗粒度乘性误差下的支撑集恢复与推理期阈值投影采样器

基于上述阶数分离，推论 2.1 形式化证明：只要学习得到的参数化逆向评分 \(\bar{S}_p^h(y^h \mid x; \sigma)\) 相对于真实逆向评分 \(\bar{S}_q^h(y^h \mid x; \sigma)\) 满足粗粒度的乘性扭曲界：

\[\bar{C}_{\sigma}(x) := \max_{h, y^h} \max \left\{ \frac{\bar{S}_p^h(y^h \mid x; \sigma)}{\bar{S}_q^h(y^h \mid x; \sigma)}, \frac{\bar{S}_q^h(y^h \mid x; \sigma)}{\bar{S}_p^h(y^h \mid x; \sigma)} \right\} = o(\sigma^{-1/2})\]

则当 \(\sigma \to 0^+\) 时，仅需设定固定截断阈值 \(\sigma^{-1/2}\)，即可精确分离出所有且仅包含能够拉近支撑集距离的合法编辑（即 \(\bar{S}_p^h > \sigma^{-1/2} \iff \Delta d < 0\)）。这一容错条件极度宽松，允许模型在总变差（TV）或 KL 散度等加性测度上距离真实分布很远的情况下，依然能够无损恢复支撑集的几何投影方向。

基于此见解，作者设计了训练免调整的推理期采样算法（Algorithm 1 阈值采样与 Algorithm 2 硬极大采样）：在采样前中期执行标准去噪扩散轨迹，直至噪声下降至预设临界值 \(\sigma\)（实验中取 \(0.1\)）；随后在后期单步去噪中，显式计算有效分数 \((\sigma/K) s(X_t)_{h, y^h}\) 并仅保留超过阈值 \(\tau\)（取 \(0.05\)）的候选编辑。对于均匀扩散，该操作可过滤掉低阶的非投影漂移，大幅提升全序列落入合法数据支撑集的成功率。

损失函数 / 训练策略¶

在掩码扩散模型中，传统的变分下界目标（ELBO）在参数化时能够等价重构为加权 clean-token 交叉熵损失。对于序列中处于掩码状态的位置 \(x_t^h = m\)，神经网络直接输出真实 token 的对数概率 \(\widehat{\text{nn}}_{\theta, h}(v \mid x_t, t)\)。在均匀时间采样与对数线性累积噪声调度 \(\sigma_t\) 下，训练优化的离散时间 SUBS 损失函数为：

\[\mathcal{L}_T(\theta) = \sum_{t=1}^T \frac{\sigma_t - \sigma_{t-1}}{\sigma_t} \mathbb{E} \left[ \sum_{h=1}^H \mathbf{1}\{x_t^h = m\} \left( -\log \widehat{\text{nn}}_{\theta, h}(x_0^h \mid x_t, t) \right) \right]\]

在连续时间极限 \(T \to \infty\) 下，该损失具有权重 \(\dot{\sigma}_t / \sigma_t\)，其种群最优解恰好与无偏离散分数场（Concrete Score）一致。由于 D3PM 后验预测、SUBS/均值参数化以及归一化诱导分数视角在该掩码设定下完全等价，实验所观测到的动态规律具有广泛的架构无关性与表征通用性。

实验关键数据¶

主实验¶

为了验证「支撑集定位先于词频校准」的核心预言，作者在 1.7 亿参数的 DDiT 模型上使用真实网络语料 FineWeb 进行掩码扩散预训练，并在验证集上构建基于局部上下文 \((l, \text{[MASK]}, r)\) 的一位置还原探针： 1. 支撑集定位探针（Support Localization）：计算真实观测候选词得分击败词频匹配的非候选负样本（Frequency-Matched Negatives）的成对准确率； 2. 频率众数探针（Empirical Mode Recovery）：检验模型是否将最高概率赋予经验出现频次最高的候选词（Top-1 准确率）； 3. 词频排序探针（Pairwise Frequency Ranking）：检验模型对合法候选词内部高频词与低频词排序的准确率。

探针任务类别	测量目标与语义	达到峰值增益 90% 所需训练 Token 数	相比支撑集滞后 Token 量
支撑集定位探针	区分合法候选词与频率匹配负样本	116.3 ± 5.7 M（范围 113.0–122.9M）	基准 (0.0 M)
经验众数探针 (Top-1)	击中合法候选词中的最高频词	234.3 ± 22.2 M	滞后约 +118.0 M
词频排序探针 (Pairwise)	正确排序合法候选集合内的词频高低	247.4 ± 7.5 M	滞后约 +131.1 M

消融实验¶

为了在支撑集完全已知且具有闭式解析的环境中验证定理 2.1 与 2.2，作者构建了基于三向转移随机游走的正规语言（Regular Language）合成任务，在多种序列长度 \(H\)、词表大小 \(K\) 和扩散步数 \(T\) 下对比标准祖先采样与所提阈值投影采样（Threshold / Hard-max）在最终生成序列完全落在合法支撑集中的比率（Support Landing Rate）。

实验配置 \((H, K, T)\)	扩散噪声机制	标准祖先采样合法率 (%)	阈值投影采样合法率 (%)	硬极大投影采样合法率 (%)	采样改进收益与机制表现
\(H=32, K=64, T=64\)	吸收掩码 (Masked)	88.4 ± 1.2	88.6 ± 1.1	87.9 ± 1.3	几乎无差异（天然具备投影性）
\(H=32, K=64, T=64\)	均匀扩散 (Uniform)	18.2 ± 2.5	74.5 ± 3.1	82.3 ± 2.8	大幅提升 (+64.1%)
\(H=32, K=64, T=32\)	吸收掩码 (Masked)	84.1 ± 1.6	84.5 ± 1.4	83.8 ± 1.7	保持持平，未见显著受损
\(H=32, K=64, T=32\)	均匀扩散 (Uniform)	12.6 ± 1.9	68.2 ± 2.7	76.4 ± 2.4	大幅提升 (+63.8%)
\(H=64, K=32, T=64\)	吸收掩码 (Masked)	81.3 ± 2.0	81.7 ± 1.8	80.9 ± 2.1	稳定接近原生投影器性能
\(H=64, K=32, T=64\)	均匀扩散 (Uniform)	14.1 ± 1.8	69.8 ± 3.4	77.5 ± 2.9	大幅提升 (+63.4%)
\(H=64, K=32, T=128\)	吸收掩码 (Masked)	85.7 ± 1.5	86.0 ± 1.3	85.2 ± 1.6	验证了定理 2.2 的渐近极限
\(H=64, K=32, T=128\)	均匀扩散 (Uniform)	22.4 ± 2.1	79.1 ± 2.6	86.4 ± 2.2	大幅提升 (+64.0%)

关键发现¶

时序解耦稳定性：在 FineWeb 真实大语言模型预训练过程中，支撑集定位能力的建立比词频校准早了 1.18 亿至 1.31 亿训练 token，这一趋势在所有随机种子下均表现出严格的时序一致性。
机制对比验证：吸收扩散由于逆向非改进编辑在低噪区极限为零，原生祖先采样已高度具备支撑集投影能力，因此阈值过滤带来的增益有限；而均匀扩散由于存在 \(O(1)\) 与 \(O(\sigma)\) 的干扰项，原生祖先采样合法率低下（仅 12%~22%），引入理论指导的阈值过滤后合法率暴增至 76%~86%，全面印证了定理 2.1 与 2.2 的阶数分离预测。
泛化与记忆分离诊断：在训练早期的固定掩码重构损失监控中，训练集与验证集的损失差距保持平稳微小且同步下降，排除了支撑集快速学习是由样本级死记硬背（Memorization）驱动的可能。

亮点与洞察¶

离散连续流形理论的离散对偶：连续扩散模型中已有理论指出得分匹配会先学习数据流形几何、再学习流形内密度分布，本文首次建立了离散状态空间汉明图上的对应物，在无需潜在流形假设的前提下严格证明了支撑集与频率的分层。
小噪声渐近展开工具：将贝叶斯逆向核按照噪声尺度 \(\sigma\) 和汉明距离偏移量 \(\Delta d\) 展开为初等显式表达，为分析离散扩散过程的局部动力学行为提供了标准可推广的理论工具箱。
零成本的推理期修正策略：利用小噪声下的阶数断层，仅凭阈值截断便能在不重新训练模型的前提下，彻底激活均匀离散扩散模型的语法投影潜能。

局限与展望¶

小噪声近似的适用边界：理论严格建立在 \(\sigma \to 0\) 的渐近极限上，虽然实验表明在 \(\sigma = 0.1\) 时阶数分离依然显著生效，但扩散全过程大噪声阶段的动态演进仍需更完备的非渐近理论工具。
自然语言硬支撑集的局限：真实自然语言中所谓「合法支持集」与「绝对非法序列」界限模糊，极罕见但合法的生僻语法在经验频率上极低，未来可引入 \(\epsilon\)-有效支撑集（\(\epsilon\)-effective support）来完善理论表述。
更大规模架构的验证：实验主要在 170M 参数级模型与单 GPU/8 GPU 算力下验证，后续可在十亿至百亿级参数的大规模离散语言扩散模型（如 LLaDA）上进一步验证极大规模下的表征分离。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从离散扩散逆向核渐近展开证明了支撑集与频率的阶数解耦，概念深刻且视角极为新颖。
实验充分度: ⭐⭐⭐⭐☆ 包含控制严格的正规语言理论闭环实验以及 FineWeb 真实数据探针，分析细致，若能覆盖百亿级模型则更加完备。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨优美，主文叙事流畅清晰，附录中参数化等价性梳理极具参考价值。
价值: ⭐⭐⭐⭐⭐ 深刻回答了离散扩散语言模型“究竟学到了什么、何时学到”的基础理论问题，为离散扩散采样器设计和早停策略提供了坚实依据。