ELF: Embedded Language Flows

会议: NeurIPS 2026
arXiv: 2605.10938
代码: https://github.com/lillian039/ELF
领域: 预训练
关键词: 连续扩散语言模型, 流匹配, 连续嵌入空间, 权重共享解码, 无分类器引导

一句话总结

提出基于连续时间流匹配的连续扩散语言模型 ELF，在连续嵌入空间全程去噪并仅在最终时刻复用主干网络进行离散化解码，以高数据效率与极少步数显著超越离散与连续扩散语言模型基线。

研究背景与动机

扩散与流匹配模型在图像与视频等连续生成领域已占据主导地位，然而在语言生成领域，主流扩散语言模型（DLMs）绝大多数依然建立在离散 token 空间（如以 MDLM 为代表的掩码吸收态扩散、或以 Duo 为代表的均匀转移扩散）。相比之下，连续扩散语言模型的表现长期落后于离散模型。学术界面临的核心悬念在于：这种性能差距究竟源于自然语言固有的离散本质，还是因为连续扩散语言模型在算法空间与架构接口上的设计尚未被充分探索。

深入分析现有连续扩散语言模型的瓶颈可以发现，其核心矛盾在于连续潜空间流动与离散 token 监督之间的刚性耦合。早期连续扩散模型（如 Diffusion-LM、CDCD、FLM、LangFlow 等）普遍在流动的每个去噪中间步都施加 token 级别的交叉熵损失，甚至在采样每一步执行硬性投影（如单纯形约束或最近邻离散化），极大地限制了流轨迹在连续流形上的动力学灵活性；而传统的潜变量扩散模型（如 LD4LG）又必须依赖独立训练的复杂解码器，不仅引入了巨大的额外参数与两阶段训练开销，还造成去噪流形与解码空间的表示失配。

本文的切入视角是摒弃多余的中间步离散化干预，将连续流匹配纯粹保持在连续空间内部演化，仅在终点时刻优雅地解决离散化问题。核心 idea：将语言去噪完全置于连续双向上下文嵌入空间中，基于 \(x\)-prediction 流匹配进行连续时间演化，并让单一大模型同时充当全过程去噪器与最终步离散解码器（权重共享），彻底打通连续扩散与自条件 CFG 的兼容路径。

方法详解

整体框架

ELF 将离散序列的生成形式化为连续时间嵌入空间上的整流流（Rectified Flows）。在训练阶段，输入序列首先经由冻结的预训练双向编码器映射为连续上下文嵌入向量，随后按 8:2 的概率分别进入连续去噪分支与最终步解码分支；在推理阶段，模型从标准高斯噪声出发，利用数值常微分方程（ODE）或随机微分方程（SDE）求解器在连续嵌入空间沿预测速度场积分，仅在最后一个时间步切换为解码模式，通过线性解嵌入矩阵映射回离散 token 词表。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入离散序列 / 高斯先验噪声"] --> B["双向上下文嵌入与瓶颈压缩"]
    B --> C["连续时间整流流匹配去噪"]
    C --> D["单网络权重共享与统一离散解码"]
    D --> E["自条件引导与随机 SDE 采样校正"]
    E --> F["输出目标离散 Token 序列"]

关键设计

1. 双向上下文嵌入与瓶颈压缩：为扩散构建平滑连续流形

现有许多连续扩散模型直接在单 token 查找表（embedding lookup table）上加噪，甚至联合优化离散嵌入表，极易陷入优化不稳定或表示坍缩的困境。ELF 选择利用预训练 T5-small 编码器提取双向上下文表征作为连续语言基底。消融实验证实，具备全局上下文感知的连续表征显著优于无上下文的单个 token 嵌入与随机高斯嵌入，且固定的预训练表征比可学习嵌入更为稳定。为了防止高维嵌入带来的维度灾难，ELF 引入低维瓶颈投影层，将 512 维的编码器特征先线性降维至 128 维瓶颈空间，再映射至 768 维的主干模型隐层。该瓶颈设计契合了自然语言高维嵌入实际栖居于低维连续流形上的几何特性，在控制计算量的同时有效规避了过拟合。

2. 连续时间流匹配与 \(x\)-prediction 参数化：保障流形动力学稳定

ELF 采用基于整流流（Rectified Flow）的线性插值路径构建带噪潜变量：

\[z_t = t x + (1 - t) \epsilon, \quad t \in [0, 1]\]

其中 \(x \sim p_{\text{data}}\) 为标准化后的真实嵌入，\(\epsilon \sim \mathcal{N}(0, \mathbf{I})\) 为高斯噪声。对应的连续流速度场理论目标为 \(v = \frac{d z}{d t} = x - \epsilon\)。标准流匹配通常让网络直接预测速度 \(v\)（\(v\)-prediction）或噪声 \(\epsilon\)（\(\epsilon\)-prediction），但在高维语言表征中，\(\epsilon\)-prediction 会发生完全坍缩，而 \(v\)-prediction 在嵌入维度上升到 768 或 1024 维时亦出现严重的退化。ELF 关键性地采用清洁数据目标 \(x\)-prediction，网络直接输出预测的清洁嵌入 \(x_\theta(z_t, t)\)，并基于隐式代换 \(v_\theta(z_t, t) = \frac{x_\theta(z_t, t) - z_t}{1 - t}\) 建立速度场 MSE 损失：

\[\mathcal{L}_{\text{MSE}} = \mathbb{E}_{t, x, \epsilon} \left[ \frac{1}{(1 - t)^2} \| x_\theta(z_t, t) - x \|^2 \right]\]

直接预测清洁表征 \(x\) 不仅对高维流形高度鲁棒，更为后续将去噪网络无缝复用为离散解码器提供了统一的表征目标。

3. 权重共享的统一去噪-解码网络：免除独立解码器开销

传统潜变量扩散模型（LDM）在生成完连续特征后，需要一个独立的自回归或非自回归解码器将其翻译回离散 token，造成严重的架构冗余与两阶段训练失配。ELF 洞察到流匹配的终点 \(t=1\) 在数学上正对应于清洁数据极限（\(z_t \to x\)）。因此，ELF 提出在单一大模型内部共享全部网络权重：在去噪过程中网络执行特征纯化；在最终步 \(t=1\)，网络接受轻度破坏后的嵌入 \(\tilde{z}\) 并输出清洁表征，直接接上线性解嵌入矩阵 \(W\) 输出 token logits，计算交叉熵损失：

\[\mathcal{L}_{\text{CE}} = \mathbb{E}_{\tilde{z}} \left[ \text{CrossEnt}(W x_\theta(\tilde{z}), s) \right]\]

网络通过拼接在序列前方的 4 个二元模式控制 token（denoise 与 decode）感知所处任务模式。消融对比表明，这种单阶段权重共享架构不仅将解码参数量直接省去，而且在极低生成困惑度区间的表现全面超越了分别训练的二阶段解码器。

4. 自条件分类器自由引导与随机 SDE 采样：跨越离散约束的高效高质量生成

分类器自由引导（CFG）是连续图像扩散模型调控质量-多样性权衡的杀手锏，但在离散扩散模型中因缺乏连续梯度方向而极难奏效。得益于全连续流匹配形式，ELF 能够无缝继承连续扩散的引导机制。在无外部标签的无条件生成中，ELF 引入自条件（Self-Conditioning）：训练时以 50% 概率将模型前一步预测的中间嵌入 \(\hat{x}'\) 与带噪输入通道拼接，同时以 4 个 CFG 标量 token 作为前缀输入；在推理时无需额外的反向推理前向 pass，直接复用前一时刻预测的 \(\hat{x}'\) 展开自条件外推，调节引导强度 \(\omega\)：

\[v_{\text{cfg}}(z_t \mid c) = \omega v(z_t \mid c) + (1 - \omega) v(z_t \mid \varnothing)\]

此外，针对确定性 ODE 采样在步数极少时误差累积严重的问题，ELF 提出了基于噪声重新注入的 SDE 采样机制：在每个时间微步中，按步长比例重新注入受控高斯扰动并将时间参数微调后再次计算清洁预测：

\[\tilde{\alpha} = 1 - \gamma \cdot dt, \quad z_{\text{back}} = \tilde{\alpha} z + (1 - \tilde{\alpha}) \epsilon\]

重注入的随机扰动有效抚平了轨迹初始偏差，使得 ELF 在仅需 16 至 32 步时即可达到极低生成困惑度。

损失函数 / 训练策略

ELF 采用统一的混合批次策略，单个批次内以 80% 的比例采样去噪样本（时间步 \(t \sim \text{LogitNormal}(-1.5, 0.8)\)，计算 \(\mathcal{L}_{\text{MSE}}\)），以 20% 的比例采样解码样本（\(t=1\)，计算 \(\mathcal{L}_{\text{CE}}\)）。模型主干采用 Diffusion Transformer（DiT），结合 SwiGLU 激活、RMSNorm 归一化、RoPE 旋转位置编码和 QK-Norm。训练采用专为神经网络隐层设计的 Muon 优化器（学习率 0.002，全局批大小 512），在 OpenWebText 上仅需预训练 5 个 epoch（约 452 亿 effective tokens）。

实验关键数据

主实验

在 OpenWebText（OWT，序列长度 1024）无条件文本生成中，ELF-B（105M 参数）与主流离散扩散语言模型（MDLM、Duo）及连续流模型（FLM、LangFlow）进行系统对比。ELF-B 仅用约 45B token 训练（远少于基线普遍消耗的 524B+ token）：

模型	模型参数量	训练 Token 预算	采样步数	生成困惑度 (Gen. PPL ↓)	词元熵 (Entropy ↑)
MDLM	170M	524.3B	1024	28.5	5.25
Duo	170M	524.3B	1024	24.5	5.24
FLM	170M	524.3B	1024	42.1	5.27
LangFlow	170M	524.3B	1024	38.6	5.23
ELF-B (Ours)	105M	45.2B (1/11.6)	32	24.08 ± 0.16	5.15 ± 0.002
ELF-B (Ours)	105M	45.2B	16	33.66 ± 1.09	5.16 ± 0.026
ELF-B (Ours)	105M	45.2B	8	67.32 ± 2.25	5.14 ± 0.085

在 WMT14 德英（De-En）翻译与 XSum 文本摘要等条件生成任务上，ELF-B 同样展现出超越离散扩散与自回归基线的综合生成能力：

模型	参数规模	WMT14 De-En (BLEU ↑)	XSum (ROUGE-1 ↑)	XSum (ROUGE-2 ↑)	XSum (ROUGE-L ↑)
AR 基线	99M	25.2	30.5 ± 0.13	10.2 ± 0.11	24.4 ± 0.12
MDLM	99M	18.4	33.4 ± 0.11	11.6 ± 0.10	25.8 ± 0.10
Duo	170M (+35M)	21.3	31.4 ± 0.12	10.1 ± 0.10	25.0 ± 0.12
E2D2	99M	24.8	28.4 ± 0.11	8.3 ± 0.09	22.0 ± 0.10
CDCD	-	24.9	-	-	-
SeqDiffuSeq	-	21.3	19.3	1.7	14.1
ELF-B (Ours)	105M (+35M)	26.4	36.0 ± 0.13	12.2 ± 0.11	27.8 ± 0.12

消融实验

论文针对预测目标、瓶颈维度、去噪模式分配比例以及采样器设计进行了细致消融：

配置 / 变体	核心表现 (Gen. PPL / 特征)	结论与分析
\(x\)-prediction (默认)	稳定收敛，高维流形下均保持最优 trade-off	清洁嵌入预测完美适应 512~1024 维高维上下文流形
\(v\)-prediction	512 维表现尚可，但在 768/1024 维 PPL 大幅恶化	速度预测与最终步离散解嵌入权重共享冲突
\(\epsilon\)-prediction	完全崩溃（PPL > 300 或熵 < 5.0 退化）	噪声预测在离散文本对应的高维流形上无法求得稳定解
瓶颈维度 128 (默认)	PPL 最优且保持合理多样性 (Entropy > 5.15)	适度压缩过滤非流形噪声，兼顾表征能力与正则化
瓶颈维度 32	PPL 极低但熵显著降低 (多样性严重受损)	压缩过度导致文本表达单一退化
瓶颈维度 512	PPL 显著上升	缺乏低维流形约束，去噪难度剧增
去噪概率 0.8 (默认)	Gen. PPL = 24.08，帕累托前沿最优	80% 时间专注连续动力学，20% 足够对齐离散词表
去噪概率 0.2	生成困惑度显著恶化，流动轨迹失真	过度强调离散映射削弱了连续流去噪质量
独立解码器 (二阶段)	曲线前沿相近，但在低 PPL 区域被共享权重反超	权重共享免除额外阶段与参数，且表征一致性更强
SDE 采样器 (\(\gamma=1.5\))	32 步达成 PPL 24.08；16 步仅 33.66	随机扰动重新注入消除初期误差累计，远优于纯 ODE

关键发现

• 去噪与解码两用网络完全可行：在连续时间流匹配下，终点时刻在物理与数学本质上与解码对齐，单模型通过模式 token 切换成功兼顾连续流场建模与离散分类映射，彻底打破了必须为潜变量扩散配备专用外部解码器的思维定势。
• 连续时间 CFG 是超越离散扩散的杀手锏：利用自条件生成的连续流外推，ELF 仅需平滑改变引导系数 \(\omega\)（在无条件中为 3.0，在条件任务中为 2.0），即可系统性压低生成困惑度并显著提升任务指标，而离散扩散模型在缺乏连续向量空间的情况下很难实现有效的非分类器引导。
• 训练数据效率实现数量级跃升：由于连续流匹配路径平滑且目标直接，ELF 仅消耗 45.2B token 即可收敛，相比于离散模型常见的 500B+ token 消耗，训练开销骤降一个数量级。

亮点与洞察

• 极简主义设计化解两界隔阂：巧妙地将离散性完全推迟至终点 \(t=1\)，中间过程完全留给连续流匹配，既保留了连续扩散在架构和算法（CFG、SDE 积分、流匹配）上的成熟积累，又规避了离散扩散中复杂的吸收态与转移矩阵运算。
• \(x\)-prediction 作为桥梁的深度契合：选择预测清洁表征 \(x\) 不仅解决了流匹配在 768+ 维语言嵌入下的数值稳定性问题，还在语义层面直接打通了去噪特征向离散解嵌入矩阵 \(W\) 投影的桥梁，使单网络权重共享成为可能。
• 即插即用的渐进蒸馏潜力：论文附录进一步展示了 ELF 配合渐进蒸馏（Progressive Distillation）构建 1 步至 4 步极速生成器的能力，在 4 步下达到 34.33 PPL，大幅领先 FMLM 与 Duo+DCD 等同类蒸馏模型。

局限与展望

• 依赖双向编码器先验：虽然编码器仅在训练期用于特征提取、不参与推理生成，但在完全从零初始化或极冷门语言场景下，预训练编码器的质量会直接决定连续空间的语义流形结构。
• 无显式似然评估：由于连续流匹配直接针对速度场与边际轨迹回归，无法直接获得类似自回归模型或离散转移扩散那样的精确困惑度（Validation PPL），需要依赖生成困惑度（Gen. PPL）和下游任务度量。
• 长文本上下文扩展有待检验：当前评测主要集中在 1024 长度以内的序列生成，未来需探索在超长序列（如 8k/32k token）下的流匹配稳定性与位置编码适应性。

相关工作与启发

• vs MDLM / Duo (离散扩散模型)：MDLM 和 Duo 分别在离散吸收态与离散均匀转移矩阵上建立转移概率，需要大量微步迭代（通常 512~1024 步）且在低训练预算下不易收敛；ELF 则利用连续时间流匹配的高效积分与连续 CFG，在 32 步以内和 1/10 训练数据量下取得更优生成质量。
• vs Diffusion-LM / CDCD (早期连续扩散语言模型)：早期工作在连续去噪的每一步都强行计算词表级别的交叉熵损失或最近邻舍入，严重约束了连续表征的演化流形；ELF 彻底移除了中间步离散化干预，将离散解码浓缩在最终单步。
• vs LD4LG / LDLM (传统潜变量语言扩散)：传统潜变量扩散需要独立训练复杂的后置解码网络以从隐变量还原文本；ELF 通过 \(x\)-prediction 与模式条件化，将去噪器与解码器合二为一，极大简化了流程并消除了分布漂移。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙化解连续流去噪与离散解码的接口矛盾，确立了极简高效的权重共享流匹配语言建模范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖无条件生成、机器翻译、摘要、详细架构消融、扩展性定律验证及渐进蒸馏实验，数据详实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，数学公式表达精炼，动机层层递进。
• 价值: ⭐⭐⭐⭐⭐ 重新证明了连续扩散在自然语言领域的巨大潜力，为非自回归大语言模型的设计开辟了极具竞争力的新路线。

相关论文

• [NeurIPS 2025] Alternating Gradient Flows: A Theory of Feature Learning in Two-layer Neural Networks
• [NeurIPS 2026] Looped Diffusion Language Models
• [NeurIPS 2026] Progressive Residual Warmup for Language Model Pretraining
• [NeurIPS 2026] Leviathan: Decoupling Input and Output Representations in Language Models
• [NeurIPS 2026] LoopRPT: Reinforcement Pre-Training for Looped Language Models