跳转至

Evo: Autoregressive–Diffusion Large Language Models with Evolving Balance

会议: EMNLP 2026
论文: ACL Anthology
领域: 文本生成
关键词: 自回归模型, 扩散语言模型, 连续概率流, 演化平衡, 语义成熟度

一句话总结

本文提出对偶潜流模型 Evo,将自回归生成与扩散去噪统一为同一连续概率流在不同演化阶段的离散化表现,利用逐 token 连续进度变量动态调配全局规划与局部实现,在逼近纯自回归解码速度(52 tokens/s)的同时显著突破复杂推理与代码生成的准确率瓶颈。

研究背景与动机

自回归(Autoregressive, AR)Transformer 凭借单向因果注意力与逐词预测机制,在语言建模、大规模预训练与指令对齐上取得了举世瞩目的成功。然而,这种严格由左至右的一趟式(one-pass)因果生成范式存在本质缺陷:一旦在序列前端做出不恰当的词元抉择,误差便会不可逆地累积,缺乏全局审视与事后修正的机制,在涉及严密符号逻辑、长程规划与回溯推理的任务中容易过早陷入局部错误。为了打破单向限制,近年来基于去噪扩散(Diffusion-based)的语言模型受到广泛关注,其通过对加噪序列的多步迭代去噪实现非因果的全序列并行生成,展现出卓越的全局结构协同与迭代精炼能力;但扩散语言模型通常需要数十甚至上百步去噪采样,解码延迟极高,且在困惑度(Perplexity)与短程精确语法控制上往往落后于同等规模的自回归基线。

将自回归与扩散机制融合的现有尝试大多依赖生硬的人工分工。例如,块扩散(Block Diffusion, 如 BD3-LM)在序列块之间维持因果自回归推进、在块内部执行固定步数的扩散去噪,这不可避免地在已经完全确定的语义区域浪费了冗余的扩散采样开销;而像 AR-Diffusion 这样的方法则强行施加依赖绝对位置的启发式加噪调度,对后序词元盲目赋予更多精炼步数,完全脱离了不同语义概念自身的确定性状态。现有混合模型的核心矛盾在于:它们将自回归与扩散割裂为分立的物理阶段或粗粒度的时间块,无法根据文本生成过程中不同词元实际的语义成熟度动态调配计算预算。

本文的切入视角是追溯生成式建模的数学本源:自回归生成在潜空间中构成的单调轨迹,与连续时间得分扩散模型对应的确定性概率流 ODE(Probability Flow ODE),在本质上是同一个潜空间概率流在不同时间参数化下的离散表现。核心 idea:将文本生成建模为连续潜轨迹上的演化流,引入表征每个词元语义成熟度的连续进度变量 \(t_i \in [0, 1]\),在单一共享 Transformer 与统一变分目标下自适应平衡高层扩散规划与低层自回归精炼。

方法详解

整体框架

Evo 将目标文本序列的生成抽象为一个沿连续语义轨迹演化的潜空间流(Latent Flow)。对于长度为 \(N\) 的目标序列 \(X = (x_1, \dots, x_N)\),每个位置关联一个连续潜变量 \(z_i \in \mathbb{R}^d\) 以及一个标量进度变量 \(t_i \in [0, 1]\)。其中 \(t_i\) 量化了对应位置的语义成熟度(Semantic Maturity):\(t_i \approx 1\) 对应粗粒度的高层语义规划与假设空间探索,行为偏向扩散去噪;\(t_i \approx 0\) 则对应高置信度的细粒度词元实现,行为退化为确定性的自回归式精炼。模型整体由一个在所有时间步与位置间参数共享的时间条件 Transformer 构成,通过全序列自注意力直接演化全部潜状态,并在解码结束时将潜向量映射回离散词表。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 与先验潜向量初始化"] --> B["AR-扩散对偶概率流表征<br/>建立统一潜空间连续 ODE 轨迹"]
    B --> C["语义成熟度进度感知<br/>预测各词元进度变量 ti ∈ 0,1"]
    C --> D["演化平衡潜轨迹建模<br/>共享向量场 Fθ 条件时间步多步演化"]
    D --> E["自适应截断解码与词元投影<br/>Ki = ⌊Kmax · ti⌋ 快速停止与离散映射"]

关键设计

1. AR-扩散对偶概率流:建立统一连续动力学理论基础

为了消除自回归与扩散之间的架构鸿沟,作者在理论上严格证明了二者是同一连续概率流的两种离散化实现。设数据样本在连续生成尺度 \(s \in [0, 1]\) 下的潜表示为 \(x_s\),自回归从空序列到完整序列的单调流可由 ODE \(\frac{dx_s}{ds} = F_\theta(x_s, s)\) 刻画。另一方面,基于连续时间得分的方差保持(VP)扩散模型在消除布朗运动扰动后,其逆向时间确定性概率流 ODE 满足 \(\frac{dz_t}{dt} = -\sigma(t)^2 \nabla_z \log p_t(z)\)。通过引入严格单调递增的光滑时间重参数化变换:

\[s(t) = \frac{\int_0^t \sigma(\tau)^2 d\tau}{\int_0^1 \sigma(\tau')^2 d\tau'}\]

利用微积分链式法则可知,扩散概率流在经过时间重标定后与自回归连续流具有完全一致的微分形式,其等效向量场精确对应于放缩后的得分函数。这一对偶性表明,自回归并非与扩散对立,而是扩散概率流在靠近原点、扰动方差极低时的高置信度确定性特例,而扩散则是远离原点时对全局数据流形的随机探索。这为在同一架构内平滑插值两种生成范式奠定了严谨的数理基础。

2. 演化平衡潜轨迹建模:基于词元成熟度的自适应计算分配

在明确了对偶流的存在性后,Evo 避免了硬性的分块或阶段划分,转而在潜空间中为每个词元 \(x_i\) 引入连续进度变量 \(t_i\)。在网络架构实现中,Evo 采用 Decoder-only Transformer 骨干,但移除了严格的因果下三角掩码,改用全序列双向自注意力以维持多步精炼时的全局依赖感知。输入阶段,先验采样的初始潜向量 \(z_i^{(0)}\) 经过一个轻量级两层 MLP(带 GELU 激活与 Sigmoid 映射)预测出初始进度 \(t_i\),并辅以正弦时间编码叠加至各隐藏层中。潜向量在离散化 ODE 下按步长 \(\Delta t\) 沿共享向量场 \(F_\theta\) 演化:

\[z_i^{(t+1)} = z_i^{(t)} + \Delta t \cdot F_\theta(z_i^{(t)}, t_i)\]

对于语义模式明确、局部确定性高的低熵词元(如固定语法搭配、公式符号),模型预测出较小的 \(t_i\),仅需极少数步数即可收敛定型;而对于承载核心推理步、多义转折或复杂逻辑的高熵词元,模型分配较大的 \(t_i\),使其在更多的扩散演化步中吸收双向上下文进行充分全局协同与重塑。在推理时,各词元的精炼步数被自适应截断为 \(K_i = \lfloor K_{max} \cdot t_i \rfloor\)(最大步数 \(K_{max}\) 通常设为 20),从而将高密度的精炼计算精确集中在真正充满不确定性的局部。

3. 统一变分 ELBO 训练目标:端到端联合优化流轨迹与进度分配

针对潜变量与进度时间联合积分不可测的问题,Evo 推导了序列对数似然的统一证据下界(ELBO):

\[\log p_\Theta(X) \ge \mathbb{E}_{Z, t \sim q(Z, t | X)} \left[ \log p_\theta(Z, t) + \log p(X | Z) - \log q(Z, t | X) \right]\]

在具体优化实现中,目标函数转化为离散步数上的连续流匹配损失 \(\mathcal{L}_{Flow}(\theta)\)。训练阶段采用连续高斯扰动注入噪声:\(z_i^{(t)} = \sqrt{\alpha_t} z_i^{(0)} + \sqrt{1 - \alpha_t} \epsilon\),其中调度系数遵循余弦衰减 \(\alpha_t = \cos^2(\frac{\pi}{2} t)\)。当 \(t_i \to 0\) 时,高斯扰动方差趋近于零,优化目标退化为标准的自回归负对数似然预测;当 \(t_i \to 1\) 时,扰动占主导,优化目标演化为基于得分匹配的去噪重构;在中间任意连续时间点上,模型则同时接受来自两侧梯度的联合约束。通过在变分后验中对 \(t_i\) 进行反向传播更新并施加熵正则化项防止时间分配退化,Evo 实现了自回归局部拟合与扩散全局规划的无缝端到端协同。

损失函数 / 训练策略

模型的训练损失统一表征为:

\[\mathcal{L}_{Total} = \mathcal{L}_{Flow}(\theta) + \lambda_{AR}(t) \mathcal{L}_{AR} + \lambda_{Diff}(t) \mathcal{L}_{Score} + \mathcal{L}_{Entropy}(t_i)\]

在训练初期,自回归与扩散项权重设为 1 并随 Warmup 动态退火,使模型快速建立语言表征流形;随后由潜流演化损失主导训练。模型基于 3.4T 词元的多领域语料库进行预训练(含 60% 英文、25% 多语言、10% 代码、5% 数学科学),最大序列长度为 4K,词表采用 64K 的 SentencePiece BPE。优化器选用 AdamW(\(\beta_1 = 0.9, \beta_2 = 0.95\),权重衰减 0.1),采用余弦学习率衰减(峰值学习率 \(1.5 \times 10^{-4}\)),并在 A100 GPU 集群上通过 DeepSpeed ZeRO-3、序列并行与 bfloat16 混合精度完成分布式训练。后训练阶段严格遵循 LLaDA 的 SFT 数据集混合与训练超参,确保对比的纯粹性与公平性。

实验关键数据

主实验

评测涵盖通用推理(MMLU, BBH, ARC-C)、数学科学(GSM8K, MATH, GPQA)、代码生成(HumanEval, MBPP)以及端到端延迟与吞吐量。基线涵盖纯自回归模型(LLaMA3 8B, Qwen2.5 7B)、纯扩散模型(LLaDA 8B, MDLM 7B)以及前沿 AR-扩散混合模型(BD3-LM 7B, ARD 7B)。

模型 端到端延迟 (s) ↓ 解码速度 (tokens/s) ↑ MMLU (5-shot) GSM8K (4-shot) MATH (4-shot) HumanEval (0-shot) MBPP (4-shot) ARC-C (25-shot)
Evo 8B (本文) 8.6 52 76.8 86.4 54.9 60.6 77.4 65.6
BD3-LM 7B (混合) 14.2 28 70.0 79.8 42.9 50.6 63.7 60.2
ARD 7B (混合) 32.5 12 46.2 15.1 3.6 13.4 18.9 46.7
LLaDA 8B (扩散) 21.8 16 65.6 70.9 27.0 33.2 38.5 48.2
MDLM 7B (扩散) 18.9 22 64.0 36.5 10.0 29.0 51.3 59.6
LLaMA3 8B (自回归) 7.4 58 65.1 52.7 15.4 34.6 47.1 52.8
Qwen2.5 7B (自回归) 8.1 46 74.5 85.8 50.2 58.3 75.2 64.0

在后训练(SFT)设置下,Evo 8B 依然保持显著优势:ARC-C 达到 92.5,MATH 提升至 78.8,HumanEval pass@1 达到 86.7,MBPP 达到 81.1,全面超越了采用 SFT+RL 强对齐的同级别自回归与混合模型。

消融实验

作者针对时间条件机制、进度变量设置、架构解耦与预训练初始化展开了系统消融,验证了统一演化框架中各核心设计的不可或缺性:

消融变体 验证集困惑度 (PPL) ↓ 平均任务准确率 (MMLU+GSM8K) ↑ 说明与结论
Evo 完整模型 8.1 81.6 完整模型:时间条件连续流 + 可学习 \(t_i\)
去除时间条件 (w/o Time Conditioning) 9.6 69.1 失去时间维度感知,连续流退化,准确率暴跌 12.5%
固定 \(t_i = 0\) (纯 AR 模式) 10.2 69.6 强制一步确定性生成,失去全局扩散规划与迭代修正
固定 \(t_i = 1\) (纯 Diffusion 模式) 8.6 77.0 全局扩散去噪,保留部分修正能力但语言建模精度受损
固定 \(t_i = 0.5\) (均匀时间步) 8.8 77.9 无法根据词元成熟度动态调整,性能次优
启发式 \(t_i\) (基于 AR 熵值设定) 8.4 78.2 证明单靠外部置信度信号不足,端到端变分学习不可替代
双模块解耦架构 (Two-Module AR+Diff) 8.6 77.9 参数分离导致潜表征错配,验证单一共享模型的优越性
独立词嵌入 (No Shared Embeddings) 8.4 78.3 削弱跨时间步潜轨迹的一致性与连续对齐
无预训练初始化 (No Pretrained Init) 9.1 76.2 从头学习导致收敛极度缓慢且最终准确率下降 5.4%
冻结 AR 骨干 (Frozen AR Backbone) 8.7 80.4 保留绝大部分性能,验证了 Evo 在模块化微调下的高适配度

关键发现

  • 动态时间条件的绝对必要性:直接移除时间条件注入会导致任务平均准确率从 81.6% 暴跌至 69.1%,PPL 恶化至 9.6;而固定 \(t_i=0\)(纯自回归)由于丧失了对前期错误的修正机会,在数学推理上损失惨重,证明了动态时间引导在多步演化中的核心中枢地位。
  • 端到端学习优于启发式规则:通过自回归 softmax 熵值来启发式设定进度步数虽然能达到 78.2% 的准确率,但仍落后完整模型 3.4 个百分点,表明词元的语义成熟度并非局部预测概率分布的简单单调函数,必须在变分 ELBO 下与潜流协同端到端学习。
  • 推覆了“扩散必慢”的固有认知:得益于成熟词元的自适应早期截断,Evo 8B 实现了 52 tokens/s 的解码吞吐,相比纯扩散基线 LLaDA(16 tokens/s)提速 3.25 倍,甚至将固定块扩散 BD3-LM(28 tokens/s)甩开近一倍,逼近纯自回归 LLaMA3(58 tokens/s)的吞吐水平。

亮点与洞察

  • 深刻的对偶数学洞见:通过光滑的时间坐标重映射,严格证明了自回归单调因果流与扩散确定性概率流 ODE 在数学上的同构性,终结了长期以来将二者视为水火不容的技术对立路线的争论。
  • 以成熟度为核心的非均匀计算分配:创新性地打破了基于绝对空间位置(Token Position)或人为固定块(Block Chunk)划分计算的旧范式,将计算深度与词元内部的“语义成熟度”深度绑定,使得模型能把有限的浮点算力精准倾斜给长程推理的关键节点。
  • 单网络参数极致共享:未增加额外的扩散解码器分支或级联多模型,全流程在单一 Transformer 内依托时间条件正弦注入复用权重,既保护了显存占用与训练稳定性,又天然支持现有预训练大模型的无缝迁移升级。

局限与展望

  • 训练阶段的算力开销较高:尽管推理极为高效,但在训练期间需要同时估计后验潜状态分布并反向传播更新进度参数,整体预训练耗时相比标准纯自回归模型高出约 30%–50%,在超大规模集群上的训练稳定性与显存优化仍有提升空间。
  • 高熵长文本下的速度波动:解码效率高度依赖于序列中低熵词元的占比。若面临整段高度非结构化、强逻辑反转的长文本生成任务,大量词元维持高 \(t_i\),可能导致实际迭代步数逼近 \(K_{max}\),进而削弱相较于纯自回归模型的速度优势。
  • 复杂约束下的生成可控性:由于放弃了严格的单向因果掩码,模型在执行精确字数截断、逐字前缀强制匹配等强位置约束任务时,双向全注意力的潜流修正可能引入一定的语义漂移,未来需探索更具针对性的局部约束引导机制。

相关工作与启发

  • vs BD3-LM (Arriola et al., 2025):BD3-LM 采用块级离散扩散,块间严格自回归、块内执行固定步数去噪,其计算分配颗粒度被锁死在块的物理边界;Evo 则在连续潜空间中实现逐词元细粒度演化,根据语义成熟度自适应分配步数,在 GSM8K 上领先 6.6 分且吞吐量近乎翻倍。
  • vs AR-Diffusion (Wu et al., 2023):ARD 依据序列绝对位置从左向右施加单调递增的噪声调度,默认后生成的词元需要更多去噪步;Evo 摆脱了绝对位置的偏见,由模型自适应推断词元的真实不确定性,彻底解决了 ARD 解码极慢(仅 12 tokens/s)且语言能力较弱的缺陷。
  • vs LLaDA (Zhu et al., 2026):LLaDA 采用纯离散掩码扩散机制,对整序列施加全局均匀迭代去噪;Evo 融合了自回归低扰动区域的确定性收敛特性,在保持全局双向修正能力的同时,将端到端延迟从 21.8 秒压缩至 8.6 秒。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从概率流 ODE 对偶性的连续数学视角彻底打通自回归与扩散,开创了语义成熟度驱动的演化平衡新范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个主流基准评测,覆盖预训练与后训练双阶段,并在参数规模与消融变体上进行了详尽的定量验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨,从动机提出、数学证明到架构实现的过渡自然顺畅。
  • 价值: ⭐⭐⭐⭐⭐ 为破除传统 LLM 自回归滚雪球累积误差与扩散模型采样迟缓的世纪难题提供了极具落地可行性的统一方案。