跳转至

Evo: Autoregressive–Diffusion Large Language Models with Evolving Balance

会议: EMNLP 2026
论文: ACL Anthology
领域: 大语言模型架构 / 自回归与扩散混合建模
关键词: 自回归模型, 扩散模型, 统一潜在流, 语义成熟度, 渐进式解码

一句话总结

Evo 建立自回归(AR)与扩散模型在连续概率流下的对偶等价性,通过引入逐 token 演化的语义成熟度进度变量与统一时间条件 Transformer,实现全局扩散规划与局部自回归细化的自适应动态平衡,在保持接近纯自回归极速推理的同时显著提升复杂符号推理与代码生成能力。

研究背景与动机

在大语言模型(LLM)的演进历程中,基于因果掩码的自回归(Autoregressive, AR)Transformer 凭借单向逐词预测的因果分解特性,奠定了预训练与对齐采样的统治地位。然而,严格从左至右的单向生成范式天然具有脆弱性:模型在遇到高度依赖全局架构或长程约束的任务时,必须在缺乏后文完整规划的前提下强行提交前序 token;一旦早期贪婪搜索或局部采样产生偏差,便会迅速引发复合误差累积与不可逆的幻觉扩散。

为了突破因果解码的局限,近期基于迭代去噪的文本扩散模型(Diffusion LLMs)成为研究热点。通过在潜在空间中对被扰动的序列进行多步去噪,扩散模型能够打破固定因果顺序,实现全序列的非自序生成与双向上下文全局协调。但现有的扩散语言模型存在固有的双重瓶颈:一方面,为了逼近离散文本分布,多步去噪往往需要数百步采样迭代,带来极高的推理延迟与算力开销;另一方面,现有模型在低熵局部平滑与高层宏观语义控制之间缺乏显式解耦,导致语言困惑度(PPL)和局部精准表达常常落后于成熟的自回归基座。

近年涌现出的混合模型(如分块离散扩散 BD3-LM 或因果扰动 ARD)试图将二者拼接,但往往在硬编码的块级别或固定的位置时间表上机械划分界限,不仅破坏了连续语义的流动性,也无法依据局部内容的认知不确定性动态分配算力。核心 idea:自回归与分数扩散模型本质上是同一连续概率流在潜在空间中的不同时间离散化形式,可以通过引入可学习的逐 token 语义成熟度进度变量,让具有高不确定性的宏观框架优先进行扩散级全局规划,而确定性高的成熟 token 快速进入自回归细化,从而在单一体素内实现全微分的演化平衡。

方法详解

整体框架

Evo 将离散文本序列的生成统一建模为潜在轨迹上的连续流(Latent Flow)。给定目标 token 序列 \(X = (x_1, \dots, x_N)\),模型为每个位置维护对应的连续潜在隐向量 \(z_i \in \mathbb{R}^d\) 以及刻画语义成熟度的标量进度变量 \(t_i \in [0, 1]\)。其中 \(t_i \approx 1\) 对应粗粒度、高不确定性的扩散规划阶段,而 \(t_i \approx 0\) 则对应确定性的自回归细化与离散词元落地。模型由一个时间条件化的 Transformer 骨干与全局共享的速度场 \(F_\theta\) 构成,通过对潜在表征的全序列双向自注意力交互,实现规划语义向离散 token 的连续演化。

在推理过程中,模型首先从先验分布中采样初始潜在表征与各位置的初始演化进度,随后在共享向量场引导下执行确定性 ODE 积分更新,各 token 依据自身的成熟度进度自适应收敛,最终由线性投影头解码映射回词元。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 提示词与先验分布"] --> B["潜在流对偶映射<br/>连续时间坐标变换与对偶概率流"]
    B --> C["连续潜在轨迹演化<br/>共享速度场推进 latent 表征"]
    C --> D["语义成熟度门控<br/>两层 MLP 预测 token 演化步数"]
    D --> E["统一证据下界目标<br/>自回归 NLL 与扩散 Score 联合优化"]
    E --> F["自适应解码输出<br/>线性投影与最近邻离散序列恢复"]

关键设计

1. 潜在流对偶映射:将自回归因果递推与连续扩散 SDE 统一于同一概率流

现有工作通常将自回归的离散逐步递推与扩散模型的连续高斯去噪视为截然不同的数学范式,导致混合架构设计往往沦为生硬的分块或拼接。本文在理论上证明了两者是一体两面的等价关系:对于离散前缀序列逐步展开的自回归过程,将其插值为关于连续时间尺度 \(s \in [0, 1]\) 的平滑路径 \(x_s\),其动力学演化受常微分方程 \(\frac{dx_s}{ds} = F_\theta(x_s, s)\) 控制;而对于前向扩散过程所对应的逆向时间去噪 SDE,在去掉布朗运动随机项后可退化为确定性概率流 ODE:\(\frac{dz_t}{dt} = -\sigma(t)^2 \nabla_z \log p_t(z)\)。

论文指出,只要定义一个严格单调光滑的时间重参数化映射 \(s(t) \triangleq \int_0^t \sigma(\tau)^2 d\tau / \int_0^1 \sigma(\tau')^2 d\tau'\),两者在潜在空间中描摹出的正是完全相同的几何轨迹,且确定性速度场精确满足 \(F_\theta(x_s, s) \equiv -C \nabla_x \log p_s(x_s)\)。这一严谨对偶证明确立了自回归模型本质上是沿着特定时间重构尺度前进的确定性扩散流,而扩散模型则是放宽了因果时序限制的广义分数追踪,为全体系联合建模提供了坚实的数学理论基础。

2. 连续潜在轨迹演化:基于共享向量场的全序列潜在特征时间条件更新

针对传统离散掩码或硬编码 token 替换造成的语义不连续与梯度截断痛点,Evo 构建了一个完全在连续潜在流形上运作的表征演化机制。每个 token 位置的表征 \(z_i(t)\) 不直接对应离散词表概率,而是在特征空间 \(\mathbb{R}^d\) 中随连续时间推进,其动力学导数严格服从全局参数共享的时间条件向量场:

\[\frac{dz_i(t)}{dt} = F_\theta(z_i(t), t_i)\]

在架构落地层面,Evo 摒弃了单向因果注意力掩码,采用支持双向长程上下文感知的全序列自注意力机制。为了注入时间感知,模型将连续变量 \(t_i\) 经由正弦位置编码(Sinusoidal Projection)映射为时间向量并融入隐层状态。各 token 在演化过程中不仅能够利用双向交互协调全局语法与语义结构,还能够依据各自当前的演化深度动态调节感受野,使全局语义骨架与局部细节在同一个 Transformer 骨干中平滑流动。

3. 语义成熟度门控:自适应预测逐 token 演化深度与计算预算分配

分块扩散混合模型(如 BD3-LM)对每个生成块强制分配完全相同的去噪步数,导致模型在处理高度确定性的低熵词汇(如标点、冠词、模板语法)时极度浪费算力,而在面对高歧义的关键推理节点时计算深度不足。Evo 设计了端到端可学习的语义成熟度门控机制,由一个挂载在初始潜在状态上的两层 MLP(带 GELU 激活与 Sigmoid 归一化)预测各 token 的连续成熟度变量 \(t_i \in [0, 1]\)。

在推理阶段,设全局最大重采样步数为 \(K_{\max}\)(通常设为 20),每个 token 实际参与向量场迭代更新的步数由下取整算子动态截断为 \(K_i = \lfloor K_{\max} \cdot t_i \rfloor\)。成熟度较高(\(t_i \to 0\))的词元更新极少步便提前早停冻结,将宝贵的计算资源倾斜至处于粗粒度规划(\(t_i \to 1\))的不确定性 token。这一设计消除了硬性阶段切分的生硬感,使整体解码吞吐量直接逼近单向自回归模型。

4. 统一证据下界目标:实现单阶段自回归最大似然与去噪匹配的自平滑联合优化

现有混合模型往往依赖复杂的多阶段训练管线,先预训练自回归基座再微调扩散分支,易导致优化目标脱节与特征漂移。Evo 推导了针对序列边缘对数似然 \(\log p_\Theta(X)\) 的变分下界(ELBO):

\[\log p_\Theta(X) \ge \mathbb{E}_{Z, t \sim q(Z, t | X)} \left[ \log p_\theta(Z, t) + \log p(X | Z) - \log q(Z, t | X) \right]\]

离散化为 \(K\) 步潜在流预测损失后,其优化目标可无缝表述为条件流预测误差:

\[\mathcal{L}_{\text{Flow}}(\theta) = \sum_{t=0}^{K-1} \mathbb{E}_{X, Z} \left[ - \log p_\theta(z^{(t+1)} \mid z^{(t)}, t) \right]\]

在具体实现中,该目标与高斯扰动下的分数匹配损失以及终端离散 token 的交叉熵损失完全融合:当 \(t_i \to 0\) 时,模型自然退化为主导的自回归因果负对数似然;而当 \(t_i \to 1\) 时,加权项自然平滑过渡为主导的分数匹配去噪损失。结合余弦噪声调度与两层步长渐进退火,实现了端到端一体化联合预训练与监督微调。

损失函数 / 训练策略

模型在涵盖多语言、代码与数学的 3.4T token 大规模多领域语料库上进行预训练。训练采用 AdamW 优化器(\(\beta_1 = 0.9, \beta_2 = 0.95\)),权重衰减为 0.1,采用 3000 步线性 Warmup 的余弦退火学习率调度,峰值学习率设为 \(1.5 \times 10^{-4}\),最大上下文长度设为 4K。采用加性高斯扰动构建中间态 \(z_i^{(t)} = \sqrt{\alpha_t} z_i^{(0)} + \sqrt{1 - \alpha_t} \epsilon\),其中噪声系数满足余弦调度 \(\alpha_t = \cos^2(\frac{\pi}{2} t)\)。模型基于 DeepSpeed ZeRO-3、流水线并行及序列并行在 NVIDIA A100 GPU 集群上高效训练,并在后训练阶段通过监督微调(SFT)对齐推理与指令跟随能力。

实验关键数据

主实验

论文在预训练与后训练两个阶段对 Evo 8B 与主流开源自回归(LLaMA3 8B, Qwen2.5 7B)、纯扩散(LLaDA 8B, MDLM 7B)及混合基线(BD3-LM 7B, ARD 7B)进行了严格统一评测,结果如表 1 与表 2 所示。

预训练阶段基础评测(Table 1 原文数据摘录):

模型 端到端延迟 (s) 解码吞吐 (tokens/s) MMLU (5-shot) GSM8K (4-shot) MATH (4-shot) HumanEval (0-shot) MBPP (4-shot) CMMLU (5-shot)
Evo 8B 8.6 52 76.8 86.4 54.9 60.6 77.4 88.1
BD3-LM 7B 14.2 28 70.0 79.8 42.9 50.6 63.7 84.2
ARD 7B 32.5 12 46.2 15.1 3.6 13.4 18.9 33.1
LLaDA 8B 21.8 16 65.6 70.9 27.0 33.2 38.5 70.2
MDLM 7B 18.9 22 64.0 36.5 10.0 29.0 51.3 47.0
LLaMA3 8B 7.4 58 65.1 52.7 15.4 34.6 47.1 50.4
Qwen2.5 7B 8.1 46 74.5 85.8 50.2 58.3 75.2 -

后训练阶段评测(Table 2 原文数据摘录):

模型 对齐方式 端到端延迟 (s) 吞吐 (tokens/s) MMLU (5-shot) ARC-C (0-shot) GSM8K MATH (0-shot) HumanEval (0-shot) MBPP
Evo 8B SFT 8.6 52 78.6 92.5 89.3 (4) 78.8 86.7 81.1 (4)
BD3-LM 7B SFT+RL 14.2 28 75.1 86.7 85.7 (0) 74.3 82.9 67.2 (0)
ARD 7B SFT+RL 32.5 12 48.9 56.9 31.0 (4) 15.6 16.5 20.6 (4)
LLaDA 8B SFT 21.8 16 65.5 88.5 78.6 (4) 26.6 47.6 34.2 (4)
MDLM 9B SFT+RL 18.9 22 70.2 - 76.7 (0) 44.3 68.9 74.9 (0)
LLaMA3 8B SFT+RL 7.4 58 68.4 82.4 78.3 (4) 29.6 59.8 57.6 (4)
Qwen2.5 7B SFT+RL 8.1 46 73.8 - 91.6 (0) 75.5 84.8 79.2 (0)

消融实验

论文针对时间条件机制、成熟度门控策略以及模型架构设计展开了系统消融分析,测试验证集困惑度(PPL)与核心任务平均准确率(MMLU 与 GSM8K 均值)。

时间条件与演化门控消融(Figure 3 原文数据):

消融变体 验证集 PPL (\(\downarrow\)) 任务均分 Acc (\(\uparrow\)) 说明与关键现象
Evo (完整模型) 8.1 81.6 完整模型:具备自适应可学习时间 \(t_i\) 与连续流更新
去除时间条件 (w/o Time Conditioning) 9.6 69.1 丢失时间维度调度能力,模型无法感知当前演化深度,性能严重骤降
固定 \(t_i = 0\)(纯自回归模式) 10.2 69.6 无法执行任何双向扩散细化,PPL 恶化最为剧烈
固定 \(t_i = 1\)(纯扩散模式) 8.6 77.0 全程进行均匀多步扩散去噪,推理变慢且局部细化能力受限
固定 \(t_i = 0.5\)(折中均匀采样) 8.8 77.9 僵化折中方案,性能优于纯极端但明显落后自适应机制
启发式 \(t_i\)(基于自回归熵阈值) 8.4 78.2 仅凭局部预测熵无法有效捕捉宏观长程规划不确定性

模型架构与预训练初始化消融(Figure 4 原文数据):

架构配置 验证集 PPL (\(\downarrow\)) 任务均分 Acc (\(\uparrow\)) 说明与关键现象
Evo (完整模型) 8.1 81.6 单一参数共享 Transformer 骨干与联合潜在流
双模块解耦架构 (AR + Diff 独立模块) 8.6 77.9 拆分为独立网络打破了流形对偶性,产生跨模块表示漂移
去除跨时间共享嵌入 (No Shared Embeddings) 8.4 78.3 潜在表征空间在各去噪阶段不一致,削弱长程演化稳定性
无预训练初始化 (从零冷启动) 9.1 76.2 缺乏语义先验导致潜在流收敛速度与极限泛化显著受挫
冻结自回归主干 (Frozen AR Backbone) 8.7 80.4 证明 Evo 可作为即插即用模块低成本适配成熟自回归模型

关键发现

  • 复杂推理与代码任务增益最为显著:在 GSM8K 与 MATH 评测中,预训练 Evo 8B 分别达到 86.4 与 54.9,显著超越同等规模的纯自回归基线 LLaMA3 8B(52.7 / 15.4)以及分块扩散基线 BD3-LM 7B(79.8 / 42.9)。这证实双向潜在流允许模型在生成初期搭建粗粒度演算大纲,并在后续步数中对推导过程进行局部回溯与一致性修正,从根本上缓解了单向自回归的早熟提交错误。
  • 近乎纯自回归的推理效率:Evo 8B 的端到端推理延迟为 8.6 秒,吞吐量达 52 tokens/s,与纯自回归的 LLaMA3(58 tokens/s, 7.4s)相差无几,而远快于分块扩散 BD3-LM(28 tokens/s, 14.2s)及全序列去噪扩散模型 LLaDA(16 tokens/s, 21.8s)。这一巨大吞吐优势归功于自适应语义成熟度截断机制,绝大部分确定性局部词元在 1-3 步内即收敛早停。
  • 端到端可学习时间维度的不可替代性:消融表明,通过两层 MLP 端到端学习预测的成熟度变量 \(t_i\)(81.6%)显著优于任何固定时间尺度或基于预测熵的启发式规则(78.2%),证明模型自主学习分配认知算力的必要性。

亮点与洞察

  • 严格优雅的数学对偶证明:论文不仅提出了实用的工程模型,还首次从连续时间概率流 ODE 与逆向 SDE 的时间重参数化角度,在数学上证明了因果自回归模型与分数扩散模型是一体两面的等价关系,填补了生成模型领域的理论鸿沟。
  • 细粒度语义成熟度的动态算力分配:创新性地提出以标量 \(t_i\) 刻画各词元的语义成熟度,使单向生成确定性与双向规划不确定性在同一个注意力层中并存,彻底打破了以往按固定 block 或固定全序列去噪的僵硬范式。
  • 模块化适配现有基座的高可复用性:消融实验中“冻结 AR 主干”依然能取得 80.4% 的高精度,意味着该方案不仅适用于从头预训练,还可以作为低成本适配层直接迁移至已有的开源百亿/千亿规模自回归基座中。

局限与展望

  • 训练开销略高于标准自回归:由于在训练阶段需要兼顾潜在流轨迹积分与分数匹配梯度的回传,Evo 的前向与反向传播计算量高于纯因果掩码的单向 Transformer,在大规模扩展至超大参数量级时需要设计更高效的并行与轨迹近似算法。
  • 长文本长程生成的全局控制敏感性:由于放弃了严格的从左至右单向依赖,在开放式超长叙事文本生成中,潜在语义骨架的演化可能受到局部扰动累积的影响,导致生成长度控制与全局结构连贯性面临挑战。
  • 未来方向:探索将强化学习偏好优化(如 RLHF / DPO)直接集成到连续潜在流的时间演化轨迹上,以及研究自适应多步扩散机制在多模态视觉-语言理解联合生成中的自然拓展。

相关工作与启发

  • vs BD3-LM: BD3-LM 采用离散分块扩散,在块间保持自回归、块内执行固定步数的离散掩码去噪,硬性割裂了上下文边界;Evo 采用无分块的全序列连续潜在流,实现了完全自适应的逐 token 计算分配与端到端平滑更新。
  • vs AR-Diffusion (ARD): ARD 依赖固定的位置单调加噪时间表,越靠后的 token 被强行赋予越大的去噪步数,未考虑语义实际不确定性;Evo 通过网络自主预测语义成熟度,使算力完全由信息熵而非物理位置驱动。
  • vs LLaDA / MDLM: 纯扩散模型对序列全部 token 均匀执行迭代去噪,导致推理延迟高且局部语言连贯性偏弱;Evo 将成熟 token 迅速收敛至自回归流形,在保持扩散级全局规划优势的同时将生成吞吐提升了 2-3 倍。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从连续概率流对偶理论上统一自回归与扩散模型,机制设计精妙且数学推导严密。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个基准测试、5 种参数量级扩展、完备的端到端吞吐测算与多维度消融实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰,图表与实验对照严谨,动机与设计高度闭环。
  • 价值: ⭐⭐⭐⭐⭐ 为突破自回归 LLM 复合误差与提升复杂推理能力开辟了一条具备工程可行性与高推理效率的全新技术路径。