Predict, Don’t Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Hsu1023/PILL
领域: LLM 推理
关键词: 扩散语言模型, 文本填充, 自适应长度, 双向注意力, 多槽并行解码
一句话总结¶
针对扩散语言模型在文本/代码填充时预设掩码长度敏感且迭代搜索开销巨大的缺陷,提出冻结骨干的 PILL 框架,通过单次前向探测直接预测目标长度、多槽并行解码生成局部候选并在单次评分中完成事后选择,仅增加 2 次前向传播即超越最强基线并提速 1.82 倍。
研究背景与动机¶
扩散语言模型(Diffusion Language Models, DLMs)利用双向注意力和任意顺序去噪生成文本,展现出超越传统自回归因果注意力的建模潜力。在文本和代码填充(Infilling)任务中,模型需要根据给定的前缀(prefix)和后缀(suffix)推断中间缺失的内容跨度。自回归模型受限于单向因果流,通常只能通过 FIM(Fill-in-the-Middle)提示将后缀右移间接接入,而 DLM 天然能够同时对左右双向上下文进行对称条件约束,在填充场景下具备得天独厚的结构优势。
然而,DLM 的生成机制要求在解码前必须固定掩码标记的数量,而实际填充任务中正确的内容长度不仅事先未知,而且跨样本方差极大。填充质量对预设跨度长度表现出近乎严苛的敏感性:在代码合成场景中,稍微多分配一个换行或少分配一个标识符,就会导致整个语法结构瓦解或逻辑中断。现有的自适应长度解码尝试往往陷入两难困境:诸如 CAL 等方法高度依赖初始预设长度,容易陷入初始值附近的局部极小值;同时,它们大多通过多步去噪置信度进行反复试探性搜索,或者频繁插入单标记动态增删操作,导致推理阶段引入数十次额外前向传播,计算开销甚至成倍超过原始固定长度去噪。
这种敏感性与高昂推理开销的交织,构成了固定长度 DLM 迈向实用自适应填充的核心矛盾。本文打破了“以迭代搜索探索长度”的传统惯性思维,提出“先预测、再并行生成与筛选”的高效解耦路线。核心 idea:冻结 DLM 骨干,仅插入单个掩码标记利用双向隐状态通过轻量探针直接回归目标长度,并结合插值位置编码的多槽并行解码与后验联合因果评分,以仅 2 次额外前向传播的极低开销实现无预设初始长度的高性能自适应填充。
方法详解¶
整体框架¶
PILL(Probing-based InfiLling with preset-Length-free decoding)将填充问题解耦为三个紧密协作的高效阶段:长度探测(Stage I)、多槽并行解码(Stage II)和事后选择(Stage III)。整个流程严格冻结预训练 DLM 骨干参数,全生命周期仅引入 2 次额外前向计算(一次用于探测,一次用于评分)。在 Stage I 中,在前缀与后缀间插入单个掩码标记,利用其聚合了双向全局上下文的深层隐状态直接由轻量 MLP 预测出中心长度 \(\hat{L}\),并展开为局部候选窗口;在 Stage II 中,构建拼接序列并通过槽感知注意力掩码(Slot-wise Attention Mask)与位置 ID 线性插值,使所有候选长度在单次解码循环中并行去噪而不相互干扰;在 Stage III 中,构造因果可见块与评分掩码探针,在单次前向传播中计算内部局部连贯性与后缀承接对齐度的联合得分,选出最优补全结果。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入前缀 P 与后缀 S"] --> B["双向上下文长度探测<br/>插入单掩码经轻量MLP预测中心长度"]
B --> C["基于线性插值的槽感知并行解码<br/>展开局部半径候选并复用KV缓存去噪"]
C --> D["单次前向联合因果事后评分<br/>隔离掩码下平衡内部连贯性与后缀对齐"]
D --> E["输出最优自适应填充文本"]
关键设计¶
1. 双向上下文长度探测:解决长度依赖预设初始值与反复试探的问题 针对以往方法必须依赖先验初始长度且易陷入局部次优的痛点,PILL 利用 DLM 双向注意力天然聚合全序列信息的特质,直接从单次前向传播中推断目标跨度规模。给定前缀 \(P\) 和后缀 \(S\),构造序列 \(x_{\text{probe}} = P \oplus [\text{M}] \oplus S\),送入冻结的 DLM 骨干。由于该单掩码位置能够同时观察左右上下文,其隐状态成为了缺失内容信息密度的自然摘要。为防止单标记表征受局部偶然扰动影响,模型拼接了前缀末尾 4 个标记的平均池化、掩码标记隐状态以及后缀起始 4 个标记的平均池化,构成增强表征向量 \(h = [\text{MeanPool}(h_{p-4:p-1}); h_{[\text{M}]}; \text{MeanPool}(h_{s:s+3})] \in \mathbb{R}^{3d}\)。随后利用一个三层 MLP 探针 \(f_{\phi}(\cdot)\) 在对数空间回归标量长度: $\(\hat{L} = \lfloor \exp(f_{\phi}(h)) \rceil\)$ 其中 \(\lfloor \cdot \rceil\) 表示四舍五入为最接近的正整数。在对数空间预测避免了长尾长度分布造成的训练震荡,同时严格保证预测长度为正数。该阶段摆脱了任何初始长度猜测,仅消耗一次前向传播即可提供高精度的长度锚点。
2. 基于线性插值的槽感知并行解码:解决多候选解码算力激增与边界错位问题 由于 DLM 对填充长度高度敏感,单纯依赖预测的单个点估计容易受到离散舍入误差的干扰。为此,PILL 以预测值 \(\hat{L}\) 为中心扩展局部半径 \(r\),形成包含 \(N = 2r + 1\) 个候选长度的集合 \(\{\hat{L}-r, \dots, \hat{L}+r\}\)。为了避免独立解码各个候选带来的 \(N\) 倍计算开销,PILL 设计了多槽并行解码机制,将所有候选槽与共享上下文拼接为 \(P \oplus [\text{M}]^{\hat{L}} \oplus S \oplus [S_1] \cdots [S_N]\)。通过设计槽感知注意力掩码(Slot-wise Attention Mask),每个槽 \(S_j\) 仅允许关注自身内部的掩码标记以及共享的前缀、锚点掩码与后缀,而不同槽之间严格不可见,实现了单次解码下多候选的零干扰并行去噪与共享上下文 KV 缓存复用。 在此基础上,针对不同长度候选与后缀边界对齐的几何挑战,若采用常规的左填充或右填充,会在跨度与一侧上下文之间留下位置 ID 空隙,使 RoPE 机制将多余空隙误判为未完成空间,引发严重的欠生成(under-generation)。PILL 提出了后缀锚定与位置 ID 线性插值设计:将后缀的起始位置统一锚定在 \(p_S = p_P + \hat{L} + 1\),对于长度为 \(\ell_j\) 的槽 \(S_j\),其第 \(k\) 个标记的位置 ID 通过线性插值分配: $\(\text{pos}(S_j, k) = (p_P + 1) + (k - 1) \cdot \frac{\hat{L} - 1}{\ell_j - 1}\)$ 该设计消除了跨度与后缀之间的相对空隙,使不同长度的候选槽对后缀展现出完全一致的几何连续性,在不增加微调成本的前提下保证了并行去噪的结构完整性。
3. 单次前向联合因果事后评分:解决生成质量评价缺少似然度与多次评估瓶颈 自回归模型能利用自回归因果概率乘积对候选打分,而 DLM 训练目标是掩码重建而非下一个标记预测,已确定标记位置的输出分布无法直接作为似然评分,若使用逐标记遮蔽的伪对数似然则需要大量前向传播。为此,PILL 提出了创新的掩码评分探针结构,在单次额外前向传播中完成对所有 \(N\) 个候选的并行事后质量评价。对于每个候选跨度 \(C_j\) 与抽取的稀疏后缀子集 \(\tilde{S}\),构建可见标记块 \(v = C_j \oplus \tilde{S}\) 以及与之位置 ID 严格对应的掩码评分探针块 \(\mu = (\mu_1, \dots, \mu_{\ell_j+m})\)。通过精心构造全局注意力掩码:可见标记 \(v_k\) 采用包含自身的因果注意力(仅关注前缀 \(P\) 及 \(v_{\le k}\)),防止未来标记信息泄露;评分探针 \(\mu_k\) 严格只关注 \(P\) 与 \(v_{< k}\),从而在输出端无标签泄露地直接读出条件对数似然 \(\log p_{\theta}(v_k \mid P, v_{< k})\)。 为兼顾局部语法流利性与远端承接自然度,PILL 将候选得分分解为候选内部得分 \(s_{\text{in}}^j\) 与后缀延续得分 \(s_{\text{suf}}^j\),并通过凸组合选出最优跨度: $\(j^{\star} = \arg\max_{j} \left[ \alpha \cdot \frac{1}{\ell_j} \sum_{k=1}^{\ell_j} \log p_{\theta}(c_k \mid P, c_{<k}) + (1 - \alpha) \cdot \frac{1}{m} \sum_{t=1}^{m} \log p_{\theta}(\tilde{s}_t \mid P, C_j, s_{<t}) \right]\)$ 其中稀疏后缀 \(\tilde{S}\) 由承接即时过渡的头部标记(前几个标记)和在 Stage II 解码中接受跨度注意力最高的显著标记组合而成(默认 \(m \in [4, 8]\))。各候选块在全局注意力中互不可见,仅用单次前向计算便实现了精准的全局连贯性判别。
损失函数 / 训练策略¶
PILL 采用骨干完全冻结的策略,DLM 本身不参与任何微调或权重更新。整个框架唯一的训练对象是 Stage I 中的轻量级 3 层 MLP 长度探针(隐层维度分别为 512 和 128,采用 GeLU 激活函数与 0.1 的 Dropout)。探针的训练数据集基于自监督策略构建,从开源代码库(Py150、LeetCode、CodeContests)以及开源英文网页文本(C4)中随机抽取连续跨度掩码并提取对应的左右上下文,每个骨干模型仅采集 196k 条样本进行离线单次训练。优化器选用 AdamW,学习率为 \(1 \times 10^{-3}\),权重衰减为 \(1 \times 10^{-4}\),批大小为 16,以均方误差(MSE)损失函数针对目标长度的对数 \(\log L\) 训练 50 个 epoch。在一块 NVIDIA A40 GPU 上,针对特定骨干的探针训练全过程仅耗时约 100 分钟,且训练完成后可永久复用于所有下游任务,属于一次性分摊成本。
实验关键数据¶
主实验¶
在 5 个主流开源 DLM 骨干(LLaDA-8B-Base、LLaDA-8B-Instruct、LLaDA-MoE-Base、Dream-7B-Base、Dream-Coder-7B-Base)及 8 个代码与自然语言基准上进行系统评测。基线包括固定长度解码骨干(Backbone)、动态画布扩展方法 DAEDAL 以及基于置信度搜索的 CAL(基线均在初始长度 \(L \in \{4, 8, 16, 32\}\) 下取平均,PILL 则完全无需预设初始长度)。代码任务报告 Pass@1 通过率,文本任务报告 BLEU-2 / ROUGE-L 指标。
| 模型 / 骨干 | 方法 | Human-S (Pass@1) | MBPP-S (Pass@1) | Java (Pass@1) | C/C++ (Pass@1) | WikiText (BLEU-2/ROUGE) | ArXiv (BLEU-2/ROUGE) |
|---|---|---|---|---|---|---|---|
| LLaDA-8B-Base | Backbone (Avg L) | 44.68 | 37.45 | 34.09 | 34.84 | 19.90 / 34.48 | 13.23 / 30.30 |
| DAEDAL (Avg L) | 44.99 | 38.86 | 35.34 | 36.03 | 10.82 / 20.78 | 6.65 / 16.61 | |
| CAL (Avg L) | 64.74 | 54.49 | 50.31 | 49.22 | 23.00 / 37.25 | 15.69 / 32.69 | |
| PILL (Ours) | 71.35 | 57.49 | 57.10 | 54.57 | 29.29 / 44.96 | 20.28 / 39.82 | |
| PILL (Oracle) | 81.90 | 71.56 | 60.98 | 60.08 | 41.51 / 56.76 | 29.35 / 50.43 | |
| LLaDA-8B-Instruct | Backbone (Avg L) | 49.73 | 37.47 | 32.42 | 33.40 | 18.07 / 32.77 | 12.57 / 29.44 |
| CAL (Avg L) | 69.77 | 48.64 | 49.20 | 48.66 | 20.52 / 34.93 | 14.77 / 31.33 | |
| PILL (Ours) | 67.86 | 52.27 | 52.66 | 52.35 | 25.58 / 41.91 | 18.94 / 38.13 | |
| Dream-7B-Base | Backbone (Avg L) | 42.79 | 40.12 | 33.90 | 34.30 | 19.12 / 33.75 | 13.56 / 30.97 |
| CAL (Avg L) | 64.48 | 56.00 | 47.92 | 48.00 | 21.68 / 36.68 | 15.98 / 33.52 | |
| PILL (Ours) | 68.34 | 57.97 | 58.98 | 56.30 | 32.36 / 48.13 | 22.89 / 42.79 | |
| Dream-Coder-7B | Backbone (Avg L) | 49.64 | 43.94 | 36.89 | 37.66 | - | - |
| CAL (Avg L) | 68.56 | 61.35 | 51.14 | 49.28 | - | - | |
| PILL (Ours) | 71.35 | 62.59 | 59.87 | 59.01 | - | - |
在推理效率与额外前向计算量方面,在 HumanEval-S 数据集上基于 LLaDA-8B-Base 的对比显示了 PILL 的极致轻量特性:
| 方法 | Pass@1 (%) | 额外前向传播次数 (Extra Fwd.) | 单样本生成耗时 (Time / sample) | 相对 Backbone 耗时增长 |
|---|---|---|---|---|
| Backbone (Avg L) | 44.67 | - | 1.10 s | +0% |
| DAEDAL | 44.80 | 11.98 | 2.29 s | +117% |
| CAL | 64.74 | 13.79 | 2.13 s | +94% |
| PILL (Ours) | 71.35 | 2.00 | 1.18 s | +7% |
消融实验¶
基于 LLaDA-8B-Base 模型在 HumanEval-S 上对核心设计进行深度消融,涵盖位置 ID 分配策略与事后评分机制的设计变体:
| 评估维度 / 模块配置 | Pass@1 (%) | Oracle Pass@1 (%) | 说明 |
|---|---|---|---|
| 位置 ID 分配策略 (Stage II) | |||
| 左填充 (Left-padding) | 28.2 | 73.2 | 前缀与跨度对齐,跨度与后缀间留出空隙,导致后缀端严重欠生成 |
| 右填充 (Right-padding) | 31.6 | 74.2 | 跨度与后缀对齐,前缀与跨度间留出空隙,导致前缀端结构断裂 |
| 独立单槽解码 (Independent Single-slot) | 52.9 | 83.6 | 各候选独占独立前向序列(不共享画布,无槽间干扰上界) |
| 线性插值 (Interpolation, Ours) | 51.6 | 81.9 | 消除双向空隙,性能紧逼独立单槽解码,解码速度提升数倍 |
| 事后选择策略 (Stage III) | |||
| 随机选择候选 (Random candidate) | 51.62 | 81.90 | 存在正确候选但缺乏有效判别机制 |
| 仅取预测长度中心项 (Predicted length only) | 66.02 | 66.02 | 纯依赖 Stage I 探针回归,无局部容错修正 |
| 仅内部连贯性评分 (Inner-only, \(\alpha=1\)) | 69.02 | 81.90 | 保证了跨度自身语法通顺,但忽视了与后续上下文的承接度 |
| 仅后缀延续评分 (Suffix-only, \(\alpha=0\)) | 63.99 | 81.90 | 过度受后缀首部约束,易牺牲跨度内部完整性 |
| 双向联合评分 (Inner + Suffix, \(\alpha=0.5\)) | 71.35 | 81.90 | 局部流利性与全局上下文对齐兼备的最优解 |
关键发现¶
- 开销归因极度精简:固定长度下的逐阶段分解实验表明,在基础去噪耗时 0.967s 的基准上,探针前向增加 0.086s(+8.9%),多槽并行仅增加 0.033s(+3.4%),事后评分增加 0.091s(+9.4%)。多槽并行机制以微不足道的开销生成了全部 \(2r+1\) 个候选,证明 KV 缓存复用和注意力隔离设计极为高效。
- 摆脱初值陷阱的鲁棒性:CAL 在预设 \(L=4\) 时 Human-S 预测 MAE 为 3.56,而当初始值设为 \(L=32\) 时 MAE 激增至 24.13,Acc@1 从 0.58 暴跌至 0.02;PILL 无需初值,直接取得 2.50 的全局最低 MAE,且 Acc@5 高达 86.35%,表明局部半径 \(r=2\) 能够稳定覆盖真实长度。
- 超参数敏感性饱和:候选半径在 \(r=2\)(5 个候选)时性能达到峰值(71.35),进一步扩大到 \(r=4\) 时 Oracle 虽微增至 84.0,但最终 Pass@1 饱和甚至微降(70.1),原因是候选池扩大增加了判别噪音;稀疏评分后缀长度在 \(m=4\) 时达到最优,说明延续性信号高度集中在过渡边界处。
亮点与洞察¶
- 从“试探长度”到“直接探测”的范式转换:以往自适应工作将长度确定与内容生成紧紧耦合,依靠多步迭代盲目搜索;PILL 敏锐捕捉到双向掩码隐状态作为信息密度摘要的统计特性,用一次极轻量的 MLP 探测实现准确锚定,将推理额外前向从十几步压至恒定 2 步。
- 位置编码几何插值的妙用:在多候选共享画布中,直接左/右填充会产生离散位置空隙并引发 RoPE 机制下的欠生成;通过在固定前缀与后缀锚点之间进行浮点线性插值,巧妙维持了上下文无缝连续性,无需任何微调即可适配预训练权重。
- 因果掩码探针实现单步似然评估:利用同一批次内可见块(包容性因果)与掩码探针(严格因果)的协同注意力屏蔽,完美绕过了 DLM 缺乏自回归序列评分公式的底层缺陷,使得单次前向完成多候选联合似然打分成为现实。
局限与展望¶
- 作者指出的局限:实验评测主要集中在单 GPU 环境下的 7B/8B 规模 DLM,探针在更大规模骨干(如数十亿至千亿级 MoE)上的表征泛化能力尚需验证;对于复杂的多跨度嵌套或仓库级跨文件长距离代码补丁,当前的单跨度假设需要进一步扩展。
- 潜在改进方向:探索不确定性感知动态候选扩展。附录分析表明,预测方差与真实长度正相关(Pearson 相关系数 0.32),引入方差自适应的动态半径可在长尾或高难度样本上进一步扩充覆盖面而不增加平均算力开销。
相关工作与启发¶
- vs CAL (Liu et al., 2026): CAL 利用去噪早期的置信度分布动态搜索长度,但其优化过程极易锁定在预设初始长度附近的局部极小值中,且每样本平均消耗 13.8 次额外前向计算;PILL 完全抛弃预设初值,通过隐状态探测直接锚定长度并并行解码,推理速度为其 1.82 倍且准确率显著领先。
- vs DAEDAL (Li et al., 2025a): DAEDAL 仅能在序列尾部单向扩展画布,在双向填充中无法严格保证与后缀的边界约束,导致文本填充指标大幅下滑;PILL 显式建模前缀与后缀的双向交互,并通过位置插值确保后缀几何对齐。
- vs DreamOn (Wu et al., 2026): DreamOn 通过向扩散过程中注入显式长度变换算子实现动态填充,但必须对 DLM 骨干进行昂贵且有损通用能力的全参数微调;PILL 保持骨干完全冻结,仅需离线训练轻量探针,兼具极佳的领域迁移性与部署便捷性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 DLM 双向隐状态探测长度,并设计线性插值多槽解码与单步因果评分探针,构思极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 横跨 5 大模型、8 大中英代码及文本基准,包含详尽的效率归因、误差分布、初值鲁棒性及结构复杂度消融。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进,动机阐述切中要害,图表呈现清晰直观。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了扩散模型在文本填充落地中“固定长度不灵活、自适应搜索开销大”的核心瓶颈,实用落地价值极高。