跳转至

Training-Free Character-Length Control in Summarization with Diffusion Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/DFKI-NLP/delta-diffusion
领域: 文本生成
关键词: 扩散语言模型, 长度控制, 文本摘要, 推理时解码, 字符预算

一句话总结

本文提出 DELTA(Diffusion Expected Length Targeting Algorithm),一种针对掩码扩散语言模型(如 LLaDA、Dream)的无需微调推理时控制算法,通过在逐步去噪中估计期望字符长度并动态增删 mask token,在 XSum、CNN/DailyMail 与 arXiv 上将字符长度误差降低一个数量级且保持具有竞争力的摘要质量。

研究背景与动机

在出版工作流、通知预览、社交媒体发帖、视频字幕与受限 UI 界面等实际应用中,文本摘要通常必须严格契合预设的字符空间预算。哪怕仅超出几个字符,都可能导致严重的排版截断、溢出或者排版布局破坏。然而,传统的自回归语言模型在面对精确字符级长度控制时极难兼顾质量与精确度:基于微调的方法(如 CTRLsum 或修改 EOS 损失)需要针对特定任务或长度重新训练模型,灵活性差;而零样本提示策略(如倒计时标记、词数统计比率折算与后处理重试过滤)只能获得近似的长度顺从性,且极易在长文本摘要中随着目标长度增加而累积巨大偏差。

这种困境的根本原因在于自回归生成的单向因果机制——自回归模型一旦生成前面的 token,就无法在同一轮解码中直接回退或修改,无法在后续生成过程中动态纠正已解码字符总量的漂移。与此形成鲜明对比的是,近年来兴起的掩码扩散语言模型(Masked Diffusion LMs,如 LLaDA 与 Dream)采用全序列掩码缓冲区迭代去噪的范式。这类模型本身在预训练中就具备在不同长度范围内生成文本的鲁棒性,偶然插入或删除若干 mask token 并不会严重破坏其生成质量。

因此,本文转换切入角度:充分利用离散掩码扩散模型能够在全局缓冲区双向审视与渐进细化的结构特性,将离散字符计数控制转化为连续概率空间中的动态目标追踪。核心 idea:在掩码扩散模型的每个去噪步骤中,联合已固化 token 的真实字符数与剩余掩码位置词表概率分布的期望字符数估算全局期望长度,并通过在低置信度位置动态插入或移除 mask 标记,在完全无需微调的情况下引导模型平滑收敛到目标字符预算。

方法详解

整体框架

DELTA 的整体流程运行在掩码扩散语言模型的迭代去噪主循环内。给定输入提示 \(p\)、目标字符长度 \(L^*\) 以及根据验证集平均 token 字符长度推导出的初始缓冲区大小 \(m\),模型首先构造全掩码缓冲区 \(x = [p; \text{[MASK]}^m; \text{[EOT]}]\)。在每个去噪步骤中,模型执行前向传播获取当前所有位置的词表分布与置信度,随后交替进行三项核心操作:基于全局概率分布估计当前序列的期望字符长度、在期望长度偏离目标时动态执行缓冲区增删调整,以及对置信度高于动态阈值的非掩码预测执行 token 固化(unmasking)。通过在固化步骤后交替允许缓冲区调整,算法彻底阻断了增删震荡,直至所有掩码完全消除输出最终文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示 p 与目标字符预算 L*"] --> B["初始化序列缓冲区<br/>x = [p; MASK^m; EOT]"]
    B --> C["模型前向传播<br/>获取词表分布 q_i 与置信度 c_i"]
    C --> D["期望字符长度估计<br/>已固化字符 + 掩码加权期望 L_hat"]
    D --> E{"L_hat 与 L* 是否匹配?<br/>(且允许调整)"}
    E -->|L_hat > L*| F["低置信度掩码自适应裁剪<br/>移除超额掩码位置并重置标记"]
    E -->|L_hat < L*| G["低置信度邻域掩码扩展<br/>按平均词长插入新掩码并重置标记"]
    E -->|匹配或调整完成| H["置信度阈值判定固化<br/>对 c_i > tau 执行 unmask 并重置调整锁"]
    F --> H
    G --> H
    H --> I{"是否仍有 MASK 存在?"}
    I -->|是| C
    I -->|否| J["输出精确满足字符预算的摘要 x"]

关键设计

1. 期望字符长度估计:兼顾确定性字符与未决位置概率期望

传统自回归模型无法获知未来未生成词的字符长度,而掩码扩散模型在每个去噪步都对所有剩余掩码位置维护完整的词表预测分布。DELTA 利用已知的字符映射函数 \(\ell: V \to \mathbb{N}_0\)(其中特殊标记如 [MASK]、[PAD]、[EOT] 的长度定义为 0),将当前缓冲区的总体期望字符长度 \(\hat{L}\) 显式分解为已固化 token 与掩码位置期望的和:

\[\hat{L} = \sum_{i=1}^{m} \hat{\ell}_i, \quad \text{其中} \ \hat{\ell}_i = \begin{cases} \ell(x_i) & \text{若 } x_i \neq \text{[MASK]} \\ \sum_{v \in V} q_{i,v} \cdot \ell(v) & \text{若 } x_i = \text{[MASK]} \end{cases}\]

为了避免特殊填充符干扰期望长度估计,算法在计算概率分布 \(q_i\) 前预先在 logits 中屏蔽所有零字符长度的特殊标记。该估计机制使得模型在生成的最初步骤(哪怕所有输出位置全为 [MASK] 时),也能依靠先验预测分布精准感知当前的总体字符体量,提供了平滑连续的长度梯度信号。

2. 缓冲区自适应调整:低置信度掩码的动态裁剪与扩展

当估计出的期望字符长度 \(\hat{L}\) 与目标预算 \(L^*\) 出现偏差时,DELTA 不打乱已确定的高质量语义,而是精准对模型最不确定的位置实施调整。若 \(\hat{L} > L^*\)(当前规划偏长),算法按当前预测置信度 \(c_i = \max_{v \in V} q_{i,v}\) 从低到高对掩码位置进行排序(排序置换为 \(\sigma\)),仅在置信度低于安全阈值 \(\tau_{\text{low}}\) 的掩码中执行贪心移除,使得移除 \(n_{\text{remove}}\) 个掩码后的期望长度亏空最小:

\[n_{\text{remove}} = \arg\min_k \left| \hat{L} - \sum_{j=1}^{k} \hat{\ell}_{\sigma(j)} - L^* \right|\]

限制在 \(\tau_{\text{low}}\) 以下可有效防止误删模型已高度确信的关键内容。反之,若 \(\hat{L} < L^*\)(当前规划偏短),算法在置信度最低的掩码位置相邻处插入新 [MASK] 标记,插入数量根据当前掩码平均期望字符长度 \(\bar{\ell}\) 估算为 \(\lfloor (L^* - \hat{L}) / \bar{\ell} \rfloor\)。这一双向弹性调整使得生成画卷随着去噪深入逐步逼近目标物理边界。

3. 阻尼交替固化策略:消除增删死循环的防震荡机制

如果在每个去噪步无限制地增删掩码,模型容易在长度边界处陷入“刚插入又被删除”的死循环震荡。为此,DELTA 设计了严格的阻尼交替状态机:缓冲区增删调整被布尔控制变量 can_adjust 锁定。只有在完成一次非掩码固化操作(即至少有一个最高置信度位置满足 \(c_i > \tau\) 被替换为 \(\arg\max\) 预测)后,can_adjust 才被重新激活;一旦执行了插入或删除,can_adjust 立即置为 false,强制下一步必须推进固化。由于每轮固化至少锁定一个真实 token,序列状态发生单向不可逆跃迁,从而在数学上严格保证了算法在有限步内单调收敛,并在 \(\lfloor L^* / 2 \rfloor\) 步内安全终止。

损失函数 / 训练策略

DELTA 属于纯粹的推理时(Inference-time)无需训练(Training-free)算法,完全不需要对基座模型进行参数更新、指令微调或特定损失函数重加权。在实验中直接挂载于预训练并指令微调完毕的离散扩散语言模型:LLaDA-8B-Instruct 与 Dream-7B-Instruct。关键超参数由网格搜索确定:在 CNN/DailyMail 与 XSum 上,Dream 的 \((\tau, \tau_{\text{low}})\) 设为 \((0.65, 0.95)\),LLaDA 设为 \((0.65, 0.90)\);在长文本 arXiv 上,Dream 设为 \((0.90, 0.82)\),LLaDA 设为 \((0.71, 0.71)\)。初始缓冲区大小 \(m\) 由验证集参考摘要的平均单 token 字符数结合 \(L^*\) 自适应初始化。

实验关键数据

主实验

评估在三个具有代表性的摘要基准上展开:XSum(极度压缩的单句摘要,平均参考长度 125 字符)、CNN/DailyMail(经典新闻多句摘要,平均 312 字符)以及 arXiv(长文档科技论文摘要,平均 969 字符)。下表对比了 DELTA 与强自回归基线、提示方法以及专用摘要模型在长度顺从度与生成质量上的表现(G-Eval 采用 GPT-5-mini 作为评判模型):

数据集 方法 长度误差 (MAE) 顺从率 (<10字符, %) ROUGE-1 ROUGE-L BERTScore-F1 G-Eval 一致性 (Con) G-Eval 连贯性 (Coh)
XSum DELTA+LLaDA 2.3 99.6 0.286 0.217 0.882 4.21 4.61
DELTA+Dream 2.3 99.7 0.333 0.255 0.890 4.14 4.76
LA-SF-AR (Llama-3.1-8B) 5.2 84.2 0.273 0.204 0.881 4.38 4.79
GPT-4o-mini 13.1 48.4 0.264 0.194 0.880 4.73 4.96
Lead-char-snap 15.7 60.5 0.166 0.122 0.850 4.72 3.08
TextRank 14.5 50.1 0.178 0.130 0.845 4.79 4.07
CNN/DM DELTA+LLaDA 2.4 99.6 0.363 0.259 0.876 4.59 4.58
DELTA+Dream 3.0 99.3 0.409 0.281 0.880 4.72 4.75
LA-SF-AR (Llama-3.1-8B) 10.3 59.7 0.399 0.254 0.879 4.61 4.94
GPT-4o-mini 96.6 11.1 0.393 0.245 0.877 4.86 4.99
BART-CNN (专用微调) 104.7 5.7 0.441 0.306 0.882 4.83 4.60
Lead-char-snap 59.4 21.4 0.363 0.230 0.868 4.92 4.22
TextRank 17.3 32.4 0.356 0.235 0.866 4.80 3.38
arXiv DELTA+LLaDA 2.8 98.4 0.443 0.234 0.837 4.35 4.43
DELTA+Dream 3.1 98.3 0.431 0.236 0.853 4.42 3.60
LA-SF-AR (Llama-3.1-8B) 44.9 22.9 0.466 0.250 0.845 4.28 4.78
GPT-4o-mini 112.2 3.7 0.432 0.217 0.839 4.65 4.97
Lead-char-snap 96.5 7.0 0.351 0.183 0.837 4.99 4.11
TextRank 46.9 12.0 0.406 0.212 0.837 4.55 3.00

消融实验

为了严格验证长度控制的精细度确实来源于动态缓冲区调整,而非掩码扩散模型本身的初始估计,作者对比了固定缓冲区(Fixed-buffer)配置——即使用完全相同的基座模型、提示模板、置信度阈值和初始化方式,但完全禁用 mask 的插入与移除操作。此外,作者还对比了现有的无训练变长扩散解码方法 DAEDAL。下表汇总了消融及对比结果(G-Eval 使用 GPT-4o-mini):

数据集 配置 / 方法 MAE (字符误差) 顺从率 (<10字符, %) ROUGE-1 ROUGE-L BERTScore-F1 单篇耗时 (秒) 说明
XSum DELTA+LLaDA (完整方法) 2.30 99.6% 0.286 0.217 0.882 0.69 完整自适应增删掩码
固定缓冲区 (Fixed-buffer LLaDA) 15.55 38.4% 0.285 0.218 0.883 0.68 禁用增删,长度误差暴增近 7 倍
DAEDAL (LLaDA) 74.50 7.7% 0.251 0.196 0.845 2.50 现有变长扩散方法无法精确契合字符预算
CNN/DM DELTA+LLaDA (完整方法) 2.40 99.6% 0.363 0.259 0.876 8.59 完整自适应增删掩码
固定缓冲区 (Fixed-buffer LLaDA) 27.35 23.9% 0.423 0.282 0.878 8.50 禁用增删,误差扩大逾 11 倍
固定缓冲区 (Fixed-buffer Dream) 26.20 24.6% 0.433 0.288 0.881 8.52 Dream 同样出现严重长度漂移
DAEDAL (LLaDA) 192.30 3.4% 0.367 0.248 0.858 5.94 长度失控,顺从率极低
arXiv DELTA+LLaDA (完整方法) 2.80 98.4% 0.443 0.234 0.837 22.80 长文本下依旧保持极高精度
固定缓冲区 (Fixed-buffer LLaDA) 113.94 4.4% 0.448 0.235 0.838 22.10 缺乏动态调整导致绝对误差超百字符
固定缓冲区 (Fixed-buffer Dream) 92.31 8.1% 0.432 0.238 0.854 20.60 无法应对长序列累积方差
DAEDAL (LLaDA, 100例诊断集) 6337.50 1.0% 0.106 0.073 0.796 306.56 严重失控且计算耗时极大

关键发现

  • 长序列误差不发散的惊人鲁棒性:自回归基准方法(如 GPT-4o-mini 与 LA-SF-AR)的字符误差随着目标摘要长度增加而急剧发散(GPT-4o-mini 从 XSum 的 13.1 激增至 arXiv 的 112.2,順从率从 48.4% 跌至 3.7%)。相比之下,DELTA 在平均接近 1000 字符的 arXiv 长文本上,MAE 仍能稳定压在 2.8–3.1 字符以内,保持 98% 以上的输出位于 \(\pm 10\) 字符区间内。
  • 动态增删是决定性因素:消融实验直接证明,固定缓冲区方法在各个数据集上的顺从率仅有 4.4%–38.4%,而 DELTA 的动态插入/移除操作直接将顺从率拉升至 98.3%–99.7%,同时没有损害文本质量(ROUGE 与 BERTScore 几乎一致)。
  • 人工盲测与大模型评判一致:在针对 CNN/DailyMail 的 50 篇双盲人工评估中(两名独立标注员在相关性、一致性、连贯性与流畅度上打分,评注一致率达 91.5%),DELTA+Dream 平均得分 4.27,与强自回归基线 LA-SF-AR(4.32)和商业模型 GPT-4o-mini(4.31)旗鼓相当,证明极高精度的长度控制并未引发内容割裂或语言不通顺。

亮点与洞察

  • 巧妙借力离散扩散的双向机制:利用掩码扩散模型天生支持在去噪中后期局部修改与抗扰动的结构特点,首次打破了自回归模型“单向生成不可追悔”的控制枷锁,使字符计数控制能够作为外挂式算法随生随纠。
  • 软分布期望与硬物理截断的精巧结合:将离散不可导的字符数转化为未固化位置概率分布的期望和,在去噪早期即拥有明确的长度控制全局梯度方向,避免了穷举搜索或暴力回退重试的昂贵开销。
  • 交替阻尼状态机防死锁设计:通过 can_adjust 标记将缓冲区形状变动严格锚定在单步 token 固化之后,以极小的算法复杂度优雅化解了生成模型中增删 token 的循环震荡风险。

局限与展望

  • 推理计算延迟较高:掩码扩散模型每步去噪都需要全序列的双向注意力前向计算,且无法直接复用标准的因果自回归 KV Cache。在长文本摘要(如 arXiv)上单篇耗时达 20–23 秒,显著高于自回归基线的 13 秒。未来有必要结合高效 KV 缓存加速技术(如 FlashDLM)进行协同优化。
  • 多语言泛化与 Tokenizer 依赖:当前验证仅限于英文语料及 7B–8B 级别扩散模型。由于期望字符数依赖于 tokenizer 的具体单 token 字符长短分布,在表意文字(如中文、日文)或形态复杂的黏着语系中,token 到字符的映射熵更高,需要进一步验证其准确率。
  • 超参数敏感度与自适应机制缺失:固化与安全移除阈值 \((\tau, \tau_{\text{low}})\) 在不同数据集和模型上呈现出一定的经验特异性,目前依赖验证集网格搜索获取,缺乏理论自适应调节能力。

相关工作与启发

  • vs LA-SF-AR (Retkowski and Waibel, 2025):LA-SF-AR 依赖启发式统计比率(如 6.31 字符/词)将字符目标折算为词数,并在自回归生成后通过多次采样与自动修订过滤。DELTA 完全在单次前向扩散去噪过程中实时闭环调整,无需后验多次重试生成,且在长文本上的控制精度高出一个数量级。
  • vs DAEDAL (Li et al., 2026) & DreamOn (Wu et al., 2026):DAEDAL 是面向开放式生成的无训练变长扩散解码,缺乏面向绝对字符预算的精准目标引导;DreamOn 则引入专用 expand/delete token 并依赖代价高昂的二次监督微调。DELTA 既保证了极高的预算控制精度,又完全免除了任何训练成本,具备开箱即用的通用性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [巧妙挖掘离散掩码扩散模型的双向迭代特性,开创性地实现了无训练字符级动态长度预算控制]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 XSum、CNN/DM、arXiv 三种不同长度尺度的基准,结合严格消融、双评判模型与两名专家的人工双盲评测]
  • 写作质量: ⭐⭐⭐⭐⭐ [数学推导简洁明了,流程设计清晰,算法状态转换逻辑严密]
  • 价值: ⭐⭐⭐⭐⭐ [为严格空间限制(如排版、弹窗、新闻推送)下的文本生成任务提供了高质量、高精度的免训练实用解决方案]