DynEdit: Dynamic Entropy-Guided Sequential Editing for Large Language Models¶

会议: NeurIPS 2026
arXiv: 2610.34768
OpenReview: https://openreview.net/forum?id=UtUmn8jTYn
代码: https://github.com/FredJDean/DynEdit
领域: 知识编辑
关键词: 知识编辑, 长序列编辑, 动态滑动窗口, 熵引导优化, 大语言模型

一句话总结¶

针对现有长序列知识编辑中固定切块导致难点欠拟合与梯度稀释的瓶颈，DynEdit 利用预编辑模型的词元级香农熵动态调整滑动步长与优化权重，实现了兼具高鲁棒性与语义保真度的序列级参数更新。

研究背景与动机¶

知识编辑旨在免于全量重新训练的前提下，精确纠正大语言模型内部过时或错误的参数化事实知识。以 ROME、MEMIT 和 AlphaEdit 为代表的参数定位与编辑方法，在三元组形式的短文本知识更新上取得了显著成功；然而面对长序列、自由格式的复杂知识（如数学推导步骤、代码生成逻辑、长篇论述）时，单一事实词元定位的优化容量严重不足，难以覆盖整段序列中广泛分布的语义依赖。

为突破单点编辑的容量瓶颈，近期如 UnKE 与 AnyEdit 等方法尝试将编辑拓展至序列维度，其中 AnyEdit 提出了自回归固定滑动窗口机制，将长目标划分成固定大小的文本块并依次更新各块末尾位置。然而，长文本目标内部的编辑难度具有天然的非均匀性：连接词、代词等低熵功能词高度可预测且易于保持，而实体、日期、地名和专业符号等高不确定性词元往往蕴含核心事实且极难修改。现有的固定窗口方案在简单区域浪费了冗余的编辑密度，而在高熵事实区域因步长过大导致覆盖不足；更严重的是，在单一编辑窗口内对所有词元均等施加监督，会导致关键事实的梯度更新信号被大量背景词元的正交噪声严重稀释，使得模型虽然表面维持了生成句式流畅，却频繁丢失关键事实细节。

本文的核心 insight 在于：预编辑模型对目标词元的预测熵天然反映了局部修改的内在难度和语义重要度。核心 idea：提出熵引导的动态长序列编辑框架 DynEdit，通过预编辑模型的词元熵自适应压缩高熵区域的滑动步长以增加编辑重叠覆盖，并配合窗口内基于熵调制的加权损失与后缀约束，从覆盖密度与优化强度两个维度共同向关键事实词元倾斜。

方法详解¶

整体框架¶

DynEdit 遵循经典的参数定位与修改流水线：在选定的网络层级注入局部可学习的隐状态扰动，随后将优化所得的目标向量利用底层编辑器（如 MEMIT 的最小二乘闭式解或 UnKE 的单层参数更新）回传更新至模型权重。DynEdit 的核心创新在于打破了传统的固定窗口划分与均等优化损失，整体流程分为三个阶段： 1. 词元级熵估计：在编辑执行前，模型在 Teacher-Forcing 模式下前向遍历目标文本，计算每个词元位置的香农熵并缓存为轻量全局先验； 2. 熵引导动态窗口调度：滑动窗口向前推进时，根据当前候选窗口相对于全序列平均熵的难易偏差，自适应确定下一步滑动步长，在低熵区快进、在高熵区慢速密集重叠覆盖； 3. 熵引导词元级加权优化：在每个编辑步中，针对当前焦点窗口内的各词元赋予与归一化熵正相关的损失权重，并结合后续全序列弱后缀正则，求解最优隐状态偏移量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 X 与目标长序列 Y"] --> B["词元级熵估计<br/>Teacher-Forcing 计算预编辑模型香农熵"]
    B --> C["熵引导动态窗口调度<br/>根据局部相对难度 di 自适应调整前进步长 Δi"]
    C --> D["熵引导词元级加权优化<br/>局部高熵赋予大权重 ωt + 弱后缀约束 ρi,t"]
    D --> E["隐状态扰动求解与参数投影<br/>MEMIT 闭式投影 / UnKE 层级权重更新"]
    E --> F["输出已完成长文本知识更新的模型"]

关键设计¶

1. 词元级熵估计：一次性前向构建不确定性先验 传统的局部编辑无法感知长序列内部的难度起伏。DynEdit 首先在无扰动的原始模型 $G_\theta$ 上，利用金色前缀 $Y_{<t}$ 在 Teacher-Forcing 模式下计算每个目标位置 $t$ 的输出词元概率分布 $p_t(v) = P_{G_\theta}(v \mid X, Y_{<t})$，进而导出离散香农熵： $$H_t = -\sum_{v \in \mathcal{V}} p_t(v) \log p_t(v)$$ 实证研究表明，高熵词元高度集中于专有名词、实体名称、核心谓语和关键数值，且其编辑失误率显著高于低熵功能词。由于该分布仅依赖未被编辑的原始网络权重，全序列的熵分布只需在初始化阶段进行一次前向推理即可离线缓存并在后续所有滑动迭代中复用，完全避免了额外的反向传播或开销沉重的辅助模型。

2. 熵引导动态窗口调度：按需分配高难区域的编辑覆盖密度 固定步长滑动窗口将相同的编辑资源粗暴地摊平在整条序列上，导致关键事实段落遭遇曝光瓶颈。DynEdit 将窗口滑动建模为难度自适应规划：在当前窗口起始索引 $s_i$ 处截取基准长度为 $w$ 的候选视窗 $\mathcal{W}_i = Y_{s_i:e_i}$（其中 $e_i = \min(s_i+w-1, M)$），并计算其窗口内平均熵 $\bar{H}_i$。为了消除不同知识文本整体信息密度差异带来的偏差，算法引入全序列平均熵 $\tau = \frac{1}{M}\sum_{t=1}^M H_t$ 作为动态自适应基准，得出当前视窗的相对难度分数： $$d_i = \bar{H}_i - \tau$$ 下一步的实际滑动步长由单调递减映射函数控制：$\Delta_i = \Phi(d_i)$，满足 $\frac{\partial\Phi(d)}{\partial d} \le 0$。当 $d_i > 0$（表明当前区域包含高密度实体或关键事实细节）时，系统主动压缩步长 $\Delta_i$ 并增大与后续窗口的重叠面积，迫使底层优化器在多个连续步内反复涵盖该困难片段；而在 $d_i \le 0$ 的平缓可预测语境区域则采用较大步长迅速推进，在保障关键信息充分曝光的同时精简总体编辑步数。

3. 熵引导词元级加权优化：抑制背景梯度稀释并强化关键事实监督 在固定块内均匀聚合梯度会导致理论上的“梯度稀释”：非核心词元的梯度往往存在高度方向分散性（高色散度 $\mathcal{D}_\mathcal{B}$），其相互抵消后残留的正交噪声分量会严格压低聚合梯度与核心事实梯度的余弦对齐度。为了在单次隐状态扰动优化中精确救援核心方向，DynEdit 先将熵值在序列内归一化为 $\hat{H}_t \in [0, 1]$，并构造正相关的词元监督系数 $\omega_t = \omega_0 + \kappa \hat{H}_t$（其中 $\omega_0$ 为基底常数，$\kappa$ 为熵调节增益）。

在执行第 $i$ 步编辑（编辑点置于当前输入前缀末端 $p_i = |X \oplus Y_{<s_i}|$）时，优化目标不仅对焦点窗口 $s_i \le t \le e_i$ 施加 $\omega_t$ 权重，还向未来剩余后缀 $e_i < t \le M$ 分配弱惩罚项 $\rho_{i,t}$，构建感知未来延展性的归一化联合损失： $$\mathcal{L}_{\mathrm{Dyn}}(\delta_i) = -\frac{1}{Z_i} \sum_{t=s_i}^M \lambda_{i,t} \log P_{G_i(\delta_i)}(y_t \mid X, Y_{<t}) + \gamma \frac{\|\delta_i\|_2}{\|h_{p_i}^{l_e}\|_2 + \epsilon}$$ 其中归一化因子 $Z_i = \sum_{t=s_i}^M \lambda_{i,t}$，$\lambda_{i,t}$ 在焦点窗内取 $\omega_t$、窗外取 $\rho_{i,t}$。这种非均匀监督使得命名实体与关键事实梯度获得数量级优势，从根本上消除了背景词正交噪声对参数更新轨迹的干扰。

损失函数 / 训练策略¶

在优化得到最优隐状态扰动 $\delta_i^* = \arg\min_{\delta_i} \mathcal{L}_{\mathrm{Dyn}}(\delta_i)$ 之后，DynEdit 保持底层编辑器的参数映射规则不变。对于 MEMIT 骨干，算法在各层 MLP 的下投影矩阵上通过跨样本协方差矩阵执行闭式伪逆回归；对于 UnKE 骨干，则在指定的损失层上利用 AdamW 优化器结合保留辅助样本进行局部参数更新。超参数设置上，Llama 系列模型的密集步长按预设网格自适应确定，Qwen 系列模型的困难区域密集步长设定为基础窗口的 $1/3$。

实验关键数据¶

主实验¶

论文在 Llama-3-8B 和 Qwen-2.5-7B 两个主流开源骨干模型上，全面评测了 UnKEBench（长文本非结构化事实）、CounterFact（结构化反事实）和 MQuAKE（多跳复杂推理）三大代表性基准。

模型与骨干	方法	UnKE 原问题 (BLEU / BERT / R-L)	UnKE 改写问题 (BLEU / BERT / R-L)	CounterFact 原问题 (BLEU / BERT / R-L)	MQuAKE 原问题 (BLEU / BERT / R-L)
Llama-3-8B (MEMIT)	AnyEdit	77.91 / 95.69 / 90.36	66.29 / 92.38 / 80.51	86.34 / 97.86 / 95.51	87.28 / 97.38 / 94.28
Llama-3-8B (MEMIT)	DynEdit (本文)	91.60 / 98.31 / 92.62	80.30 / 95.56 / 78.56	95.08 / 98.82 / 96.11	92.74 / 98.26 / 93.11
Llama-3-8B (UnKE)	AnyEdit*	99.54 / 99.79 / 99.62	72.96 / 91.63 / 77.48	99.93 / 99.99 / 99.96	99.79 / 99.97 / 99.87
Llama-3-8B (UnKE)	DynEdit (本文)*	99.19 / 99.37 / 99.80	79.94 / 96.71 / 81.57	98.26 / 99.74 / 99.04	99.98 / 99.99 / 99.96
Qwen-2.5-7B (MEMIT)	AnyEdit	86.86 / 96.85 / 91.68	64.94 / 90.11 / 71.47	88.52 / 97.29 / 91.94	86.69 / 96.48 / 90.57
Qwen-2.5-7B (MEMIT)	DynEdit (本文)	95.96 / 99.71 / 96.77	77.49 / 93.27 / 78.56	95.66 / 98.93 / 96.08	95.02 / 98.82 / 95.12
Qwen-2.5-7B (UnKE)	AnyEdit*	96.13 / 98.85 / 97.30	47.17 / 80.75 / 50.96	96.70 / 99.10 / 97.48	97.44 / 99.49 / 97.70
Qwen-2.5-7B (UnKE)	DynEdit (本文)*	99.54 / 99.71 / 99.44	66.13 / 88.24 / 66.12	99.08 / 99.64 / 99.09	99.83 / 99.90 / 99.63

在跨领域复杂格式数据集 EditEverything 上，DynEdit 在数学（Math）、代码（Code）、诗歌（Poetry）、新闻（News）和化学（Chemistry）多领域全面领先基线（如 Qwen-2.5-7B 下各领域 Rouge-L 分别达到 99.73%、99.11%、98.13%、98.98% 和 99.58%）。

消融实验与通用能力对比¶

消融实验深入检验了“动态滑动调度”与“熵引导加权损失”两个核心模块在不同模型与数据集上的贡献，同时评估了编辑后模型在通用基准（MMLU 与 IFEval）上的常识与指令遵循保留率。

配置 / 评估项	Llama-3-8B UnKE-P (BLEU)	Qwen-2.5-7B UnKE-P (BLEU)	MMLU (保留率 %)	IFEval-Strict (%)	说明
DynEdit 完整模型	80.30	77.49	66.03 ± 0.12	63.01 ± 0.37	完整结合动态调度与熵加权
w/o 动态滑动策略 (固定窗口)	71.45	68.10	65.89 ± 0.12	63.85 ± 0.25	去除动态步长，局部高熵覆盖骤降
w/o 熵引导加权 (均匀权重)	74.82	72.35	65.95 ± 0.11	63.50 ± 0.30	去除词元加权，梯度稀释效应加剧
AnyEdit (基线)	66.29	64.94	65.81 ± 0.12	64.21 ± 0.12	固定切块与均等加权
Pre-edited (原始未编辑模型)	19.80	20.51	67.16 ± 0.38	69.50 ± 1.98	原始基座模型性能参考

关键发现¶

动态滑动对长序列的抗衰减能力最为关键：消融研究表明，去除动态滑动模块所带来的性能掉点显著大于单纯去除损失加权模块（BLEU 降幅达 8.8~9.4 点）。这是因为若窗口没有在高熵区域密集采样，后续的词元加权依然受限于极度有限的局部感受野，无法对困难事实建立多轮重叠巩固。
改写问题（Paraphrase）泛化性能大幅跃升：在 UnKE-Paraphrase 和 CounterFact-Paraphrase 上，DynEdit 相较于 AnyEdit 取得了高达 +14.0 BLEU 的绝对增益，有力证明了动态熵引导并非简单对目标词串进行浅层表层拟合，而是真正重构了语义空间内的事实性表征。
长文本尾部误差累积显著缓解：按序列长度分桶（Q1~Q4）分析显示，传统 AnyEdit 随着序列增长呈现明显的尾部位置错误发散趋势，而 DynEdit 维持了非常平坦的误差曲线，在最长序列子集上斩获 +23.88 BLEU 的显著提升。
通用能力近乎无损：在 MMLU 和 IFEval 指令遵循评测中，DynEdit 的准确率与未编辑模型高度贴合，且显存开销与 AnyEdit 完全持平（35.46 GB），单次编辑耗时仅略微增加至 1.56 倍，维持了高度实用的计算代价。

亮点与洞察¶

将词元熵作为编辑难度与信息密度的统一定量度量：巧妙利用未编辑语言模型的前向熵输出作为无需外置标签的先验，精准命中了自然语言中“虚词低熵、实体高熵”的固有分布，将认知不确定性直接转化为算法的物理分配信号。
理论推导揭示了均匀加权下的梯度稀释机理：首次从向量色散度与正交噪声角度严格证明了在共享隐状态更新时，高色散的背景词元梯度会压低全局对齐度，通过显式数学推导奠定了不等权重优化的理论根基。
可复用的设计迁移启发：这种“基于信息熵引导的可变步长规划 + 关键信息重权优化”范式，能够直接拓展到大模型长上下文微调（SFT）、长思维链强化学习中的过程奖励分配以及多模态文档编辑场景中。

局限与展望¶

作者承认的局限：模型输出的词元级香农熵高度依赖基座模型的校准质量，在特定结构化或专业生僻领域（如极端长代码、符号逻辑）可能与实际人类认知的实体重要度存在偏差；此外动态重叠滑动略微增加了单样本的耗时开销。
潜在的研究盲点：当前验证主要集中于自回归纯文本事实编辑，尚未探索跨模态图文对齐、多轮交互式会话中的长上下文状态连续修改，且在超大规模并发连续批量编辑（如万条量级）下的参数退化机制仍有待检验。
可探索的改进方向：可结合图表示学习技术显式注入实体关系拓扑先验，或探索多任务共享先验下的免搜索轻量级步长控制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将信息熵定量先验引入序列级知识编辑的步长调度与梯度重配中，动机自然且逻辑闭环。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大主流评测集、EditEverything 多领域、3 类基座模型与 3 种底层编辑器，包含详尽消融与理论证明。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，从动机数据分析、数学机理证明到工程落地均呈现高水准表达。
价值: ⭐⭐⭐⭐⭐ 为长文本、多模态以及高密度知识更新开辟了极具可落地性的崭新技术路径。