跳转至

Generalizable Lifelong Model Editing via Preference Optimization

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ekgus9/GLIME
领域: 知识编辑
关键词: 知识编辑, 终身学习, 偏好优化, 正交梯度投影, 自回归生成评测

一句话总结

针对终身知识编辑中模型容易过拟合特定提示词浅层模式并导致灾难性遗忘与通用能力崩溃的问题,本文提出 GLIME 框架,通过引入与编辑提示词解耦的持续偏好优化作为行为级正则约束,并结合经验重放与在线正交基梯度投影,在大幅提升自回归生成与多跳推理泛化性的同时保护了模型的原始语言和通用能力。

研究背景与动机

大语言模型虽然在海量预训练中吸收了广博的世界知识与强大的语言理解能力,但外部世界是持续流变与更新的。知识编辑作为一种无需高昂重训成本、能够局部针对性更新特定事实参数的技术受到了极大关注。然而在实际部署场景中,事实更新不是孤立发生的单次事件,而是以持续流式请求的形式到达,这就要求模型必须在终身持续编辑的环境下稳定运行。

在终身编辑的设定下,现有方法暴露出了两个极为严重的瓶颈。首先,现有多数知识定位与参数更新方法仅优化目标 token 的条件似然,极易陷入对输入提示词浅层词汇特征的过拟合,使得编辑事实在语义等价的改写表达或下游多跳推理中泛化极差。其次,随着编辑请求的持续累积,连续更新会导致参数逐步偏离预训练分布,引发严重的灾难性遗忘与通用能力崩溃。更致命的是,以往绝大多数工作依赖 Teacher Forcing 机制评测,通过在解码时强制提供真实前缀掩盖了曝光偏差,从而虚高估计了编辑后的实际生成能力。

面对上述矛盾,仅仅依靠增大目标 token 似然并不能保障知识的真正内化与跨上下文迁移,必须在持续参数流中显式锚定模型的通用生成行为并构筑参数保护屏障。核心 idea:将终身知识编辑重构为注入新知识、规范行为级生成偏好与保护历史参数空间的联合优化问题,通过引入解耦提示词的偏好对优化(CPO)防止浅层过拟合,并结合经验重放与在线正交梯度投影(GC)构筑跨步参数互不干扰的更新屏障。

方法详解

整体框架

GLIME 将持续模型编辑视为多目标联合约束过程:输入包含当前编辑请求、来自经验回放缓冲的历史请求以及从独立偏好数据集中采样的偏好对;模型针对特定 MLP 层计算三项损失的联合梯度,再将其投影到历史更新张成的右奇异正交补空间,从而完成无干扰的参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["流式编辑请求 e_t<br/>(x_t, y_t^new)"] --> B["多目标联合损失优化<br/>编辑损失 + 经验重放 + 偏好优化"]
    D["独立偏好对 (u, y+, y-)<br/>行为级正则化锚点"] --> B
    E["重放缓冲区 B_{t-1}<br/>随机检索历史编辑"] --> B
    B --> C["联合目标梯度计算<br/>G_t = ∇_W L(θ_t)"]
    C --> F["正交梯度空间投影<br/>G~_t = G_t(I - B B^T)"]
    G["历史正交基矩阵 B_{t-1}<br/>捕捉已编辑知识参数方向"] --> F
    F --> H["参数更新与在线基更新<br/>W ← W - η G~_t"]
    H --> I["自回归鲁棒解码<br/>语义改写与多跳推理泛化"]

关键设计

1. 持续偏好优化(CPO):解耦提示词的行为级分布锚定

传统编辑损失 \(L_{\text{edit}}(\theta; e) = -\log p_\theta(y^{\text{new}} \mid x)\) 仅局部提升目标答案概率,随着编辑请求累积,模型参数迅速漂移并破坏原本平滑的文本生成轨迹。为了阻止模型对编辑触发词浅层模式的过度拟合,GLIME 引入了持续偏好优化作为生成行为级约束。对于与编辑提示词 \(x\) 完全独立的对齐上下文 \(u\),从偏好数据集中抽取优选回答 \(y^+\) 与劣选回答 \(y^-\),通过最小化 Logistic 偏好损失促使模型在非编辑语境下保持正常的分布偏好:

\[\Delta_\theta(u) = \log p_\theta(y^+ \mid u) - \log p_\theta(y^- \mid u)\]
\[L_{\text{pref}}(\theta; u, y^+, y^-) = -\log \sigma(\Delta_\theta(u))\]

这一设计使上下文 \(u\) 成为防止模型过度适应该单步请求的锚点,迫使参数更新找到兼顾新事实写入与全局生成行为稳定性的共享有效流形,大幅缓解了自回归解码下的分布畸变。

2. 经验重放机制(Replay):抗遗忘的历史记忆复现

仅拟合当前编辑 \(e_t\) 必然导致前序编辑步骤 \(\{e_i\}_{i<t}\) 的灾难性遗忘。GLIME 维护一个容量为 \(M\) 的重放缓冲区 \(\mathcal{B}_t\),在每个时间步随机抽取大小为 \(|R|\) 的历史编辑微批次,构建辅助编辑重放损失:

\[L_{\text{replay}}(\theta_t) = \mathbb{E}_{e \sim \mathcal{B}_t} [L_{\text{edit}}(\theta_t; e)]\]

联合优化目标整合为:\(L(\theta_t) = L_{\text{edit}}(\theta_t; e_t) + L_{\text{pref}}(\theta_t) + \lambda_{\text{rep}} L_{\text{replay}}(\theta_t)\)。通过为重放损失分配平稳的权重 \(\lambda_{\text{rep}}=0.1\),模型在不断学习新事实的同时周期性强化过往知识链路,形成记忆维系的持续正反馈。

3. 正交基梯度投影(Gradient Constraint):结构化消除跨步参数干扰

无约束的梯度下降会导致新知识的写入破坏早期知识所依赖的权重子空间。GLIME 为选定的可编辑权重矩阵 \(W \in \mathbb{R}^{m \times n}\)(实验中选取关键 MLP 层的全连接权重)维护一个正交基矩阵 \(B_{t-1} \in \mathbb{R}^{n \times r}\)(满足 \(B_{t-1}^\top B_{t-1} = I\)),用以捕获历史累积更新的主导右子空间。在计算出联合目标关于参数的梯度 \(G_t = \nabla_W L(\theta_t)\) 后,GLIME 将其严格投影到历史基的垂直正交补空间中:

\[\tilde{G}_t = G_t (I - B_{t-1} B_{t-1}^\top)\]

经投影后的梯度满足 \(\tilde{G}_t B_{t-1} = 0\),意味着新知识的写入被严格限制在与既有知识互不重叠的正交参数方向上,从代数结构层面锁定了过往事实的存储完整性。为了在长更新流中控制计算开销,GLIME 采用随机高斯投影矩阵 \(\Omega_t \in \mathbb{R}^{m \times k}\) 构建低秩 sketch \(Y_t = \tilde{G}_t^\top \Omega_t\),通过 thin-QR 分解提取新正交基并结合 FIFO 策略在线维护容量为 \(r=4\) 的紧凑基空间,将高阶 SVD 分解的计算复杂度降低近 6 倍。

一个完整示例

假设模型在第 1000 步接收到事实更新:“Frank R. Strayer is a citizen of Canada”(原始预训练事实为美国)。 1. 联合优化阶段:当前提示词 \(x_t\) 为填空模版,同时从 OpenHermesPreferences 采样关于医学常识的通用问答偏好对 \((u, y^+, y^-)\),并从重放缓冲区抽取 3 条历史编辑请求。三者在前向传播中共同计算损失梯度。 2. 正交投影阶段:提取关于第 4~8 层 MLP 权重的梯度 \(G_t\),利用历史 999 步累积的正交基 \(B_{t-1}\) 进行投影消去平行分量,得到 \(\tilde{G}_t\) 并执行参数微调。 3. 自回归测试阶段:当输入语义改写提示“What is the country of citizenship of Frank R. Strayer?”时,模型在自回归解码下生成连贯完整句子“Frank R. Strayer is a citizen of Canada.”;当输入多跳推理问题“Who is the current head of the government in the country of citizenship of Frank R. Strayer?”时,模型能够调用更新后的国籍信息推理出“Justin Trudeau”;同时面对无关历史问题“Who founded Tudor dynasty?”时,依然准确回答预训练常识“Henry VII”,避免了 baseline 常见的胡言乱语、复读或跨领域污染。

损失函数 / 训练策略

训练采用 AdamW 优化器,在单个 RTX A6000 GPU 上按 batch size = 1 逐个处理流式更新。单样本微调 3 个 epoch,学习率固定为 \(5 \times 10^{-5}\),权重衰减为 0。重放微批次大小设为 3,重放损失权重 \(\lambda_{\text{rep}} = 0.1\),基尺寸 \(k=256\),最大正交基阶数 \(r=4\)。编辑主要施加在 LLaMA-3.1-8B-Instruct 与 Qwen2.5-7B-Instruct 的第 4、5、6、7、8 层 MLP 模块中。

实验关键数据

主实验

实验在 MQuAKE-Remastered(CF-3k split,测试集 1,000 样本)与 ZSRE(743 样本)两个经典基准上全面评估。为了客观反映实际部署场景,对比了传统的 Teacher Forcing (TF) 与真实的 Autoregressive Decoding (AD) 协议,并在 MQuAKE 上评估了四选一多选问答 (MC) 与多跳推理问答 (MR) 两个 Portability 维度指标。

模型与方法 MQuAKE Rel(AD) MQuAKE Gen(AD) MQuAKE Loc(AD) Portability MC Portability MR MQuAKE AVG ZSRE Rel(AD) ZSRE Gen(AD) ZSRE Loc(AD) ZSRE AVG
LLaMA-3.1-8B
FT-L 0.035 0.038 0.000 0.000 0.003 0.016 0.106 0.094 0.000 0.078
R-ROME 0.074 0.087 0.010 0.000 0.008 0.030 0.004 0.087 0.000 0.025
GRACE 0.035 0.046 0.714 0.010 0.060 0.270 0.021 0.014 0.203 0.220
MEMIT 0.014 0.014 0.010 0.000 0.020 0.022 0.000 0.000 0.000 0.000
WISE 0.193 0.147 0.121 0.000 0.028 0.243 0.073 0.055 0.012 0.201
AlphaEdit 0.604 0.514 0.209 0.434 0.079 0.499 0.538 0.451 0.187 0.544
GLIME (本文) 0.830 0.800 0.379 0.633 0.184 0.700 0.670 0.598 0.133 0.589
Qwen2.5-7B
FT-L 0.140 0.124 0.079 0.000 0.033 0.070 0.006 0.003 0.003 0.037
R-ROME 0.001 0.001 0.001 0.000 0.006 0.000 0.054 0.050 0.003 0.101
GRACE 0.050 0.055 0.684 0.009 0.079 0.243 0.024 0.020 0.100 0.210
MEMIT 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.001 0.000
WISE 0.274 0.202 0.124 0.008 0.063 0.264 0.231 0.197 0.040 0.269
AlphaEdit 0.201 0.389 0.513 0.192 0.081 0.430 0.354 0.277 0.113 0.497
GLIME (本文) 0.772 0.812 0.364 0.475 0.168 0.649 0.417 0.373 0.093 0.518

消融实验

基于 LLaMA-3.1-8B-Instruct 在 MQuAKE 上对 GLIME 的三个核心组件(CPO: 持续偏好优化, Replay: 经验重放, GC: 正交基梯度约束)进行完整正交组合消融:

CPO Replay GC Reliability (AD) Generalization (AD) Locality (AD) Portability (MC) Portability (MR)
✓ ✓ ✓ 0.830 0.800 0.379 0.633 0.184
✓ ✓ 0.826 (-0.004) 0.745 (-0.055) 0.187 (-0.192) 0.014 (-0.619) 0.112 (-0.072)
✓ ✓ 0.657 (-0.173) 0.633 (-0.167) 0.326 (-0.053) 0.531 (-0.102) 0.096 (-0.088)
✓ ✓ 0.800 (-0.030) 0.786 (-0.014) 0.385 (+0.006) 0.412 (-0.221) 0.098 (-0.086)
✓ 0.597 (-0.233) 0.601 (-0.199) 0.391 (+0.012) 0.530 (-0.103) 0.168 (-0.016)
✓ 0.624 (-0.206) 0.615 (-0.185) 0.137 (-0.242) 0.063 (-0.570) 0.109 (-0.075)
✓ 0.528 (-0.302) 0.533 (-0.267) 0.259 (-0.120) 0.313 (-0.320) 0.120 (-0.064)
0.158 (-0.672) 0.120 (-0.680) 0.141 (-0.238) 0.098 (-0.535) 0.087 (-0.097)

关键发现

  • CPO 是知识迁移与可移植性的决定性因素:消融数据显示,若去掉 CPO(仅保留 Replay 和 GC),Reliability 虽保持在 0.826,但 Portability MC 出现灾难性跌落,从 0.633 暴跌至 0.014(-0.619)。这表明重放和正交投影主要承担抗遗忘与记忆维系功能,唯有偏好优化能打破提示词过拟合,赋予模型在新推理任务中主动调用新知识的泛化能力。
  • TF 与 AD 评测存在巨大鸿沟:多数基线在 TF 协议下表现良好,但在真实的 AD 协议下迅速崩溃。例如在 MQuAKE 上,AlphaEdit 的 Reliability 在 TF 下高达 0.912,在 AD 下骤降至 0.604(Qwen 上从 0.986 降至 0.201),而 GLIME 在 AD 协议下依然保持 0.830,证实了自回归解码评测在终身编辑研究中的必要性。
  • 5000 步长程编辑下的可扩展性:在长达 5,000 次连续编辑的严苛压力测试中,AlphaEdit 在累积约 3,000 次编辑后性能急剧恶化崩溃,而 GLIME 保持了平稳的泛化与局部性曲线,验证了正交梯度空间约束在大规模流式更新中的抗漂移价值。
  • 通用能力得以完整保留:在 Winogrande、ARC、MathQA、SQuADv2 和 IFEval 等非编辑通用基准上,GLIME 几乎无损地维持了原始模型的推理与指令遵循能力(如 ARC 0.772 vs Base 0.802,IFEval 0.486 vs Base 0.532),远优于 FT-L、R-ROME 和 MEMIT 的崩塌式恶化。

亮点与洞察

  • 将偏好优化重构为终身学习的正则化锚点:跳出了传统知识编辑局限于局部 token 条件似然最大化的定势,引入与编辑内容解耦的偏好对损失作为流形正则,有效阻止了生成流形的局部畸变与过度特化。
  • 低秩 Sketch 正交投影兼顾效率与抗干扰:不采用代价高昂的全局全矩阵 SVD,而是设计了基于高斯随机 Sketch 的薄 QR 分解算法在线维护低秩右奇异基,单步更新仅耗时 8.9 秒,兼顾了参数隔离的理论严密性与工程可落地性。
  • 打破了“记忆保留”与“推理迁移”的割裂:实验表明单纯依靠 Experience Replay 只能防遗忘但无法提升迁移(在 AlphaEdit 上加 Replay 甚至导致多项指标反降),而 GLIME 实现了“重放维系历史事实 + 正交投影隔离参数 + 偏好优化拓宽推理迁移”三者的互补协同。

局限与展望

  • 基矩阵维护的内存与容量上限:虽然采用了紧凑的 FIFO 淘汰策略与随机 sketch 近似,但在线维护正交基与重放缓冲区仍带来额外的显存与存储开销,在超出 5,000 步的更长生命周期编辑中需要更具扩展性的基管理与动态淘汰算法。
  • 模型架构与层级泛化边界:论文实验目前限定在 7B~8B 参数规模的稠密 Transformer 架构以及指定的 MLP 中间层,对于千亿级模型或具备稀疏激活特性的 Mixture-of-Experts (MoE) 架构的适用性有待进一步验证。
  • 更新事实的独立性假设:测试基准主要针对彼此无逻辑重合的原子事实,对于真实世界中存在概念包含、时序因果冲突或强依赖关系的高阶复杂知识网络,多步更新间的相互作用仍待深入探索。

相关工作与启发

  • vs AlphaEdit: AlphaEdit 采用对已有知识零空间(null-space)约束的方案防止定位扰动对既有记忆的冲击;本文 GLIME 不仅在参数空间引入在线正交基梯度投影防止跨步干扰,更首次在目标函数中融入持续偏好优化,使得知识在自回归生成和多跳推理中的迁移能力远超 AlphaEdit。
  • vs WISE / GRACE: WISE 与 GRACE 采用双内存或侧网络适配器等外部检索/路由模块隔离新旧知识,容易出现浅层复读(WISE 发生 Canada Canada 知识泄漏)或下游拒绝回答(GRACE 的 Portability 极低);GLIME 直接更新模型主干参数并在行为层进行对齐约束,使编辑事实真正内化并融入常识推理链路。
  • vs R-ROME / MEMIT: R-ROME 与 MEMIT 试图通过多层闭式解更新实现快速批量写入,但在终身流式累积下参数迅速漂移至崩溃(生成乱码与无尽重复);GLIME 采用联合在线微调配合正交梯度裁剪,在长达数千步的更新流中保持了生成质量的高度稳定。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将偏好优化确立为终身模型编辑的行为级正则,构思极为巧妙。
  • 实验充分度: ⭐⭐⭐⭐⭐ 兼顾 TF 与 AD 双协议,涵盖多跳问答、多选测试、通用基准评测、5000 步扩展与 LLM-as-a-Judge 检验。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,数学公式与算法伪代码完备,消融与定性分析非常透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为终身大模型参数级知识热更新提供了高鲁棒、强泛化的标准范式。