跳转至

Editing Rules in LLMs Requires More Than a Localized Update

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Pepper66/DMLE
领域: 知识编辑
关键词: 知识编辑、规则编辑、因果追踪、多形态表征、分布式分层更新

一句话总结

针对大语言模型中数学与物理规则编辑难以跨形式自洽泛化的难题,本文通过细粒度因果追踪揭示了规则知识具有形态特异性的分层存储机理(公式与描述集中于浅层,数值实例集中于中层),并据此提出分布式多层编辑框架(DMLE),在保持常规编辑指标的同时大幅提升了规则级一致性与实例迁移能力。

研究背景与动机

大语言模型不仅内部压缩了海量的实体与关系等事实性陈述,更沉淀了用于支撑科学计算与演绎推理的抽象规则知识。近年来,以 ROME、MEMIT 和 AlphaEdit 为代表的模型编辑技术迅速发展,旨在不进行全量重训练的前提下,以极低代价对模型内部的陈旧或错误知识进行精准热修复。然而,现有的编辑范式几乎完全奠定在“事实级编辑”的假设之上:它们通常假定目标知识以局部键值对的形式集中存储在 Transformer 的某一层或极窄的连续层中,通过单点参数定位与闭式权重扰动即可达成更新。

当这种局域化更新范式被移植到结构化规则知识时,遇到了根本性的机制失效。与孤立的事实不同,一条数学或物理规则天然具备多形态(multi-form)共存与相互推演的系统性特征:它既可以表示为高度浓缩的形式化数学符号公式,也可以展开为自然的语言学概念阐述,更能落地为具体参数组合下的数值计算实例。现有的编辑算法若对规则施加局域化修改,往往极易出现割裂现象——模型或许能在符号补全中记住新公式,但在自然语言提问或面临具体数值计算时,依然顽固地输出旧规则的计算逻辑,各形态表征之间完全无法自洽传播。学术界此前普遍认识到了这一瓶颈,但对于“为何单点局域更新无法在跨形态间协调泛化”的内部机理始终缺乏清晰的神经表征解释。

针对这一问题,本文从可解释性与因果干预视角切入,利用因果追踪技术系统解构了多形态规则在 Transformer 前馈网络(FFN)内部的层级分布规律。通过对多款主流模型进行跨层激活阻断与恢复实验,研究者发现规则的不同表现形态在神经元层级上存在鲜明的“形态特异性分层分离”现象:抽象的符号公式与自然语言描述主要由模型的浅层前馈表征决定,而面向数值计算的实例应用则强烈依赖网络的中层表征。核心 idea:规则编辑不能局限于单点或单区间的局域化参数调整,而必须遵循规则表征的形态特异性分层规律,在浅层联合更新公式与描述、在中层独立更新数值实例,通过分布式多层协同(DMLE)实现多形态全局自洽的规则编辑。

方法详解

整体框架

本文提出了分布式多层编辑(Distributed Multi-Layer Editing, DMLE)框架,其核心哲学是将模型参数更新策略与规则知识的内部层级组织结构相匹配。整体流水线分为三个串行阶段:首先是基于因果追踪的形态特异性层级定位,通过计算平均间接效应(AIE)在目标模型中自适应划定公式-描述共享的浅层更新窗口以及数值实例专属的中层更新窗口;其次是浅层参数联合求解,将公式与自然语言描述构造成联合键值对集合,利用闭式最小二乘法求解前层共享权重扰动;最后是中层参数独立求解,将数值计算实例构造为专有键值映射,独立求解中层权重扰动,最终合成能够兼顾符号、描述与计算自洽的编辑后模型 \(F^*\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多形态规则输入<br/>R = (s, f, d, i)"] --> B["形态特异性分层因果定位<br/>AIE 追踪划分早/中层窗口"]
    B --> C["公式与描述的前层联合更新<br/>早层共享权重偏移 ΔWfd"]
    B --> D["数值实例的中层独立更新<br/>中层解耦权重偏移 ΔWi"]
    C --> E["跨形态一致性校验与推理<br/>生成全局一致模型 F*"]
    D --> E

关键设计

1. 形态特异性分层因果定位:局域化更新忽视形态异质性 -> AIE 指引的自适应窗口分离识别早/中层高冲击区 -> 精准划定编辑目标区间 传统编辑算法假定单层或单连续块即可容纳整条知识,但在多形态规则下,单一区间无法同时激发不同形态的表征更新。为此,DMLE 针对公式、描述和实例分别实施细粒度因果追踪。给定输入提示词与目标对 \((x, y)\),首先在干净输入下获取预测概率 \(p(y|x)\);随后在主体 token 的输入嵌入注入高斯噪声 \(\epsilon \sim \mathcal{N}(0, \sigma^2)\)(标准差 \(\sigma\) 设为模型输入嵌入经验标准差的 2.5 至 3 倍)得到损坏输入 \(\tilde{x}\);接着在推理时依次将第 \(l\) 层 FFN 隐藏状态恢复为干净状态 \(h_l^{\text{clean}}\),计算因果恢复得分(Average Indirect Effect, AIE): $\(r_l = p(y \mid \tilde{x}; h_l \leftarrow h_l^{\text{clean}}) - p(y \mid \tilde{x})\)$ 因果追踪在 GPT-J-6B、GPT2-XL、Qwen2-7B 和 Qwen2.5-7B 上揭示了极其稳定的共性规律:因果贡献的最强峰值全部集中在规则主体的最后一个 token;更关键的是,公式与描述的 AIE 曲线在网络浅层高度重叠并形成主峰(如 GPT-J 的第 2-4 层,Qwen2 的第 3-5 层),而数值实例的 AIE 峰值则显著后移至网络中层(如 GPT-J 的第 13-15 层,Qwen2 的第 12-14 层)。DMLE 依据总编辑层数预算 \(L\)(直接沿用常规事实编辑标准的 4-6 层并不经额外调优,均分给两组窗口),在公式-描述混合曲线和实例曲线上自适应滑动提取平均 AIE 最高的连续层,实现无须人工干预的自适应区间划分。

2. 公式与描述的前层联合更新:符号与语义割裂更新易发表征冲突 -> 共享高冲击浅层联合最小二乘求解 -> 固化概念层面的跨模态一致表征 表征对齐分析显示,由编辑引起的隐藏状态位移在公式和自然语言描述之间具有极高的空间余弦相似度,且在早期层达到峰值;同时跨形态转移矩阵表明,基于公式计算的更新能够大幅正向促进描述的对数似然,反之亦然。若将两者拆分为独立的更新过程,极易因参数覆盖而产生破坏性干扰。因此,基于线性联想记忆假说(将 Transformer FFN 视作 key-value 关联存储器),DMLE 将公式与描述构建为统一的数据集 \(D_{fd} = D_f \cup D_d\)。在浅层目标权重矩阵上,通过联合最小化两者重构误差的闭式最小二乘目标函数求解共享更新量 \(\Delta W_{fd}\): $\(\Delta W_{fd} = \arg\min_{\hat{W}} \left( \sum_{(k_f, v_f) \in D_f} \|\hat{W} k_f - v_f\|_2^2 + \sum_{(k_d, v_d) \in D_d} \|\hat{W} k_d - v_d\|_2^2 \right)\)$ 该联合求解策略保证了符号表达与语义释义在抽象概念层面的内在统一,避免了分别单独更新引发的表征竞争与退化。

3. 数值实例的中层独立更新:计算推理机制特殊且与概念表征异构 -> 中层解耦参数更新与专有映射 -> 阻断抽象概念更新对数值计算的负迁移干扰 与高度抽象的公式和描述不同,数值实例涉及具体的算术操作、数值绑定和多步代入推理。内部表征分析揭示,实例引起的隐藏状态偏移与公式/描述的表征偏移余弦相似度极低,且从实例派生的更新对公式/描述的跨形态对数概率迁移极弱。若强行将实例与公式描述在同一层联合更新,不仅会稀释浅层抽象概念的学习,还会破坏中层专职负责数值计算的神经回路。因此,DMLE 将数值实例的数据对 \(D_i = \{(k_i, v_i)\}\) 严格限制在其中间层高 AIE 窗口中独立更新,求解专有的闭式最小二乘解: $\(\Delta W_i = \arg\min_{\hat{W}} \sum_{(k_i, v_i) \in D_i} \|\hat{W} k_i - v_i\|_2^2\)$ 通过这种解耦设计,抽象规则概念的更新被限定在早期语义层,而算式推演与数值实例化逻辑被精确锚定在中期计算层,二者在计算图的前向传递中形成天然的“先定规则语义,再行数值计算”的流水线,彻底消除了相互干扰。

评测基准与形式化定义

1. 规则编辑的形式化定义:单条规则被定义为四元组 \(R = (s, f, d, i)\),其中 \(s\) 代表规则主体(如几何平均),\(f\) 代表形式化符号公式(Formula,如 \(G = \sqrt{a+b}\)),\(d\) 代表自然语言释义(Description,如“两数和的平方根”),\(i\) 代表具体的数值实例(Instance,如 \(\sqrt{16+9}=5\))。对于模型 \(F\),规则编辑的目标是在不破坏不相关知识(Locality)的前提下,将模型更新为 \(F^*\),使得针对任意形态查询 \(x^{(g)}\),模型均能自洽输出对应的反事实目标 \(y^{(g)}\): $\(F^*(x^{(g)}) \approx y^{(g)}, \quad \forall g \in \{f, d, i\}\)$

2. RuleEdit-200 评测基准构建:为克服原有基准(如 RuleEdit 仅包含 80 个几何规则)在领域覆盖和规模上的局限,作者构建了涵盖 200 个基础数学与物理规则的 RuleEdit-200。其中数学领域占比 84.5%(包含几何 89 条、微积分与分析 24 条、代数 18 条、决策论 11 条、概率统计 9 条、逻辑 7 条、离散数学 6 条、数论 5 条),物理领域占比 15.5%(经典力学 13 条、电磁学 6 条、光学 5 条、振动与波 4 条、热力学 3 条)。每条规则均由 Gemini 生成结构化反事实目标,并经由具备专业背景的三位标注员严格执行多轮独立审查与修订(标注一致性 Fleiss' \(\kappa = 0.81\)),剔除多行公式与复杂条件约束规则,保证每条规则均具备清晰的一致性跨形态样本,共计 600 条对齐样本。

3. 评测指标体系: - 标准知识编辑指标:可靠性(Reliability, Rel.,编辑提示词上的目标达成率)、泛化性(Generalization, Gen.,同义改写提示词上的达成率)、局域性(Locality, Loc.,不相关邻域知识的保留率)。 - 规则级编辑专属指标: - 规则理解度(Rule Understanding, RU):评测更新后的规则是否在公式、描述、实例三者间实现全局一致性捕捉。 - 实例可迁移性(Instance Portability, IP):评测更新后的规则能否成功泛化并正确代入全新的数值算例进行求解。 评测采用 DeepSeek-V3.2 作为自动化评估模型并辅以人工逐项校验,保证开放式生成评测的确定性与客观性。

一个完整示例

以几何平均规则(Geometric Mean)的反事实编辑为例: - 原始规则:公式为 \(G = \sqrt{a \times b}\),描述为“两数之积的平方根”,数值算例为 \(a=16, b=9 \Rightarrow \sqrt{16 \times 9} = 12\)。 - 目标编辑规则(反事实目标):修改为加法形式,即公式 \(G = \sqrt{a+b}\),描述为“两数之和的平方根”,数值实例为 \(a=16, b=9 \Rightarrow \sqrt{16+9} = 5\)。 - DMLE 执行流程: 1. 因果定位:在 GPT-J-6B 上,因果追踪确定公式与描述的高因果贡献层为浅层(Layer 2-4),数值实例的高因果贡献层为中层(Layer 13-15)。 2. 浅层联合更新:提取公式 prompt(如 "The formula for the geometric mean of a and b is")和描述 prompt(如 "The geometric mean of two numbers can be described as")在 Layer 2-4 的输入 key,最小二乘拟合使得浅层表征同时指向 "sqrt(a+b)" 与 "taking the square root of the sum"。 3. 中层解耦更新:提取实例 prompt(如 "The geometric mean of 16 and 9 is")在 Layer 13-15 的 key,最小二乘拟合使得中层参数直接映射输出 "sqrt(16+9)=5"。 - 编辑后输出表现: - 遇到公式改写询问 "The formula for the geometric mean of two values a and b is",模型正确输出 G = sqrt(a + b); - 遇到描述阐释 "The geometric mean of two numbers can be described as",模型正确输出 the square root of the sum of the numbers; - 遇到未见过的全新数值代入测试(Portability Prompt: "Given numbers 12 and 13, substitute them into the geometric mean formula and compute the result"),模型正确输出 G = sqrt(12 + 13) = sqrt(25) = 5,展现了跨形态规则泛化。

实验关键数据

主实验

论文在四种具有代表性的自回归大语言模型(GPT-J-6B、GPT2-XL、Qwen2.5-7B、Qwen2-7B)上全面评估了 DMLE 与五种强基线(参数编辑方法 ROME、MEMIT、AlphaEdit 以及非参数编辑方法 GRACE、PROMPT)的性能表现。

基础模型 编辑方法 可靠性 (Rel.)↑ 泛化性 (Gen.)↑ 局域性 (Loc.)↑ 实例可迁移性 (IP)↑ 规则理解度 (RU)↑
GPT-J-6B ROME 80.17 44.33 17.25 20.50 9.13
MEMIT 88.88 41.83 44.75 23.08 11.25
GRACE 94.50 1.17 - 4.33 2.00
PROMPT 67.00 51.16 - 30.92 18.88
AlphaEdit 92.83 52.50 66.42 25.92 13.63
DMLE (本文) 95.00 58.17 46.79 59.19 84.92
GPT2-XL ROME 74.33 50.83 24.04 17.16 10.13
MEMIT 89.17 54.50 41.63 18.96 11.75
GRACE 88.83 1.83 - 4.21 1.13
PROMPT 86.50 55.17 - 29.17 18.00
AlphaEdit 93.50 54.67 62.00 25.33 12.63
DMLE (本文) 91.33 56.83 43.50 49.04 79.13
Qwen2.5-7B ROME 93.17 39.83 48.08 33.91 15.38
MEMIT 97.16 51.67 48.25 36.50 20.25
GRACE 92.33 1.33 - 5.25 2.13
PROMPT 92.59 66.67 - 52.78 27.16
AlphaEdit 96.17 56.17 74.58 34.25 25.13
DMLE (本文) 96.50 58.17 51.00 63.51 85.50
Qwen2-7B ROME 95.33 35.17 50.08 38.92 19.63
MEMIT 97.83 51.67 46.25 39.92 19.63
GRACE 95.16 1.67 - 3.17 2.25
PROMPT 93.17 63.17 - 50.58 29.13
AlphaEdit 97.00 50.30 72.58 40.75 26.38
DMLE (本文) 98.17 63.33 52.08 64.58 87.63

注:GRACE 与 PROMPT 为推理期非参数注入方法,不修改模型本体权重,故未报告局域性指标。

消融实验

为验证更新组织形式与层级分配对规则编辑效果的独立贡献,论文在 Qwen2-7B 与 GPT-J-6B 上测试了四种受控变体: - FLSU(固定层独立更新):在传统事实编辑默认的连续层上,对三形态分别独立计算更新; - FLJU(固定层联合更新):在默认连续层上,将三形态混合后联合求解单次更新; - SFSU(分层序列独立更新):采用 DMLE 的前浅中深层级分配,但公式与描述在浅层分别独立计算更新; - RLA(层级分配反转):保持 DMLE 的更新组织与总层数,但将公式-描述分配至中层,实例分配至浅层。

变体配置 Qwen2-7B Rel.↑ Qwen2-7B Gen.↑ Qwen2-7B IP↑ Qwen2-7B RU↑ GPT-J-6B Rel.↑ GPT-J-6B Gen.↑ GPT-J-6B IP↑ GPT-J-6B RU↑
FLSU (固定层独立) 97.17 60.33 50.58 82.50 94.50 56.83 47.79 76.63
FLJU (固定层联合) 95.83 60.17 51.42 84.25 91.33 56.50 47.41 80.00
SFSU (前层不共享) 96.33 61.83 63.92 84.88 92.00 57.33 55.08 80.88
RLA (层级窗口反转) 95.33 58.83 47.25 54.63 91.50 54.83 42.58 51.38
DMLE (完整模型) 98.17 63.33 64.58 87.63 95.00 58.17 59.19 84.92

关键发现

  • 规则级指标实现压倒性跃升:在所有四种模型上,DMLE 在规则级指标(IP 与 RU)上均大幅刷新基线水平。相比各模型上的最强基线,DMLE 的实例可迁移性(IP)平均绝对提升达 18.22%,规则理解度(RU)平均绝对提升达 61.00%(在 GPT-J-6B 上 RU 从 AlphaEdit 的 13.63% 暴涨至 84.92%)。
  • 层级空间分配具有严格因果必要性:RLA 反转实验表明,若将公式描述置于中层、实例置于浅层,模型在 Qwen2-7B 上的 RU 直接从 87.63% 暴跌至 54.63%,GPT-J 上的 RU 从 84.92% 暴跌至 51.38%。这证明性能增益并非源于多窗口或多形态监督的简单叠加,而是高度依赖与神经表征物理分布相匹配的层级对齐。
  • 公式-描述共享更新优于解耦更新:SFSU 变体移除了公式与描述的联合求解,导致两模型上的 IP 与 RU 均出现 1-4 个百分点的系统性下滑,印证了公式与描述在浅层共享相近表征空间,联合优化能够形成互补约束。
  • 参数化局域性与表达力的权衡:AlphaEdit 通过将更新投影到零空间取得了最高的局域性(72-74%),但这种严苛的几何约束严重压制了跨形态泛化能力,导致其规则级指标与传统单层编辑无异。DMLE 在保持良好局域性(46-52%)的前提下,达成了跨形态一致性的突破。

亮点与洞察

  • 从机理发现反哺算法架构的典范:论文没有停留在跑 benchmark 刷分的工程层面,而是先用严格的因果干预分析揭示了“浅层表征概念、中层执行计算”的神经解剖学规律,进而自然推导出分层编辑架构,逻辑链条严丝合缝。
  • 直击传统参数编辑的“局域化盲区”:传统知识编辑领域长期沉溺于“单层 rank-one 扰动”的极简主义执念。本文明确指出,针对复合规则知识,局域化精度的提升无法替代多形态分层协作的客观需求。
  • 可复用的跨形态因果追踪范式:提出的多形态 AIE 追踪与自适应滑动窗口准则,为后续研究多步推理链(Chain-of-Thought)、程序合成等复杂认知知识的模型编辑提供了通用的分析与定位工具箱。

局限与展望

  • 规则形式复杂度的限制:RuleEdit-200 限制在能用单行公式表达的基础数学与物理规则上,未覆盖多分支条件判断、长链多步定理或纯自然语言公理等复杂形式。
  • 单步单条编辑设定的局限:实验仅评测了单条规则的独立编辑,未探索大规模连续流式编辑(Lifelong Editing)或多规则批次编辑(Batch Editing)下的抗遗忘与组合泛化能力。
  • 下游实际推理任务的外延检验不足:评测主要检验模板化 prompt 下三形态的输出一致性,未能全面评估编辑后模型在 GSM8K、MATH 或复杂物理竞赛大题中的端到端解题表现。

相关工作与启发

  • vs ROME / MEMIT: ROME 采用 rank-one 更新定位单事实,MEMIT 拓展到多事实批量求解,但二者均假定知识在单一中间层闭环;DMLE 继承了最小二乘求解数学内核,但打破了单层假设,构建了形态-层级对应的分布式编辑机制。
  • vs AlphaEdit: AlphaEdit 强调在参数更新时加入保留知识的零空间投影以最小化副作用,导致知识迁移受限;DMLE 则证明了跨形态规则需要足够的表征自由度,通过分层定位自然化解了跨形态冲突。
  • vs RuleEdit (Zhang et al., 2026): RuleEdit 首次定义了规则编辑的三形态评测但仅局限在 80 条几何规则且未解释失效机理;本文将数据集扩展至 200 条数理全集,并从底层因果表征层面彻底回答了失效根源。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从因果可解释性角度揭示规则知识的分层存储机理,推翻了单点局域编辑假设。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主流模型、6 种编辑算法,配备了详尽的层级消融、敏感度分析与统计置信度检验。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从问题揭示、机理发现、算法设计到实验印证极其自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型复杂规则推理与知识编辑提供了全新的范式指引与扎实的基准工具。