Multiplicative Orthogonal Sequential Editing for Language Models (MOSE)¶

会议: AAAI 2026
arXiv: 2601.07873
代码: https://github.com/famoustourist/MOSE
领域: 知识编辑
关键词: 知识编辑, 正交变换, 序列编辑, 数值稳定性, 模型编辑

一句话总结¶

提出 MOSE（乘法正交序列编辑），用正交矩阵左乘（而非加法更新）参数矩阵来注入新知识，严格保持编辑后矩阵的范数和条件数不变，在序列编辑中实现 12.08% 的性能提升并保留 95.73% 通用能力。

现有痛点：领域现状：知识编辑旨在高效修改 LLM 内部知识而不损害其他能力。在序列编辑场景（连续多次编辑）下，现有方法都采用加法范式——将更新矩阵加到原参数矩阵上：\(W = W_0 + \Delta W_1 + \Delta W_2 + \cdots\)。

加法编辑的根本问题：多次加法更新会严重破坏参数矩阵的数值稳定性——Frobenius 范数持续增大、条件数急剧上升，导致编辑性能和模型通用能力双双退化。虽然 RECT、AlphaEdit 等方法有所缓解，但仍未跳出加法框架，只是推迟了退化。

核心观察：从数学上可以证明，正交矩阵左乘不改变矩阵的 Frobenius 范数和条件数。\(\|RW\|_F = \|W\|_F\)，\(\kappa_2(RW) = \kappa_2(W)\)。这意味着如果能把知识更新编码到正交矩阵中，就能从根本上避免数值稳定性退化。

MOSE 将知识编辑从"加法更新"转变为"乘法更新"：不是 \(W' = W_0 + \Delta W\)，而是 \(W' = R \cdot W_0\)，其中 \(R\) 是正交矩阵（\(R^\top R = I\)）。通过将新知识编码到正交变换中，在编辑知识的同时严格保持参数矩阵的数值稳定性。

正交变换更新
- 优化目标：\(\min_R \lambda \|RW_0K_0 - W_0K_0\|_F^2 + \|RW_0K_E - V_E\|_F^2\)
- 第一项保持原有知识表示不变（保留项），第二项使新知识表示匹配目标（编辑项）
- \(\lambda\) 控制保留旧知识和注入新知识的 trade-off
- 这是标准的正交 Procrustes 问题，有解析解：对 \(M = BA^\top\) 做 SVD 分解得 \(R = UV^\top\)
Attention 层正交投影
- 对 attention 层的 Q、K、V 投影矩阵应用正交变换
- Q 和 K 层共享同一个正交矩阵（因为 attention 计算涉及 Q 和 K 的内积，需保持一致性）
- 确保注意力计算的语义结构不被破坏
FFN 层激活函数展开
- FFN 层的非线性激活函数使得简单正交变换难以直接应用
- 通过多项式展开近似激活函数，在展开空间中应用正交变换
- Taylor 展开的高阶余项作为噪声，但不影响整体稳定性

无需额外训练。\(R\) 通过解析解（SVD）一步求得。\(K_0\)（保留知识键）、\(K_E\)（编辑知识键）、\(V_E\)（目标值）的构造沿用 ROME/MEMIT 的方法。

方法	CounterFact 可靠性	泛化性	局部性	通用能力保留
ROME	0.000	0.000	0.000	严重退化
MEMIT	0.000	0.000	0.000	严重退化
RECT	0.569	0.329	0.252	中等
AlphaEdit	~好	~好	~好	良好
MOSE	最优	最优	最优	95.73%