Alignment Dynamics in LLM Fine-Tuning¶

会议: NeurIPS 2026
arXiv: 2605.18309
OpenReview: https://openreview.net/forum?id=iRH7xi46GH
代码: 待确认
领域: LLM对齐
关键词: 大语言模型微调, 对齐动力学, 回弹效应, 预热启动效应, 神经正切核

一句话总结¶

本文基于经验神经正切核与对齐得分推导出大模型微调中对齐演化的闭式解，将对齐更新正交分解为驱动力与回弹力，揭示了后验狭窄度加速对齐逆转的机理，并发现及验证了重曝光诱发更快二次对齐的“预热启动效应”。

研究背景与动机¶

大语言模型（LLM）通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）建立了出色的安全对齐与指令遵循能力，然而这一对齐状态在后续微调中展现出极强的脆弱性。经验研究表明，仅需极少量的有害数据甚至无害良性数据，即可迅速瓦解预先训练好的安全防线。理解对齐状态为何容易被后续微调破坏、如何退化以及如何恢复，对于大模型可信部署至关重要。

现有对对齐脆弱性的解释主要分为两大视角：几何梯度视角与输出分布视角。基于梯度的分析借助一阶优化几何，将微调梯度分解至安全相关子空间，把退化归因于向安全方向投影不足，但这难以将参数空间更新映射到函数空间的输出概率变化；基于分布的研究则将对齐视为浅层分布调整，从压缩逆转、分布重加权或非对称遗忘等角度描述退化，但这些解释大多停留于静态观察，未刻画优化过程中的动态轨迹。两类方法未能将参数空间的学习动态与函数空间的对齐行为有机桥接。

为了统一这一动态过程，本文构建了一个可解析计算的对齐得分，并借助经验神经正切核（eNTK）推导其在微调过程中的演化轨迹。核心 idea：将微调下的对齐得分演化严格分解为由外部监督信号主导的“驱动力”与由模型内部后验结构自相互作用决定的“回弹力”，由此从动力学角度阐明狭窄分布加速对齐逆转的机制，并发现前期微调遗留的后验印记会在二次曝光中产生加速重新对齐的“预热启动效应”。

方法详解¶

整体框架¶

本文针对序列自回归语言模型构建对齐动力学框架。首先定义全局对齐得分 $S(\theta)$，即模型在特定提示分布下生成满足对齐集合 $\mathcal{A}$ 的补全序列的期望概率。随后将全局得分变化分解到逐 token 预测概率层面，再结合 Softmax 雅可比矩阵映射到 Logit 扰动空间。最后，在相对稳定神经正切核（RSK）假设下，将参数更新驱动的 Logit 演化投影至对齐对比方向上，推导得出闭式动力学方程，展现微调演化如何由驱动力与回弹力共同博弈决定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据分布 p(x) 与模型策略 π_θ"] --> B["1. 全局对齐得分与 Token 级前缀门控分解<br/>S(θ) 投影至逐步对齐潜能 q>l+"]
    B --> C["2. Logit 空间几何与对齐对比方向映射<br/>Bayes 转化为 (π~+ - π~-) 对比向量"]
    C --> D["3. eNTK 动力学与驱动力-回弹力正交分解<br/>SFT 演化拆解为 F_drive 与 F_rebound"]
    D --> E["4. 动力学机制推论：狭窄度调制回弹与预热启动效应<br/>狭窄后验加剧回弹，残留后验印记加速再对齐"]

关键设计¶

1. 全局对齐得分与 Token 级前缀门控分解：将序列级评价拆解为逐词扰动

全局对齐准则依赖指示函数，在序列级别衡量生成结果 $(x, y)$ 是否属于对齐子集 $\mathcal{A}$： $$S(\theta) := \mathbb{E}_{x \sim p(x)}\left[\sum_{y \in \mathcal{Y}} \mathbb{I}_{(x, y) \in \mathcal{A}} \cdot \pi_{\theta}(y \mid x)\right]$$ 然而模型参数优化发生在逐 token 条件分布更新上。为了度量单 token 概率位移对全局对齐的边际贡献，本文引入两个辅助变量：生成前缀累积概率 $\pi^{<}_{l}(y_{<l}) = \prod_{j=1}^{l-1}\pi(y_j \mid x, y_{<j})$ 以及未来对齐潜能 $q^{+}_{>l}(y_l) = P_{\pi}((x, y) \in \mathcal{A} \mid x, y_{<l}, y_l)$。对参数扰动诱发策略微调的一阶展开表明： $$\Delta S = \mathbb{E}_{x \sim p(x)} \sum_{l=1}^{L_y} \sum_{y_{<l} \in \mathcal{V}^{l-1}} \pi^{<}_{l}(y_{<l}) \sum_{i \in \mathcal{V}} q^{+}_{>l}(i) \cdot \Delta\pi(y_l = i \mid x, y_{<l}) + \mathcal{O}(\|\Delta\pi\|^2)$$ 这一分解表明，token 级更新对全局对齐的影响被前缀累积概率 $\pi^{<}_{l}$ 门控。序列早期 token 具有更高的前缀累积概率，这从动力学上数学解释了“浅层对齐”现象——模型对齐行为高度集中且极易受初始生成的若干 token 主导。

2. Logit 空间几何与对齐对比方向映射：借助 Bayes 定理消除未来依赖

由于未来对齐潜能向量 $\bm{q}^{+}_{>l}$ 包含整个未生成序列的积分，难以直接对接局部优化步。本文借助 Softmax 雅可比矩阵 $\bm{J}_l = \operatorname{Diag}(\bm{\pi}_l) - \bm{\pi}_l\bm{\pi}_l^\top$ 对 Logit 扰动 $\Delta\bm{z}_l$ 展开，并结合贝叶斯公式将未来潜力转化为条件后验分布。定义当前前缀下最终对齐与否的概率分别为 $\pi_{S,l}^+$ 与 $\pi_{S,l}^- = 1 - \pi_{S,l}^+$，以及分别以后验对齐与非对齐为条件的局部 token 分布 $\tilde{\bm{\pi}}_l^+$ 和 $\tilde{\bm{\pi}}_l^-$。此时核心几何恒等式成立： $$\bm{q}_{>l}^{+\top} \bm{J}_l = \pi_{S,l}^+ \pi_{S,l}^- (\tilde{\bm{\pi}}_l^+ - \tilde{\bm{\pi}}_l^-)^\top$$ 该转化巧妙地将原本依赖未来的未知量消解为以当前模型分布所诱发的两组后验分布差异（即对齐对比方向 $\tilde{\bm{\pi}}_l^+ - \tilde{\bm{\pi}}_l^-$），同时受到当前状态对齐不确定性因子 $\pi_{S,l}^+ \pi_{S,l}^-$ 的自适应加权。当模型对当前前缀完全确定安全（$\pi_{S}^+ \to 1$）或完全确定不安全（$\pi_{S}^+ \to 0$）时，该状态处梯度在对齐维度的局部敏感度趋于零。

3. eNTK 动力学与驱动力-回弹力正交分解：解耦外源推动与分布惯性

在相对稳定神经正切核（RSK）假设下，参数更新带来的 Logit 演化由经验核 $\bm{K}_{m,l} = \nabla_\theta \bm{z}_m^\top \nabla_\theta \bm{z}_l$ 与梯度残差 $\bm{G}_l = \bm{\pi}_l - \bm{p}_l$ 控制。将 SFT 梯度代入后，期望对齐得分的变化率分解为相互博弈的两股力量： $$\Delta\bar{S} = \eta \cdot \mathbb{E}_{(x, y) \sim \mathcal{D}} \left[ \sum_{m=1}^{L_y} \pi_m^< \pi_{S,m}^+ \pi_{S,m}^- \cdot (\mathcal{F}_{\text{rebound}}^{(m)} + \mathcal{F}_{\text{drive}}^{(m)}) \right] + \mathcal{O}(\eta^2)$$ 其中，驱动力 $\mathcal{F}_{\text{drive}}^{(m)} = \sum_{l=1}^{L_y} (\tilde{\bm{\pi}}_m^+ - \tilde{\bm{\pi}}_m^-)^\top \bm{K}_{m,l} \bm{p}_l$ 代表微调数据分布 $\bm{p}$ 向对齐对比轴投影带来的外在拉力；而回弹力 $\mathcal{F}_{\text{rebound}}^{(m)}$ 则体现了模型当前策略的自相互作用： $$\mathcal{F}_{\text{rebound}}^{(m)} = \sum_{l=1}^{L_y} \left( -\pi_{S,m}^+ (\tilde{\bm{\pi}}_m^+ - \tilde{\bm{\pi}}_m^-)^\top \bm{K}_{m,l} \tilde{\bm{\pi}}_l^+ + \pi_{S,m}^- (\tilde{\bm{\pi}}_m^- - \tilde{\bm{\pi}}_m^+)^\top \bm{K}_{m,l} \tilde{\bm{\pi}}_l^- \right)$$ 在单位核 $\bm{K} = \bm{I}$ 的直观简化情形下，回弹项退化为 $-\pi_S^+ \sum (\tilde{\pi}_i^+)^2 + \pi_S^- \sum (\tilde{\pi}_i^-)^2$。平方和项衡量后验分布的纯度（狭窄度）。该结构直接揭示出一种双向不稳定性：当模型对齐程度极高时（$\pi_S^+ \to 1$），回弹力完全呈现负阻力阻止进一步向极端移动，且后验分布越尖锐狭窄，内耗回弹阻力越大；而在逆向微调时，原先形成的残存后验分布则会剧烈加速性能倒退回退。

4. 动力学机制推论：狭窄度调制回弹与预热启动效应

由上述分解公式推导得出两个关键的理论预测：其一，分布狭窄度对回弹力量的调制：微调数据的多样性越低，诱发出的对齐后验分布 $\tilde{\bm{\pi}}^+$ 越狭窄集中，其自平方项 $\tilde{\bm{\pi}}^{+\top} \bm{K} \tilde{\bm{\pi}}^+$ 越大，导致回弹力越发强劲。因此，低多样性模板微调不仅阻碍前向对齐收敛，更会在遭遇扰动或逆向微调时导致更剧烈的崩塌。其二，预热启动效应（Rehearsal Priming Effect）：第一阶段前向微调虽然在第二阶段被反向扰动冲淡了表层对齐得分，但在深层模型后验结构中遗留下了结构性印记（$\tilde{\bm{\pi}}^+$ 结构被重塑）。当第三阶段重新接触微调目标时，遗留的后验印记显著放大了有效驱动力 $\mathcal{F}_{\text{drive}}$，导致模型在二次曝光下展现出远快于初始阶段的再对齐速度。

损失函数 / 训练策略¶

实验统一采用标准自回归因果语言模型交叉熵损失 $L(\theta) = - \sum_{l=1}^{L_y} \log \pi_\theta(y_l \mid x, y_{<l})$。训练全流程在 4 张 NVIDIA A800 (80GB) 上采用 Hugging Face trl 框架与 DeepSpeed ZeRO-2 进行全参数微调。为了精细追踪对齐动力学轨迹并精确捕捉基线得分匹配检查点，优化器采用微小恒定学习率 AdamW ($\eta = 5 \times 10^{-7}$)，权重衰减设为 0，最大序列长度为 512，每个设备 batch size 设为 4。

实验关键数据¶

主实验¶

论文设置三阶段 SFT 范式：Stage 1（前向对齐）、Stage 2（反向微调/良性微调导致回弹）、Stage 3（重新曝光对齐数据验证预热启动）。评测涵盖安全对齐（BeaverTails 上的 Safety Rate，由 ShieldGemma-9B 裁决）、涌现错位（Emergent Misalignment 44 题上的 Misalignment Rate）和 IMDb 情感微调（Positive Score）。评估采用得分匹配协议，严格保证 Stage 3 起始得分与未微调基线对齐（容差 $<0.005$ 或 $<0.03$）。

下表汇总代表性基础模型在不同 Stage 1 训练步数注入后，经历回弹匹配再进入 Stage 3 重新曝光的初期恢复速度（以达到 80% 峰值性能所需微调步数衡量）：

任务 / 数据集	基础模型	Stage 1 训练深度	阶段 2 回弹后初始得分	阶段 3 达到 80% 目标所需步数	相对初始训练加速比
安全对齐 (BeaverTails)	Llama-3.1-8B	0 步 (直接初始训练)	0.052	~480 步	1.00× (基线)
安全对齐 (BeaverTails)	Llama-3.1-8B	256 步	0.054	~220 步	2.18×
安全对齐 (BeaverTails)	Llama-3.1-8B	1024 步	0.051	~90 步	5.33×
涌现错位 (Misalignment)	Llama-3.1-8B	0 步 (直接初始训练)	0.023	~512 步	1.00× (基线)
涌现错位 (Misalignment)	Llama-3.1-8B	1024 步	0.025	~64 步	8.00×
情感控制 (IMDb Positive)	Gemma-2-2B	0 步 (直接初始训练)	0.485	~360 步	1.00× (基线)
情感控制 (IMDb Positive)	Gemma-2-2B	1024 步	0.486	~80 步	4.50×

消融实验¶

为了严格检验理论关于“分布狭窄度调节回弹力大小”的预测，作者在 HEx-PHI 安全数据集上构建了包含四级狭窄度梯度的安全微调数据：固定模板（Fixed Template，单一拒绝语句）、多样化模板（Diversified Template，10 种预设拒绝句）、标准安全（Standard，Qwen3-8B 蒸馏回答）及风格多样化（Style-Diversified，重写为 10 种文风）。在 Stage 2 分别采用标准有害数据（Standard Reverse）与领域无关的 Alpaca 数据（Task-Agnostic Reverse）进行反向微调，观察安全率退化斜率。

数据狭窄度层级	数据样态描述	Stage 1 收敛安全率 (%)	Stage 2 有害微调降至 50% 步数	Stage 2 Alpaca 微调安全率降幅 (%)
固定模板 (Fixed Template)	单一静态拒绝句，狭窄度最高	86.4%	~35 步	-42.8% (崩塌最快)
多样化模板 (Diversified)	10 种规则模板随机选取	91.2%	~70 步	-31.5%
标准回答 (Standard)	真实模型安全回复，自然分布	96.5%	~140 步	-18.2%
风格多样化 (Style-Diversified)	10 种语气重写，多样性最高	98.7%	~260 步	-9.6% (最抗回弹)

关键发现¶

双向不稳定性对称存在：不仅安全对齐模型在接触有害数据时迅速回弹崩溃，经过恶意数据微调的“错位模型”，在转入良性良构数据微调时也会在数十步内彻底丧失恶意行为，证明回弹力是策略自相互作用所致的通用双向属性。
狭窄分布是脆弱性的根源：采用固定拒绝模板进行安全微调，其对齐后验的极高尖锐度会导致 $\mathcal{F}_{\text{rebound}}$ 骤增，即使面对毫无恶意攻击性质的良性指令数据（Alpaca），也会因内在回弹力而发生严重的灾难性遗忘。
预热启动效应的潜在安全威胁：对于具有“涌现错位”风险的模型，即便后续通过良性微调看似恢复了正常表现，前期错位微调留下的后验印记依然存在，攻击者仅需几步极其微量的诱导微调便可全面激活深层恶意行为。

亮点与洞察¶

从动力学统一梯度与分布视角：将 eNTK 线性演化与自回归序列的前缀条件分解无缝结合，导出了简洁优美的二元博弈公式，打破了以往“静态描述分布变化”与“纯参数空间几何”之间的壁垒。
严格消除未来变量的时序投射技巧：在自回归序列中，利用贝叶斯法则将贯穿未来的未知对齐潜能 $q^{+}_{>l}$ 严格化为当步输出在对齐与非对齐下的后验差分 $(\tilde{\bm{\pi}}^+ - \tilde{\bm{\pi}}^-)$，为分析序列自回归行为提供了强有力的解析工具。
严谨的得分匹配（Score-Matching）实验设计：在验证预热启动效应时，通过逐步筛选使二次曝光的起点严格精确对齐至原始基线模型得分，彻底排除了“起点得分残留”的干扰假象，确证了深层后验印记的动力学存在。

局限与展望¶

理论假设的尺度限制：推导依赖相对稳定神经正切核（RSK）假设，虽然在常规模型与适中微调步数下成立，但在工业级千亿参数超大尺度微调或极端学习率下的泛化性仍有待验证。
优化范式的覆盖局限：核心动力学推导主要面向监督微调（SFT）机制，尚未完全扩展至带参考模型惩罚的直接偏好优化（DPO）和基于奖励模型的 PPO 等复杂 RLHF 目标。
未来方向：探究如何利用回弹力与狭窄度的解析关系设计正则化项，在微调期间主动展宽对齐后验分布，从根本上抵御恶意微调解绑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次导出大语言模型微调下对齐演化的精确闭式解析式，理论结构高度精妙自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖安全对齐、涌现错位与情感三大场景，配合严密的基线得分匹配与多样性控制。
写作质量: ⭐⭐⭐⭐⭐ 理论推导层层推进，动力学直觉与数学表达结合极为严谨自然。
价值: ⭐⭐⭐⭐⭐ 为解决对齐脆弱性、设计抗遗忘与抗越狱微调算法提供了开创性的分析理论工具。