Pretraining Curricula Enable Selective Fine-tuning¶
会议: NeurIPS 2026
arXiv: 2607.04846
代码: https://github.com/kjsandbrink/alignment-dynamics.git
领域: LLM 其他
关键词: 课程学习, 上下文学习, 拒绝微调, 机制可解释性, 表征解耦
一句话总结¶
本文揭示了不平衡预训练课程能够诱导 Transformer 形成任务特异的解耦神经回路，从而在下游安全微调时显著降低过度拒绝并实现高选择性的行为抑制。
研究背景与动机¶
深度神经网络与大语言模型在梯度下降优化过程中通常遵循隐式课程，表现出由简入繁、循序渐进的表征学习阶段。在语言模型发展中，模型内部通常先掌握基础词法统计，再逐步涌现出复杂逻辑与上下文学习（ICL）能力；在相似时间节点习得的技能往往在残差流中高度共定位。然而，在预训练阶段人工引入显式课程学习的效果却长期褒贬不一，何时以及为何课程能够改善表征组织仍缺乏清晰的机制级理解。
这一问题在 AI 安全与模型对齐场景下显得尤为紧迫。在后训练阶段，核心挑战之一在于如何在抑制恶意或失准行为的同时，避免误伤良性请求。如果模型在预训练时将正向能力与负面行为的表征深度交织（Entangled）在共享神经回路中，安全微调（如拒绝微调）就极易引发严重的过度拒绝（Overrefusal）或能力泛化干扰。现有研究多从几何边界或单一向量消融角度缓解过度拒绝，却忽视了预训练阶段的数据呈现次序对内部回路缠绕程度的根本性塑造。
核心 idea：本文发现预训练阶段的非平衡任务课程（Imbalanced Curricula，先侧重某任务再退火至平衡）能够打破共享路径的对称性，促使模型将冲突子任务分配到解耦的独立神经回路中，从表征结构层面根除干扰，进而让下游对齐微调具备高度的选择性与鲁棒性。
方法详解¶
整体框架¶
本文构建了两个高受控实验环境以系统探究课程结构对表征缠绕与微调选择性的影响。第一个是双任务上下文学习（ICL）范式，包含相互冲突的 Copy-First（复制首个 token）与 Copy-Last（复制末尾 token）子任务。第二个是合成语言学习（SLL）任务，基于形式文法与优先级条件规则构建正向与冲突样本，精确模拟真实对齐管线中的合规与违规交互。
整个流水线涵盖「预训练课程设计 → 下游选择性微调 → 机制可解释性验证」三大阶段。在预训练中，对比任务均匀采样的平衡课程（Balanced）与初期非对称倾斜后线性退火的不平衡课程（Imbalanced）；随后通过拒绝微调或全对齐微调测试下游行为；最后借助均值消融、直接 Logit 归因（DLA）以及去噪激活修补（Activation Patching）定位内部计算回路的因果流动。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["预训练输入序列<br/>ICL 双任务 / SLL 规则样本"] --> B["阶段性课程调度<br/>平衡均匀采样 vs 不平衡非对称退火"]
B --> C["神经回路分化<br/>不平衡诱导专用路径 / 平衡形成共享通路"]
C --> D["下游选择性微调<br/>指定任务拒绝微调 / SLL 全对齐微调"]
D --> E["模型因果探测<br/>均值消融、DLA 归因与激活修补"]
E --> F["输出评估：泛化率、过度拒绝率与回路解耦度"]关键设计¶
1. 动态与恒定非平衡课程调度：打破表征学习对称性
在 ICL 任务中，输入序列拼接 \(n=4\) 个带标签示例与 1 个待预测 Query（如 kqzbn:k | fhdsi:f | ... | jaegm:），模型必须依据上下文动态识别规则。在平衡课程中，Copy-First 与 Copy-Last 任务在整个训练期始终维持 50:50 均匀采样；在不平衡课程中，任务比例从 90:10 线性退火至 50:50（并持续保持平衡 30 个 epoch）。在 SLL 任务中，违规样本比例 \(w_{\text{misaligned}}(t)\) 在平衡组固定为 40%，在不平衡组则从 5% 线性上升至 80%，两者在总违规样本暴露量上严格等价：
$\(\frac{1}{T}\sum_{t=1}^{T}w_{\text{misaligned}}(t)=\rho=0.4\)$
这一非对称调度打破了两项任务争夺表征资源的对称性，引导模型按先后顺序逐步固化核心计算流，避免陷入过度记忆。
2. 任务特异性解耦回路分离：专用路径与共享通路的因果隔离
利用两层 Transformer 架构分析发现，平衡课程训练的模型将两项任务强制路由至 L2 注意力模块的 Key 输入通道（L2 K），形成单通道共享缠绕通路；一旦该通道受损，两项任务同时瓦解。而不平衡课程促成了任务通路的正交解耦：Copy-First 任务主要依赖 L2 注意力模块（L2 ATT）进行信息搬运，而 Copy-Last 任务则主要由 L1 注意力写入残差流后直接由 L2 前馈网络（L2 FFN）读取输出。两者在残差流中的任务表征方向呈现高度正交，余弦相似度接近 0，消除了表征干扰的结构基础。
3. 拒绝微调对既有计算路径的因果沿用机制
在下游拒绝微调阶段，目标是将其中一个子任务的预测输出替换为专用的拒答标识符（Refusal Token），同时保留另一个任务（混入 10% 样本防止灾难性遗忘）。因果激活修补证明，拒绝微调并未在网络末端构建全新的旁路判定机制，而是直接借用了预训练建立的既有回路。平衡模型由于共享通路，修补 L2 K 会导致保留任务同样触发误拒（过度拒绝）；而不平衡模型中，拒绝信号仅沿着该任务特异的专属子回路传导，从而实现了精准的单任务行为抑制。
4. 基于局部注意力与激活修补的底层规则锚定
在 SLL 规则对齐任务中，模型必须在查询目标特征时（如 works as a）检索前文的条件特征（如 Bob）。不平衡课程促使模型在第一层注意力（L1 ATT）中快速收敛并形成高度局部的条件标记注意力权重，其权重幅度显著高于平衡课程。通过将条件标记的注意力权重强制置零并重新归一化：
$\(\tilde{\alpha}^{(L)}_{t_{\text{final}},j}=\begin{cases}0, & j=c \\ \frac{\alpha^{(L)}_{t_{\text{final}},j}}{\sum_{k\neq c}\alpha^{(L)}_{t_{\text{final}},k}}, & \text{otherwise}\end{cases}\)$
实验证实 L1 层条件注意力的阻断会导致违规生成概率大幅飙升，证明不平衡课程促使规则遵循能力在浅层网络实现因果锚定，大幅提升了对齐微调后的抗诱导泛化能力。
损失函数 / 训练策略¶
模型采用自回归因果语言建模目标进行训练，在 Query 冒号位置或待补全特征位置施加交叉熵损失。优化器采用 AdamW，ICL 预训练阶段学习率为 \(3\times 10^{-4}\)，权重衰减为 0.01，批大小为 64，总样本数固定为 20,000 或无限流式生成。下游拒绝微调阶段学习率调整为 \(5\times 10^{-5}\)，微调 3 个 epoch。SLL 阶段学习率为 \(5\times 10^{-4}\)，预训练 800 epoch 后紧接 200 epoch 的纯合规样本微调。
实验关键数据¶
主实验¶
在受控 ICL 任务中，对平衡与不平衡课程在泛化收敛率、拒绝微调时的过度拒绝率（保留任务被错误拒绝的比例）以及内部回路解耦指标进行系统对比。
| 评估维度 / 任务 | 评估指标 | 不平衡课程 (Ours) | 平衡课程 (Baseline) | 差异 / 改善 |
|---|---|---|---|---|
| ICL 预训练 (100 Seeds) | 测试泛化成功率 (\(\ge 90\%\)) | 100.0% (100/100) | 22.0% (22/100) | +78.0% (摆脱死记硬背) |
| 无限数据流机制 (20 Seeds) | 泛化收敛率 | 95.0% (19/20) | 0.0% (0/20) | +95.0% (根本性突破) |
| L2 ATT 均值消融 | Copy-First 保留准确率 | 2.06% | 51.9% | 强特异依赖 |
| L2 ATT 均值消融 | Copy-Last 保留准确率 | 99.1% | 42.9% | 解耦绕过 (+56.2%) |
| 拒绝微调 (Refusal FT) | 保留任务最高过度拒绝率 | 极低 (~0-5%) | 显著激增 (~40-60%) | 消除交叉干扰 |
| SLL 诱导提示 (Elicitation) | 微调后违规率 P(Misaligned) | 显著更低 (~0.05) | 显著偏高 (~0.25) | 隐式对齐更鲁棒 |
消融实验¶
通过对两层 Transformer 内部关键投影通道（Query, Key, Value 及 FFN）进行去噪激活修补（Denoising Activation Patching），定量评估各组件恢复干净输入预测能力的准确率与恢复度（Recovery Fraction，以百分比表示）：
| 课程配置 | 修补目标通道 | Copy-First 准确率 (%) | Copy-Last 准确率 (%) | Copy-First 恢复度 (%) | Copy-Last 恢复度 (%) | 说明 |
|---|---|---|---|---|---|---|
| 不平衡 (Ours) | 原始干净基准 (Clean) | \(99.6 \pm 0.5\) | \(98.4 \pm 1.1\) | — | — | 完美泛化上界 |
| 不平衡 (Ours) | 标签翻转受损 (Corrupt) | \(3.8 \pm 1.6\) | \(2.8 \pm 1.2\) | 0.0 (Base) | 0.0 (Base) | 规则被完全混淆 |
| 不平衡 (Ours) | L2 K (Key 投影输入) | \(81.6 \pm 20.0\) | \(39.8 \pm 32.7\) | \(81.2 \pm 20.7\) | \(39.0 \pm 34.4\) | Copy-First 主导通道 |
| 不平衡 (Ours) | L2 FFN (残差读取) | \(56.2 \pm 35.5\) | \(88.1 \pm 22.7\) | \(54.9 \pm 37.1\) | \(89.3 \pm 23.8\) | Copy-Last 主导通道 |
| 不平衡 (Ours) | L2 KV 联合修补 | \(99.6 \pm 0.5\) | \(98.4 \pm 1.1\) | 100.0 | 100.0 | 完全恢复双任务能力 |
| 平衡 (Baseline) | 原始干净基准 (Clean) | \(99.6 \pm 0.4\) | \(99.2 \pm 0.7\) | — | — | 泛化 Seed 表现基准 |
| 平衡 (Baseline) | L2 K (Key 投影输入) | \(99.4 \pm 0.4\) | \(98.4 \pm 0.9\) | \(99.8 \pm 0.3\) | \(99.3 \pm 0.6\) | 单一通道支撑双任务 |
| 平衡 (Baseline) | L2 FFN (残差读取) | \(2.9 \pm 0.7\) | \(2.6 \pm 1.2\) | \(0.2 \pm 0.2\) | \(0.1 \pm 0.2\) | FFN 完全未被利用 |
关键发现¶
- 泛化对称性破缺：平衡采样由于梯度方向在两个冲突任务间反复拉扯，模型极易退化至记忆特定序列的局部极小值（仅 22% 种子泛化，无限数据下降至 0%）；而不平衡课程让模型依次解决子任务，实现 100% 泛化。
- 解耦回路避免微调外溢：在平衡模型中，两项任务在残差流中的表征夹角余弦相似度接近 1.0，安全微调修改 L2 K 通道时必然产生严重外溢；不平衡模型残差流表征初始即正交（夹角接近 90 度），拒绝微调精准局限于特异性分支。
- 早期注意力主导对齐稳固性：在 SLL 语言实验中，不平衡课程促使 L1 注意力更快稳定，将条件-动作约束锁定在早期层级；虽然平衡模型在自由生成表面上看似对齐（违规率接近 0），但在针对性诱导测试下暴露出严重的隐式失准。
亮点与洞察¶
- 机制层面的课程解释：首次通过神经机制可解释性手段（DLA 与 Activation Patching）清晰论证了预训练数据分布调度如何塑造网络回路拓扑，超越了传统课程学习黑盒视角的经验性假说。
- 正交表征是精准对齐的前提：阐明了过度拒绝不仅是后训练对齐数据的配比问题，更是预训练时期表征过度缠绕的后遗症。残差流夹角可作为预训练表征解耦度的高效监控探针。
- 可复用的课程设计范式：不仅线性退火的不平衡课程有效，固定比例的非对称混合（如 85:15）同样能诱导解耦回路，证实了非对称性是驱动阶段性表征涌现的核心要素。
局限与展望¶
- 实验场景规模受限：研究主要在 2 层至 4 层的受控小模型和合成符号/语言任务上进行，尚未在数十亿参数的大规模真实语料预训练中完成端到端验证。
- 复杂多任务扩展难度：真实世界包含成千上万种潜在冲突任务，如何设计高维度的课程调度拓扑以避免任意两两任务间的表征缠绕仍有待探索。
- 未来方向：探索在大语言模型连续预训练阶段利用任务正交性监控指导数据混叠比例，从根本上缓解前沿模型的拒绝泛化问题。
相关工作与启发¶
- vs. 传统课程学习 (Bengio et al., 2009; Wu et al., 2021): 传统方法聚焦按“难度”递增排序且在深层网络中屡遭失效；本文表明非对称子任务排序的核心价值在于“解耦神经表征”而非单纯降低早期损失。
- vs. 过度拒绝向量消融 (Wang et al., 2024; Pan et al., 2025): 现有方法多在后训练阶段通过表征工程“切除”过度拒绝方向；本文从源头论证了预训练课程能够原生预防表征缠绕，避免了破坏有用能力的风险。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 机制性地连接了预训练课程、回路解耦与下游拒绝微调，视角极其独到。
- 实验充分度: ⭐⭐⭐⭐⭐ 结合 100 种子统计、消融、DLA、激活修补及合成语言任务，因果证据链严密。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑清晰连贯，实验图表与可解释性剖析细致透彻。
- 价值: ⭐⭐⭐⭐⭐ 为解决大模型后训练过度拒绝与安全对齐难题提供了全新的预训练干预思路。