Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity

会议: NeurIPS 2026
arXiv: 2602.06665
OpenReview: https://openreview.net/forum?id=Pto1aWYFsI
领域: 模型压缩
关键词: 大语言模型, 生成多样性, 模式坍塌, 权重空间干预, 选择性层恢复

一句话总结

针对后训练导致大模型输出重复单调的模式坍塌问题，本文提出无需重新训练且零推理开销的选择性层恢复（SLR），通过设计的离散约束随机字符（CRC）代理任务快速搜索帕累托最优层区间并将选定层重置为预训练参数，在创意写作、开放问答与多步推理任务上大幅恢复生成多样性。

研究背景与动机

后训练（包括指令微调与人类反馈强化学习 RLHF）显著提升了大语言模型的指令遵循能力和回答有用性，但同时也带来了严重的副作用——模式坍塌（Mode Collapse）。经过后训练的模型往往将不成比例的极高概率质量集中在少数几个“安全”或高频的回答模式上，严重压制了预训练阶段习得的其余合理候选空间。这使得模型在开放式生成场景（如创意写作、头脑风暴、开放域问答以及需要探索多路径的复杂推理）中频繁输出千篇一律、重复刻板的内容，极大限制了模型在开放交互中的实际效用。

现有缓解模式坍塌的方案主要分为三类，但均存在不可忽视的局限：基于解码的策略（如调高采样温度、Min-p 或 Perplexity 截断）无法凭空找回在微调中已被参数空间深度压制的生成模式；基于提示词工程的策略（如多视角引导、显示声明生成多个候选项）严重依赖提示设计，且随上下文长度增加而推高每次调用的推理开销；而基于训练修改的策略（如多样性约束对齐或数据重采样策略）往往需要耗费昂贵的计算集群重新微调整个模型。这三大流派共同暴露了一个核心矛盾：如何在不重新微调模型、不增加推理延迟与计算成本的前提下，有效激活并找回模型被后训练压制的生成多样性？

本文从 Transformer 层级功能特化机制中获得启发：已有可解释性研究证实大模型的不同深度承担着截然不同的功能角色，而后训练并非在所有层均匀地擦除知识，更多是充当行为引导和激活筛选器。因此，后训练诱发的模式坍塌很可能高度局域化在特定的深层或中间层网络模块中。核心 idea：利用显式约束的随机字符代理任务（CRC）快速解耦多样性与质量的权衡边界，将选定连续区间的 Transformer 块权重精准重置为预训练状态（SLR），在保持网络架构与零推理成本的同时无损恢复丰富多样的生成模式。

方法详解

整体框架

Selective Layer Restoration (SLR) 的完整工作流包含“代理任务空间评估”与“权重空间混合构建”两大核心阶段。由于直接在长文本创意写作或推理任务上搜索最优层组合需要进行成百上千次昂贵且主观的多样本采样评估，本文首先构建了轻量级离散代理任务——约束随机字符生成（Constrained Random Character, CRC）。在该代理任务中，系统直接通过首个生成 token 的显式概率分布闭式计算多样性（合法集合上的归一化香农熵）与质量（合法集合的累加概率质量），在单张 A100 GPU 上耗时 30 至 60 分钟即可穷举遍历所有连续层区间并绘制出经验帕累托前沿。随后，根据预设的质量保留约束筛选出最优恢复区间 \([i, j]\)，将后训练模型中对应的连续层直接替换为预训练权重，最终输出既能严格遵循指令又具备高度发散探索能力的混合模型 \(M_{i:j}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练模型 $M_{\text{pre}}$ 与后训练模型 $M_{\text{post}}$"] --> B["代理任务空间评估<br/>构建离散无歧义的 CRC 约束字符任务"]
    B --> C["帕累托区间搜索<br/>单步闭式计算质量 $Q_{\text{CRC}}$ 与熵多样性 $D_{\text{CRC}}$"]
    C --> D["权重空间混合构建<br/>恢复最佳区间 $[i, j]$ 连续 Transformer 层"]
    D --> E["混合模型 $M_{i:j}$<br/>零推理开销下兼顾指令质量与丰富多样性"]

关键设计

1. 代理任务空间评估：构建可闭式度量多样性与质量的 CRC 任务

直接在下游复杂生成任务中搜索恢复层存在高昂的采样评估代价，且长文本的质量指标（如 LLM-as-a-judge）具有随机性与主观偏置。为此，本文设计了 Constrained Random Character (CRC) 代理任务，由数字约束（如“在区间 [0, 5] 内生成一个随机整数”）与字母约束（如“生成从 A 到 G 的随机字母，仅输出单个字符”）两类无歧义提示词构成。CRC 的关键优势在于每个提示 \(x \in \mathcal{D}\) 均拥有显式闭合的合法 token 集合 \(\mathcal{V}(x)\)，因此无需采样多轮长文本，只需提取模型在输入后的首个输出步的下一 token 概率分布 \(p_M(\cdot \mid x)\) 即可实现确定性评估。质量得分 \(Q_{\text{CRC}}(M)\) 定义为模型分配给合法字符集合的概率质量之和，用于无歧义衡量模型遵循指令的刚性程度；而多样性得分 \(D_{\text{CRC}}(M)\) 则直接计算条件概率分布在合法字符集上的香农熵：

\[Q_x(M) \triangleq \sum_{v \in \mathcal{V}(x)} p_M(v \mid x), \quad \tilde{p}_M(v \mid x) \triangleq \frac{p_M(v \mid x)}{\sum_{u \in \mathcal{V}(x)} p_M(u \mid x)}\]

\[D_x(M) \triangleq - \sum_{v \in \mathcal{V}(x)} \tilde{p}_M(v \mid x) \log \tilde{p}_M(v \mid x)\]

2. 帕累托区间搜索：约束优化下的网格化快速求解

若在离散的 \(N\) 层网络中任意挑选子集进行恢复，将面临庞大的 \(2^N\) 组合搜索空间。基于深度模型层与层之间协同表征具有空间连续性的特性，本文将搜索空间精简为连续层区间 \([i, j]\)（\(0 \le i \le j \le N-1\)），使得候选项总数降为 \(N(N+1)/2\)（在常见 32 层模型中仅为数百个组合）。在单张 A100 GPU 上，无需批处理即可在 30 到 60 分钟内完成遍历。在 CRC 空间中，各区间呈现出极其平滑的质量-多样性权衡前沿：随着恢复层数增加，多样性单调攀升，而指令合规性则平缓衰减。为保证模型不失控丧失指令遵循能力，算法施加了严格的质量阈值下界：

\[Q_{\text{CRC}}(M_{i:j}) \ge q_{\text{min}} \triangleq 0.9 \cdot Q_{\text{CRC}}(M_{\text{post}})\]

在满足合规约束的区间集合中，算法直接挑出熵多样性 \(D_{\text{CRC}}\) 最大的单一最优区间。实测为 Llama-3.1-8B 选定 \([12, 17]\)、Qwen-2.5-7B 选定 \([12, 27]\)、Gemma-2-9B 选定 \([17, 27]\)。

3. 权重空间混合构建：无训练且零推理开销的精准模块回滚

选定最优区间 \([i, j]\) 后，Selective Layer Restoration (SLR) 直接在权重空间对模型实施外科手术式的模块替换。设预训练层序列为 \(\{L_0^{\text{pre}}, \dots, L_{N-1}^{\text{pre}}\}\)，后训练层序列为 \(\{L_0^{\text{post}}, \dots, L_{N-1}^{\text{post}}\}\)，构建的混合模型 \(M_{i:j} \triangleq R_{i:j}(M_{\text{post}}, M_{\text{pre}})\) 在区间内的各层精准保留预训练状态，而其余所有浅层与深层结构均保持后训练参数：

\[L_k^{i:j} = \begin{cases} L_k^{\text{pre}}, & i \le k \le j \\ L_k^{\text{post}}, & \text{otherwise} \end{cases}\]

与以往全局线性插值的 Model Soup（即 \(M_\alpha = \alpha M_{\text{pre}} + (1-\alpha) M_{\text{post}}\)）相比，SLR 规避了对所有参数“胡子眉毛一把抓”的弥散式加权钝化，保护了负责指令解析的浅层表征与负责输出格式规范的终端深层，把恢复空间精准留给负责语义多样性与联想探索的中深层，在推理时无需增加任何参数量与浮点运算量。

一个完整示例

以 Llama-3.1-8B（共 32 层，编号 0 至 31）在开放域问答任务中的实际推理为例： 1. 区间确定：首先在包含 20 个数字和 20 个字母约束的 CRC 数据集上扫描，发现仅恢复浅层 \([0, 5]\) 会导致指令几乎没有多样性增益，而仅恢复最深层 \([26, 31]\) 会导致有效回答精度急剧跌破合规红线。最终在 \(q_{\text{min}} \ge 0.9 \times Q_{\text{post}}\) 约束下，选定最优区间 \([12, 17]\)。 2. 权重组装：第 0 到 11 层保持 Llama-3.1-8B-Instruct 权重，第 12 到 17 层（共 6 层中层 Transformer 块）直接覆盖为 Llama-3.1-8B 原始预训练权重，第 18 到 31 层继续保留 Instruct 权重。 3. 文本生成对比：给定提示“列举一个美国的国家公园（Name a National Park of the United States）”，后训练 Instruct 模型独立采样 128 次，由于极度的模式坍塌，绝大多数样本死锁在“Yellowstone National Park”和“Yellowstone”（两项占比超 80%，唯一覆盖率仅 20.4%）；而经过 SLR \([12, 17]\) 恢复的模型在相同解码超参下，平稳涌现出“Acadia National Park”、“Yosemite”、“Everglades National Park”、“Rocky Mountain National Park”、“Glacier National Park”等多达数十种正确且分散的公园名称，正确回答覆盖率翻倍跃升至 46.1%，同时依然保持 96.8% 的极高精确率。

损失函数 / 训练策略

SLR 是一项纯粹的 Training-free（无需训练） 方法，不需要反向传播、无梯度计算，也无需接触原始微调阶段的大规模监督数据或人类偏好奖励标注。在部署时，仅需将原始 checkpoint 的指定权重张量（如 model.layers.12.* 到 model.layers.17.*）在内存或磁盘中加载覆盖即可，运算复杂度为常数阶，部署成本极低。

实验关键数据

主实验

实验涵盖创意写作（诗歌、故事、笑话生成，每项 100 个提示，采样 32 次）、开放问答（CoverageQA，40 个提示，采样 128 次）和多步数学推理（从 GSM8K 筛选后训练模型贪婪解码失败的 100 道题目，探索采样 64 次）三大场景，跨越 Llama-3.1-8B、Qwen-2.5-7B 与 Gemma-2-9B 三大主流开源模型家族。基线包含原始后训练模型（Post-trained）与在 CRC 代理上搜索最优加权系数的 Proxy-Soup 模型。

表 1：创意写作（Joke / Poem / Story）综合质量与多样性表现

模型架构	任务配置	Post-trained 质量 / 多样性	Proxy-Soup 质量 / 多样性	SLR (本文) 质量 / 多样性	多样性相对提升
Llama-3.1-8B	Joke	12.6 / 0.251	12.1 / 0.299	12.8 / 0.332	+32.3%
	Poem	79.0 / 0.144	75.9 / 0.153	75.4 / 0.240	+66.7%
	Story	93.4 / 0.274	87.8 / 0.297	90.8 / 0.366	+33.6%
Qwen-2.5-7B	Joke	11.6 / 0.095	11.3 / 0.220	11.6 / 0.190	+100.0%
	Poem	88.2 / 0.152	70.5 / 0.179	87.6 / 0.190	+25.0%
	Story	94.7 / 0.152	80.4 / 0.179	93.8 / 0.190	+25.0%
Gemma-2-9B	Joke	12.0 / 0.208	11.6 / 0.190	11.5 / 0.294	+41.3%
	Poem	104.3 / 0.127	99.8 / 0.143	100.5 / 0.171	+34.6%
	Story	122.6 / 0.294	117.5 / 0.326	117.7 / 0.364	+23.8%

(注：质量分由 Gemini-2.5-Pro 按详尽规则盲审给出；多样性指标为 Qwen3-Embedding-8B 余弦距离 \(1-\bar{s}\))

表 2：开放式问答（CoverageQA）正确率与答案覆盖多样性

模型架构	方法配置	质量指标 (Precision ↑)	熵多样性 (Entropy ↑)	答案覆盖率 (Coverage-n ↑)
Llama-3.1-8B	Post-trained	0.986	1.442	0.204
	Proxy-Soup (\(\alpha=0.85\))	0.981	1.760	0.285
	SLR [12, 17] (本文)	0.968	2.322	0.461 (+126.0%)
Qwen-2.5-7B	Post-trained	0.999	0.659	0.086
	Proxy-Soup (\(\alpha=0.50\))	0.977	0.919	0.124
	SLR [12, 27] (本文)	0.978	1.583	0.226 (+162.8%)
Gemma-2-9B	Post-trained	0.994	0.771	0.096
	Proxy-Soup (\(\alpha=0.90\))	0.993	0.967	0.121
	SLR [17, 27] (本文)	0.978	1.827	0.307 (+219.8%)

表 3：困难数学多步推理（GSM8K 贪心失败子集）Pass@k 探索命中率

模型架构	方法	Pass@1	Pass@4	Pass@8	Pass@16	Pass@32	Pass@64
Llama-3.1-8B	Post-trained	0.045	0.162	0.282	0.440	0.580	0.663
	Proxy-Soup	0.136	0.375	0.527	0.663	0.759	0.800
	SLR [12, 17]	0.154	0.429	0.612	0.778	0.889	0.947
Qwen-2.5-7B	Post-trained	0.074	0.250	0.404	0.563	0.667	0.726
	Proxy-Soup	0.280	0.525	0.623	0.689	0.736	0.768
	SLR [12, 27]	0.322	0.600	0.716	0.794	0.850	0.905
Gemma-2-9B	Post-trained	0.011	0.040	0.075	0.130	0.199	0.263
	Proxy-Soup	0.083	0.205	0.295	0.376	0.423	0.442
	SLR [17, 27]	0.212	0.456	0.590	0.707	0.791	0.842

消融实验

为了验证多样性增益确实源于 CRC 代理任务导向的精确区间定位，而非“随意恢复任意等量层”，本文在相同恢复层数 \(\ell = j - i + 1\) 的前提下设计了位置消融对照： - SLR-Early：恢复最浅的 \(\ell\) 层，即 \([0, \ell-1]\)； - SLR-Late：恢复最深（接近输出头）的 \(\ell\) 层，即 \([N-\ell, N-1]\)； - SLR (Proxy-guided)：由 CRC 代理搜索指导的黄金中深层区间 \([i, j]\)。

表 4：层恢复位置对开放问答表现的消融对比（CoverageQA）

模型架构	实验变体	恢复区间定义	精度 (Precision ↑)	熵多样性 (Entropy ↑)	覆盖率 (Coverage-n ↑)
Llama-3.1-8B	Post-trained	无恢复	0.986	1.442	0.204
	SLR-Early	\([0, 5]\)	0.970	1.405	0.201
	SLR-Late	\([26, 31]\)	0.901	1.771	0.274
	SLR (Ours)	\([12, 17]\)	0.968	2.322	0.461
Qwen-2.5-7B	Post-trained	无恢复	0.999	0.659	0.086
	SLR-Early	\([0, 15]\)	0.974	0.619	0.079
	SLR-Late	\([12, 27]\) 反向即 \([12, 27]\) 偏后	0.695	1.512	0.206
	SLR (Ours)	\([12, 27]\)	0.978	1.583	0.226
Gemma-2-9B	Post-trained	无恢复	0.994	0.771	0.096
	SLR-Early	\([0, 10]\)	0.992	0.788	0.094
	SLR-Late	\([31, 41]\) / \([17, 27]\) 偏后	0.951	1.566	0.230
	SLR (Ours)	\([17, 27]\)	0.978	1.827	0.307

关键发现

• 区间的深浅敏感性极高：恢复最浅层（SLR-Early）对于破解模式坍塌几乎无济于事，多样性指标与后训练模型持平；而恢复最深层（SLR-Late）虽然能激发出部分多样性，但会造成指令合规性（Precision）的大幅滑坡（如 Qwen-2.5 从 0.999 崩塌至 0.695）。唯有中层到中深层区间的选择性恢复能够在保住高达 97% 精度红线的同时使覆盖率成倍飙升。
• 与正交技术高度正交互补：在 \(T=1.5\) 的高采样温度，或配合 Verbalized Sampling（每次要求输出 \(K=4\) 个 JSON 选项）等先进提示工程下，SLR 均能持续在更强的探索基线之上叠加获得显著的多样性纯增益，证明其在底层表征空间实现了真实的分布拓宽。
• 探索效率显著赋能复杂推理：在贪婪求解失败的 GSM8K 难题上，SLR 在较小采样预算下（如 Pass@1 与 Pass@4）展现出近乎 3 到 20 倍的命中率跃升（Gemma Pass@1 从 0.011 升至 0.212），并在 Pass@64 达到 84%~94% 的极高最终解决率，印证了预训练层知识回流能够有效矫正模型偏执的错误解题盲区。

亮点与洞察

• 精巧的轻量级闭式代理设计（CRC）：摆脱了以往利用高阶 LLM 反复采样打分或昂贵人工审阅评估多样性的泥潭，将多维连续语义评估巧妙折射为单步离散字符约束，既实现了香农熵的闭式解析，又为 30 分钟内完成全图层帕累托前沿搜索提供了确定性标尺。
• 重新审视后训练的局部性假说：论文有力证明了对齐与指令微调并未全局“重构”大模型网络，模式坍塌在权重空间具备鲜明的层级局域特征；通过中深层的解构性回滚，能够完好保留表层的指令适配器并成功“唤醒”基座沉睡的生成多态性。
• 直击实际落地痛点的零成本干预：无需训练集群调度、无需额外显存占用，且保持原有网络架构与推理延迟分毫不变，为各类开箱即用的商用大模型在需要灵感迸发的垂直场景（如剧本生成、代码头脑风暴）中提供了一条极具操作性的工程改进捷径。

局限与展望

• 模型规模适配性有待拓宽：本文目前的实证主要集中在 7B~9B 级别的大模型上，在 70B+ 参数量或 MoE 混合专家稀疏架构中，后训练动力学可能展现出不同的分布模式，CRC 代理在前沿尺度上的转移有效性仍需进一步验证。
• 粗粒度全层替换的离散跳变：当前 SLR 采取了整层替换的二值化硬切换，层与层之间的权重差异可能在边界处引发隐状态表征的微弱失配；未来可探索结合层内注意头、FFN 块或低秩投影的细粒度连续插值恢复方案。
• 极端长文本生成质量轻微损耗：在故事和诗歌等超长文本生成中，SLR 出现了解码质量平均约 2.6%~3.0% 的微弱降幅，提示主观风格偏好与多样性之间依然存在着细微的张力，需要在特定垂直领域设定更个性化的 \(q_{\text{min}}\) 调节阈值。

相关工作与启发

• vs Model Soup / 权重平均：Model Soup 采用全局统一比例 \(\alpha\) 对全量参数进行线性加权融合，极易将浅层精密的指令格式化权重和深层语义同时“稀释”，导致严重的质量滑坡；而 SLR 采用空间离散选择性恢复，严格保护输入输出关键层，仅对中层做外科手术式替换。
• vs 解码端干预（Min-p / Temperature Tuning）：调高温度和截断概率只能在后训练模型已经收缩变窄的输出 logits 分布上强行增加采样随机性，容易诱发语法错乱与胡言乱语；SLR 则直接修复了模型底层的条件特征分布，从源头上重塑了高质量的候选模式。
• vs 基于提示词的多样化方法（Verbalized Sampling）：提示词工程以大幅消耗上下文窗口、增加入口延迟和 token 计费为代价，而 SLR 在推理时没有任何计算与显存开销，并且能够与此类提示方法完美叠加使用。

评分

• 新颖性: ⭐⭐⭐⭐ [从层级功能特化视角提出局域权重恢复假说，并构想了极为精巧的 CRC 离散评估代理]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 大模型家族、3 大核心生成与推理任务，包含完备的超参、消融及正交正交兼容性实验]
• 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，动机直截了当，公式精炼规范，图表详实直观]
• 价值: ⭐⭐⭐⭐⭐ [Training-free 且 Inference-cost-neutral，具备极高的学术启发价值与立竿见影的工程落地潜力]

相关论文

• [NeurIPS 2026] Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models
• [NeurIPS 2025] All You Need is One: Capsule Prompt Tuning with a Single Vector
• [NeurIPS 2026] Not All Tasks Quantize Equally: Fisher-Guided Quantization for Visual Geometry Transformer
• [NeurIPS 2026] LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
• [NeurIPS 2025] Uni-LoRA: One Vector is All You Need