Transcoder Adapters for Reasoning-Model Diffing¶
会议: NeurIPS 2026
arXiv: 2602.20904
OpenReview: https://openreview.net/forum?id=8r7iV7T03x
代码: https://transcoder-adapters.github.io/
领域: 模型压缩
关键词: 转码器适配器, 模型差异比对, 稀疏字典学习, 推理机制, 冗余思考消除
一句话总结¶
针对推理模型微调前后内部计算差异难以透明化解析的问题，本文提出转码器适配器（Transcoder Adapters），以极其稀疏的字典学习逼近 MLP 增量计算，在保真复现目标模型长程推理的同时揭示了犹豫回溯机制仅由 2.4% 的特定特征所支配，提供了通过特征消融实现无损大幅缩短推理链的新途径。
研究背景与动机¶
以 DeepSeek-R1、o1 为代表的前沿推理模型通过强化学习或蒸馏获得了极强的长思维链（Chain-of-Thought）思考能力，并在复杂数学与科学推理中取得了突破性进展。然而，推理后训练究竟如何在模型内部重塑计算机制、以及数千个 token 的冗长思考中哪些表征属于真正必需的计算，学界仍知之甚少。以往采用稀疏自编码器（SAEs）或转码器（Transcoders）的机理可解释性研究，往往聚焦于单模型内部表征的全局无损重构，导致为了平衡保真度不得不激活数十甚至数百个潜在特征（L0 通常高达 20~200），且极难在长达数千步的自回归生成中保持全局一致性与计算稳定性。
与此同时，使用交叉编码器（Crosscoders）等方法试图同时对齐微调前后的双模型激活时，不仅训练计算昂贵，而且难以明确解耦出哪些新增行为是由微调参数直接诱导的。特别是在推理模型表现出的“自我反思”、“停顿犹豫（如频繁生成 'Wait'、'Hmm'）”等特征性行为上，到底是微调引入了全新的复杂推理回路，还是仅仅激活了基础模型中既有的潜在表征，存在着极大的认知分歧。由于缺乏精确刻画微调所引入局部增量计算的透明化工具，既难以对推理机制进行因果干预，也无法针对性消除冗余思考所造成的计算浪费。
针对这一困境，本文选择另辟蹊径：不再追求重构目标模型的全量表征，而是直接对微调前后 MLP 计算的“差异增量”进行稀疏逼近。核心 idea：通过让稀疏转码器适配器与冻结的基础模型 MLP 逐层并行，仅针对微调前后的计算差值进行稀疏字典学习，以极低激活度（L0 仅 0.1~10）实现长序列生成保真度与高可解释性，并利用归因图精确定位并消融仅占 2.4% 的犹豫控制特征，实现推理链长度超 50% 的近无损压缩。
方法详解¶
整体框架¶
转码器适配器（Transcoder Adapters）的核心思想是将目标微调模型（Target Model）分解为“冻结的基础模型（Base Model）”与“轻量稀疏转码器（Transcoder Adapter）”的线性组合。针对模型的每一层 Transformer 模块，转码器适配器与基础模型的原始 MLP 并行运行，其输入为来自残差流的归一化隐藏状态，输出则作为增量补偿量直接注入残差流，使得两者相加高精度拟合目标微调模型的对应 MLP 输出。
整个替换模型的自回归计算在各层展开。首先，第 \(\ell\) 层的中间状态 \(\hat{h}'_\ell\) 由前一层的隐藏状态 \(\hat{h}_{\ell-1}\) 经过目标模型的注意力机制模块后累加形成；随后，将该状态分别并行送入冻结的基础模型 MLP 和可训练的转码器 \(T^\ell\) 中，求和得到第 \(\ell\) 层的输出隐藏状态 \(\hat{h}_\ell\)。训练期间，仅更新转码器参数，模型其余所有权重全部保持冻结。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入残差流状态<br/>前一层隐藏状态 $\hat{h}_{\ell-1}$"] --> B["目标注意力模块<br/>$\text{Attn}^\ell_{\text{target}}(\hat{h}_{\ell-1})$ 并行残差连接"]
B --> C["注意力后隐藏状态 $\hat{h}'_\ell$"]
C --> D["双路增量分解架构<br/>冻结基础 MLP + 稀疏转码适配器"]
D --> E["双路隐藏状态逼近与桥接损失<br/>归一化 MSE 与跨模型残差层桥接 KL"]
E --> F["输出分布对齐与自适应稀疏正则<br/>输出端 KL 散度 + L1 特征惩罚"]
F --> G["最终层状态 $\hat{h}_\ell$ 与输出 Logits $\hat{y}$<br/>高保真复现多步推理并暴露可解释特征"]关键设计¶
1. 双路增量分解架构：以差值重构替代全量重建
传统的转码器旨在完整替换模型的整个 MLP 计算，这需要极宽的隐层容量和较高的特征激活密度（L0 往往需要数十上百）。本文提出将其重新构造成增量适配器，即要求： $$ \text{MLP}{\text{base}}^\ell(x) + T^\ell(x) \approx \text{MLP}^\ell(x) $$ 其中输入 }\(x \in \mathbb{R}^{d_{\text{model}}}\)，转码器采用标准的单隐层稀疏编码器与线性解码器架构： $$ a^\ell(x) = \text{ReLU}(W_{\text{enc}}^\ell x + b_{\text{enc}}^\ell), \quad T^\ell(x) = W_{\text{dec}}^\ell a^\ell(x) + b_{\text{dec}}^\ell $$ 通过将已知的基础模型 MLP 计算显式剥离，转码器仅需要捕捉微调引入的“差值流（diff stream）”。由于模型微调通常仅对少数功能神经元或回路进行微幅调整，该差值流天然具备极高的稀疏性，使得转码器在平均每 token 仅激活 0.1~10 个特征（L0）的超稀疏约束下，即可实现极其平滑而准确的重构。
2. 多层级保真度对齐目标：融合输出分布、特征重建与桥接损失
为确保包含转码器适配器的复合模型在展开数千步自回归生成时不发生误差发散，训练目标融合了三重视角的目标函数。首先是最终输出预测的保真度，最小化目标模型预测分布 \(y_{\text{target}}\) 与替换模型输出 \(\hat{y}\) 之间的 KL 散度： $$ \mathcal{L}{\text{KL}} = \text{KL}(y) $$ 其次是逐层的内部隐藏状态对齐，采用归一化均方误差（NMSE）： $$ \mathcal{L}}}, \hat{y{\text{NMSE}} = \sum}^L \frac{|\hat{h\ell - h\ell|2^2}{|h\ell|2^2} $$ 最后，为防止早层产生的细微表征误差在后续未替换真实层或混合前向传播中被放大，本文引入了双向桥接损失（Bridging Loss）。设 \(M^\ell\) 为目标模型的第 \(\ell\) 个 Transformer 块，\(\hat{M}^\ell\) 为使用适配器的替换块，定义跨层拼接测试时的输出分布一致性： $$ \mathcal{L}_\ell)\right) $$ 在工程实现上，每步通过均匀采样单个截断层 }}^{r \to t} = \sum_{\ell=1}^L \text{KL}\left(y_{\text{target}}, (M^L \circ \cdots \circ M^{\ell+1})(\hat{h\(k \sim \text{Uniform}\{1, \dots, L\}\) 进行近似计算，既大幅节省了计算开销，又有效保证了局部层误差的独立吸收与下游计算图的鲁棒集成。
3. 稀疏性与解码器归一化正则：保障特征解缠与单语义性
为了使学习到的适配器特征具备清晰的人类可解释性，防止权重缩放导致特征激活塌陷，模型对特征激活值引入了依据解码器列向量 \(L_2\) 范数加权的 \(L_1\) 稀疏惩罚项： $$ \mathcal{L}{\text{sparsity}} = \sum^\ell|_2 \cdot a_i^\ell $$ 其中 }^L \sum_{i=1}^{d_{\text{features}}} |W_{\text{dec}, i\(W_{\text{dec}, i}^\ell\) 表示第 \(\ell\) 层转码器解码矩阵的第 \(i\) 列。该损失项强制使未对输出增量产生实质贡献的特征被彻底抑制为严格的零激活，直接赋予激活特征单语义性（Monosemanticity）。
损失函数 / 训练策略¶
适配器的完整训练联合优化四大目标项与稀疏正则： $$ \mathcal{L} = \mathcal{L}{\text{KL}} + \mathcal{L}}} + \mathcal{L{\text{bridge}}^{r \to t} + \mathcal{L} $$ 在实验中，前四项重构损失的加权系数均统一设为 1，稀疏系数 }}^{t \to r} + \lambda \mathcal{L}_{\text{sparsity}\(\lambda\) 在 \(\{0.01, 0.003, 0.001, 0.0003, 0.0001\}\) 之间调节以得到对应 L0 在 0.1 到 10.3 之间的 5 个模型。优化器采用 AdamW，最大学习率设为 \(8 \times 10^{-4}\)，在前 5% 的步数中执行线性热身（warmup），随后接余弦退火学习率调度。训练数据来自过滤后的 OpenThoughts 数据集（包含约 50k 条来自 QwQ-32B 的推理样本，涵盖数学、代码与科学推理），最大序列截断为 10,000 tokens，以 bfloat16 精度进行高效并行训练。
实验关键数据¶
主实验¶
论文以 Qwen2.5-Math-7B 为基础模型、DeepSeek-R1-Distill-Qwen-7B 为目标推理模型展开验证。在标准数学推理（MATH500、AMC23、AIME25）以及前沿科学基准（GPQA Diamond）上全面评测各模型准确率与推理生成长度。
| 模型 / 配置 | AIME 2025 准确率 (%) | AMC 2023 准确率 (%) | MATH-500 准确率 (%) | GPQA Diamond 准确率 (%) | 平均生成 Token 长度 |
|---|---|---|---|---|---|
| Qwen2.5-Math-7B（基础模型） | 10.0 | 45.0 | 79.8 | 33.8 | ~1.5k |
| Hybrid 基线（非MLP参数替换，无适配器） | 5.0 | 35.5 | 56.0 | 21.2 | ~1.2k |
| MLP 全参数微调上限（Skyline） | 28.0 | 68.0 | 88.0 | 49.0 | ~7.5k |
| 转码器适配器（\(L_0=0.1\)） | 20.0 | 58.0 | 83.5 | 42.0 | ~6.5k |
| 转码器适配器（\(L_0=1.4\)） | 26.0 | 66.0 | 86.8 | 46.5 | ~7.2k |
| 转码器适配器（\(L_0=10.3\)） | 27.5 | 68.5 | 87.5 | 47.8 | ~7.6k |
| DeepSeek-R1-Distill-Qwen-7B（目标模型） | 33.3 | 72.5 | 89.8 | 51.5 | ~8.0k |
消融实验¶
针对转码器适配器中关键犹豫特征（包括 4,812 个产生停顿词的 Hesitation Output 特征与 811 个对齐 Prompt 格式的 Template 特征，共计 5,623 个特征）进行因果干预消融，分析其对生成词频、推理长度与基准准确率的影响。
| 实验配置 | "wait" 词频 (每千Token) | 响应长度 (Tokens) | MATH500 准确率 (%) | AMC23 准确率 (%) | AIME25 准确率 (%) |
|---|---|---|---|---|---|
| 转码器适配器全量特征 (\(L_0=1.4\)) | 5.5 | 7,800 | 86.8 | 66.0 | 26.0 |
| 去除 Hesitation Output 特征 | 1.5 | 4,900 | 86.5 | 65.5 | 24.0 |
| 同时去除 Hesitation + Template 特征 | 0.5 | 3,500 | 86.8 | 66.0 | 20.0 |
| 随机消融 50,000 个无关特征（对照组） | 5.1 | 7,500 | 85.0 | 64.0 | 23.5 |
| 目标模型反向抑制特征 (系数 -0.5) | 1.8 | 4,200 | 88.0 | 70.0 | 28.0 |
关键发现¶
- 增量可解释性高保真度：转码器适配器仅激活平均每 token 1.4 个特征时，即可恢复目标推理模型 50%~90% 的性能增益，生成的推理链长度（4k~13k tokens）与目标模型高度一致，证明微调引起的变化是高度稀疏且局部的。
- 推理特征占比极低：通过 LLM Judge 审计全部 22.9 万个适配器特征的激活样本，发现仅约 8.6% 的特征真正属于推理特异性行为（如反思、纠错、停顿），而 37.6% 涉及专业领域知识（数学公式、代码结构），48.1% 为基础通用语言模式。这表明推理微调很大程度上是在激活/巩固特定领域知识与表达，而非重构整套通用认知逻辑。
- 犹豫停顿由极小回路控制且具备可剪枝性：仅占全网 2.4% 的 5,623 个特征构成了驱动模型频繁自我反思（产生 "Wait"、"Hmm" 等）的核心机制。消融该集合不仅直接导致 "Wait" 词频骤降 90%，且将平均生成长度压缩了超过 50%（从 7.8k 降至 3.5k tokens），而在 MATH500、AMC23 等主要基准上准确率完全未发生实质衰减，展现出巨大的推理加速与压缩潜力。
亮点与洞察¶
- 极小稀疏度捕获宏观推理能力：传统 SAE 在稠密模型上需 L0=20~200 才能勉强保证前向稳定，本文利用差值模型（Diffing）思路将 L0 压缩到了 0.1~1.4 的极致区间。这种思路极其巧妙地避开了庞大基底常识的重构负担，将计算力全部聚焦于“新增量”上。
- 打破“长思维链必须包含回溯词”的迷思：因果干预证明，模型输出 "Wait" 很多时候只是前序模板特征与特定停顿输出特征共激活的结果，而非由于检测到了错误才发起的因果反思。直接消除这些反思性冗余词，能以几乎免费的代价砍掉一半以上的推理 token 开销。
- 通用的模型比对（Model Diffing）工具范式：该框架不仅限于推理模型研究，更可直接泛化至 RLHF 偏好微调前后对比、安全对齐机制审计、乃至大模型微调中发生“恶意能力涌现”的精确病理排查。
局限与展望¶
- 作者承认的局限：目前该适配器架构仅解构并重构了 MLP 层的内部变化，未将注意力机制（Self-Attention）和 Token Embedding 的权重漂移包含在稀疏字典内；虽然 Hybrid 基线验证了纯 MLP 调整主导了推理行为，但注意力头的功能变动仍属黑盒。
- 环境迁移与分布漂移风险：将适配器中定位的抑制向量反向施加回原始目标模型时，由于输入分布发生偏移，使用完全相反的权重（\(-1.0\)）会导致模型输出混乱崩塌，只能经验性采用 \(-0.5\) 的较软抑制系数。
- 未来方向：未来有望将 JumpReLU 稀疏激活函数、层间跨接联合字典（Cross-layer Transcoders）等更先进的字典学习算法引入转码适配器；同时将这一差值审计范式推广至多模态大模型及更大尺度的强化学习原生推理模型。
相关工作与启发¶
- vs Crosscoders（如 Lindsey et al., 2024）：Crosscoders 需对双模型同时训练联合潜空间，然后再从中分离共性特征与特异特征，训练难度极高且特征归属模糊；本文直接通过残差差值建模，每个特征天然且唯一地归属于微调带来的变化。
- vs 传统 SAEs / Transcoders（如 Anthropic, 2024; Dunefsky et al., 2024）：传统方法试图对全模型计算进行完全替换，在长思维链自回归生成时误差极易级联雪崩；本文固定基础模型，只让转码器充当增量残差修正器，在极低 L0 下仍能稳定支撑上万步长序列展开。
- vs 推理长度压缩与剪枝（如 Wang et al., 2025; Huang et al., 2025）：现有缩短推理链的方法多依赖额外的强化学习负向长度惩罚或提示词工程；本文从神经元激活机制出发，提供了首个无需重新训练、仅凭底层特征剔除即可实现无损长度剪枝的内部控制机制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向微调差异的稀疏转码器适配器范式，将模型比对转变为高保真、超稀疏的差值字典分解。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖内部状态 NMSE、层级替换 KL、多项权威数学与科学推理基准、7000 个特征的 LLM 审计以及详尽的因果消融干预。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法推导清晰连贯，图文对齐工整，洞察深刻。
- 价值: ⭐⭐⭐⭐⭐ 兼具基础可解释性理论价值与实用模型压缩/推理加速指导意义，为理解后训练机理提供了通用显微镜。