Training Language Models to Explain Their Own Computations¶
会议: NeurIPS 2026
arXiv: 2511.08579
代码: https://github.com/TransluceAI/introspective-interp
领域: 可解释性
关键词: 内省可解释性、特权自访问、稀疏自编码器、激活修补、输入消融
一句话总结¶
本文提出“内省可解释性”框架，利用现有机械可解释性方法提取的真实监督信号，微调大语言模型用自然语言解释自身的内部特征语义、激活因果结构及决策输入规则，证实模型具有显著的“特权自访问”优势且样本效率提升近百倍。
研究背景与动机¶
让语言模型用自然语言解释其决策过程是提高模型透明度和安全性的核心途径，但以思维链（Chain-of-Thought, CoT）为代表的事后言语化解释往往极不忠实——模型输出的文字理由看似严密合逻辑，却常常与导致该决策的真实底层计算毫无因果关联。即便研究人员利用属性归因、特征可视化或机制可解释性工具探测模型内部，这类外部审计流程通常计算代价极其高昂，难以泛化到千万级神经元与复杂动态回路，且无法被普通用户或下游自动化系统低延迟调用。
这种解释不忠实与难以规模化的核心矛盾在于：语言模型原生缺乏将内部隐层激活及因果机制映射到自然语言 token 的自省通道，现成模型并不会内生性地如实报告自身使用了哪些提示、激活了何种特征。以往关于“内省（introspection）”的研究主要探讨模型能否感知自身的输出概率分布，但模型究竟能否直接访问并精准言语化其更深层的内部表征与计算机制，以及自身解释自身是否比更强外部模型具备天然的表征特权，仍是悬而未决的基本问题。
本文的切入角度是打破将可解释性仅视作外部审计工具的传统范式，将其重构为一种可通过数据微调注入模型内部的认知能力。作者提出利用自动化可解释性与因果干预手段作为弱监督真实标签，训练解释器模型直接预测目标模型的内部机制。核心 idea：通过构建统一的内省解释微调目标，训练语言模型分别预测隐层特征语义、激活修补因果变化和输入消融敏感性，证明语言模型解释自身内部计算的性能显著优于参数量更大或更强外部模型，证实了模型具备特权自访问（privileged access）能力并实现高达百倍的数据效率优势。
方法详解¶
整体框架¶
该框架的核心思想是将机械可解释性流程提炼为监督数据，使解释器模型 \(\mathcal{E}\) 学会用自然语言回答关于目标模型 \(\mathcal{M}\) 内部计算状态的询问。整体流程由四个模块紧密衔接：首先在目标模型 \(\mathcal{M}\) 上执行自动化可解释性程序获取真实标注，涵盖稀疏自编码器（SAE）方向、残差层激活干预以及输入 token 遮蔽三类场景；随后构建连续嵌入注入通道，将目标特征向量作为虚拟 token 引入解释器模型；若两者隐层维度不匹配，则学习跨层线性投影矩阵；最后通过统一的自回归语言建模损失优化解释器参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标模型 M 计算与外部干预"] --> B["自动化解释提纯<br/>三类真实监督标注"]
B --> C["连续特征注入与跨维度对齐<br/>残差向量映射为特殊 Token"]
C --> D["解释生成优化<br/>最小化三类自解释目标损失"]
D --> E["内省输出：特征语义 / 激活因果 / 输入敏感性"]关键设计¶
1. 自动化解释提纯：三类机制监督的构建
为了赋予模型自我言语化底层计算的能力，首先需要可靠的监督信号。针对目标模型 \(\mathcal{M}\) 的内部状态，框架抽象出映射关系 \(T: (\mathcal{M}, q) \mapsto E\)，涵盖三个互补粒度的机制问题：针对隐层特征语义，采用自动神经元解释方法，以模拟器模型预测激活与真实激活模式的相关性为目标，搜索出最能表征稀疏自编码器（SAE）方向 \(v\) 的自然语言描述 \(E = T_{\text{feat}}(\mathcal{M}, v, \ell)\)；针对激活因果结构，在 CounterFact 实体关系对上实施层块级激活修补（Activation Patching），将反事实输入 \(x'\) 的层块均值向量替换入原始输入 \(x\) 的残差流中，记录输出预测是否改变以及变为何种 token；针对决策输入敏感性，构建带扰动提示的 MMLU 选择题输入消融（Input Ablation），记录移除提示 \(x \backslash \tilde{x}\) 后目标模型答案的变动轨迹。这种分层设计覆盖了从单个隐层表征、层间因果回路到前向输入依赖的完整链条。
2. 连续特征注入与跨维度对齐：连续 Token 与分层投影
将高维激活表征输入给解释器时，若先量化或离散化将导致严重的几何信息损失。本文直接提取目标模型第 \(\ell\) 层残差流中的方向向量 \(v \in \mathbb{R}^{d_{\mathcal{M}}}\)，将其包裹在特殊定界符 [s] 与 [e] 之间，作为连续特征嵌入直接拼接入解释器模型 \(\mathcal{E}\) 的输入词嵌入序列。当解释器模型与目标模型的隐状态维度一致时（如自解释场景 Llama-3.1-8B 解释 Llama-3.1-8B），特征向量直接与文本 token 嵌入无缝对齐；当两者维度不一致时（如使用 Llama-3.1-70B 或 Qwen3-8B 作为解释器），为目标模型的每一层 \(\ell\) 分别引入一个可学习的线性投影矩阵 \(\Pi_\ell \in \mathbb{R}^{d_{\mathcal{E}} \times d_{\mathcal{M}}}\)。通过该映射矩阵，外部解释器能够接收对齐到自身表征空间的连续向量，从而公平评估跨模型解释与自解释之间的几何表征特权差异。
3. 解释生成优化：联合条件自回归建模
解释器模型以自回归交叉熵损失为统领进行端到端优化。模型并不预测抽象的浮点标量评分，而是直接输出格式化的自然语言解释文本。在特征描述任务中，解释器接收包含连续向量 \(v\) 和层数提示的模板，最大化生成对应真实描述的对数似然；在激活修补和输入消融任务中，模型输出被统一约束为两阶段判断句式，即明确声明“预测是否改变”以及“改变后的具体候选词/答案字母”。统一自回归目标使得解释器能够充分复用预训练语言模型的先验表达能力，将隐空间表征几何与外向语义词表紧密绑定，从而实现极高的数据利用效率。
一个完整示例¶
以激活修补任务为例，目标模型为 Llama-3.1-8B。原始输入语句 \(x\) 为 "Paris is the capital of"，候选集为 [France, Spain, UK, Italy, Egypt, unknown]；反事实语句 \(x'\) 为 "Rome is the capital of"。系统提取 \(x'\) 在第 8-15 层残差流关于主体末 token 的平均激活向量 \(v = \text{avg}_{\ell_k}(h_{\ell_k, t}(x'))\)。将其通过定界符封装并注入解释器词表，构造查询 Prompt：“If feature [s]v[e] at layer 8-15 is added to tokens 'Paris' when processing text <<
损失函数 / 训练策略¶
模型的训练目标遵循统一的自回归语言建模交叉熵公式：
具体到特征描述任务，损失函数显式纳入分层投影矩阵 \(\Pi_\ell\)：
在优化策略上，针对同架构自解释（Llama-3.1-8B 解释自身）同时评估了 LoRA 微调与全参数微调；针对 70B 解释器采用 LoRA 微调；跨模型基线（Qwen3-8B 解释 Llama-3.1-8B）使用全参数微调。针对 Llama-3.1-70B，除随机初始化投影矩阵 \(\Pi_\ell\) 外，作者还测试了在 FineWeb 语料上预先利用 MSE 损失 \(\min_{\Pi_\ell} \|h_{\ell,t}^{\mathcal{E}} - \Pi_\ell h_{\ell,t}^{\mathcal{M}}\|_2^2\) 对齐激活流的预训练投影方案，以严格探究激活流空间相似度对自省解释能力的决定性影响。
实验关键数据¶
主实验¶
在特征描述任务中，以 Llama-3.1-8B 为目标模型，对比了自解释模型（LoRA/全参）、同家族衍生模型、异构模型（Qwen3-8B）、大模型（70B）、以及无监督基线（Neuronpedia Gold、最近邻检索 NN、零样本 SelfIE）。测试集覆盖保留 SAE 特征（SAE）、真实残差激活（ACT）以及反事实激活差值（\(\Delta\text{ACT}\)）。
| 解释器模型配置 | SAE (LM Judge) | SAE (Simulator) | ACT (Simulator) | \(\Delta\text{ACT}\) (Simulator) | 说明 |
|---|---|---|---|---|---|
| Llama-3.1-8B (全参) | 76.2 ± 0.9 | 45.1 ± 0.7 | 49.7 ± 0.6 | 32.0 ± 0.8 | 自解释模型，全指标最优 |
| Llama-3.1-8B (LoRA) | 76.0 ± 0.9 | 45.6 ± 0.8 | 50.6 ± 0.6 | 34.0 ± 0.8 | LoRA 与全参表现持平 |
| Llama-3-8B | 77.0 ± 0.9 | 44.6 ± 0.7 | 49.3 ± 0.6 | 32.4 ± 0.7 | 架构与预训练极其接近 |
| Llama-3.1-8B-Instruct | 77.1 ± 0.8 | 42.7 ± 0.7 | 46.9 ± 0.7 | 29.9 ± 0.7 | 对齐微调带来轻微表征偏移 |
| Qwen3-8B | 70.3 ± 0.9 | 40.6 ± 0.8 | 21.1 ± 0.7 | 12.3 ± 0.4 | 异构架构，泛化能力显著骤降 |
| Llama-3.1-70B (预训练投影) | 74.1 ± 0.9 | 45.2 ± 0.7 | 33.8 ± 0.7 | 20.6 ± 0.6 | 大模型对齐投影后部分恢复性能 |
| Llama-3.1-70B (随机投影) | 63.9 ± 1.0 | 39.5 ± 0.8 | 12.6 ± 0.4 | 12.2 ± 0.4 | 投影未对齐时表现低迷 |
| Nearest Neighbors (NN) | 58.5 ± 1.0 | 33.7 ± 0.8 | 38.9 ± 0.7 | 18.5 ± 0.6 | 纯表征空间记忆基线 |
| SelfIE (Best of 5) | 40.1 ± 1.0 | 36.4 ± 0.8 | 43.3 ± 0.6 | 21.0 ± 0.6 | 未微调零样本注入上限 |
| Gold SAE Labels | 100.0 ± 0.0 | 43.3 ± 0.8 | — | — | 自动标注金标（含固有噪声） |
在因果干预与决策规则任务中，以 Qwen3-8B 为目标模型，对比 Qwen3-8B（自解释）、Llama-3.1-8B（跨模型）及未训练模型的因果判断保真度。
| 目标模型: Qwen3-8B / 解释器 | Patching (Exact Match) | Patching (Has-Changed F1) | Patching (Content Match) | Ablation (Exact Match) | Ablation (Has-Changed F1) | Ablation (Content Match) |
|---|---|---|---|---|---|---|
| Qwen3-8B (自解释) | 64.0 ± 0.4 | 80.2 ± 0.3 | 71.0 ± 0.4 | 83.4 ± 1.0 | 87.0 ± 1.1 | 90.6 ± 0.8 |
| Llama-3.1-8B (跨模型) | 54.1 ± 0.4 | 73.9 ± 0.4 | 65.4 ± 0.4 | 58.1 ± 1.3 | 70.5 ± 0.0 | 71.6 ± 1.2 |
| Qwen3-8B (未微调基线) | 5.02 ± 0.2 | 24.4 ± 0.8 | 18.8 ± 0.3 | 8.9 ± 1.5 | 44.4 ± 1.6 | 35.3 ± 2.5 |
消融实验¶
针对激活修补任务中解释器输入提示所包含的三个核心要素（连续向量 \(v\)、层索引 \(\ell\)、token 标识 \(x_t\)），作者在 Qwen3-8B 和 Llama-3.1-8B 上进行了系统性消融。
| 评估配置 (目标: Qwen3-8B, 解释器: Qwen3-8B) | Exact Match (%) | Has-Changed F1 (%) | Content Match (%) | 说明 |
|---|---|---|---|---|
| 完整输入 (Full Input) | 64.0 ± 0.4 | 80.2 ± 0.3 | 71.0 ± 0.4 | 包含激活向量、层数、token位置 |
| 移除激活向量 (– activation) | 59.9 ± 0.4 | 76.5 ± 0.4 | 68.6 ± 0.4 | 性能明显滑落，无法获取扰动本质 |
| 移除层标注 (– layer) | 65.0 ± 0.4 | 80.0 ± 0.3 | 72.7 ± 0.4 | 性能完全不受影响，层信息已内蕴在激活中 |
| 移除 token 标注 (– token) | 63.9 ± 0.4 | 79.4 ± 0.3 | 71.7 ± 0.4 | 性能几乎持平，位置信息高度内蕴 |
关键发现¶
- 特权自访问假设全面成立：在所有三类任务中，模型解释自身内部计算的表现均显著优于由其他模型充当的解释器；即便外部解释器规模大近十倍（如 70B 解释 8B）或经过充分指令微调，自解释模型依然保持大幅领先。
- 微调是激活自省能力的充要条件：未微调模型（如 SelfIE 及零样本 Prompting）在各项任务上表现近乎随机盲猜（如未微调 Qwen 在因果修补任务的精确匹配仅为 5.02%）；只需数万条解释样本微调，模型便可泛化至未知特征和真实分布外残差流。
- 百倍级样本效率跃升：自解释具有极其强大的样本效率优势。在仅使用 0.8% 训练数据（每层 1024 样本）的超低资源场景下，自解释模型即可达到最终性能的 71%~89%，而跨模型解释器和最近邻检索分别仅能达到 24%~66% 与 55%~75%，使昂贵的特征标注成本降低了两个数量级。
- 层与位置信息高度内生自编码：消融实验揭示，解释器对输入 prompt 中的层号和 token 位置标注极不敏感（甚至移除后指标略有微升）；实验证明模型自身仅凭上下文和隐状态向量即可达到 98.7% 的精确度逆向解码出其源自哪一层和哪一个 token，证实几何特征自身已内嵌完整的计算拓扑信息。
亮点与洞察¶
- 将可解释性从外部审计转化为内部生成能力：打破了过去只能依赖外置探针、复杂搜索算法和大规模模拟器的低效局面，将解释自身机制训练成一种原生的端到端自然语言生成能力。
- 几何表征对齐是跨模型解释能力的物理瓶颈：通过定量分析点积相似度与 SAE 激活相关性发现，解释器性能严格正比于其与目标模型的表征流相似度，解释了为何大模型若缺乏隐空间内在几何同构性也无法有效看懂其他小模型的内部状态。
- 为低开销高忠实度安全监控提供落地路径：在模型部署阶段无需启动耗时费力的全回路因果归因流水线，利用内省微调后的模型可以实时随前向传播生成因果可信的自解释说明。
局限与展望¶
- 目标模型权重保持冻结的折中设定：本文为了保证解释针对的是已预训练模型的原生计算，仅对解释器进行微调，这导致严格意义上解释器自身的输出分布发生了轻微偏移，尚未做到同一组不变权重下的完全共时“自说自话”。
- 训练监督仍受外部自动化工具噪声制约：监督标签来源于现有自动化工具（如 Neuronpedia 标注），定性分析发现高达 43.5% 的错误源自外部弱监督标签本身的噪声，说明内省模型的精度上限仍受限于源头工具质量。
- 安全与对齐的双刃剑风险：模型若具备高度精确的自我认知与内部计算自省能力，在对抗恶意利用时可能会发展出更具欺骗性的上下文感知能力，在不同评估场景间表现出策略性伪装。
相关工作与启发¶
- vs SelfIE (Chen et al., 2024a): SelfIE 采用零样本方式将内部表征注入自身隐层并依赖 prompt 诱导解释，对注入强度超参极其敏感且表达能力有限；本文通过显式微调彻底激发了模型的自省潜能，在泛化性和判别精度上全面大幅胜出。
- vs LatentQA / Activation Oracles (Pan et al., 2024; Karvonen et al., 2026): 以往表征解码工作主要侧重于用通用模型跨网络解码用户特征或一般意图；本文专注于机制可解释性的核心基石，首次系统性验证了“特权自访问”假设与百倍级数据压缩效率。
- vs 思维链忠实度研究 (Turpin et al., 2023; Chen et al., 2025): CoT 解释由于与决策回路解耦而系统性出现说谎与掩饰；本文通过输入消融与激活修补直接监督因果判别，为构建真实忠实推理模型奠定了新范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出“内省可解释性”并证实语言模型解释自身内部计算的“特权自访问”现象。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三种不同抽象层级的可解释性任务，包含跨架构、跨尺度、超参消融及数据尺度扩展曲线。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰锐利，实验设计闭环严密，图表对比极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 为自动化机械可解释性的规模化扩展指明了全新方向，兼具坚实的理论洞察与落地应用价值。