Are Stated Reasoning Steps Causally Load-Bearing? Activation Patching Says Less Often Than Text Editing Does¶

会议: NeurIPS 2026
arXiv: 2609.27038
领域: 可解释性
关键词: 思维链可解释性、因果介入、激活补丁、忠实性评估、反事实推理

一句话总结¶

本文提出基于已知反事实目标的激活补丁因果忠实性评估指标（CLB 率），揭示大模型显式写出的思维链中间步骤中约四分之三具有因果承载作用，但主流的文本编辑行为学测试高估了因果忠实性多达 11.4 至 20 个百分点，且更弱的模型随推理深度增加更容易退化为事后叙述。

研究背景与动机¶

随着大语言模型在多步推理任务中的广泛应用，思维链（Chain-of-Thought, CoT）监控被普遍视为保证模型安全与审计其内在决策过程的核心机制。这一监督范式赖以成立的基本假设是：模型在上下文中所写出的显式推理步骤，真实反映了其底层直接计算最终答案的因果计算流。然而，一旦模型仅仅是在“事后叙述”——例如显式输出了“Step 2: Grunkum”，但底层计算实际上通过捷径绕过了该中间实体——监控显式 CoT 就无法约束或检测内部潜在的非对齐行为与计算漏洞。

以往评估 CoT 忠实性（Faithfulness）的主流手段几乎完全依赖行为学测试（Behavioral Testing），即在输入或生成的推理文本中人为修改或篡改中间步骤，并观察最终输出答案是否发生改变。然而，这种文本编辑测试本质上是间接的：当篡改文本导致答案变化时，模型可能仅仅是在续写时重新读取了已被污染的上下文，而非原本的内部计算真正依赖该步骤；反之，若答案未改变，信息也可能早已在内部隐式完成路由。另一方面，现有的激活级（Activation-level）因果审计手段通常仅通过补丁注入测量模型任务性能的破坏或退化（Degradation），但性能下降只能说明该位置的激活对模型运行具有全局扰动效应，无法证明某个特定的显式推理步骤将具体语义内容传递进了最终答案。

要准确量化思维链的因果有效性，必须建立一种能够将特定中间步骤的语义内容与最终答案直接绑定的因果介入范式。本文的核心 idea 是：构建具有确定反事实推导目标的合成多跳知识查找任务，在模型生成中间步骤实体的残差流位置介入注入反事实激活，以最终答案是否精确翻转为预定反事实目标作为因果承载（CLB）的严格判定标准，从而在激活层面上量化因果忠实性并系统标定行为学测试的高估偏差。

方法详解¶

整体框架¶

整个评测框架围绕受控合成多跳实体查找任务与针对自生成中间步骤的激活交换介入展开。评测流水线主要包括三个核心阶段：具有确定反事实目标的知识图谱构建与数据生成、跨运行的残差流反事实激活缓存与端对齐补丁注入、以及严格的翻转判定与基线校准对比。

输入为包含显式三元组知识库及若干干扰事实的多跳推理 Query，模型按要求显式逐跳输出“Step \(k\): [Entity]”，最终输出“Answer: [Final Entity]”。系统通过对 clean run 与 counterfactual run 的成对介入，判定各推理步骤是否因果承载（Causally Load-Bearing, CLB）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多跳知识库与查询<br/>Query: r1...rh 跨度 2-6 跳"] --> B["构建闭环反事实知识环境<br/>扰动第 k 跳事实产生新目标"]
    B --> C["运行无扰动推理生成 Clean Run<br/>输出完整思维链与正确答案"]
    B --> D["运行反事实推理生成 CF Run<br/>捕获中间步骤实体激活"]
    C & D --> E["端对齐残差流激活交换介入<br/>在第 k 步实体 token 跨度注入层 L 激活"]
    E --> F["贪婪续写生成最终答案并判定 CLB<br/>严格对比预测反事实目标"]
    F --> G["基线校准与多重控制实验验证<br/>对比文本编辑行为学与随机/前置/后置控制"]

关键设计¶

1. 构建闭环反事实知识环境：杜绝先验泄露并提供绝对确定的推导终点

以往因果审计难以给出确定目标，根本原因在于自然文本的因果效应分散且缺少严谨的逆向推导闭环。本文设计了 2 到 6 跳的合成多跳实体查找任务（包含伪词实体，如防止预训练先验记忆的伪词，并将实体长度严格限制在 3 个 token 以内）。对于每个 \(h\) 跳样本的第 \(k\) 跳，构造一个反事实知识库变更：将决定第 \(k\) 步推导的关键事实替换，使得该步骤推导出的实体由 \(E_k\) 变为 \(E_k'\)。更重要的是，知识库中预先设计了桥接事实（bridge facts），使得从 \(E_k'\) 出发经过后续关系 \(r_{k+1}, \dots, r_h\) 所能推导出的最终答案在上下文中完全由构造所确定。研究者实现了一个自动化符号验证器，在全部 1000/1000 个任务样本中 100% 验证了 gold 答案和所有反事实目标答案的确定可推导性。

2. 端对齐残差流激活交换介入：将显式实体表征与最终决策严格因果绑定

针对满足格式要求且生成正确答案的 clean run（Qwen3-4B 上为 224/250，Qwen3-1.7B 上为 120/250），系统在残差流（Residual Stream Block Outputs）上执行定点激活补丁。具体而言： 1. 先运行反事实 prompt 生成 counterfactual run，精确标定模型输出反事实实体 \(E_k'\) 的 token 跨度； 2. 缓存该实体跨度在指定层 \(L\) 的残差流隐藏状态激活； 3. 重新运行 clean prompt，在生成到 clean run 中第 \(k\) 步实体 \(E_k\) 的相同 token 跨度时，执行端对齐（end-aligned）替换，将缓存的反事实激活覆盖注入到层 \(L\) 的残差流中； 4. 从被替换跨度末尾开始，使用贪婪解码（bf16，固定随机种子）继续生成后续推理步骤直至最终答案。

系统设立严格的三分类评判标准： - 因果承载（CLB）：生成的最终答案精确等于反事实推导目标答案； - 计算扰动（Disruption）：生成的答案发生了改变，但并未命中预定反事实目标，属于因扰动导致的语义崩溃； - 无效未变（Unchanged）：最终答案仍然保持为原本的 clean gold 答案。

3. 基线校准与多重控制实验验证：隔离真实因果效应与行为学幻觉

为了量化行为学测试与因果测试的偏离，并在机理上排除虚假相关，设计了成对基线与三项严密的控制组： - 文本编辑行为学基线（Behavioral Baseline）：在完全相同的样本与跳数位置上，直接将生成的中间文本中的 \(E_k\) 替换为 \(E_k'\)，截断其后续内容并使用贪婪解码重新生成，按完全相同的命中标准打分； - 正向控制（Prompt-fact Patch）：直接将 prompt 中原始知识库事实对象的激活进行替换并重新生成整条 CoT，作为通过激活介入所能达到的理论上限； - 合理性控制（Post-answer Patch）：在模型已经输出完最终答案后的 token 位置执行激活补丁，预期因果翻转率必须严格为 0%； - 特异性控制（Shuffled-target Patch）：注入来自其他无关样本中且当前知识库中不存在的实体激活，测试是否会伪造出错误实体的翻转； - 随机位置空控制（Random-position Null）：使用完全相同的反事实激活，补丁注入到非推理步骤的随机 token 跨度上，以此标定背景基线翻转率。

实验关键数据¶

主实验¶

主实验在 Qwen3-4B 和 Qwen3-1.7B 模型上系统评估了在最优敏感中间层（Qwen3-4B 为 Layer 8，总 36 层；Qwen3-1.7B 为 Layer 12，总 28 层）下的 CLB 率、控制组指标以及与成对文本编辑行为学基线的直接对比。

模型	介入配置 / 评估方法	翻转至目标率 (%)	扰动未中率 (%)	随机位置对照 (%)	相对 Prompt 上限恢复率
Qwen3-4B	文本编辑行为学测试 (Behavioral)	88.2 ± 2.1	-	-	-
Qwen3-4B	步骤激活介入 (CLB, Layer 8)	76.9 ± 2.8	≤ 19.0	11.3	~96% (相对 83% 上限)
Qwen3-4B	步骤激活介入 (CLB, Layer 4)	78.3 ± 2.8	≤ 19.0	8.9	~94%
Qwen3-4B	Prompt 事实正向控制 (Upper Bound)	83.0	-	-	100.0% (定义基准)
Qwen3-4B	答案后介入合理性控制 (Post-answer)	0.0	0.0	-	0.0%
Qwen3-4B	混洗目标特异性控制 (Shuffled)	1.0 - 15.0	-	-	-
Qwen3-1.7B	文本编辑行为学测试 (Behavioral)	67.6	-	-	-
Qwen3-1.7B	步骤激活介入 (CLB, Layer 12)	54.8 ± 5.3	-	-	-

在 Qwen3-4B 上对 873 次介入进行逐项成对匹配对比，行为学测试翻转率高达 88.2%，而因果 CLB 率为 76.9%，行为学指标高估了因果忠实性 11.4 个百分点（其中仅行为学翻转而因果未翻转的样本有 111 例，仅因果翻转而行为学未翻转仅 14 例，McNemar 检验 \(p < 10^{-15}\)）。

消融实验¶

通过对推理跳数（2 到 6 步）及网络介入层深的系统消融，分析因果承载率的变化动态与行为学偏差分布。

推理跳数 (Hops)	Qwen3-4B 行为学 (%)	Qwen3-4B 因果 CLB (%)	4B 高估差距 (pp)	Qwen3-1.7B 行为学 (%)	Qwen3-1.7B 因果 CLB (%)	1.7B 动态分析
2 Hops (简单)	98.0+	~78.0	+20.2	~79.0	68.4	简单任务保持一定忠实度
3 Hops	~90.0	~77.0	+13.0	~72.0	~58.0	因果忠实度开始下滑
4 Hops	~87.0	~76.5	+10.5	~66.0	~49.0	中间难度明显脱节
5 Hops	~85.0	~77.0	+8.0	~62.0	~38.0	逐步退化为事后叙述
6 Hops (困难)	~82.0	~75.4	+6.6	~59.0	29.7	因果承载率腰斩至不足 30%

介入网络层深消融表明：因果效应高度集中在浅层至中层网络。在 Qwen3-4B 中，CLB 效应在 Layer 4-8 达到峰值，但在 Layer 20（总层数 36）后完全衰减至接近 0；在 Qwen3-1.7B 中，效应在 Layer 12-16 之后基本消失。

关键发现¶

显式步骤具备高度因果有效性：在较强模型（Qwen3-4B）上，显式推理步骤在敏感层获得了 76.9% 的严格翻转率，达到了直接干预 Prompt 事实效果（83%）的约 96%，表明模型生成的语言实体不仅是可读文本，而且高度承载了下游计算所需的核心因果信息。
行为学测试系统性高估忠实性：行为学文本编辑不仅在总体上高估了 11.4 个百分点，且高估程度在最简单的 2 跳任务上最为严重（高达 20.2 个百分点）。在模型表现最流畅、表面看起来最可靠的简单样本上，行为学监控反而制造了最大的安全虚假繁荣。
模型能力是因果保真度的关键决定因素：Qwen3-4B 在 2 至 6 跳范围内始终保持在 75%-79% 的稳定水平；而较弱的 Qwen3-1.7B 随推理深度增加发生断崖式下跌（从 68.4% 跌至 29.7%），说明能力较弱的模型在复杂长程推理时极易陷入“表里不一”的事后叙述状态。
计算信息的前期消费特性：激活补丁效应在网络后半部分迅速归零，表明后续 token 的生成在前向传播的浅中层就已经完成了对前序推理步骤激活的信息读取与整合，进入深层后该位置的激活已不再被下游计算作为决策依据读取。

亮点与洞察¶

从破坏性扰动走向确定性语义翻转：传统的因果审计依赖测量指标 Degradation，往往把全局网络扰动误判为功能模块的因果性；本文通过在合成知识库中构造精准的反事实闭环推导，首次实现了以具体的“Flip-to-Target”为标准的显式推理因果测量。
揭示了 CoT 监控在“简单任务”下的信任陷阱：直觉上人们认为模型在简单任务上最不容易说谎，但实验表明行为学评估恰恰在简单任务上与真实因果计算存在最大的脱节（高估 20%），为依赖提示词篡改的 CoT 安全审计工具敲响了警钟。
模型缩放有效抑制了推理的事后叙述化：随着参数规模从 1.7B 提升到 4B，模型在深层推理中将语言步骤作为内部因果支柱的能力显著增强且更加平坦，表明模型能力的提升有助于加强内部计算逻辑与显式符号逻辑的表里一致性。

局限与展望¶

任务域局限于合成多跳事实检索：为了保证反事实目标的严格可推导性，实验全部基于单关系合成知识查找，尚不能直接代表复杂的自然数学竞赛题（如 GSM8K/MATH）或开放域代码调试中的自由推理过程。
模型谱系与规模覆盖有限：仅在小参数规模的 Qwen3 系列（1.7B 与 4B）及贪婪解码设置下进行了验证，尚未在大规模前沿思考模型（如 o1、R1 等）及长文本采样分布下进行对比。
浅层补丁与词元标识替换的潜在重叠：在极浅网络层进行残差流补丁时，表示信息可能高度接近输入词元嵌入的直接替换，尽管选择中层网络进行了主结论汇报，未来仍需对注意力输出与 MLP 块输出进行细粒度分离。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出具有预测反事实目标的自生成 CoT 步骤定点激活补丁框架，彻底解决了传统审计只能看性能退化的局限。
实验充分度: ⭐⭐⭐⭐☆ 包含正向、后置、混洗目标及随机位置等多重因果控制，提供了与行为学测试严密成对的统计检验，但模型规模受限。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义与因果推演层层递进，消融对比与误差界限详实。
价值: ⭐⭐⭐⭐⭐ 对当前大模型推理监控（CoT Monitoring）与可解释性安全具有关键警示意义，指出了纯文本行为学审计的潜在盲区。