Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering¶

会议: AAAI 2026
arXiv: 2505.12189
代码: https://github.com/neuro-symbolic-ai/steering_content_effects
领域: 多语言翻译
关键词: 内容效应, 激活转向, 三段论推理, 形式逻辑, 推理偏见

一句话总结¶

通过激活转向（activation steering）技术缓解 LLM 中的内容效应偏见——模型将内容可信度与形式逻辑有效性混淆的问题，提出 K-CAST（基于 kNN 的条件激活转向）方法，在不响应静态转向的模型上实现高达 15% 的形式推理准确率提升。

研究背景与动机¶

领域现状：LLM 具有强大的常识推理能力，但在形式逻辑推理中存在"内容效应"——当三段论内容符合常识时（如"所有学生都阅读；一些阅读者是教授；所以一些学生是教授"），模型更倾向于判定其逻辑有效，即使逻辑上无效。这类似于人类认知中的内容偏见。

现有痛点：(a) CoT prompting 可以改善推理但无法消除内容效应偏见；(b) 微调方法成本高且不能完全去偏；(c) 神经符号方法需要集成外部符号求解器，增加系统复杂性。

核心矛盾：形式推理要求有效性仅取决于逻辑形式，不取决于内容。但 LLM 在预训练中习得的世界知识会"污染"形式推理过程，导致可信但逻辑无效的论证被错误接受。

本文目标 (a) 定位 LLM 内部哪些层编码了形式有效性和内容可信度信息；(b) 通过推理时激活干预降低内容对形式推理的影响。

切入角度：激活转向是一种推理时技术，不需要重训练模型，通过在模型内部激活上加减"转向向量"来调节行为。作者从 probing → 静态转向 → 条件转向逐步深入。

核心 idea：首次将激活转向应用于内容效应缓解，发现静态对比转向对大多数模型有效但非全部，进而提出基于 kNN 的细粒度条件转向方法（K-CAST）处理不响应的模型。

方法详解¶

整体框架¶

四步流程：(1) 构建控制数据集（16K+ 三段论，覆盖可信/不可信 × 有效/无效 4 个象限）；(2) 通过线性探测定位相关层（残差流第三个四分位）；(3) 计算对比转向向量并进行静态转向；(4) 对不响应的模型使用 K-CAST 条件转向。

关键设计¶

控制数据集构建:
- 功能：生成 ~16K 英文三段论，系统性地将形式有效性与内容可信度解耦。
- 核心思路：使用 24 个抽象三段论 schema，通过 WordNet 的上下位关系实例化为自然语言。每个 schema 都生成 4 种类型：可信有效、不可信有效、可信无效、不可信无效。
- 设计动机：现有推理基准没有系统性地控制内容可信度这一变量，无法精确测量内容效应。
对比激活转向（CAA）:
- 功能：计算"正确推理"和"受偏见影响的错误推理"之间的激活差异向量，在推理时加到模型激活上。
- 核心思路：正向量 = 正确预测的激活均值，负向量 = 错误预测的激活均值，转向向量 \(\Delta\phi = \frac{1}{N}\sum(a_i^+ - a_i^-)\)。推理时 \(\tilde{\phi}(x) = \phi(x) + \alpha \cdot \Delta\phi\)，\(\alpha\) 控制强度。
- 设计动机：利用表征工程的"线性表征假说"——偏见方向在激活空间中是线性可分的，沿该方向加减即可控制偏见。
K-CAST（kNN 条件激活转向）:
- 功能：解决静态转向对某些模型无效的问题，通过逐实例动态确定转向参数。
- 核心思路：存储训练集中每个样本的激活向量和条件标签。推理时对新输入找 k 个最近邻，根据多数投票确定条件标签 \(\hat{y}(x) = \text{sign}(\sum_{j \in \mathcal{N}_k} y_j)\)，然后动态调整 \(\alpha\) 的符号：\(\tilde{\phi}(x) = \phi(x) - \hat{y}(x) \cdot \alpha \cdot \Delta\phi\)。
- 设计动机：标准 CAST 用聚合的条件向量做判断，信息损失大。K-CAST 保留每个训练样本的激活，利用局部激活空间结构做更精细的条件判断。

损失函数 / 训练策略¶

无需训练，纯推理时干预
转向向量在 2400 样本训练集上计算，干预位置为残差流第三个四分位处最后一个 token

实验关键数据¶

主实验（静态对比转向）¶

模型	大小	基线 Acc/CE	最佳转向 Acc/CE	相对提升
Qwen 2.5	7b	16.48	93.65	+468%
Gemma 2	9b	10.05	43.37	+331%
Llama 3.2	1b	1.32	11.58	+777%
Llama 3.1	8b	2.54	6.06	+138%

静态转向对大多数模型有效，但 Llama 3.2 3b 和 Qwen 2.5 3b 不响应。

条件转向（K-CAST）¶

模型	基线 Acc/CE	K-CAST Acc/CE	相对提升
Llama 3.2 3b	4.45	22.92	+415%
Qwen 2.5 3b	11.99	16.42	+37%

K-CAST 对静态转向无效的 Llama 3.2 3b 实现 Acc 从 77.79% 提升到 92.60%，CE 从 17.50 降到 4.04。

关键发现¶

线性控制：\(\alpha\) 的正负可以显式控制模型在有效/无效论证上的准确率方向——正 \(\alpha\) 提升有效论证准确率，负 \(\alpha\) 提升无效论证准确率
最优层位于第三个四分位：线性探测一致显示形式有效性和内容可信度信息在残差流后期层最丰富
对语言建模副作用小：转向后英/中/德三语 perplexity 变化 <2%
部分泛化到 OOD 推理任务：在其他推理数据集上有一定泛化性，但因模型而异

亮点与洞察¶

首次将激活转向用于推理去偏：以前的激活转向主要用于安全/毒性控制，本文首次证明可以用同样的技术缓解推理偏见。这拓展了表征工程的应用领域。
K-CAST：细粒度条件转向：用 kNN 替代粗粒度聚合做条件判断，保留了训练集的局部结构信息。这是一个通用的激活转向改进思路。
数据集设计精巧：通过 WordNet 层级关系系统控制内容可信度，构建了一个干净的去混淆基准，对研究 LLM 推理偏见有工具价值。

局限与展望¶

仅在三段论推理上验证，更复杂的推理形式（数学、因果推理）上的效果未知
K-CAST 需要存储训练集激活向量，在大规模应用中有存储开销
OOD 泛化不稳定——在不同模型上泛化效果差异大
\(\alpha\) 的最优值需要搜索，缺乏自动确定机制
16K 数据集规模较小，更大规模下转向向量是否稳定未知

评分¶

新颖性: ⭐⭐⭐⭐ 首次用激活转向缓解推理偏见，K-CAST 设计巧妙
实验充分度: ⭐⭐⭐⭐ 8 个模型 × 2 设置，probing + 静态 + 条件 + 鲁棒性 + OOD
写作质量: ⭐⭐⭐⭐ 从观察到干预的逻辑链完整
价值: ⭐⭐⭐⭐ 对 LLM 推理可靠性有实用价值，K-CAST 可泛化

补充说明¶

内容效应是 LLM 推理中被忽视的重要偏差源——评测时应控制内容变量，仅测纯结构推理能力
该工作对推理 benchmark 的设计方法论有开创性贡献，建议新 benchmark 采用类似控制变量的设计思路