跳转至

IdioSteer: Controlling Figurative-vs-Literal Interpretation via Residual-Stream Activation Steering

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Intellexus-DSI/IdioSteer
领域: 信息抽取
关键词: 习语理解, 激活引导, 残差流表征, 字面与比喻义控制, 非组合语义

一句话总结

针对大语言模型在包含习语的上下文默认偏向比喻义(figurative)生成的固疾,本文提出基于残差流激活引导(Activation Steering)的轻量化干预机制,通过跨层注入均值差分向量,在不破坏文本连贯性的前提下使模型输出系统性转向字面义(literal)解释,且引导方向可完全泛化至未见习语。

研究背景与动机

自然语言中广泛存在非组合语义(non-compositional semantic)结构,其中习语表达(idiomatic expressions)最具代表性:其整体语义往往脱离了单个词汇的字面组合。近年来,大语言模型(LLMs)在常规习语识别与分类基准上取得了显著进展,但大量研究表明,只要上下文未严格限制,当前主流模型在续写时存在极度根深蒂固的比喻义偏好(figurative default)。例如面对前缀“During the party, Sarah tried to break the ice”,模型几乎百分之百会顺理成章地沿着“活跃聚会气氛、与人攀谈”的比喻语义展开,而彻底忽略“把冰块敲碎融化”这一同样在物理世界完全合理的字面语义。这种对非组合语义的默认绑定限制了模型在需要字面语义重解析、双关语解构或物理常识推理场景下的灵活性。

然而,从可解释性与控制性视角来看,解决该矛盾的核心难点在于:如何在免于监督微调(SFT)和强化学习的前提下,在推理阶段精确调控模型对非组合语义的双向理解。现有的残差流激活工程(activation engineering)大多集中于情感极性、拒绝行为(refusal)或事实关联等低阶或粗粒度属性的干预,极少触及习语理解这种深层次的语义歧义消解机制。更重要的是,已有因果追踪研究表明,模型内部对比喻义的检索往往发生在深层前置阶段,而字面组合路径并行演化;如果仅靠传统的同层激活干预,往往会陷入“破坏模型正常生成语法连贯性”与“语义转向不足”的两难困境。

为了突破这一瓶颈,本文试图探究习语的比喻义与字面义是否在残差空间中被压缩表征为一个具有因果控制力的稠密方向向量。研究构建了一个严格保证语义双向连贯性的测试基准,并提出了一套将表征抽取与推理干预解耦的跨层引导协议。核心 idea:通过在模型中后层抽取字面与比喻义激活的均值差分向量,并仅在 Prompt 最后一个习语 token 处将该方向跨层注入到浅层残差流,利用 KV Cache 单次前向因果传导,无损且系统性地将模型生成导向字面义。

方法详解

整体框架

IdioSteer 的核心目标是在冻结的大语言模型上实现字面义与比喻义生成的因果控制。整个流程分为三个阶段:首先从包含丰富习语平行语料的独立训练集(IdioLink)中,提取源层 \(L_s\) 处习语尾词的残差流隐状态,计算类均值差分得到单位方向向量;接着在推理时,模型读取以习语结尾的双向歧义前缀,在浅层注入层 \(L_i\)(默认固定为第二层)将该向量作用于该尾词的激活值;最后,被修改的残差状态单次向上反向传播更新所有后续自注意力层的键值缓存(KV-Cache),使得后续生成的 token 在标准自回归解码中自然偏向字面语义。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入双向歧义前缀<br/>Prompt末尾为目标习语"] --> B["阶段1:均值差分向量构建<br/>中后层提取比喻与字面激活均值差"]
    B --> C["阶段2:跨层单点注入机制<br/>浅层仅在尾词位置干预残差流"]
    C --> D["阶段3:KV Cache 因果传播<br/>前向传播写入缓存引导后续自回归解码"]
    D --> E["生成多样化字面义连贯续写"]

关键设计

1. 均值差分向量构建:传统分类探针在高维空间非唯一性导致干预失效 -> 基于类中心均值差归一化提取稳定语义轴 -> 在跨模型家族中稳定表征比喻与字面的因果方向 为了在残差流中捕获控制比喻与字面义的语义方向,现有工作常借助逻辑回归探针(Logistic Probe)的权重向量。然而在 LLM 超参数化机制下(隐层维度高达 2048 至 4096),逻辑探针极易在训练集上达到 100% 准确率,导致权重向量散布在与决策面平行的各种偶然冗余维度上,在 Gemma 等模型上注入该探针向量会导致控制效果完全失效。本文采用对比均值差分(Mean-Difference, MD)构建核心引导向量。设 \(H_{\text{fig}}\) 与 \(H_{\text{lit}}\) 分别为源层 \(L_s\) 处采集到的比喻义和字面义隐状态集合,计算两类经验均值: $\(v_{\text{MD}} = \frac{\bar{h}_{\text{fig}} - \bar{h}_{\text{lit}}}{\|\bar{h}_{\text{fig}} - \bar{h}_{\text{lit}}\|}\)$ 通过单位范数归一化,向量严格对准比喻义极性,其实际干预强度完全由外置标度控制。几何降维分析表明,对激活做 PCA 降维后探针权重迅速向均值差分向量靠拢,证明均值差分向量精确捕获了语义变化的主成分方向。

2. 跨层单点注入机制:传统同层干预在表征线性可分性与干预杠杆率之间错配 -> 源层位于中后层而注入层固定于最浅层 -> 实现表征精确解耦与全局生成的因果放大 传统激活引导通常假设向量构建与注入在同一层(\(L_s = L_i\)),但这忽略了 Transformer 网络的内部计算动力学。本文通过系统消融发现,表征的线性可解译性(decodability)直到网络中后层(50%–80% 深度)才达到超过 95% 的饱和平台;而干预杠杆率(leverage)则在网络最浅层最高,越早干预越能深刻影响全局计算图。因此,IdioSteer 提出跨层引导策略(Cross-layer Steering):选定中后层 \(L_s\)(如 Llama-3.2-3B 的第 14 层,Gemma-2-2B 的第 20 层)提取高信噪比的 \(v_{\text{MD}}\),但在前向计算时固定在极浅层 \(L_i \in \{0, 2\}\) 进行残差相加: $\(h' = h + \alpha v_{\text{MD}}, \quad \alpha = \alpha_{\text{factor}} \cdot s_{\text{MD}}\)$ 其中标度因数通过源层原始差分模长 \(s_{\text{MD}} = \|\bar{h}_{\text{fig}} - \bar{h}_{\text{lit}}\|\) 自适应缩放,消除了跨模型家族间激活模长达三个数量级的绝对尺度差异。

3. KV Cache 因果传播:持续多步扰动容易破坏语言连贯性导致模式坍塌 -> 仅在 Prompt 尾词单次前向注入并借助自注意力传播 -> 保证生成流利度并激发多样化字面重构策略 不同于对比激活叠加(CAA)在自回归生成的每一个新 token 上持续施加外力扰动,IdioSteer 遵循因果干预极简原则。由于因果注意力机制,输入前缀的最后一个 token 汇聚了前序所有上下文与完整习语跨度信息。前向 Hook 仅在 Prompt 最后一个 token 位置触发一次:经过修改的隐状态 \(h'\) 随 Transformer 计算层逐层向上传递,在 \(L_i\) 之上的所有层自然写入键值缓存(KV Cache)。当模型自回归解码后续新 token 时,其因果注意力完全基于这一已被赋予字面偏置的上下文表征进行推演。这不仅避免了生成过程中困惑度(Perplexity)的剧烈膨胀,使得文本流利度指标(Coherence Rate)维持在 0.91 以上,而且激发了极其丰富的字面解构模式——如将抽象名词具体化为物理实体(“ice cubes”)、将习语短语重构为未预期的复合短语(“out of the blue room”)或展开全新场景。

损失函数 / 训练策略

本文的方法完全工作在免训练推理阶段,不改变冻结基座模型的任何参数。 在离线校准阶段,仅需在独立训练集 IdioLink 的 1,683 个句子(覆盖 22 个习语,包含 629 个比喻义和 1,054 个字面义样本)上执行一次前向推断,收集源层 \(L_s\) 处的隐状态集合并计算均值差分向量 \(v_{\text{MD}}\)。对于加权系数 \(\alpha_{\text{factor}}\),在无害连贯性区间 \([-4.78, +4.78]\) 内进行对称网格校准,取使字面率提升最显著且困惑度变化平缓的负值(负系数沿 \(-v_{\text{MD}}\) 方向推进,即引导向字面义)。同时,本文也评估了基于正交平面的保模长角旋转算子 \(O_\theta(h, v; \theta)\),旋转角网格为 \(\theta \in \{\pm 60^\circ, \pm 70^\circ, \pm 90^\circ, \pm 120^\circ\}\)。

实验关键数据

主实验

实验在包含 20 个未见习语、共 100 个双向平衡歧义前缀的 IdioSteer 基准上进行评估,覆盖 Llama 与 Gemma 两大家族的 5 款基座模型(2B 至 12B 参数),以 Gemma-4-31B-it 作为校准裁判模型(人工对齐 Cohen's \(\kappa = 0.868\))。

模型 基线字面率 (Baseline) MD-add 字面率 (Ours) 字面率相对提升 MD-add 连贯率 (Coherence) 最优标度 \(\alpha_{\text{factor}}\)
Llama-3.2-3B 0.116 [0.070, 0.170] 0.518 [0.442, 0.594] 4.47x 0.956 [0.934, 0.976] -2.39
Llama-3.1-8B 0.124 [0.072, 0.182] 0.512 [0.440, 0.586] 4.13x 0.910 [0.848, 0.958] -2.00
Gemma-2-2B 0.134 [0.088, 0.184] 0.574 [0.490, 0.662] 4.28x 0.988 [0.974, 0.998] -2.60
Gemma-3-4B 0.130 [0.074, 0.188] 0.362 [0.280, 0.444] 2.78x 0.962 [0.940, 0.980] -1.50
Gemma-3-12B 0.144 [0.086, 0.210] 0.342 [0.268, 0.418] 2.38x 0.996 [0.990, 1.000] -1.00

消融实验

消融实验聚焦于干预架构配置(跨层 vs 同层)、引导算子与向量类型对比,以及语义成分分解(以 Llama-3.2-3B 为核心诊断平台)。

配置 / 干预变体 注入位置 / 算子 字面率 (Literal Rate) 连贯率 (Coherence) 相对基线提升 / 说明
未干预基线 (Unsteered Baseline) — 0.116 1.000 模型强烈偏向比喻义默认解读
同层干预 (Diagonal \(L_s=14, L_i=14\)) Additive (\(\alpha_{\text{factor}}=-2.0\)) 0.168 0.998 仅微增 +0.052,深层干预杠杆严重不足
跨层干预 (Cross-layer \(L_s=14, L_i=2\)) Additive (\(\alpha_{\text{factor}}=-2.0\)) 0.527 0.980 3.14x 于同层配置,跨层放大效应显著
探针向量干预 (PROBE-additive) Additive (\(\alpha_{\text{factor}}=-2.39\)) 0.370 0.950 弱于 MD,在 Gemma 上甚至完全失效 (0.135)
角旋转算子 (MD-angular) Rotation (\(\theta=+90^\circ\)) 0.275 0.942 保模长旋转但控制动态范围受限
随机单位扰动 (Random-additive, 3 seeds) Additive (\(\alpha_{\text{factor}}=-4.78\)) 0.259 0.938 无方向特异性,正负扰动均产生对称微弱漂移
纯具象度向量 (\(v_{\text{conc}}\), Brysbaert) Additive (\(\alpha=+10\)) 0.432 (修正 0.370) 0.928 捕获大部分视觉实体具象性偏置
剥离具象度后的纯习语向量 (\(v_\perp\)) Additive (\(\alpha=-10\)) 0.344 (修正 0.320) 0.898 在“behind bars”等抽象非具象场景维持独立控制力

关键发现

  • 跨层架构带来 3.0x 至 3.5x 的控制增益:将源层设置在表征解译度饱和的中后层(50%–80% 深度),同时将注入层锁定在极浅层(\(L_i \le 2\)),相较于在同一层构建并注入的同层基线,字面率提升了 3 倍以上。对相对干预强度匹配后的对照实验进一步证实,该优势不是单纯的模长缩放假象,而是深层解耦特征向前传播的因果杠杆作用。
  • 效应具备高度方向不对称性,排除随机扰动假设:负向标度(字面方向)能够产生高达 4.5 倍的字面率跃升,而正向标度(比喻方向)字面率被压制在基线以下(0.13 左右);与此同时,输出困惑度(PPL)对正负号完全对称。这表明困惑度仅反映了隐空间扰动强度,而字面率由真实的语义方向所决定。
  • 习语无关的泛化性与成分解耦:在 22 个训练习语上抽取的均值差分向量,直接作用于 20 个完全不重叠的测试习语,在 97% 的(模型,习语)组合上均超越了基线。通过具象度控制实验进一步证实,该向量融合了通用的场景具象度成分(解释约 17% 能量)与深层非组合语义消解成分(\(v_\perp\)),后者在字面义不依赖物理具体实体的习语上独占主导。

亮点与洞察

  • 跨层解耦干预协议:揭示了“最佳特征抽取层”与“最佳干预施加层”在 Transformer 残差流中的物理分离。这一发现打破了传统激活工程默认同层注入的思维定式,为表示引导提供了通用的两阶段时空调度范式。
  • 单 token 前向 KV-Cache 因果级联:仅在输入 Prompt 最后一个习语词施加微弱的一阶线性加法,便能依靠自注意力层自然级联扩展至全局自回归生成中,在完全保持流利度的同时实现了对非组合语义的精准反转。
  • 语义轴正交解构方法论:通过投影消除法成功将习语控制向量解构为通用具象度(concreteness)与纯习语性(idiomaticity)两个正交分量,为探究大模型内部复杂语义特征的微观构成提供了兼具因果干预与几何解析的标准分析范本。

局限与展望

  • 语言范围与模型范式局限:目前研究仅集中于英语习语以及未经指令微调的预训练基座模型(Base LLMs)。在跨语言(尤其是形态丰富的低资源语言)中是否存在类似的稠密可控方向,以及经过 SFT 和 RLHF 对齐后的指令模型中该方向是否发生形变或被对齐目标抑制,仍待进一步验证。
  • 更宽泛非字面语义现象的外延:本工作针对的是多词固定搭配(Multi-word Expressions)的习语表达,尚未扩展到隐喻(Metaphor)、明喻(Simile)、讽刺(Irony)和双关(Pun)等更为动态灵活的修辞手法。
  • 双向歧义基准规模约束:为了确保严格的双向连贯性(Bidirectional Plausibility),IdioSteer 基准仅精选了 20 个习语共 100 条前缀样本。虽然统计检验严格,但未来仍需通过程序化生成与多重校验扩大习语覆盖面。

相关工作与启发

  • vs CAA (Rimsky et al., 2024) / Activation Addition (Turner et al., 2024):以往对比激活添加方法在自回归生成的每一个输出步持续注入向量,且默认在同层操作;本文提出仅在 Prompt 尾词位置单次注入,并开创了“中后层提取、极浅层注入”的跨层引导机制,大幅减少了生成失真并实现了更高控制增益。
  • vs 习语探测与分析 (Hefetz et al., 2025; Oh et al., 2026):前人工作多使用探针技术分析习语表征的可分性或通过因果追踪揭示两阶段竞争机制,属于观测性分析;本文进一步将观察转化为免训练的因果控制手段,证实了深层比喻偏好可在浅层被有效改写。
  • vs 具象度引导 (Ghosh & Jiang, 2026):该工作发现了大模型中的一维具象度方向并用于控制生成风格;本文则聚焦于解决更高阶的非组合语义消解(短语语义多义性选择),并通过严谨的正交投影消融证明习语控制向量包含了超越具象度之外的本质非组合语义特征。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将残差流激活引导拓展至高阶习语比喻与字面义的因果控制,并创新性提出跨层注入范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 跨 2 个模型家族、5 个尺度(2B–12B)全面验证,提供严格的符号不对称性分析、层对消融、交叉折叠及具象度解耦。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照自洽,方法论与限制探讨极其客观详实。
  • 价值: ⭐⭐⭐⭐☆ 为机制可解释性、无微调模型行为纠偏以及大模型深层语义表征控制开辟了极具启发性的技术路线。