Prompt–Activation Duality: Improving Activation Steering via Attention-Level Interventions¶

会议: NeurIPS 2026
arXiv: 2605.10664
OpenReview: https://openreview.net/forum?id=Fi8p6Oc5Z5
代码: https://github.com/dianchengkang/GCAD
领域: LLM 其他
关键词: 激活引导, 表示工程, 注意力干预, KV 缓存污染, 多轮对话一致性

一句话总结¶

针对传统残差流激活引导在多轮对话中因 KV 缓存污染导致生成崩溃的痛点，本文提出门控裁剪注意力增量引导（GCAD），将系统提示词注意力增量注入注意力输出层并配合动态 token 门控，大幅提升多轮一致性与特征表达稳定性。

研究背景与动机¶

大语言模型在多任务推理和开放域生成中表现卓越，但其生成风格与行为表征的精确可控性仍具挑战。虽然基于系统提示词的上下文引导机制灵活，但在复杂约束下往往鲁棒性不足；直接参数微调成本高昂且难以按需模块化插拔。因此，以表示工程为核心的测试时激活引导方法应运而生。现有代表性方案如角色向量（Persona Vectors）通过在对比正负提示词下提取特征均值差向量，并在推理阶段每一步直接加到固定层的残差流中，试图以轻量、可逆的方式调节模型的诚实性、攻击性或特定角色性格。

然而，已有激活引导研究主要局限于短文本及单轮生成评估，掩盖了一个严重的系统性隐患。在实际自回归对话场景中，模型以有状态的方式持续复用 KV 缓存。传统残差流注入方法在每个解码步强行向隐状态叠加固定的全局扰动向量，导致被引导生成的 token 状态作为键值对被持久化写入 KV 缓存中；随着对话轮次增加，后续各层注意力机制反复读取这些累积了误差的受污染状态，使得局部小微扰滚雪球式演变成严重的一致性崩溃，表现为长程生成失常、语义混乱与灾难性复读。

这一崩溃的深层根源在于干预通路与模型固有调控机制的不匹配：系统提示词在模型内部天然通过自注意力机制实现稀疏、有选择的动态加权，而传统残差流注入在注意力与 MLP 融合后粗暴施加全局常数级偏移，强行打破了正常的表示分布。核心 idea：通过将引导信号从粗粒度残差流回退至自注意力输出通路，仅提取来自系统提示词源 token 的注意力增量，并依据 token 与系统提示词的键查询兼容度施加动态门控，从计算通路与注入时机上根除 KV 缓存污染。

方法详解¶

整体框架¶

本文首先对 Transformer 层的残差流递归展开进行理论分解，将对比正负提示词引起的角色向量分解为嵌入层差值、自注意力通路累积差值与 MLP 通路累积差值三部分。分析表明，注意力通路是系统提示词调控行为的最直接媒介，而 MLP 通路与嵌入层差异往往夹杂着上下文噪音或与特征控制正交。为此，GCAD 摒弃在单层残差流盲目注入的做法，转而采用注意力级干预。整个框架分为两个阶段：在提取阶段，hook 模型自注意力计算过程，裁剪排除生成响应自身 token 的贡献，仅保留系统提示词源 token 对投影后注意力输出的对比增量；在推理阶段，利用当前 token 的查询向量与预存系统提示词键向量的交互强度生成动态门控系数，对注意力输出完成调节后再送入后续 MLP 及残差连接。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["正负对比系统提示词输入"] --> B["阶段1：系统提示词源注意力裁剪提取<br/>屏蔽响应token仅保留系统提示词贡献"]
    B --> C["阶段2：查询-键兼容度门控计算<br/>RoPE后查询与系统键向量点积缩放"]
    C --> D["阶段3：多层注意力输出端调节<br/>动态注入扰动并经MLP非线性吸收"]
    D --> E["写入KV缓存并自回归生成下一Token"]

关键设计¶

1. 系统提示词源注意力裁剪提取：杜绝响应自身内容进入引导向量

传统角色向量在正负提示词下直接对响应阶段全序列的残差隐状态做均值差分，这使得最终引导向量不可避免地混入了特定回答词汇的表面信息以及生成 token 相互注意力的反馈成分。为解决该问题，GCAD 深入注意力拆解机制。在第 $\ell$ 层，注意力输出由源序列各个 token 的值向量加权求和而成： $$\mathrm{Attn}_{\ell}(\mathbf{h}_{t}^{(\ell)}) = \sum_{i \le t} \alpha_{t,i}^{(\ell)} V_{i}^{(\ell)} W_{o}^{(\ell)}$$ GCAD 在提取期强行开启 eager attention，将上式的求和范围裁剪截断至仅包含系统提示词 token 索引集合 $\mathcal{S}$： $$\mathrm{Attn}_{\text{sys}}^{(\ell)}(\mathbf{h}_{t}^{(\ell)}) = \sum_{i \in \mathcal{S}} \alpha_{t,i}^{(\ell)} V_{i}^{(\ell)} W_{o}^{(\ell)}$$ 由于保留原注意力权重分布而不做重新归一化，系统提示词的实际注意力贡献强度得以真实保留。在正向数据集 $\mathcal{D}^{+}$ 与负向数据集 $\mathcal{D}^{-}$ 上求均值后做差，得到各层裁剪注意力增量向量 $\boldsymbol{\Delta}^{(\ell)}$。该设计保证了干预向量完全源自提示词通路的受控调制，阻断了生成端特定语义在多轮交互中的自激循环放大。

2. 查询-键兼容度门控计算：实现符合自然提示特性的稀疏动态注入

观察发现，真实系统提示词引导下模型内部仅在少数承载特征语义的关键词 token 上产生强对齐，而常规恒定系数引导向所有 token 施加无差别推力。为了让干预更具选择性，GCAD 设计了轻量级的前向感知门控。在推理步 $i$，利用第 $\ell$ 层第 $h$ 个注意力头已计算好的 RoPE 后查询向量 $Q_{i}^{(\ell,h)}$ 与离线统计的系统提示词平均键向量 $\bar{K}_{\text{sys}}^{(\ell,h)}$ 计算预 softmax 兼容度标量： $$d_{i}^{(\ell)} = \frac{1}{n_{\text{heads}}} \sum_{h=1}^{n_{\text{heads}}} \frac{Q_{i}^{(\ell,h)} \cdot \bar{K}_{\text{sys}}^{(\ell,h)}}{\sqrt{d_{\text{head}}}}$$ 随后将其中心化并经过平滑 sigmoid 缩放，生成该 token 的特异性引导系数： $$c_{i}^{(\ell)} = 2 c_{\text{base}} \cdot \sigma\left(s \cdot (d_{i}^{(\ell)} - \bar{d}^{(\ell)})\right)$$ 其中 $\bar{d}^{(\ell)}$ 为正向提取样本上的兼容度均值，$s$ 为门控陡度，$c_{\text{base}}$ 为基准引导强度。当某 token 天然需要高度关注系统提示词时（如特定语气词、行为动作触发词），门控自动放大系数；而对于普通功能词、过渡句式，门控迅速压低扰动，有效减轻了持续强行引导造成的语义偏航与上下文失真。

3. 多层注意力输出端调节：利用网络固有层级结构平滑吸收扰动

在确定注入位置时，GCAD 放弃单层集中轰炸，改为在网络中层至高层区间（例如 Qwen2.5-7B 的 9–19 层）跨层分布式注入。在每个受控层，更新公式直接作用于自注意力之后、MLP 之前： $$\mathbf{a}_{t,\text{steered}}^{(\ell)} = \mathbf{a}_{t}^{(\ell)} + c_{t}^{(\ell)} \boldsymbol{\Delta}^{(\ell)}$$ $$\mathbf{h}_{t}^{(\ell+1)} = \mathbf{h}_{t}^{(\ell)} + \mathbf{a}_{t,\text{steered}}^{(\ell)} + \mathrm{MLP}_{\ell}\left(\mathrm{LN}_{2}^{(\ell)}(\mathbf{h}_{t}^{(\ell)} + \mathbf{a}_{t,\text{steered}}^{(\ell)})\right)$$ 这种布局不仅与提示词驱动特征在网络深层逐步成型的机制契合，更利用每层随后的 MLP 非线性变换层对注意力微扰进行再加工、投影与整合，避免了残差流直接大步长偏移带来的数值震荡，使得最终存入下一解码步 KV 缓存的状态保持在合理流形内。

损失函数 / 训练策略¶

GCAD 为完全免微调的测试时推理干预方法，不需要额外的参数优化或反向传播。离线提取阶段仅需两张 A100 GPU 数分钟即可完成特征向量提取；推理时仅额外增加头维度的内积操作，计算开销极低。超参数设置上，Qwen2.5-7B-Instruct 采用层范围 $[9, 19]$、$c_{\text{base}}=3.5$、$s=1.5$；Llama-3.1-8B-Instruct 采用层范围 $[8, 20]$、$c_{\text{base}}=2.0$、$s=1.5$。

实验关键数据¶

主实验¶

在 Qwen2.5-7B-Instruct 模型上进行 10 轮长对话评测（KV 缓存跨轮持久化保存，共评测 15 种角色特征，每种特征 60 组完整多轮对话），采用 GPT-4.1-mini 分别独立对特征表达（Trait Expression）与文本一致性（Coherence）打分（0-100 分制）。

特征类别 / 具体特征	评测指标	GCAD (本文) T1 / T10 / Avg / $\Delta$	传统残差流引导 (Original) T1 / T10 / Avg / $\Delta$	改善幅度说明
RLHF 对抗类: evil	特征表达一致性	100.0 / 99.7 / 99.9 / -0.3 66.3 / 61.9 / 64.4 / -4.4	91.3 / 78.7 / 87.5 / -12.5 37.5 / 7.1 / 18.5 / -30.4	一致性崩溃被显著抑制，末轮一致性高出 54.8 分
RLHF 对抗类: impolite	特征表达一致性	89.3 / 94.0 / 90.8 / +4.7 67.5 / 63.8 / 66.9 / -3.7	97.3 / 68.0 / 84.2 / -29.3 6.3 / 0.0 / 1.3 / -6.3	传统方法第 10 轮一致性完全归零归于胡言乱语，GCAD 稳定
RLHF 对抗类: sycophantic	特征表达一致性	88.3 / 91.6 / 89.2 / +3.3 93.2 / 91.2 / 93.4 / -2.0	89.6 / 98.5 / 95.3 / +8.9 92.4 / 24.5 / 56.7 / -67.9	传统方法第 10 轮一致性狂跌 67.9 分，GCAD 仅漂移 -2.0
中性特征: creative	特征表达一致性	92.1 / 91.2 / 89.9 / -0.9 93.3 / 92.4 / 92.2 / -0.8	93.1 / 25.0 / 57.4 / -68.1 74.3 / 17.8 / 38.1 / -56.5	传统方法在非对抗特征上同样发生大幅崩溃，GCAD 维持在 92+
中性特征: humorous	特征表达一致性	90.0 / 88.6 / 89.1 / -1.4 62.9 / 78.1 / 80.5 / +15.2	60.7 / 4.8 / 14.8 / -56.0 15.4 / 0.7 / 3.7 / -14.7	传统方法无法有效引导且退化，GCAD 平稳表达幽默且逻辑连贯
15 个特征整体平均	特征表达一致性	91.5 / 93.1 / 91.8 / +1.6 88.6 / 86.7 / 88.1 / -1.9	86.4 / 78.0 / 81.5 / -8.4 76.6 / 57.9 / 65.9 / -18.6	一致性漂移从 -18.6 骤降至 -1.9，第 10 轮特征表达大幅领先 15.1 分

消融实验¶

在 Qwen2.5-7B-Instruct 上对裁剪机制（P2）与动态门控机制（P3）进行前 5 轮多轮对话消融分析（汇报 T1、T3、T5、5 轮平均 Avg 及漂移 $\Delta = \text{T5}-\text{T1}$）：

特征与测试配置	特征表达 T1 / T3 / T5 / Avg / $\Delta$	一致性 T1 / T3 / T5 / Avg / $\Delta$	架构作用分析
evil: GCAD (完整)	100.0 / 99.7 / 99.9 / 99.9 / -0.1	66.3 / 75.6 / 62.5 / 68.7 / -3.8	双机制协同，特征与一致性全程极平稳
evil: 去除裁剪 (w/o crop. P2)	90.1 / 96.4 / 95.1 / 93.6 / +4.9	78.7 / 82.0 / 73.3 / 78.6 / -5.4	包含响应 token 贡献，特征控制力稍弱且跨轮漂移加大
evil: 去除门控 (w/o gate P3)	69.9 / 97.2 / 99.8 / 90.4 / +30.0	75.4 / 64.2 / 67.5 / 68.0 / -7.9	恒定步长导致首轮特征不足而后几轮强行激增，漂移剧烈
evil: 同时去除两者 (w/o both)	88.8 / 99.5 / 99.7 / 96.8 / +10.9	74.6 / 62.7 / 67.9 / 67.9 / -6.6	沦为普通多层注意力引导，轨迹震荡且波动不可控
humorous: GCAD (完整)	90.0 / 89.2 / 88.6 / 89.3 / -1.4	62.9 / 85.0 / 82.0 / 80.1 / +19.1	兼顾复杂中性语气的幽默感与上下文自洽性
humorous: 去除裁剪 (P2)	78.7 / 83.6 / 84.3 / 83.0 / +5.5	37.0 / 74.4 / 81.2 / 68.1 / +44.2	首轮一致性严重塌陷至 37.0，存在严重初始化扰动
humorous: 去除门控 (P3)	73.4 / 78.4 / 83.1 / 78.1 / +9.7	92.4 / 85.7 / 81.8 / 85.4 / -10.5	缺乏动态抑制，一致性呈现持续负漂移
humorous: 同时去除两者	89.5 / 88.9 / 88.4 / 89.1 / -1.0	69.4 / 69.6 / 70.7 / 69.6 / +1.3	整体一致性水平偏低（约 69 分），无法达到完整版 80+ 水准

关键发现¶

KV 缓存污染是多轮引导失效的主因：传统残差流引导在单轮可能表现良好，但在 10 轮对话中平均一致性滑落 18.6 分，在极度对抗特征（如 impolite、humorous）上一致性甚至快速归零，生成内容彻底瓦解；而无引导基线的一致性仅轻微波动（漂移仅 -5.4），证明衰减并非长上下文固有现象，完全是粗暴激活污染导致。
注意力输出与 MLP 贡献的非对称性：在通路对比实验中，仅干预注意力通路在单轮即取得 85.2 的特征表达，而干预 MLP 通路仅取得 20.8（接近未干预底线），验证了系统提示词影响表征的核心枢纽是注意力通路。
动态门控遵循“按需补充”机制：浅层注意力门控对大部分 token 施加较大且较均匀的权重（因为残差流尚未成型）；随着层数加深，门控自发分化，仅在未被对齐的 token 上持续激励，而在已表达特征的 token 上抑制干扰，成功复刻了自然提示词的稀疏内部表征。

亮点与洞察¶

将激活引导问题重塑为流形与缓存相容性问题：跳出了传统工作仅关注单轮“特征强度”的局限，敏锐指出有状态自回归模型中“扰动被写入 KV 缓存反复自放大”这一核心破绽，为表示工程走向长文本与实际部署奠定了基础。
提示词源裁剪的设计简洁且直击本质：无需复杂的二次重训练或正交投影优化，仅在注意力求和时切除响应序列切片，即切断了误差从输出向特征提取端回流的闭环。
可复用的 Q-K 兼容度轻量门控：利用注意力层自有的查询与键向量计算激活时机，仅需一次额外的向量内积，完全零显存爆炸，可广泛迁移至代码生成、长程角色扮演等各类持续控制任务中。

局限与展望¶

作者承认的局限：目前实验主要在 7B 与 8B 开源指令微调模型上验证，尚未测试极端深度模型（如 70B+）或超长上下文（万级 token）下的累积效应；同时门控机制依赖离线统计的静态均值键向量，对动态复杂演变的对话话题可能存在泛化盲区。
实际观察到的局限：离线提取仍需要依赖成对的对比提示词集与人工校验筛选（排除得分低于 50 的低质量样本），构建成本依旧存在；此外超参数如引导层范围 $[9, 19]$ 和基准系数需要人工先验摸索。
未来改进思路：可探索根据实时会话历史自适应调整键向量参考中心的机制，或将该裁剪思想进一步推广至视觉多模态大模型的自回归生成中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了激活引导在长对话中由 KV 缓存污染引起崩溃的机理，并开创性提出注意力源裁剪与轻量动态门控。
实验充分度: ⭐⭐⭐⭐⭐ 15 种角色特征、跨越 10 轮有状态长对话、两个主流模型家族（Qwen 与 Llama），辅以严谨的组件消融与通路分解验证。
写作质量: ⭐⭐⭐⭐⭐ 理论分解清晰扎实，逻辑环环相扣，从问题发现到机制设计与消融分析均极具说服力。
价值: ⭐⭐⭐⭐⭐ 为轻量级大模型行为调控及安全对齐走向实际多轮对话应用提供了极具实用价值的稳健范式。