When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction¶
会议: NeurIPS 2026
arXiv: 2605.12922
OpenReview: https://openreview.net/forum?id=apVR4ALp2m
领域: LLM 其他
关键词: 多轮交互、注意力衰减、目标可达比 (GAR)、残差流探测、滑动窗口消融
一句话总结¶
揭示大语言模型在长多轮交互中遗忘系统指令的双通道转移机制：生成位置对初始目标词元的注意力衰减关闭直接通道，模型行为转由残差流表征被动维持，导致与架构深度和目标复杂度高度相关的差异化退化。
研究背景与动机¶
大语言模型在单轮对话中能够精确遵守复杂的系统提示指令，包括设定人设基调、格式规范、安全策略以及事实性参考知识。然而在实际部署的多轮长程交互中，模型的遵从表现往往在初期表现优异，随后逐步丢失线索，出现严重的行为退化与指令遗忘。已有大量前沿基准测试（如 Multi-IF、EvolIF、Lost in Multi-Turn 等）在行为层面上观测并度量了这一性能坍塌现象，但其深层内部动力学机制长期处于“黑盒”状态——究竟是什么内部表征的改变，导致模型在前几轮依然严格依从、而在数十轮后彻底脱轨？
这一现象的物理根源与注意力机制在长上下文下的固有偏置密切相关。随着多轮对话持续延伸，新生成的响应词元与位于上下文开头的系统提示（目标定义词元）之间的相对距离单调递增。受到旋转位置编码（RoPE）距离衰减效应、上下文大量干扰词元对注意力权重的竞争稀释，以及注意力汇聚（Attention Sinks）对注意力权重的强行吸收等多重因素影响，响应位置分配给系统目标的注意力质量不断下降，直至降至数值噪声水平。
这导致模型在信息传递上面临核心物理通道的切换危机。本文的切入视角是：长上下文多轮交互中的目标状态维持，本质上是由两条结构迥异的信息通道共同支配的——直接读取提示词的注意力通道，以及在隐藏层中逐层累加传递的残差流通道。核心 idea：将多轮指令退化形式化为直接注意力通道衰减关闭后、模型被迫依赖残差流被动维持任务状态的“通道转移”（Channel Transition）过程，提出目标可达比（GAR）量化注意力开放度，并通过因果滑动窗口消融与残差流线性探测，揭示出不同架构在通道关闭后呈现的异质性生存与崩溃模式。
方法详解¶
整体框架¶
本文构建了“双通道交互与状态转移”的形式化分析框架。模型在处理多轮长文本时，将提示词中的任务目标词元集记为 \(\mathcal{G}\)，轮次 \(\tau\) 的生成响应词元集记为 \(\mathcal{R}_\tau\)。模型对目标状态的依赖依赖两条途径：其一是注意力通道 \(\mathcal{C}_{\text{attn}}(\tau)\)，直接计算从 \(\mathcal{R}_\tau\) 到 \(\mathcal{G}\) 的注意力矩阵子块；其二是残差通道 \(\mathcal{C}_{\text{res}}(\tau)\)，即生成词元位置在所有隐藏层上的残差向量集合。当交互轮次推进导致注意力质量降至模型特定阈值 \(\theta_M\)（或被人为因果切断）时，发生通道交叉转换（Crossover），此后模型行为完全取决于残差流中保存的间接信息。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["系统提示词：目标词元集合 G<br/>（角色设定/核心事实/业务策略）"] --> B["多轮交互生成响应词元集 R_tau"]
B --> C["双通道任务状态传播建模<br/>直接注意力通道 vs 残差流内部通道"]
C --> D["目标可达比 GAR 诊断评估<br/>全层全头注意力质量跨轮次衰减度量"]
D --> E["因果滑动窗口介入消融<br/>几何切断直接注意力，触发通道交叉转变 tau_cross"]
E --> F["残差流表征线性探测分析<br/>响应前缀位置 LDA 探测预测各层任务存活能力"]
F --> G["行为退化异质性与因果局限分析<br/>复杂度分级存活与跨架构层深解码差异"]关键设计¶
1. 目标可达比 GAR：跨层跨头的注意力通道通畅度量化诊断 为了直接监测生成阶段对系统指令目标的直接关注程度，论文提出了无参数架构无关诊断指标——目标可达比（Goal Accessibility Ratio, GAR）。以往研究多依赖注意力矩阵的单个最大值或特定注意力头，难以反映整个网络对目标的综合可达性。GAR 计算生成响应词元 \(\mathcal{R}_\tau\) 对目标词元集合 \(\mathcal{G}\) 的平均注意力权重分配，公式为： $\(\mathrm{GAR}(\tau) = \frac{1}{L \cdot H \cdot |\mathcal{R}_\tau|} \sum_{\ell=1}^{L} \sum_{h=1}^{H} \sum_{i \in \mathcal{R}_\tau} \sum_{j \in \mathcal{G}} A_{i,j}^{(\ell,h)}\)$ 式中 \(L\) 为层数，\(H\) 为注意力头数，\(A_{i,j}^{(\ell,h)}\) 为经 Softmax 归一化后的注意力概率值。GAR 取值严格位于 \([0, 1]\) 之间。在所有评估架构中，随着轮次增长上下文加长，GAR 均呈现严格的单调衰减（Mann-Kendall 检验 \(p < 10^{-7}\)），前 10 轮下降最为剧烈，直观反映了直接注意力通道的自然关闭趋势。
2. 因果滑动窗口消融：确定性几何阻断直接注意力通道 自然对话中 GAR 衰减至极限数值底噪需要极长轮次（远超通常评估范围），为在可控受限轮次内研究通道关闭的因果充分性，本文设计了推理期滑动窗口（Sliding-Window, SW）因果干预。该操作在不改变任何模型权重、MLP 与残差流结构的前提下，对自注意力偏置矩阵实施局部掩码： $\(M_{i,j}^{(W)} = \begin{cases} 1 & \text{if } j \le i \text{ and } i - j < W, \\ 0 & \text{otherwise}. \end{cases}\)$ 设定窗口大小为 \(W\)，当交互文本长度增长满足几何条件 \(R_{\min}(\tau) - G_{\max} \ge W\) 时，所有从响应位置到目标位置的注意力计算均被强制赋为 \(-\infty\)。此时直接注意力通道在确定性轮次 \(\tau_{\text{cross}}\) 瞬间归零。实验通过不同窗口尺寸（\(W \in \{1024, 2048, 4096, 8192, 16384\}\)）的扫描，证明了通道关闭轮次与窗口大小具备几乎完美的线性对应关系（\(R^2 > 0.999\)），提供了严格剥离注意力直接观察的因果实验场。
3. 残差流线性探测：定位模型行为结局的隐藏表征与层深分布 在直接注意力归零后，模型若依然能维持部分正确行为，必然依赖残差流等内部状态的间接传递。为了无偏量化残差通道的表征容量，作者在即将生成首个回答词元的前一位置 \(t^* = \min(\mathcal{R}_\tau) - 1\) 提取各层残差激活向量 \(\mathbf{r}_{t^*}^{(\ell)}\)，训练线性判别分析（LDA）分类器预测当前轮次的行为成功与失败。为杜绝维度灾难与标签泄漏，特征首先经过主成分分析（PCA-50）降维，并在严格的 Episode 级别留一交叉验证（LOO-CV）下计算 AUC 指标。基线测试显示，在输入嵌入层（\(\ell=0\)），探测器 AUC 严格处于 0.5 的随机几率水平，而深层隐藏层中 AUC 可跃升至 0.87～0.99，证明关于目标任务能否成功履行的信息确已在网络中间计算过程中被线性构建并保存在残差流中。
损失函数 / 训练策略¶
本研究所述架构测试均为冻结权重的预训练/指令微调模型推理评测。在线性探测实验中，LDA 线性分类器在各折训练集上自适应拟合均值与协方差，特征投影矩阵 PCA-50 每折重新适配。统计显著性由 200 次真实 Episode 标签置换检验（Permutation Null）给出，\(p < 0.005\) 确立置信度。在因果中介检验中，作者还在峰值层开展了 2×2 激活修补（Activation Patching）干预实验，对比单层与 11 层跨度模块在贪婪与采样解码下的因果翻转能力。
实验关键数据¶
主实验¶
评测涵盖四大基准任务：5 事实信息保留（Retention）、20 事实可控复杂度保留（Complexity）、5 规则学术人设遵从（Persona）以及多阶段客户服务策略依从（Policy）。评测对比开放通道（Default 默认注意力）与关闭通道（SW=4096 滑动窗口强制关闭）在交叉点后的模型表现：
| 模型架构 | 交叉轮次 \(\tau_c\) | 任务场景 | 开放通道表现 (Default) | 关闭通道表现 (SW=4096) | 性能变化幅度 / 影响 |
|---|---|---|---|---|---|
| Mistral-7B | 23 | 5 事实召回率 \(r_{50}\) | 100.0% | 45.2% | 下降 54.8%（残差留存最高） |
| Mistral-7B | 23 | 20 事实召回率 \(r_{50}\) | 100.0% | 11.2% | 复杂事实崩塌严重 |
| Mistral-7B | 23 | 人设违规率 \(v_{\ge 16}\) | 0.350 | 0.480 | 违规增加（超过对抗性提示基准 0.346） |
| Mistral-7B | 23 | 策略完全依从率 \(C\) | 60.8% | 6.2% | 几乎丧失多阶段规则依从 |
| LLaMA-3.1-8B | 19 | 5 事实召回率 \(r_{50}\) | 100.0% | 0.0% | 彻底归零（注意力强依赖） |
| LLaMA-3.1-8B | 19 | 20 事实召回率 \(r_{50}\) | 100.0% | 2.0% | 几乎彻底失效 |
| LLaMA-3.1-8B | 19 | 人设违规率 \(v_{\ge 16}\) | 0.523 | 0.542 | 基线违规偏高，关闭后微幅上升 |
| LLaMA-3.1-8B | 19 | 策略完全依从率 \(C\) | 79.7% | 78.2% | 表现极具韧性（对注意力关闭不敏感） |
| Qwen-2.5-7B | 20 | 5 事实召回率 \(r_{50}\) | 77.2% | 6.0% | 大幅退化 71.2% |
| Qwen-2.5-7B | 20 | 20 事实召回率 \(r_{50}\) | 98.4% | 0.4% | 几乎完全丢失 |
| Qwen-2.5-7B | 20 | 人设违规率 \(v_{\ge 16}\) | 0.476 | 0.518 | 稳步恶化 |
| Qwen-2.5-7B | 20 | 策略完全依从率 \(C\) | 43.7% | 29.0% | 中度下降 14.7% |
| Mixtral-8x7B | 20 | 5 事实召回率 \(r_{50}\) | 100.0% | 19.2% | 稀疏 MoE 呈现部分残差维持 |
| Mixtral-8x7B | 20 | 20 事实召回率 \(r_{50}\) | 100.0% | 4.0% | 长尾复杂事实召回率极低 |
| Mixtral-8x7B | 20 | 人设违规率 \(v_{\ge 16}\) | 0.579 | 0.617 | 持续高位违规 |
| Mixtral-8x7B | 20 | 策略完全依从率 \(C\) | 56.0% | 42.7% | 显著受损 |
消融实验¶
1. 各架构残差流探测峰值与层深分布差异（5 事实保留任务，SW=4096）
| 架构名称 | 探测轮次 \(\tau\) | 输入层 AUC (\(\ell=0\)) | 峰值层号 | 峰值 AUC | 置换检验显著性 | 层间表征演化模式 |
|---|---|---|---|---|---|---|
| LLaMA-3.1-8B | T=20 | 0.50 (机会水平) | Layer 2 | 0.99 | \(p < 0.005\) | 阶跃型：在浅层 L2 迅速饱和并在后层恒定保持 |
| Qwen-2.5-7B | T=25 | 0.50 (机会水平) | Layer 11 | 0.98 | \(p < 0.005\) | 快速爬升型：浅层 L1-L5 迅速上升至高位饱和 |
| Mistral-7B | T=40 | 0.50 (机会水平) | Layer 27 | 0.87 | \(p < 0.005\) | 渐进积累型：逐层稳步上升直至极深层才达到峰值 |
| Mixtral-8x7B | T=35 | 0.50 (机会水平) | Layer 21 | 0.99 | \(p < 0.005\) | 相变型：前 13 层处于低谷，在 L14-L18 爆发跃升 |
2. 目标结构复杂度分级消融与退化率（Mistral-7B，20 事实保留任务，SW=4096）
| 复杂度等级 (Tier) | 事实语言学形态示例 | 开放通道平均失败率 | 关闭通道平均失败率 | 结构性退化阐释 |
|---|---|---|---|---|
| Tier 1 (单词元) | Zurich, Bitcoin, Neptune | 0.0% | 9.9% | 常见实体词元在残差流中具有极强语义吸引子，遗忘最轻 |
| Tier 2 (双词短语) | Solar Eclipse, Apache Cassandra | 0.0% | 22.5% | 组合实体需要多词元绑定，退化率增加一倍以上 |
| Tier 3 (数字/专名组合) | $7.3 million, Dr. Yuki Tanaka | 0.0% | 41.2% | 精确数值和人名容易发生属性混淆与部分信息剥离 |
| Tier 4 (复杂多词元复合串) | ZK-2847-PLX-09, Quantum Resonance | 0.0% | 54.0% | 无先验语素的任意字符编码严重依赖注意力直连，通道关闭后大幅瓦解 |
关键发现¶
- 通道关闭并非全盘崩溃，而是呈现结构化残存：在注意力直接通道彻底阻断（数值为 0）后，模型并非瞬间丢失全部记忆，而是呈现与词元信息结构强相关的分级退化。高频单字保留率超过 90%，而任意字母数字串失败率高达 54%。
- 人设偏离的内在通道破坏力超越外部对抗攻击：在 Mistral-7B 上，滑动窗口通道关闭在被动无压力的正常交流中引起的违规率（0.480）不仅高于无干预的基线（0.350），甚至直接超过了恶意用户进行多轮强压对抗欺骗下的违规率（0.346）。说明注意力通道关闭是比对抗性引导更强烈的指令失效诱因。
- 残差流表征存在跨任务迁移性但缺乏单点因果可恢复性：在 5 事实与 20 事实任务间交叉评估残差探测器，双向迁移 AUC 达 0.708～0.827，说明线性探测捕捉到的是通用目标依从状态；但 2×2 激活修补（Activation Patching）表明，单独替换峰值层的残差向量无法恢复模型的事实输出，这表明多轮目标依从依赖分布式的多阶段复杂网络计算，而非局限于特定层残差流的局部孤立读出。
亮点与洞察¶
- 提出目标可达比 GAR 作为无侵入性注意力诊断工具：摆脱了以往仅凭单点注意力或最大值估计的局限，提供了一个跨轮次平滑衰减的宏观热度指标，能以极高信噪比标定多轮对话中注意力的“枯竭界限”。
- 精巧的滑动窗口因果控制逻辑：借助 Mistral 原生支持滑动窗口的架构特质，利用几何截断将注意力自然衰减与残差流状态解耦，建立了预测性能断崖式跳水转折轮次 \(\tau_{\text{cross}}\) 的严格线性解析关系（\(R^2 > 0.999\)）。
- 揭示 MoE 架构独特的“相变跃升”现象：发现 Mixtral-8x7B 在残差探测中存在前半程近乎沉寂、中后程在第 14～18 层断崖式激增的独特层级动态，为探索专家路由机制与残差信息承载的交互关系提供了全新的可解释性证据。
局限与展望¶
- 因果干预范围受限与架构泛化偏差：滑动窗口介入在原生采用滑动窗口训练的模型（如 Mistral）上具备完美内生因果解释力，但在全注意力训练模型（如 LLaMA、Qwen）上属于分布外（OOD）强行掩码，可能叠加引入了一般性推理干扰。
- 目标设定静态固定，无法模拟动态演化交互：所有实验均假设任务目标在第一轮 System Prompt 中一劳永逸给出，未能涵盖现实复杂 Agent 中用户随轮次不断变更、迭代、修正指示的动态场景。
- 未能完全闭环残差流信息的因果读出回路：激活修补实验的阴性结果说明线性可探测性并不等同于因果生成通路，后续亟需探索非线性解码、多位置联合修补或注意力和残差的混合协同机制。
相关工作与启发¶
- vs Multi-IF / EvolIF / Lost-in-Multi-Turn (Laban et al., He et al., Jia et al.): 以往工作专注于在黑盒或行为层面量化多轮性能的下降速率与评估基准，本文首次切入 Transformer 内部白盒机制，从注意力与残差双通道动力学角度给出了物理级归因。
- vs Lost-in-the-Middle & Attention Sinks (Liu et al., Xiao et al.): 传统长文本注意力研究聚焦于位置偏置与汇聚词元现象，本文将其拓展并形式化至多轮交互指令依从场景，构建了从注意力衰减到下游任务遵从失败的直接映射链条。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从双通道转移机制切入解释多轮大模型指令遗忘，构思新颖严谨。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主架构、6 款扩展模型、多任务多轮次评测与因果中介探测，论据扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念形式化定义清晰，数学推导与实验论述逻辑丝丝入扣。
- 价值: ⭐⭐⭐⭐⭐ 为长对话 Agent 系统在上下文扩展与目标维持机制设计上提供了关键可解释性指引。