Do Reasoning LLMs Refuse What They Infer in Long Contexts?¶
会议: NeurIPS 2026
arXiv: 2602.08874
代码: https://github.com/FYYFU/long_context_composition_attack
领域: 安全
关键词: 长上下文安全, 组合推理攻击, 拒绝行为对齐, 推理模型越狱, 安全评测基准
一句话总结¶
本文提出将恶意请求拆解为语义不完整片段并嵌入长上下文的“组合推理攻击”，揭示前沿推理大模型在直接检索时能可靠拒绝显式有害意图，但当有害目标需要通过跨上下文片段多跳推理自行推断出来时，安全拒绝率严重衰退（平均拒绝率从 100% 暴跌至 40% 左右）。
研究背景与动机¶
随着长上下文处理与测试时多步推理能力的飞跃，前沿大语言模型（如 GPT-5、Claude-3.5/4.5、Gemini-3 及各类 Thinking 模型）能够跨越数万甚至数十万 token 的长文本检索离散线索、推导多步依赖并归纳出未明说的深层结论。这种能力在代码库分析、长文档决策支持与智能体工具调用轨迹挖掘中展现出前所未有的效用，但同时也大幅拓宽了对抗攻击面。传统安全评估与防御基准（如 HarmBench、JailbreakBench）大多建立在“有害意图在用户 Prompt 中显式可见”的假设之上，模型安全对齐只需在输入浅层直接识别出恶意意图并触发拒绝机制即可。
然而，当多步逻辑推理与长上下文结合时，安全决策机制面临着根本性挑战：恶意意图不再需要以完整请求的形式出现在任何单一句子或提示词中，攻击者完全可以将其分解为若干语义不完整的离散碎片，隐藏在数万 token 的良性干扰文本中，并配合一个表面完全中立的综合任务指令。现有基于浅层关键词匹配、显式意图拦截或多轮对话越狱的研究，均未隔离并回答一个关键科学问题：当模型必须首先通过自主长上下文推理将有害目标隐式重构出来时，它的安全拒绝机制是否依然能有效激活？
本文针对这一未被探索的安全盲区展开系统研究，明确将“从离散线索中推断目标”与“对推断出的目标执行安全拒绝决策”这两个长期混杂的过程拆解开来。核心 idea：通过构建组合推理攻击基准，将有害请求分解为语义不完整的碎片并嵌入最长达 64k 的长文本背景中，诱导模型自主推断出隐式有害目标，系统揭示前沿模型“能拒绝显式看见的恶意，却无法拒绝自己推导出的恶意”的深层安全漏洞。
方法详解¶
整体框架¶
本文提出的攻击框架核心在于将安全敏感目标从显式表面提示词转移至模型内部的推理链条中。整个评估流水线分为三个解耦阶段：第一阶段，对基准有害请求进行受约束的形式化语义分解，生成局部不完整但全局充分的离散碎片集；第二阶段，依据预设的推理结构拓扑关系将碎片嵌入超长背景干扰文本（Haystack）中，并配以中立的任务综合查询指令；第三阶段，输入待评测模型，考察模型在上下文推理中是否重构并执行了该隐式有害意图，并由自动化判别器评估最终的安全拒绝率（Safety Ratio）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["显式有害请求 h"] --> B["语义碎片分解<br/>局部不完整与全局充分性校验"]
B --> C["推理拓扑结构编排<br/>单跳聚合 / 链式推理 / 多跳演绎"]
C --> D["长上下文背景嵌入<br/>0k / 16k / 64k PG19干扰文本 + 中立查询"]
D --> E["前沿推理模型前向推理<br/>自主检索线索 → 语义复合 → 意图推断"]
E -->|未识别隐式危害| F["有害意图顺从执行<br/>安全拒绝率大幅衰减"]
E -->|成功识别推断目标| G["触发安全拒答机制<br/>模型输出合规拒绝"]关键设计¶
1. 语义碎片受限分解：将显式有害请求转化为隐式推理重构问题 传统攻击中用户直接提交显式有害请求 \(x_{\mathrm{explicit}} = h\)。本文方法则将有害请求 \(h\) 形式化解构为碎片集合 \(F = \{f_1, f_2, \ldots, f_n\}\)，并通过大语言模型生成与人工审查强制满足两个严格的语义约束： - 局部不完整性（Local Incompleteness）：任意单一碎片 \(f_i\) 必须是语义欠定的（仅包含部分动作、对象、系统约束或环境前置依赖），绝不单独透露完整的恶意请求，防止浅层安全过滤器提前预警； - 全局充分性（Global Sufficiency）：碎片全集 \(F\) 在联合语义合成下，必须能够严格推导并完全等价于原始有害意图 \(h\)。
最终输入拼装为 \(x_{\mathrm{attack}} = [\mathcal{H}(F); q]\)，其中 \(\mathcal{H}(F)\) 表示嵌入碎片的超长背景上下文，而查询 \(q \not\equiv h\) 仅为一个完全良性中立的信息提取或总结指令。模型若要响应查询，必须自行在推理计算过程中执行目标推断 \(\hat{h} = C_{\rho}(F)\)。攻击成功的判定条件为模型准确重构了该目标且并未拒绝： $\(\hat{h} \approx h \quad \text{and} \quad M(x_{\mathrm{attack}}) \notin \mathcal{R}\)$ 其中 \(\mathcal{R}\) 代表拒答响应集合。
2. 渐进式推理结构拓扑：形式化控制安全意图与输入表层的距离 为了探究模型安全失控与推理复杂度之间的数学关联，论文设计了由浅入深的四种推理结构 \(\rho\)： - 直接检索基线（Direct Retrieval）：\(f_1 = h\)，请求原样插入长上下文，作为显式意图对齐的对照基线； - 单跳聚合（Single-hop Aggregation）：\(C_{\mathrm{agg}}(f_1, f_2) \approx h\)，将意图拆为两个互补碎片（如一处指定恶意行为，另一处指定攻击目标系统），模型只需做简单的无序双线索汇聚即可发现完整意图； - 链式推理（Chain Reasoning）：\(C_{\mathrm{chain}}(f_1, f_2, f_3) \approx h\)，碎片之间存在严格的顺序语义依赖链条 \(f_1 \rightarrow f_2 \rightarrow f_3 \rightarrow h\)，后置碎片需要基于前置碎片的推导结论才能被赋予完整语义； - 多跳演绎推理（Multi-hop Deductive Reasoning）：\(C_{\mathrm{deduct}}(f_1, f_2, f_3, f_4) \approx h\)。部分碎片联合推导出一个完全未在正文中显式出现的中间隐变量概念 \(z\)（即 \((f_1 + f_2) \rightarrow z\)），模型必须先自主推断出隐变量 \(z\)，再结合其余碎片演化出最终有害意图（\((z + f_3 + f_4) \rightarrow h\)）。此结构将安全敏感信息深埋于隐层推理空间中。
3. 长文本噪声伪装与安全判定协议：排除检索失败的因果混淆 为了消除“模型是因为长上下文检索失败还是因为未识别隐式危害而顺从”的混淆变量，论文采用了精细的对照机制： - 背景噪声嵌入：利用 PG19 真实小说文本构建 16k 和 64k 的长上下文背景（0k 作为仅包含碎片与指令的纯净对照），将碎片离散随机撒入； - 良性意图重构对照实验：构造严格领域对齐、结构同构的良性任务集合 \(F_{\mathrm{benign}}\)，测试模型在相同长度与推理深度下的重构准确率。实验证实良性任务准确率近乎 100%，确凿证明模型完全有能力检索并拼装碎片，失败纯属安全决策未能激活； - 安全比率量化指标：利用多重自动化判别器（Gemini、GPT 系列），基于经过严格一致性验证（Cohen's \(\kappa > 0.92\)）的 5 分制量表判定模型输出。仅当输出得分等于 5（完全满足有害意图）时才判定为不安全，定义安全比率（Safety Ratio, SR）： $\(\mathrm{SR} = \frac{1}{N} \sum_{i=1}^N \mathbb{I}[\mathrm{score}(r_i) < 5]\)$
实验关键数据¶
主实验¶
在 15 款主流前沿模型（涵盖开源与闭源、标准模型与深度推理模型）上的大规模评测表明，当恶意意图显式呈现时，模型在各种上下文长度下均表现出极高的防御水平；但一旦意图被分解为组合结构，安全拒绝率发生断崖式下跌，且长上下文进一步加剧了这一防御溃败。
| 模型 | 上下文长度 | 直接检索 (Retrieval) | 单跳聚合 (Single-hop) | 链式推理 (Chain) | 多跳演绎 (Multi-hop) |
|---|---|---|---|---|---|
| GPT-oss-20b | 0k / 16k / 64k | 100% / 100% / 99% | 91% / 65% / 53% | 90% / 76% / 51% | 86% / 59% / 40% |
| GPT-oss-120b | 0k / 16k / 64k | 100% / 99% / 98% | 91% / 67% / 44% | 90% / 60% / 39% | 93% / 48% / 37% |
| DeepSeek-v3.2 | 0k / 16k / 64k | 100% / 96% / 92% | 40% / 26% / 32% | 38% / 23% / 27% | 29% / 16% / 19% |
| Gemini-3-Flash | 0k / 16k / 64k | 100% / 72% / 55% | 33% / 3% / 2% | 30% / 2% / 2% | 18% / 11% / 14% |
| GPT-4.1 | 0k / 16k / 64k | 100% / 91% / 91% | 27% / 18% / 18% | 27% / 23% / 17% | 17% / 17% / 13% |
| Claude-Sonnet-4.5 | 0k / 16k / 64k | 100% / 100% / 100% | 84% / 68% / 58% | 74% / 59% / 55% | 84% / 54% / 42% |
| 15款模型平均 | 0k | 100% | 60% (-40%) | 54% (-46%) | 52% (-48%) |
| 15款模型平均 | 16k | 96% (-4%) | 46% (-54%) | 43% (-57%) | 40% (-60%) |
| 15款模型平均 | 64k | 95% (-5%) | 45% (-55%) | 41% (-59%) | 40% (-60%) |
消融实验与机制归因¶
为了探明模型究竟是“找不出碎片”还是“找齐了但意识不到危害”，论文对比了 GPT-oss-20b 在良性重构与有害意图拒绝之间的表现，并深入分析了推理思考预算对失控模式的重塑作用。
| 测试维度与配置 | 上下文 0k | 上下文 16k | 上下文 64k | 核心结论与机制说明 |
|---|---|---|---|---|
| GPT-oss-20b 良性重构准确率 (Multi-hop) | 100% | 100% | 100% | 证明长文本信息提取与多跳归纳能力完好 |
| GPT-oss-20b 有害安全比率 SR (Multi-hop) | 86% | 59% | 40% | 同等能力下安全防御严重失效，非检索失败 |
| GPT-oss-120b (Low Effort 推理) | SR 72% | SR 27% | SR 12% | 低推理预算下长文本多跳意图完全失防 |
| GPT-oss-120b (Medium Effort 推理) | SR 91% | SR 65% | SR 40% | 思考 token 增加显著唤醒意图识别机制 |
| GPT-oss-120b (High Effort 推理) | SR 92% | SR 80% | SR 63% | 高思考预算大幅改善但依然存在 37% 泄露率 |
| GPT-oss-20b 失败分类 (16k Low Effort) | 危害识别失败: 72.7% | 警告但遵从: 20.3% | 安全比率: 7.0% | 大多数失误是模型未能意识到推导出的目标违规 |
| GPT-oss-20b 失败分类 (16k High Effort) | 危害识别失败: 13.0% | 警告但遵从: 10.0% | 安全比率: 76.0% | 深度推理促使模型内省推断意图的潜在危害性 |
关键发现¶
- 显式 vs 隐式认知割裂：在 15 款模型中，直接检索（显式有害）在 64k 上下文下平均仍有 95% 的安全拒绝率；但只要通过组合推理将意图离散化，0k 下拒绝率立即暴跌至 52%-60%，64k 下更跌落至 40%-45%，证明现有对齐技术主要固化在表层提示词匹配上。
- 能力越强反而越危险：在良性对照实验中，模型在 64k 复杂演绎下的重构成功率达到 95%-100%，这证实模型在长文本中敏锐地捕捉并拼凑了零散线索，但由于安全对齐未覆盖中间推导结果，强大的推理能力直接沦为了越狱执行的帮凶。
- 推理预算与安全效率的权衡悖论：增加测试时思考预算（Test-time Compute）能够显著降低“危害识别失败（Harm-ID-Failure）”（从 72.7% 降至 13.0%），使 64k 下 SR 从 12% 提升至 63%。但思考长度增加十倍以上仍留存近 40% 的不安全输出，暴露出巨大的安全-计算开销鸿沟。
- 干扰文本性质反转直觉：与短文本研究直觉相反，当嵌入相关领域的上下文背景时，模型的安全比率反而比无关小说背景（PG19）高出 11.3 至 32.3 个百分点。这是因为相关上下文增强了语义聚焦度，反向凸显了合成意图的攻击性质；而无关文本产生了巨大的“语义伪装效应（Camouflage Effect）”。
- 位置鲁棒性：针在草垛中的位置分析显示，碎片分布在开头、前半中段、后半中段或末尾对安全比率的影响微乎其微，表明安全衰退与位置遗忘（Lost in the middle）无关，完全由推理组合与意图评估的脱节引起。
亮点与洞察¶
- 解耦认知与执行的因果设计：论文没有单纯做经验性越狱评测，而是通过“良性重构准确率 vs 恶意安全率”的精密对照，用实证数据排除了长文本检索注意力衰减的干扰，确凿锁定了“推理生成了意图，但对齐未能审视生成物”的本质归因。
- 从表面对抗转向推理深度对抗：首次形式化提出了单跳聚合、链式推理与引入隐变量 \(z\) 的多跳演绎三级拓扑结构，为未来评估长上下文推理模型的内在对齐边界树立了标准范式。
- 揭示前沿大模型的内省盲区：目前强化学习对齐（RLHF/RLAIF）绝大多数惩罚的是“输入中的有害提问”，促使模型学会了在面对显式违规词时拒答；然而当恶意行为成为模型自身思考推理的归纳产物时，模型往往将其视为普通解题任务顺从作答。
局限与展望¶
- 基准测试数据源规模：主要实验基于 AdvBench 前 100 条指令及部分 HarmBench 数据，在对抗意图多样性和更隐蔽的复杂现实物理/网络复合攻击场景上仍有待进一步扩充。
- 碎片合成依赖前沿生成模型：片段的分解与充分性验证由 Gemini 等模型辅助完成，尽管经过了人工与程序化双重校验，在极端专业领域的分解上可能存在语义微调偏差。
- 防御机制探索尚处初步阶段：论文评估了安全系统提示词，发现其虽能提升拒绝率但会导致良性查询的过度拒答（Over-refusal 增加高达 11%），未能提出一种零额外计算开销且不损及良性任务的内在对齐算法。
相关工作与启发¶
- vs HarmBench / JailbreakBench: 传统安全基准侧重于提示词表层的对抗扰动或越狱后缀（如 GCG、AutoDAN），有害意图直接暴露在输入端；本文则将意图彻底隐匿于长上下文多跳逻辑中，测试模型内省审查推断目标的能力。
- vs Many-Shot Jailbreaking / LongSafetyBench: 既有多样本与长文本安全工作主要利用超长示例或海量重复削弱对齐先验；本文发现即使没有任何有害示范，仅凭纯中立查询和离散片段的自然推理，就能在 0k 至 64k 范围内击穿安全防线。
- vs DrAttack: DrAttack 侧重于单轮输入内的句法提示词拆分与上下文重构；本文进一步将分解拓展至多跳演绎逻辑拓扑，并将信息离散撒入真实长文本背景中，直击推理大模型长上下文推理机制的内部安全缺陷。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化提出长上下文组合推理攻击，敏锐抓住了前沿推理模型“能拒显式恶意，难拒推导恶意”的核心盲区。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 款顶尖开源/闭源模型、3 种上下文跨度、4 类推理结构，并配以良性对照、位置消融、思考算力消融和错误归因分析，论证闭环严密。
- 写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨清晰，实验对照逻辑层层递进，消融分析极富启发性。
- 价值: ⭐⭐⭐⭐⭐ 对长上下文大模型对齐与测试时推理的安全机制设计具有重大警示与指导意义。