MJ: Multi-Turn LLM Jailbreaking via Decomposed Credit Assignment¶
会议: NeurIPS 2026
arXiv: 2607.11070
领域: 安全
关键词: 多轮越狱, 信用分配, GRPO, 强化学习, 红队攻击
一句话总结¶
针对传统 GRPO 在多轮对话越狱攻击中粗粒度广播轨迹级优势导致的前缀信用误分配问题，本文提出分解信用 GRPO（DC-GRPO），将当前轮即时收益与未来剩余回报的群相对信用显式解耦加权，在主流开源受害者大模型上取得了 98% 以上的五轮越狱成功率。
研究背景与动机¶
随着主流大语言模型通过基于人类反馈的强化学习（RLHF）建立起日益严格的安全对齐防线，攻击者直接利用单轮提示词诱导有害输出变得越来越困难。现代 LLM 更多部署于交互式多轮对话场景中，攻击者能够通过战略性地伪装意图、逐步铺垫上下文并在多轮交互中灵活自适应受害者模型的反馈，从而绕过安全护栏。为了系统性发现并防御这种多轮对话失稳模式，基于强化学习自动化训练轻量化、强自适应且可跨目标迁移的红队攻击策略成为安全研究的核心技术需求。
然而，训练交互式多轮越狱策略面临着极为棘手的信用分配难题。在多轮对话轨迹中，不同轮次扮演着完全异质的角色：部分轮次直接取得突破诱导有害回复，而早期轮次则往往负责铺垫语义陷阱或建立良性假象，其价值只能在后续数轮后显现。由于越狱训练天然针对同一种有害意图采样多个对话轨迹，免 Critic 的群体相对策略优化（GRPO）成为理想基座；但标准 GRPO 专为单轮输出设计，直接将其推广到多轮交互中会将整条轨迹的聚合优势统一广播到对话的所有轮次。这种粗暴的优势广播不仅抹杀了即时突破与未来铺垫的差异，还会将后续轮次的策略更新直接归因于早先轮次已获得的奖励，产生严重的前缀信用误分配并削弱策略梯度精度。
解决该问题的关键切入点在于回归回报的马尔可夫分解结构，在保持免 Critic 群体归一化优势的同时，将信用计算下沉至轮次级别并剥离历史无关信息。核心 idea：提出分解信用群体相对策略优化（DC-GRPO），基于剩余回报递推关系将各轮中心化回报严格解耦为即时奖励偏差与未来剩余回报偏差，并通过动态统计加权与静态系数加权为每一交互轮次赋予专属的组相对信用信号。
方法详解¶
整体框架¶
DC-GRPO 将多轮越狱建模为马尔可夫决策过程。针对有害行为初始状态，策略模型生成对抗提示词，受害者模型给出答复，裁判模型给出逐轮有害程度打分。在每次策略参数更新前，算法收集针对相同有害意图采样的多条完整对话交互轨迹，以轮次为单位分别统计各轮即时奖励与未来剩余回报的群体均值与标准差，计算解耦后的轮次级复合优势，最后代入带有 Token 级重要性采样的裁剪代理目标完成优化。
方法的整体优化与轮次信用流动流程如下所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
X["初始有害意图输入<br/>采样子轨迹组 x_0 ~ d, 组大小 G"] --> R["多轮交互环境采样<br/>攻击者生成提示词 xt ↔ 受害者回复 yt"]
R --> J["逐轮裁判即时奖励评估<br/>裁判打分 rt = πjudge(x0, yt)"]
J --> DC["轮次级即时与未来信用解耦<br/>即时信用 I_i,t 与未来信用 F_i,t 分别归一化"]
DC --> W["组统计自适应权重分配<br/>动态规则 DW 或静态调控 SW"]
W --> CF["前缀信用消除与优势合成<br/>合成轮次优势 A_i,t^DC，剔除历史轮次偏差"]
CF --> U["GRPO 代理目标策略更新<br/>Token 级重要性采样与裁剪更新 θ"]关键设计¶
1. 轮次级即时与未来信用解耦：剥离混淆信号的分解优势架构 在多轮越狱交互中，第 \(t\) 轮折现累积回报满足 Bellman 形式的线性递推关系 \(R_{i,t} = r_{i,t} + \gamma R_{i,t+1}\)。通过对同组所有 \(G\) 条轨迹在第 \(t\) 轮分别计算经验均值 \(\mu_t^R = \mu_t^r + \gamma \mu_{t+1}^R\)，两者作差即可得到严格的中心化回报解耦恒等式： $$ R_{i,t} - \mu_t^R = (r_{i,t} - \mu_t^r) + \gamma (R_{i,t+1} - \mu_{t+1}^R) $$ 针对该恒等式，DC-GRPO 将当前轮的即时奖励偏差与后续剩余回报偏差分别除以对应的群体标准差进行标准化，定义出两个正交的组相对信用度量：即时信用 \(I_{i,t} = (r_{i,t} - \mu_t^r) / \sigma_t^r\) 以及未来信用 \(F_{i,t} = (R_{i,t+1} - \mu_{t+1}^R) / \sigma_{t+1}^R\)。两项信用度量分别刻画了当前轮动作对当期越狱进展的直接推动作用，以及对后续对话走向所奠定的环境优势。最终轮次级复合优势表示为两者的非负线性组合： $$ \hat{A}{i,t}^{\mathrm{DC}} \coloneqq w_t^I I $$ 在最终对话轮次 } + w_t^F F_{i,t\(t=T\) 处，未来项天然消失（\(F_{i,T} = 0\)），退化为标准的单步即时信用；而在多轮对话的前中期，该架构使得策略能够区分“当轮诱导失误但创造了后续成功条件”与“当轮侥幸得手但后续迅速拒绝”的截然不同的行为模式。
2. 组统计自适应权重分配：动态无参归一与静态可控调节 针对即时权重 \(w_t^I\) 与未来权重 \(w_t^F\) 的权衡选择，DC-GRPO 衍生出两种互为补充的实例化范式：动态加权（Dynamic-Weighted, DW）与静态加权（Static-Weighted, SW）。动态加权将加权系数直接绑定至当前采样组经验分布的二阶统计量： $$ w_t^I = \frac{\sigma_t^r}{\sigma_t^R}, \quad w_t^F = \gamma \frac{\sigma_{t+1}^R}{\sigma_t^R} $$ 此时复合优势 \(\hat{A}_{i,t}^{\mathrm{DW}} = (R_{i,t} - \mu_t^R) / \sigma_t^R\) 在数学上严格等价于对当前轮剩余回报的直接标准化，完全自适应采样组的即时回报与未来回报方差比例，无需引入任何额外的手工调参系数。静态加权则固定即时权重为 1 并引入可调未来系数 \(\alpha \ge 0\)，即 \(\hat{A}_{i,t}^{\mathrm{SW}} = I_{i,t} + \alpha F_{i,t}\)。当 \(\alpha = 0\) 时，模型退化为纯短视即时贪婪更新；当 \(\alpha > 0\) 时，研究者可显式放大或收缩未来上下文规划对早期动作梯度的反馈强度。
3. 前缀信用消除机制：阻断历史虚假梯度的因果保护 传统将整条轨迹优势 \(\hat{A}_i\) 广播至所有时间步的做法，其梯度更新必然包含前缀项： $$ \text{Prefix Credit} = \frac{\sum_{k=1}^{t-1} \gamma^{k-1} (r_{i,k} - \mu_k^r)}{\sigma_1^R} $$ 该项仅由第 \(t\) 轮动作发生之前的历史奖励决定。当两条轨迹进行样本级对比时，若轨迹 \(i\) 在前两轮因随机性获得较高分数，即使其在第 \(t\) 轮生成的提示词极度拙劣导致后续对话彻底失败，传统方法依然可能给第 \(t\) 轮赋以高于优质轨迹 \(j\) 的正向梯度。DC-GRPO 的无论 DW 还是 SW 变体，其优势构建项仅包含自当前时间步 \(t\) 起始的信息，从数学上将前缀项恒等归零，消除了历史回报对当前更新信号的因果污染，确保了策略梯度的无偏因果性与优化稳定性。
损失函数 / 训练策略¶
DC-GRPO 采用轮次复合优势驱动的 Token 级重要性采样裁剪代理目标： $$ J(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|x_i|}\sum_{t=1}^{T}\sum_{\ell=1}^{|x_{i,t}|}\left(\min\left(\rho_{i,t,\ell}\hat{A}{i,t}^{\mathrm{DC}},\,[\rho]{1-\varepsilon}^{1+\varepsilon}\hat{A})\right)\right] $$ 其中 }^{\mathrm{DC}}\right)-\beta D_{\mathrm{KL}}(\pi_\theta|\pi_{\mathrm{ref}\(\rho_{i,t,\ell} = \pi_\theta(x_{i,t,\ell} \mid x_0, \tau_{i,<t}, x_{i,t,<\ell}) / \pi_{\theta_{\mathrm{old}}}(x_{i,t,\ell} \mid x_0, \tau_{i,<t}, x_{i,t,<\ell})\) 为 Token 级重要性采样比率，\(\varepsilon = 0.2\) 为截断阈值，KL 散度系数设为 \(\beta = 0\)。为缓解部分高安全性基座攻击模型在训练初期拒绝率过高导致的稀疏奖励问题，算法支持仅需约 10 个梯度步的轻量前缀引导有监督微调（Prefilling SFT）作为可选冷启动手段。
实验关键数据¶
主实验¶
攻击模型主干采用 Qwen3-4B-Instruct，训练时以 Llama-3.1-8B-Instruct 为受害者模型、Qwen3Guard 为奖励裁判；评测阶段使用独立的 HarmBench 分类器，在 HarmBench (HB)、StrongREJECT† (SR†) 和 JailbreakBench† (JBB†) 三大测试基准上对 4 个主流受害者大模型进行五轮三采样的越狱成功率（\(\text{ASR}_5@3\), %）评测。
| 数据集 / 受害模型 | 指标 | 本文 (MJ_DW) | 本文 (MJ_SW, α=1) | 之前 SOTA (SEMA) | 之前 SOTA (TROJail) | 提升 (DW vs SEMA) |
|---|---|---|---|---|---|---|
| Llama-3.1-8B (ID) - HB | \(\text{ASR}_5@3\) | 99.50 | 97.50 | 88.50 | 84.50 | +11.00 |
| Llama-3.1-8B (ID) - SR† | \(\text{ASR}_5@3\) | 95.83 | 97.92 | 91.67 | 79.75 | +4.16 |
| Llama-3.1-8B (ID) - JBB† | \(\text{ASR}_5@3\) | 98.18 | 96.36 | 100.00 | 77.58 | -1.82 |
| Qwen2.5-7B (OOD) - HB | \(\text{ASR}_5@3\) | 100.00 | 99.50 | 87.50 | 92.00 | +12.50 |
| Qwen2.5-7B (OOD) - SR† | \(\text{ASR}_5@3\) | 100.00 | 100.00 | 93.40 | 93.87 | +6.60 |
| Qwen2.5-7B (OOD) - JBB† | \(\text{ASR}_5@3\) | 98.18 | 100.00 | 96.36 | 90.91 | +1.82 |
| Gemma-2-9B (OOD) - HB | \(\text{ASR}_5@3\) | 94.50 | 94.00 | 64.00 | 83.83 | +30.50 |
| Gemma-2-9B (OOD) - SR† | \(\text{ASR}_5@3\) | 95.49 | 93.75 | 71.88 | 77.31 | +23.61 |
| Gemma-2-9B (OOD) - JBB† | \(\text{ASR}_5@3\) | 98.18 | 98.18 | 85.45 | 72.12 | +12.73 |
| Mistral-7B (OOD) - HB | \(\text{ASR}_5@3\) | 100.00 | 99.50 | 78.00 | 93.83 | +22.00 |
| Mistral-7B (OOD) - SR† | \(\text{ASR}_5@3\) | 99.31 | 99.65 | 91.32 | 93.87 | +7.99 |
| Mistral-7B (OOD) - JBB† | \(\text{ASR}_5@3\) | 100.00 | 98.18 | 90.91 | 95.15 | +9.09 |
| 四模型全基准平均 | \(\text{ASR}_5@3\) | 98.26 | 97.88 | 86.58 | 86.23 | +11.68 |
消融实验¶
消融实验针对未来信用权重系数 \(\alpha\) 的选取以及与末轮轨迹级广播信用基线的对比进行评测（攻击模型基于 Llama-3.1-8B 训练，汇报全模型全基准的 ID 平均与 OOD 平均 \(\text{ASR}_5@3\), %）：
| 配置 | 权重模式 / 信用粒度 | ID 平均 ASR | OOD 平均 ASR | 说明 |
|---|---|---|---|---|
| MJ_DW (完整模型) | 动态自适应加权 \(w_t^I, w_t^F\) | 97.84 | 77.34 | 无额外超参，自适应 group 方差统计量 |
| MJ_SW (\(\alpha=1.0\)) | 静态加权，即时与未来均等 | 97.26 | 78.94 | 显式平衡即时突破与未来铺垫 |
| MJ_SW (\(\alpha=0.5\)) | 静态加权，折半未来信用 | 95.91 | 79.70 | 在 OOD 泛化上取得最佳攻守平衡 |
| MJ_SW (\(\alpha=0\)) | 纯即时信用（短视贪婪） | 90.58 | 73.11 | 忽略后续环境价值，ID 下滑 7.26%，OOD 下滑 5.83% |
| Last-turn 轨迹信用 | 广播末轮终结奖励 \(r_{i,T}\) | 97.24 | 95.47 | 引入严重前缀误分配，难以精准强化中间铺垫行为 |
关键发现¶
- 未来信用的引入至关重要：当静态加权消融将未来权重 \(\alpha\) 设为 0 时，平均性能发生显著滑坡，证明在多轮越狱博弈中，仅奖励当轮诱发词是严重近视的，模型必须学会为多轮上下文伪装的铺垫动作赋予合理的正向强化。
- 轮次级信用大幅加速攻防突破轮次：首轮成功步数分析显示，在所有成功案例中，MJ_DW 平均只需 1.67 轮（HarmBench 裁判）即可攻破受害者模型，远快于 SEMA 的 3.06 轮；在 Gemma-2 和 Mistral-7B 等防御强硬的模型上，优势尤为显著。
- 跨模型鲁棒性与迁移能力极强：在仅使用中等强度开源模型（Llama-3.1-8B）作为训练受害者的前提下，训练所得的攻击策略能够以超过 94% 的成功率零样本击穿未经见过的强防御模型 Gemma-2-9B。
亮点与洞察¶
- Bellman 式回报方差严格解耦：论文通过优美的代数恒等变换，将组中心化折现回报准确拆分成即时扰动与剩余未来扰动，从数学原理上为 GRPO 提供了最自然的无 Critic 多轮扩展形式。
- 彻底消除前缀信用污染：通过将时间步 \(t\) 之前的历史经验完全移出当期优势计算，彻底阻断了由于早期随机高回报导致后续错误动作被虚假放大的病态现象。
- 红队与防御对齐的双向迁移价值：DC-GRPO 建立的多轮细粒度信用分配不仅适用于越狱红队生成，其核心数学原理可无缝迁移至多轮对齐训练（如防御模型反向优化拒答策略）以及复杂 Agent 工具调用的长程规划强化学习中。
局限与展望¶
- 交互跨度评估受限于短程对话：作者在主实验中主要针对 5 轮交互窗口进行建模，在更长交互跨度（如数十轮甚至数百轮的超长程多智能体交互场景）中，未折现的未来信用方差可能会显著累积，需要进一步探究折现因子 \(\gamma < 1\) 与自适应衰减策略。
- 训练开销完全受制于在线 Rollout 采样：虽然 DC-GRPO 算法本身的优势计算耗时不足单步的 0.01%，但多轮环境在线生成耗费了超过 60% 的训练时间，提升交互环境吞吐量是规模化部署的关键瓶颈。
- 安全伦理风险：高度自适应且高效的多轮越狱策略对当前商用模型的安全系统构成了切实威胁，必须严格限制在经授权的安全防御演练与自动化红队评估环境中使用。
相关工作与启发¶
- vs SEMA: SEMA 依赖单步规划预填充并在末轮使用全局意图漂移奖励广播，缺乏对中间轮次细粒度动作的逐轮衡量；DC-GRPO 在全对话周期内持续计算轮次即时与未来信用，平均 ASR 提升了 11.68 个百分点。
- vs TROJail: TROJail 使用双层启发式中间奖励与轨迹终点联合加权，依赖精心设计的过程奖励函数；DC-GRPO 无需设计复杂的中间启发式打分器，直接借助自然的回报递推方差完成信用分配。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将 Bellman 式回报解耦与 GRPO 结合并系统化解决多轮交互信用分配
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大受害模型、3 类裁判系统、3 大标准安全基准及详尽的收敛消融
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从前缀信用误分配的数学证明到实证分析层层递进
- 价值: ⭐⭐⭐⭐⭐ 为多轮 LLM 自动化红队评估与基于 RL 的对话交互对齐策略提供了通用的关键算法范式