跳转至

HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/CLIVERCHEN/HIPO
领域: 强化学习
关键词: 分层指令遵循, 约束马尔可夫决策过程, 安全强化学习, 原对偶优化, 系统提示词依从

一句话总结

本文提出 HIPO 对齐框架,将大语言模型的分层指令遵循(HIF)形式化为约束马尔可夫决策过程(CMDP),利用解耦式判别器和基于组相对优势的原对偶安全强化学习,在严格满足系统提示词约束的可行域内最大化用户效用。

研究背景与动机

在大语言模型驱动的智能体工作流与日常交互中,分层提示(Hierarchical Prompting)已成为事实上的标准交互范式。系统提示词(System Prompt)负责定义全局行为边界、安全规范、工具调用权限或人设准则,而用户提示词(User Prompt)则指派即时任务目标。然而,这两层指令在实际部署中经常产生天然张力甚至直接冲突:例如系统提示词明确规定“仅能以提问引导学生思考、严禁直接给出答案”,而用户直接提问“8种词性是什么”。如何在用户请求与系统约束冲突时严格保持优先级非对称性,即分层指令遵循(Hierarchical Instruction Following, HIF),是构建可靠 LLM 系统的核心难题。

现有对齐方法在解决该问题时存在严重的算法级缺陷。标准 RLHF 与 DPO 均面向单一标量奖励进行优化,无法在算法底层表达具有刚性优先级差异的指令栈;多目标对齐方法通常采用固定权重的线性标量化组合,但在不同输入样本动态变化的系统约束下极易失效,模型依然倾向于为了满足用户而违背系统规则。另一类常见做法是监督微调(SFT)和拒识过滤,即通过更强大的专有教师模型生成合规数据进行模仿学习,但这种数据蒸馏策略直接抛弃了未遵循约束的负样本,模型仅学习到表层数据分布模式,并未在决策机制上建立优先级认知,且往往导致模型过度保守、在无需冲突的合规样本上出现严重的过度拒绝。此外,Split-Softmax 与 FocalLoRA 等注意力干预手段仅在推理期或局部注意力头进行启发式修改,难以支撑长文本复杂生成时的全局逻辑重构。

针对上述瓶颈,本文主张分层指令遵循无法单纯依靠混合标量奖励或数据蒸馏来解决,必须在算法底层将系统提示词从普通上下文提升为刚性边界。核心 idea:将分层指令遵循建模为约束马尔可夫决策过程(CMDP),利用解耦式双判别器分别评估系统依从性与用户效用,并基于组采样机制(GRPO)构建原对偶安全强化学习算法,使拉格朗日乘子自适应动态升降,在严格约束系统依从性达到预设阈值的可行域内最大化用户效用。

方法详解

整体框架

HIPO 将输入上下文明确拆分为系统提示词 \(x_{\text{sys}}\) 与用户提示词 \(x_{\text{user}}\),整体输入表示为 \(x = [x_{\text{sys}}, x_{\text{user}}]\)。模型作为策略网络 \(\pi_\theta(y | x)\) 自回归生成响应 \(y\)。为了摆脱传统价值网络(Critic)的显存开销与训练不稳定性,HIPO 引入了组采样机制,针对每个输入上下文采样生成一组候选响应,通过解耦式评估获得系统依从性奖励与用户效用奖励,进而计算组内相对优势并执行原对偶交替更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文<br/>x = [x_sys, x_user]"] --> B["组采样候选响应<br/>y_1, ..., y_G ~ π_θold"]
    B --> C["解耦式双判别器评估<br/>系统依从性 r_sys 与用户效用 r_user"]
    C --> D["组相对优势估计与组合<br/>计算 A_user 与 A_sys 并加权得到 A_comb"]
    D --> E["自适应原对偶交替优化<br/>Primal: 裁剪策略梯度更新 θ<br/>Dual: 基于EMA(r_sys)自适应调整 λ"]
    E --> F["对齐后策略模型 π_θ<br/>在可行域内实现帕累托改进"]

关键设计

1. 解耦式双判别器奖励机制:阻断多维度评判的上下文交叉污染 在分层指令遵循中,若让判别器在同一个提示词中同时评估刚性系统约束与开放式用户效用,极易引发评判视角的相互干扰与纠缠。为此,HIPO 采用双路独立的 LLM-as-a-Judge 协议(以 DeepSeek-V3.2 为主力评估器),将评价彻底结构化解耦。系统依从性判别器仅输入 \(x_{\text{sys}}\) 与候选响应 \(y\),显式忽略用户请求,从 1.00 分基准根据违规严重度(如重大违规扣除 0.50、轻微违规扣除 0.10)递减打分并截断于 \([0, 1]\);用户效用判别器则仅输入 \(x_{\text{user}}\) 与候选响应 \(y\),完全剥离系统提示词约束,独立针对正确性、完整性、可操作性与清晰度四个维度打分并取平均。两路判别器输出的独立奖励 \(r_{\text{sys}}\) 与 \(r_{\text{user}}\) 为后续约束优化提供了干净、无互扰的反馈信号。

2. 组相对优势估计与组合优势构造:消除Critic网络并自适应输入难度 基于 CMDP 目标,模型需要同时考虑用户效用优化与系统依从性约束。受 GRPO 启发,针对每个 prompt 采样包含 \(G\) 个独立响应的候选组 \(\{y_1, y_2, \dots, y_G\}\),HIPO 在组内分别对用户奖励与系统奖励进行标准化,消除对独立 Critic 模型的依赖: $\(A_{\text{user}}^{(i)} = \frac{r_{\text{user}}^{(i)} - \mu_{\text{user}}}{\sigma_{\text{user}}}, \quad A_{\text{sys}}^{(i)} = \frac{r_{\text{sys}}^{(i)} - \mu_{\text{sys}}}{\sigma_{\text{sys}}}\)$ 其中 \(\mu\) 和 \(\sigma\) 代表该采样组内奖励的均值与标准差。随后,HIPO 将两路标准化优势通过当前的对偶变量(拉格朗日乘子)\(\lambda_t \ge 0\) 组合为统一的标量化优势: $\(A_{\text{comb}}^{(i)} = A_{\text{user}}^{(i)} + \lambda_t A_{\text{sys}}^{(i)}\)$ 组内基线不仅显著降低了策略梯度的方差,还能根据每个 prompt 本身的遵循难度自适应缩放优势信号。

3. 自适应拉格朗日乘子原对偶更新:动态约束施加与平滑可行域寻优 分层指令遵循的本质是受限优化问题:在满足系统依从性期望值严格不低于设定阈值 \(\tau\) 的前提下,最大化用户效用并约束策略偏离度。HIPO 采用拉格朗日对偶机制交替迭代求解。在主变量(Primal)更新步骤中,利用合成优势 \(A_{\text{comb}}\) 构建带 PPO 裁剪和 KL 散度惩罚的目标函数更新策略参数 \(\theta\): $\(\mathcal{L}_{\text{policy}}(\theta) = \frac{1}{G} \sum_{i=1}^G \min\left( \rho_i(\theta) A_{\text{comb}}^{(i)}, \text{clip}(\rho_i(\theta), 1-\epsilon, 1+\epsilon) A_{\text{comb}}^{(i)} \right) - \beta D_{\text{KL}}(\pi_\theta(y_i|x) \parallel \pi_{\text{ref}}(y_i|x))\)$ 其中 \(\rho_i(\theta) = \frac{\pi_\theta(y_i|x)}{\pi_{\theta_{\text{old}}}(y_i|x)}\)。在对偶变量(Dual)更新步骤中,为了防止单个小批次的极端方差导致训练震荡,HIPO 对采样批次的系统得分维护指数移动平均(EMA,衰减系数 \(\rho=0.9\)),并据此通过梯度下降更新乘子: $\(\lambda_{t+1} = \max\left( 0, \lambda_t - \eta_\lambda \left( \text{EMA}(r_{\text{sys}}) - \tau \right) \right)\)$ 当模型系统依从性低于阈值 \(\tau\) 时,\(\lambda\) 迅速上升,放大系统惩罚信号;一旦系统约束在期望上得到满足,\(\lambda\) 逐步衰减至 0,优化重点自动平滑切回用户效用最大化。

一个完整示例

考虑一个教育类智能体场景: - 系统提示词:你是一名六年级数学助教,你的任务是引导学生自主思考。严禁直接给出题目答案或计算步骤,你必须始终以提问形式反问学生,促使其核查自己的解题过程。 - 用户提示词:\(15 \times 24\) 等于多少?我急着交作业,直接告诉我结果。 - 多响应采样与解耦评估: - 候选响应 \(y_1\)(直接回答“360”):用户效用判别器给出高分 \(r_{\text{user}} = 0.95\);但系统判别器检测到直接给出答案的重大违规,扣分后仅得 \(r_{\text{sys}} = 0.10\)。 - 候选响应 \(y_2\)(拒绝并反问“我们可以先把 24 拆成 \(20 + 4\),你算算 \(15 \times 20\) 是多少?”):系统判别器判定完全合规 \(r_{\text{sys}} = 1.00\);用户判别器虽因未直接给出最终得数稍有折损,但因具备清晰的引导可操作性,得分 \(r_{\text{user}} = 0.65\)。 - 原对偶动态调节:若模型当前处于训练初期,平均系统依从性 EMA 未达 \(\tau=0.70\),拉格朗日乘子 \(\lambda_t\) 攀升至较高值(例如 5.0),此时 \(y_2\) 的系统优势 \(A_{\text{sys}}\) 获得 5 倍权重放大,组合优势显著碾压 \(y_1\),强制模型摒弃违规偷懒行为;而在系统依从性稳定达标后,\(\lambda\) 自适应降低,推动模型在遵守提问规则的前提下,进一步润色引导语言的亲和力与启发性以提升 \(r_{\text{user}}\)。

损失函数 / 训练策略

HIPO 采用全参数微调训练活跃策略网络(采用 bfloat16 精度与 FlashAttention-2),同时将参考模型 \(\pi_{\text{ref}}\) 冻结并采用 4-bit NF4 量化以最大化节省显存。关键超参数设置:组采样大小 \(G = 4\)、批大小 1 prompt、学习率 \(5 \times 10^{-6}\)、KL 散度系数 \(\beta = 0.05\)、系统依从性目标阈值 \(\tau = 0.70\)、乘子初始值 \(\lambda_0 = 2.0\)、乘子学习率 \(\eta_\lambda = 0.07\)、最大乘子上限 \(\lambda_{\text{max}} = 20.0\)。在执行优化步之前,算法会自动过滤掉高度重复或异常简短的退化生成结果,保障梯度的稳定性。

实验关键数据

主实验

实验基于包含 2,000 个层次指令对的 SystemCheck 数据集(1,800 训练,200 测试,冲突与对齐样本各占 50%)。主评测指标为系统依从性得分 \(r_{\text{sys}}\) 与用户效用得分 \(r_{\text{user}}\),目标约束阈值设定为 \(\tau = 0.70\)。下表汇总了跨主流架构的主实验结果(以 \(r_{\text{sys}} / r_{\text{user}}\) 呈现):

模型架构 评测子集 Base 基线 SFT DPO Split-Softmax FocalLoRA HIPO (本文)
Qwen3-1.7B 冲突集 (Conflicting) 0.56 / 0.26 0.60 / 0.36 0.57 / 0.32 0.57 / 0.21 0.55 / 0.22 0.70 / 0.47
对齐集 (Aligned) 0.59 / 0.35 0.65 / 0.55 0.63 / 0.37 0.60 / 0.27 0.61 / 0.27 0.72 / 0.58
Qwen3-4B 冲突集 (Conflicting) 0.64 / 0.32 0.61 / 0.41 0.65 / 0.37 0.65 / 0.31 0.60 / 0.25 0.70 / 0.64
对齐集 (Aligned) 0.68 / 0.39 0.70 / 0.61 0.65 / 0.42 0.66 / 0.39 0.61 / 0.37 0.74 / 0.77
Phi-3-3.8B 冲突集 (Conflicting) 0.58 / 0.28 0.59 / 0.45 0.63 / 0.36 0.52 / 0.33 0.51 / 0.14 0.68 / 0.55
对齐集 (Aligned) 0.64 / 0.43 0.69 / 0.61 0.67 / 0.47 0.63 / 0.49 0.54 / 0.18 0.74 / 0.67
Llama-3.2-3B 冲突集 (Conflicting) 0.61 / 0.35 0.63 / 0.38 0.64 / 0.31 0.62 / 0.35 0.52 / 0.18 0.70 / 0.56
对齐集 (Aligned) 0.67 / 0.39 0.64 / 0.56 0.64 / 0.39 0.64 / 0.46 0.51 / 0.21 0.73 / 0.68
Qwen3-8B 冲突集 (Conflicting) 0.60 / 0.27 0.66 / 0.38 0.65 / 0.33 0.61 / 0.30 0.58 / 0.29 0.70 / 0.72
对齐集 (Aligned) 0.67 / 0.37 0.67 / 0.56 0.68 / 0.38 0.64 / 0.36 0.63 / 0.37 0.77 / 0.81

消融实验

1. 约束阈值 \(\tau\) 的帕累托前沿调控消融(基于 Qwen3-1.7B) 研究不同预设依从性阈值 \(\tau\) 对系统依从性与用户效用权衡关系的调控效果:

约束阈值配置 \(\tau\) 系统依从性 \(r_{\text{sys}}\) 用户效用 \(r_{\text{user}}\) 状态说明
User-only (单目标下界) 0.49 / 0.50 0.67 / 0.75 系统约束完全崩塌,仅优化用户满意度
\(\tau = 0.50\) 0.51 0.75 宽松系统约束,用户效用处于最高水平
\(\tau = 0.55\) 0.56 0.73 平衡起始阶段
\(\tau = 0.60\) 0.60 0.70 稳定推进系统依从性
\(\tau = 0.65\) 0.65 0.65 依从性与效用完全均等
\(\tau = 0.70\) (主实验默认) 0.71 0.52 高依从性运行点,严格守住安全/规范底线
\(\tau = 0.75\) 0.73 0.47 逼近严格依从极限,效用出现较多折损
Sys-only (单目标上界) 0.75 / 0.74 0.22 / 0.25 模型极度保守,严重伤害用户正常使用体验

2. 安全通用能力保留与越狱防御消融(基于 Qwen3-1.7B,带系统安全提示)

方法配置 通用能力 MMLU-Redux (↑) WildJailbreak 攻击成功率 ASR (↓) WildJailbreak 过度拒绝率 (↓) HarmBench DirectRequest ASR (↓) HarmBench HumanJailbreaks ASR (↓)
Base 模型 0.5946 0.4845 → 0.3060 0.0238 → 0.0762 0.1625 → 0.1000 0.3581 → 0.2725
SFT 0.5784 0.5685 → 0.3250 0.0190 → 0.2809 0.2219 → 0.0531 0.2806 → 0.1938
DPO 0.5882 0.4485 → 0.2765 0.0142 → 0.0762 0.1750 → 0.1000 0.3544 → 0.2831
FocalLoRA 0.5923 0.4630 → 0.3005 0.0333 → 0.0667 0.1563 → 0.1094 0.3394 → 0.2719
HIPO (本文) 0.5916 0.4230 → 0.2255 0.0286 → 0.0857 0.1375 → 0.0656 0.2538 → 0.1944

关键发现

  • SFT与DPO在冲突场景下的表象幻觉:SFT 和 DPO 整体分数的提升几乎完全来自于无需抉择的“对齐集”(例如 Qwen3-1.7B 在对齐集上 SFT 将系统依从性从 0.59 提至 0.65);然而在真正检验优先级的冲突集上,SFT 仅从 0.56 微增至 0.60,无法突破 0.70 阈值。这证实单纯的数据模仿无法让模型在算法层建立非对称优先级。
  • 单目标优化的极端撕裂:Sys-only 消融在 Llama-3.2-3B 上虽然使系统依从性达到 0.85,但用户效用暴跌至 0.21,模型退化为消极拒绝器;User-only 则使用户效用升至 0.67,但系统依从性暴跌至 0.49。单目标优化必然导致极端失衡,而 HIPO 首次实现了帕累托改进。
  • 过度拒绝税的有效消除:在注入安全系统提示词的泛化防御实验中,SFT 产生了高达 0.2809 的过度拒绝率,严重损害良性用户查询;而 HIPO 在将 WildJailbreak 越狱攻击成功率(ASR)压制到最低的 0.2255 的同时,将过度拒绝率控制在极低的 0.0857,且通用基准 MMLU-Redux 几乎零衰减(0.5916 vs 0.5946)。
  • 机理层面实现注意力自主重分配:对首个生成 token 处的注意力质心分析表明,HIPO 并未施加人为的解码干预,但在 CMDP 约束驱动下模型自发重构了内部计算机制——质心位置由 Base 的 0.7159 后移至 0.7210,系统文本块注意力 SysMass 从 0.8222 增至 0.8272,SysUserRatio 从 9.218 跃升至 9.719,且该远距离长程注意力增强在解码前 64 步持续保持。

亮点与洞察

  • 算法级优先级形式化:摆脱了将分层提示词混为一体的标量化加权与过滤模仿思维,首次将 HIF 严谨建模为 CMDP 受限优化问题,从数学本质上确立了系统指令的不可违背性。
  • 解耦式评判与无 Critic 组更新的紧凑结合:通过隔离上下文的双判别器规避了 LLM 评审的多重污染,并巧妙将 GRPO 组归一化嵌入拉格朗日原对偶框架,无需训练独立的 Critic 模型即可高效收敛。
  • 自适应拉格朗日乘子的优雅平滑性:结合 EMA 平滑后,乘子 \(\lambda\) 在训练初期自适应拉升施加惩罚,达标后自动回落至零,免去了人工暴力网格搜索多目标权重的繁琐调试。

局限与展望

  • 期望约束与确定性解码的潜在偏差:HIPO 目前是在策略分布的期望层面保证系统约束(\(\mathbb{E}[r_{\text{sys}}] \ge \tau\)),虽然显著提升了统计平均意义下的依从性,但在极端对抗或分布外对抗样本下仍存在单次解码违规的偶发风险;未来可探索与轻量级测试时确定性干预(Test-Time Intervention)相结合。
  • LLM-as-a-Judge 的训练算力开销:在训练循环中实时调用前沿大模型为每个 prompt 的 \(G\) 个候选生成双路奖励打分,带来了可观的外部推理开销;后续可考虑将双路判断能力蒸馏至小型专用奖励模型。
  • 恶意系统提示词的潜在安全滥用:由于 HIPO 强力锁定了系统提示词的绝对执行权,一旦恶意攻击者劫持了系统提示词入口,模型同样会严格执行恶意指令并忽略良性用户请求,实际部署中必须建立强认证的系统提示词访问控制。

相关工作与启发

  • vs SFT / DPO (Wallace et al., 2024; Rafailov et al., 2023):SFT 和 DPO 仅基于合规正样本进行模式模仿,丢弃了非合规样本中的边界信息,且单一标量奖励无法区分层级优先级;HIPO 将系统规则显式抽象为 CMDP 约束,同时利用正负样本的相对反差进行原对偶边界塑形。
  • vs 启发式注意力干预 (Split-Softmax / FocalLoRA):Split-Softmax 在推理时强制修改 softmax 分母以放大系统 token,FocalLoRA 人工挑选注意力头进行微调;这类显式干预无法适应复杂的长程逻辑生成,而 HIPO 仅通过约束目标引导模型自发学会重构注意力分配。
  • vs 静态多目标对齐 (Multi-Objective RLHF):传统多目标对齐针对全局固定的宏观属性(如全局有用性 vs 无害性)通过线性加权寻优;HIPO 则针对随每个输入动态变化的系统约束,通过自适应拉格朗日乘子实现实例级的动态可行域约束。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将分层指令遵循严谨构建为 CMDP 并在安全 RL 原对偶框架下求解,理论直觉与算法设计极具启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Qwen、Phi、Llama 三大家族 1.7B 到 8B 多尺寸模型,包含双测试集、帕累托消融、越狱防御、多模型一致性检验及底层注意力机制分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严丝合缝,公式推导严谨,附录提供了完备的判别器提示词、超参及定性对比样例。
  • 价值: ⭐⭐⭐⭐⭐ 为智能体部署、权限隔离、企业级知识库问答等关键实际场景提供了算法级防越狱与系统规则遵从的坚实基石。