Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion¶

会议: NeurIPS 2026
arXiv: 2605.11679
代码: https://github.com/Shiying-Huang/MORA-MPA
领域: 安全
关键词: 大语言模型对齐, 多目标偏好对齐, 安全与有用性权衡, 偏好维度扩展, 自博弈数据合成

一句话总结¶

本文揭示了大语言模型多目标偏好对齐中的“安全-有用性”零和博弈瓶颈根源在于单维度 Prompt 本身，并提出了基于自博弈与意图融合的 MORA 框架，通过偏好维度扩展突破了固有帕累托前沿。

研究背景与动机¶

在大语言模型（LLM）的后训练对齐中，兼顾有用性（Helpfulness）、无害性（Harmlessness/Safety）与真实性（Truthfulness）等相互冲突的人类偏好至关重要。传统的直接偏好优化（DPO）及其变体在优化单一目标时表现优异，但面对多目标偏好对齐（Multi-Preference Alignment, MPA）时，往往会引发严重的对齐税（Alignment Tax）——过分强化安全性往往导致模型频繁调用低信息的拒答模板，使有用性急剧退化；反之，一味追求有用性则会冲垮安全边界。

既有的多目标对齐工作主要从三个层面进行弥合：训练阶段的数据配比与动态损失加权、参数层面的模型权重插值与融合（如 Model Soup、Knots），以及推理阶段的激活向量操纵（Activation Steering）。然而，这些方法本质上都属于对既有单意图数据分布的被动妥协。作者通过大规模拒绝采样扩展模型 Rollout（Pass@16 到 Pass@64）并进行多维奖励剖析，发现了一个根本症结：单维度 Prompt 本身在内在奖励空间上锁死了潜在的上限。在纯安全提示词下，即便模型生成多达 64 个候选响应，其有用性得分超过 30% 仍被锁定在最低的 1 分，扩展采样量根本无法注入缺失的跨维度多样性。

针对这一本质瓶颈，研究者不再拘泥于参数空间或算法层面的被动调和，而是转向对齐数据本身的维度重构。既然单意图输入限制了高维奖励的表达空间，就必须主动扩展 Prompt 的内在偏好维度。核心 idea：多目标对齐冲突源于单维度 Prompt 的奖励表达局限，通过挖掘单意图“硬锚点”并融合互补意图生成高维对抗 Prompt，结合自博弈与最大间隔选择构建联合偏好对，从根本上打破安全与有用性的天花板。

方法详解¶

整体框架¶

MORA（Multi-Objective Reward Assimilation）是一个基于自博弈与意图融合的主动式偏好维度扩展流水线。整个系统分为五个紧密衔接的阶段：目标挖掘（Target Mining）、意图融合（Intent Fusion）、自博弈生成与多目标约束（Self-Play Rollout & Multi-Objective Constraints）、最大间隔选择（Max-Margin Selection）以及联合目标 DPO 偏好对构建（Joint-Objective DPO Pairing）。

整个流程首先通过预采样识别出在次要维度上被严重压制的单意图“硬锚点”提示词，利用生成器 LLM 将其与互补意图拼接重写为多意图变体；随后策略模型自主生成多个 Rollout，经过多维奖励模型联合过滤与最大间隔判别，筛选出处于决策边界上的最优提示词与正负偏好对，最终用于多目标 DPO 训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目标指令池<br/>（如纯安全/有用性数据集）"] --> B["目标挖掘：定位单维度硬锚点"]
    B --> C["意图融合：多意图变体重写"]
    C --> D["自博弈与多目标约束过滤"]
    D --> E["最大间隔选择：锁定边界提示词"]
    E --> F["联合目标偏好对构建与 DPO 训练"]

关键设计¶

1. 目标挖掘：定位单维度硬锚点 传统数据筛选往往直接剔除低质量样本，但无法解决单意图数据引发的偏好倾斜。MORA 首先通过预采样定位导致对齐税的根源提示词。给定指令分布 $\mathcal{D}$，使用目标策略 $\pi_\theta$ 生成响应 $y$，并通过受压制维度的奖励模型（如有用性奖励 $r_H$）评估。将期望奖励低于设定阈值 $\tau$（文中设为 $\tau < 3.5$）的单意图提示词定义为硬锚点集 $\mathcal{A}_{hard}$： $$\mathcal{A}_{hard} = \left\{ x \in \mathcal{D} \mid \mathbb{E}_{y \sim \pi_\theta(\cdot|x)}[r_H(x, y)] \le \tau \right\}$$ 这些硬锚点正是导致模型被迫采取简单拒答、丧失有用性表达的症结所在。

2. 意图融合：多意图变体重写 单纯依赖硬锚点会把策略限制在狭窄的单维空间。MORA 从互补意图分布 $\mathcal{D}_{comp}$ 中随机抽取互补查询 $x_{comp}$，利用生成模型 $G$ 将硬锚点 $x_h \in \mathcal{A}_{hard}$ 与 $x_{comp}$ 进行特征融合，自然合成包含冲突意图的 $K$ 个多维度变体集 $\mathcal{V}(x_h) = \{v_1, \dots, v_K\}$（实验中取 $K=4$）。例如，将一个涉及潜在危险化学品查询的安全锚点与科学学术探究的有用性意图相结合，迫使模型在维持安全底线的同时必须给出结构化的高质量合理解答，从而打破提示词维度的单一性。

3. 自博弈与多目标约束过滤 为了让模型自主探索高维帕累托前沿，MORA 引入了自博弈机制。策略模型 $\pi_\theta$ 针对每个变体 $v \in \mathcal{V}(x_h)$ 独立采样 $N$ 个响应（$N=8$），构建响应池 $\mathcal{Y}_v$。这些响应由 $n$ 个相互冲突维度的独立奖励模型（如安全判别模型 Llama-Guard 与有用性奖励模型 Skywork-Reward）严格审查。一个生成的 Prompt 变体 $v$ 只有在其响应池 $\mathcal{Y}_v$ 表现出跨维度的行为多样性（即不能是全安全或全不安全）且兼具对抗张力时才被保留，彻底排除了平庸或非对抗性的变体。

4. 最大间隔选择：锁定边界提示词 为了防止在训练中出现维度磨损，MORA 精确寻找位于多维决策边界上的提示词。定义联合约束指示器 $\mathcal{C}_{-k}(v, y) \in \{0, 1\}$，表示除目标维度 $k$ 之外的其余 $n-1$ 个维度是否均满足通过原则。在产生极化响应的变体中，计算目标维度 $k$ 上的奖励间隔： $$\mathcal{M}_k(v) = \max_{y \in \mathcal{Y}_v \mid \mathcal{C}_{-k}(v, y) = 1} r_k(v, y) - \min_{y \in \mathcal{Y}_v \mid \mathcal{C}_{-k}(v, y) = 0} r_k(v, y)$$ 严格选取使该间隔最大化的变体 $v^* = \arg\max_{v \in \mathcal{V}(x_h)} \mathcal{M}_k(v)$ 作为最优训练提示词。

5. 联合目标偏好对构建与 DPO 训练 在最优变体 $v^*$ 的响应池中，胜出响应 $y_w$ 与落选响应 $y_l$ 分别取自满足其他约束的前提下目标奖励最高者，以及违反其他约束且目标奖励最低者： $$y_w = \arg\max_{y \in \mathcal{Y}_{v^*} \mid \mathcal{C}_{-k}(v^*, y) = 1} r_k(v^*, y), \quad y_l = \arg\min_{y \in \mathcal{Y}_{v^*} \mid \mathcal{C}_{-k}(v^*, y) = 0} r_k(v^*, y)$$ 由此生成的偏好三元组 $(v^*, y_w, y_l)$ 同时包含了跨维度的正向奖励引导与负向越界惩罚，最终通过标准 DPO 损失进行优化，引导模型参数向帕累托最优前沿逼近。

损失函数 / 训练策略¶

MORA 生成的高维偏好对通过标准 DPO 损失函数进行端到端微调。实验基于 8 张 NVIDIA 80GB A100 GPU，采用 LoRA 架构进行参数高效微调（rank = 16, alpha = 16, dropout = 0.01），优化器采用 AdamW 并搭配余弦学习率衰减（learning rate = 1e-4, warmup ratio = 0.1, weight decay = 0.05）。对于 SafeRLHF 数据集序列长度限制为 2048，对于 UltraFeedback 与 Helpsteer2 限制为 4096。

实验关键数据¶

主实验¶

在 LLaMA-3-SFT 与 Mistral-7B-SFT 骨干模型上，涵盖有用性（HelpSteer2 / UltraFeedback 评测胜率）、无害性（AdvBench 无害率）与真实性（TruthfulQA MC2）的三目标序贯偏好对齐测试中，MORA 显著超越了算法约束类（MODPO、SPO、OrthAlign）、数据筛选类（RSDPO）以及模型融合类（Soups、Knots、TSV-M）基线。

模型	方法	无害率 (%) ↑	有用性胜率 (%) ↑	真实性 MC2 (%) ↑	平均综合得分 (%) ↑
LLaMA-3 (HelpSteer2)	SFT 基线	46.73	50.00	53.41	50.04
LLaMA-3 (HelpSteer2)	DPO Baseline	51.92	72.91	66.50	63.78
LLaMA-3 (HelpSteer2)	MODPO (ACL 2024)	70.96	69.44	62.08	67.49
LLaMA-3 (HelpSteer2)	SPO (AAAI 2025)	66.15	68.24	62.01	65.46
LLaMA-3 (HelpSteer2)	RSDPO (NAACL 2024)	75.57	70.80	63.40	69.92
LLaMA-3 (HelpSteer2)	OrthAlign (ICLR 2026)	91.34	68.83	67.69	75.95
LLaMA-3 (HelpSteer2)	MORA (本文)	99.86	72.54	71.01	81.13
Mistral-7B (HelpSteer2)	SFT 基线	20.19	26.83	43.03	30.01
Mistral-7B (HelpSteer2)	OrthAlign (ICLR 2026)	88.12	67.08	65.34	73.51
Mistral-7B (HelpSteer2)	MORA (本文)	90.00	82.11	66.01	79.37

同时，在 SafeRLHF 与 UltraFeedback 混合数据的双目标同步对齐测试中，MORA 同样展现出突破帕累托前沿的优越性：

方法	无害率 (%) ↑	有用性胜率 (%) ↑	平均得分 (%) ↑
SFT	46.73	50.00	48.73
DPO-Soups	60.38	67.32	63.85
MODPO	69.42	75.03	72.23
MO-ODPO	95.00	69.06	82.03
RSDPO-W	94.03	70.06	82.04
MORA (本文)	96.54	79.13	86.67

消融实验¶

在序贯对齐场景下，固定基础安全数据 SafeRLHF-10k，逐步引入不同规模的 MORA 合成多意图数据（0 到 5,000 条），评估模型在安全与有用性维度的权衡演变动态：

合成多意图数据规模	无害率 (%) ↑	有用性胜率 (%) ↑	核心观察说明
0 条 (Baseline)	~56%	~72%	典型对齐税：缺乏多维数据导致严重偏科
1,000 条	>97.0%	~66%	安全率极速跃升并稳固在安全阈值之上
3,000 条	>97.5%	~70%	维持无害性的同时有用性胜率稳步回升
5,000 条	>97.5%	~73%	彻底突破对齐天花板，实现安全与有用性双赢

此外，在训练顺序的稳健性消融中，不管是“无害→有用”还是“有用→无害”，MORA 分别取得了 86.25% 与 82.09% 的平均得分，均大幅领先传统 DPO 的 64.41% 与 68.72%，证明其对优化顺序高度鲁棒。

关键发现¶

单纯增加 Rollout 采样量无法解决偏好冲突：在纯安全提示词下，采样数从 16 扩充至 64 时，模型有用性得分为最低档 1 分的比例始终超过 30%，表明单意图 Prompt 锁死了潜在奖励空间。
MORA 数据合成有效纠正了奖励分布扭曲：原安全数据中高有用性响应的奖励分布严重向左偏移（遭受严重惩罚），而 MORA 多意图提示词使得奖励分布整体平滑且正态化，消除了对高有用性响应的过度惩罚。
仅需 5,856 条多意图合成数据替换训练集中的纯安全数据，即可使 LLaMA-3 的综合得分从 75.95%（最强基线 OrthAlign）提升至 81.13%，平均奖励增益达 4.6% 以上。

亮点与洞察¶

根因洞察明确：首次从多维奖励分布与 Prompt 内在维度的视角切入多目标对齐，揭示了“对齐税不是优化算法单方面的锅，而是单意图 Prompt 限制了奖励上限”这一深刻洞察。
最大间隔边界选择极其敏锐：通过联合约束指示器 $\mathcal{C}_{-k}$ 筛选恰好处在跨目标决策边界上的多意图变体，保证了生成的正负对具备极强的判别梯度，避免了无效训练。
即插即用泛化性强：作为一种数据中心式的对齐增强方案，MORA 不需要修改复杂的损失结构或进行精细的梯度投影，与现有的标准 DPO 框架完全兼容，且能直接拓展至三目标（安全/有用/真实）对齐。

局限与展望¶

模态局限：目前 MORA 仅在纯文本大语言模型上完成验证，该多维意图重写与偏好扩展范式能否直接迁移到图文/音频等多模态（MLLM）对齐场景仍未探索。
生成器与奖励模型依赖：流水线高度依赖外部生成器重写 Prompt 以及判别模型（Llama-Guard 和 Skywork-Reward）的质量，判别器本身的偏差可能被引入到合成的偏好对中。
极端长尾安全意图融合的难度：对于部分严重违法或极端恶意的敏感 Prompt，如何自然且合规地融合互补意图仍存在语义冲突与工程挑战。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统在参数或梯度层面调和多目标的视角，首次从 Prompt 维度局限性角度突破帕累托天花板，思路极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双目标、三目标、序贯与同步等多种对齐设置，横跨 8+ 经典基线与 4 个基准，消融和分布分析十分详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，从问题发现、理论建模、流水线设计到实验验证层层递进，概念表述清晰。
价值: ⭐⭐⭐⭐⭐ 提出的数据级多意图合成流水线可无缝集成到现有 LLM 后训练对齐流程中，实用价值巨大。