Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization¶
会议: NeurIPS 2026
arXiv: 2602.07764
OpenReview: https://openreview.net/forum?id=ntjuLx6iMB
论文: https://ambadkar.com/d3po
领域: 强化学习
关键词: 多目标强化学习, 偏好条件化策略, 晚期加权, 多样性正则化, 帕累托前沿
一句话总结¶
D3PO 针对偏好条件化多目标强化学习中早期标量化导致的破坏性优势抵消与表征模式坍塌两大顽疾，提出先对各目标优势独立进行 PPO 截断再应用偏好权重的晚期加权机制，并引入与偏好距离成比例的尺度化多样性正则项，以单一网络在多项高维连续控制任务上大幅刷新超体积与期望效用指标。
研究背景与动机¶
多目标强化学习（Multi-Objective Reinforcement Learning, MORL）旨在训练能够权衡多个相互冲突目标的智能体。当环境存在不可调和的矛盾目标时，系统不存在单一全局最优解，而是由一系列帕累托最优策略构成的权衡流形（Pareto front）。为了让用户在部署时根据不同需求即时调整偏好权重 \(\omega \in \Omega\)，近年来学术界广泛探索基于偏好条件化的单一通用策略网络（Single Preference-Conditioned Policy）。与维护和路由数百个离散子策略的多策略集成相比，单一连续网络在存储开销、采样效率和部署便利性上具有显著的理论优势。
然而，现存的单一偏好条件化策略在实践中极其脆弱，往往无法恢复出稠密且覆盖完全的帕累托前沿。论文深入分析发现，这一瓶颈源于两大根本性病态机理：其一是破坏性优势抵消（Destructive Advantage Cancellation）。绝大多数现有方法采用早期标量化（Early Scalarization, ES），在进入策略优化前过早将向量化奖励或优势投影为加权标量 \(\omega^\top \mathbf{A}_t\)。经验诊断表明，在连续控制基准测试中，不同目标的梯度在 36% 至 53% 的训练步中处于反向对立状态（呈现负余弦相似度），早期标量化直接抹除了 50% 至 65% 的有效优势幅度。其二是表征模式坍塌（Representational Mode Collapse）。策略网络极易忽视偏好向量的变化，退化为输出保守的平均行为，甚至在复杂高维环境下（如 Humanoid-2d）彻底收敛至单一孤立点。既有方案试图通过昂贵的事后梯度修正（如求解二次规划）来缓解冲突，却破坏了 PPO 的原生信任域性质且计算开销巨大。
本文跳出对昂贵非线性效用函数或复杂梯度手法的依赖，重新审视 Proximal Policy Optimization（PPO）与多目标标量化之间的交互机制。核心 idea：将多目标价值评估与策略优势解耦，构建多头 Critic 独立估计各目标优势，并在各目标独立进行 PPO 截断代理损失计算之后再做偏好加权（晚期加权 LSW），同时引入偏好距离成比例的尺度化动作多样性正则项（SDR），在保持单一网络高效部署的前提下彻底消除梯度提前抵消与表征模式坍塌。
方法详解¶
整体框架¶
D3PO 面向多目标马尔可夫决策过程（MOMDP），整个优化管线围绕保持各目标未失真学习信号并驱动多样性行为展开。输入为环境状态 \(s\) 与偏好权重向量 \(\omega \in \Omega := \{\omega \in \mathbb{R}_{\ge 0}^d \mid \sum_{i=1}^d \omega_i = 1\}\)，输出为单一连续动作分布策略 \(\pi_\theta(a \mid s, \omega)\)。系统首先通过多头 Critic 网络独立预测各目标的无权重状态价值向量 \(\mathbf{V}_\phi(s, \omega)\)，并基于轨迹样本计算各维度的独立广义优势估计（GAE）。随后，PPO 截断代理损失在各个目标优势流上独立计算，使其在完成信任域约束后再通过偏好向量 \(\omega\) 进行晚期加权线性组合。与此同时，系统对当前偏好进行局部高斯扰动生成对比偏好 \(\omega'\)，并通过动作分布间的 KL 散度与偏好曼哈顿距离对齐的方式施加多样性惩罚，最终联合更新策略参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境状态 s 与偏好向量 ω"] --> B["多头 Critic 价值估计<br/>解耦估计各目标标量收益 V(i)"]
A --> C["采样扰动偏好 ω'<br/>加权高斯噪声并投影至单纯形"]
B --> D["独立广义优势估计 GAE<br/>生成各目标优势 A(i)"]
D --> E["解耦 PPO 截断损失<br/>逐目标独立执行信任域截断"]
E --> F["晚期偏好加权 LSW<br/>截断稳定后应用偏好权重 ω"]
C --> G["尺度化多样性正则化 SDR<br/>对齐动作 KL 散度与偏好距离"]
F --> H["联合策略更新<br/>单网络输出连续帕累托前沿"]
G --> H关键设计¶
1. 解耦价值估计与多头 Critic：保留未加权的目标特异性信用分配 针对传统早期加权导致 Critic 丧失对单一目标精准评估的缺陷，D3PO 采用多头 Critic 架构 \(V_\phi(s, \omega) \in \mathbb{R}^d\)。前置共享特征编码层提取状态 \(s\) 与偏好向量 \(\omega\) 的联合特征，后端连接 \(d\) 个独立输出头，分别逼近对应目标 \(i\) 的无权重期望回报 \(G_t^{(i)}\)。Critic 必须显式输入 \(\omega\)，因为策略的行为分布及其产生的轨迹分布强烈依赖于偏好。在此基础上，GAE 在各个目标维度独立展开计算，生成向量化优势 \(\mathbf{A}_t = [A_t^{(1)}, \dots, A_t^{(d)}]\)，确保在进入优化器前各个维度的局部信用分配结构完好无损。
2. 晚期加权（Late-Stage Weighting, LSW）：利用 PPO 截断机制规避梯度相互抵消 针对传统早期标量化 \(\omega^\top \mathbf{A}_t\) 导致的正负优势在截断前相互抵消问题，D3PO 颠倒了标量化与截断操作的先后顺序。对于重要性采样比率 \(\rho_t(\theta) = \frac{\pi_\theta(a_t \mid s_t, \omega)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t, \omega)}\)，每个目标 \(i\) 独立计算截断代理项： $\(\mathcal{L}_{\text{clip}}^{(i)}(\theta) = \mathbb{E}_t \left[ \min\left( \rho_t(\theta) A_t^{(i)},\; \text{clip}(\rho_t(\theta), 1-\epsilon, 1+\epsilon) A_t^{(i)} \right) \right]\)$ 理论分析（Lemma F.1）表明，当重要性比率超出截断窗口（如 \(\rho_t > 1+\epsilon\)）且目标间存在冲突（如 \(A_t^{(1)} > 0\) 且 \(A_t^{(2)} < 0\)）时，早期标量化若求和为正（\(\omega^\top \mathbf{A}_t \ge 0\)），将触发整体截断导致梯度变为零，完全丢弃对目标 2 造成负面损害的惩罚信号；而晚期加权 LSW 使得目标 1 触发截断归零、目标 2 保留非零负梯度，正确惩罚损害目标 2 的动作。由此建立了理论阶层 \(\text{LSW} \succ \text{MVS} \succeq \text{ES}\)，在无需任何额外参数或二次规划的前提下利用 PPO 原生非线性分段截断抵御梯度抵消。
3. 尺度化多样性正则化（Scaled Diversity Regularization, SDR）：偏好驱动的表征模式坍塌抑制 针对单一偏好条件化策略易退化为相同输出或集中于单一平均策略的问题，D3PO 设计了与偏好空间距离强绑定的多样性正则项。对于批量内的每个偏好 \(\omega\)，通过注入高斯扰动并重新投影至单纯形生成相近偏好 \(\omega'\)。SDR 惩罚动作分布之间的 KL 散度与偏好曼哈顿距离之间的偏差： $\(\mathcal{L}_{\text{diversity}}(\theta) = \mathbb{E}_{s \sim \mathcal{B}} \left[ \left( D_{\text{KL}}(\pi_\theta(\cdot \mid s, \omega) \parallel \pi_\theta(\cdot \mid s, \omega')) - \alpha \|\omega - \omega'\|_1 \right)^2 \right]\)$ 根据 Proposition G.2，当且仅当 \(D_{\text{KL}} = \alpha \|\omega - \omega'\|_1\) 时该项达到全局最小值。一旦策略发生模式坍塌（即 \(\omega \neq \omega'\) 但 \(D_{\text{KL}} = 0\)），该项将精确施加 \(\alpha^2 \|\omega - \omega'\|_1^2 > 0\) 的正惩罚梯度，迫使策略沿单纯形连续展开分布，同时其与主优化目标的联合优化避免了在环境物理不可达区域虚构无意义策略。
损失函数 / 训练策略¶
Critic 损失函数为各目标预测误差的均方和： $\(\mathcal{L}_{\text{critic}}(\phi) = \frac{1}{d} \sum_{i=1}^d \left( V_\phi^{(i)}(s, \omega) - G^{(i)} \right)^2\)$ Actor 联合损失函数综合了晚期加权策略损失、动作熵正则与尺度化多样性损失： $\(\mathcal{L}_{\text{actor}}(\theta) = -\sum_{i=1}^d \omega_i \mathcal{L}_{\text{clip}}^{(i)}(\theta) - \beta \mathcal{H}(\pi_\theta(\cdot \mid s, \omega)) + \lambda_{\text{div}} \mathcal{L}_{\text{diversity}}(\theta)\)$ 在训练策略上，环境每次重置时重新采样偏好向量 \(\omega \sim \Omega\)。采用 Adam 优化器，学习率为 \(3 \times 10^{-4}\)，批大小为 512，划分 32 个 minibatch，折现因子 \(\gamma = 0.995\)，GAE 参数 \(\lambda = 0.95\)，PPO 截断阈值 \(\epsilon = 0.2\)。多样性超参数设为 \(\lambda_{\text{div}} = 0.01\)、\(\alpha = 1.0\)。所有连续基准严格统一步长预算（连续控制统一使用 \(5 \times 10^6\) 步，离散环境 \(2 \times 10^6\) 步），并对优势值与观测值进行标准化。
实验关键数据¶
主实验¶
在 MO-Gymnasium 连续控制基准（Hopper, Ant, Humanoid）及 9 目标建筑温控（Building-9d）上与 CAPQL、MORL/D、PG-MORL、PreCo、C-MORL 等代表性 SOTA 基准进行全面对比。评估指标包括超体积（Hypervolume, HV，越大越好）、期望效用（Expected Utility, EU，越大越好）和稀疏度（Sparsity, SP，越小越均匀）。
| 环境 | 指标 | D3PO (本文) | C-MORL (强基线) | PreCo | CAPQL | PG-MORL |
|---|---|---|---|---|---|---|
| Hopper-2d | HV (\(10^5 \uparrow\)) | 1.35 ± 0.08 | 1.18 ± 0.05 | 1.19 ± 0.10 | 1.15 ± 0.08 | 1.20 ± 0.09 |
| EU (\(10^2 \uparrow\)) | 2.48 ± 0.08 | 2.31 ± 0.05 | 2.33 ± 0.10 | 2.28 ± 0.07 | 2.34 ± 0.10 | |
| SP (\(10^2 \downarrow\)) | 0.11 ± 0.07 | 0.92 ± 0.43 | 0.49 ± 0.37 | 0.46 ± 0.10 | 5.13 ± 5.81 | |
| Hopper-3d | HV (\(10^7 \uparrow\)) | 2.20 ± 0.05 | 1.62 ± 0.13 | 1.70 ± 0.29 | 1.62 ± 0.17 | 0.63 ± 0.04 |
| EU (\(10^2 \uparrow\)) | 1.76 ± 0.02 | 1.51 ± 0.04 | 1.62 ± 0.10 | 1.58 ± 0.07 | 0.86 ± 0.04 | |
| SP (\(10^2 \downarrow\)) | 0.11 ± 0.04 | 0.32 ± 0.28 | 0.74 ± 1.22 | 6.80 ± 2.38 | 0.44 ± 0.63 | |
| Ant-2d | HV (\(10^5 \uparrow\)) | 2.88 ± 0.03 | 0.59 ± 0.02 | 1.17 ± 0.25 | 1.11 ± 0.69 | 0.35 ± 0.08 |
| EU (\(10^2 \uparrow\)) | 3.98 ± 0.34 | 1.34 ± 0.03 | 2.14 ± 0.19 | 2.16 ± 0.94 | 0.81 ± 0.23 | |
| SP (\(10^3 \downarrow\)) | 0.75 ± 0.36 | 0.13 ± 0.06 | 3.61 ± 2.13 | 0.18 ± 0.07 | 2.20 ± 3.48 | |
| Ant-3d | HV (\(10^7 \uparrow\)) | 3.65 ± 0.35 | 0.99 ± 0.04 | 0.55 ± 0.81 | 1.08 ± 0.16 | 0.29 ± 0.19 |
| EU (\(10^2 \uparrow\)) | 2.22 ± 0.11 | 1.09 ± 0.02 | 1.20 ± 0.20 | 1.36 ± 0.23 | 0.59 ± 0.17 | |
| SP (\(10^3 \downarrow\)) | 0.005 ± 0.004 | 0.01 ± 0.00 | 1.96 ± 0.79 | 0.58 ± 0.30 | 14.06 ± 19.89 | |
| Humanoid-2d | HV (\(10^5 \uparrow\)) | 4.03 ± 0.05 | 2.08 ± 0.09 | 1.98 ± 0.02 | 1.69 ± 0.21 | 0.00 ± 0.00 |
| EU (\(10^2 \uparrow\)) | 5.56 ± 0.18 | 3.54 ± 0.12 | 3.67 ± 0.02 | 3.11 ± 0.26 | -0.47 ± 0.04 | |
| SP (\(10^4 \downarrow\)) | 0.003 ± 0.002 | 0.65 ± 0.81 | 0.00 ± 0.00* | 0.00 ± 0.00* | 0.49 ± 0.21 | |
| Building-9d | HV (\(10^{31} \uparrow\)) | 7.77 ± 0.11 | 6.38 ± 0.08 | 超时 (T/O) | 4.29 ± 0.73 | 超时 (T/O) |
| EU (\(10^3 \uparrow\)) | 3.50 ± 0.003 | 3.44 ± 0.00 | 超时 (T/O) | 3.31 ± 0.06 | 超时 (T/O) | |
| SP (\(10^3 \downarrow\)) | 0.003 ± 0.001 | 1.01 ± 1.19 | 超时 (T/O) | 4.34 ± 3.72 | 超时 (T/O) |
(注：CAPQL 与 PreCo 在 Humanoid-2d 上的 SP=0 表示前沿完全坍塌为单一策略点)
消融实验¶
在受限预算（\(1.5 \times 10^6\) 步）下对晚期加权（LSW）与多样性正则化（DDPO/SDR）进行分离消融，并在不同标量化阶段（ES、MVS、LSW）验证理论层级。
| 环境与配置 | HV (\(10^5 \uparrow\)) | EU (\(10^2 \uparrow\)) | SP | 说明 |
|---|---|---|---|---|
| Humanoid-2d: Full D3PO | 3.76 ± 0.11 | 5.11 ± 0.09 | 0.003 ± 0.001 (\(10^4\)) | 完整模型，发现稠密均匀帕累托流形 |
| Humanoid-2d: D3PO \(\setminus\) LSW (即ES) | 1.50 ± 0.17 | 2.87 ± 0.22 | 0.00* (\(10^4\)) | 撤销晚期加权，HV 断崖式下跌 60%，彻底坍塌为单点 |
| Humanoid-2d: D3PO \(\setminus\) DDPO | 2.32 ± 0.05 | 3.83 ± 0.05 | 0.00* (\(10^4\)) | 撤销多样性损失，策略同样完全模式坍塌 (SP=0) |
| Humanoid-2d: MVS 标量化 | 2.67 ± 0.11 | 4.01 ± 0.24 | 0.004 ± 0.004 (\(10^4\)) | 仅做优势归一化后标量化，性能介于 ES 与 LSW 之间 |
| Ant-2d: Full D3PO | 1.91 ± 0.18 | 3.14 ± 0.21 | 0.66 ± 0.40 (\(10^3\)) | 完整模型，前沿显著延展 |
| Ant-2d: D3PO \(\setminus\) LSW | 1.53 ± 0.11 | 2.71 ± 0.13 | 0.18 ± 0.07 (\(10^3\)) | 撤销 LSW，前沿极端点覆盖不足 |
| Ant-2d: D3PO \(\setminus\) DDPO | 1.86 ± 0.07 | 3.09 ± 0.06 | 0.36 ± 0.09 (\(10^3\)) | 缺少多样性，解集密集度降低 |
| Hopper-2d: Full D3PO | 1.30 ± 0.03 | 2.47 ± 0.01 | 0.26 ± 0.31 (\(10^2\)) | 完整模型 |
| Hopper-2d: D3PO \(\setminus\) LSW | 1.23 ± 0.03 | 2.38 ± 0.05 | 0.08 ± 0.02 (\(10^2\)) | 移除 LSW 导致效用与超体积下降 |
关键发现¶
- 两模块缺一不可：在最具挑战的 Humanoid-2d 上，无论去掉 LSW 还是去掉多样性正则项，策略均退化至单一解（SP=0*），证明只有信用分配无损与显式多样性驱动协同才能稳定支撑单一网络覆盖高维前沿。
- 理论层级实测一致：实验严格印证了 \(\text{LSW} \succ \text{MVS} \succeq \text{ES}\)。MVS 虽有逐目标归一化增益，但其截断仍作用于单标量，其性能大幅落后于逐目标独立截断的 LSW。
- 超高部署与参数效率：在 Ant-2D 上，C-MORL 训练 200 个独立策略网络耗费 377 万参数（14.38 MB），而 D3PO 单一模型仅需 2.33 万参数（0.089 MB），参数量剧减 99.4%，并在 9 目标建筑控制中以单一模型无缝服务了超过 2000 个不同偏好查询。
亮点与洞察¶
- 大道至简的算法重排：没有引入复杂的二次规划、外生梯度投影或非线性效用网络，仅仅颠倒了“截断”与“加权”的运算次序，便激活了 PPO 截断机制作为天然的分段非线性保护层，以零参数开销解决了 MORL 核心顽疾。
- 目标对抗的诊断实证：首次系统量化了 MORL 中目标梯度对立的发生频率（30%–55%）与早期标量化带来的优势信号损失（50%–65%），明确指出现有方法性能受限是优化瓶颈而非表达能力不足。
- 连续偏好空间可迁移设计：基于局部扰动与曼哈顿距离约束的 \(\mathcal{L}_{\text{diversity}}\) 设计构思精巧，可作为即插即用模块推广至任何条件化策略网络（如条件扩散策略、目标导向 RL）中预防条件忽略。
局限与展望¶
- 线性标量化理论凸包约束：D3PO 本质仍运行于线性标量化框架下，受限于凸覆盖集（Convex Coverage Set），在具有严格非凸或凹陷帕累托前沿的问题上无法发现凹面区域的非支配解。
- 扰动采样的计算开销：每个训练批次需额外前向传播扰动偏好 \(\omega'\) 以计算 KL 散度，带来了约两倍的策略前向计算量（虽然仍远快于二次规划求解）。
- 未来方向：探索与广义非线性效用函数的结合机制，以及在高维图像观测与具身智能多目标任务中的扩展。
相关工作与启发¶
- vs C-MORL (ICLR 2025): C-MORL 通过拉格朗日乘子法将多目标转化为约束优化，本质仍是动态权重的早期标量化，且需维护庞大的多策略集成；D3PO 用单模型晚期加权实现了更高超体积与 99% 的参数削减。
- vs PreCo / PCRL (ICML 2025): PreCo 通过事后梯度手术（如 CAGrad）修正冲突，每步需解复杂的二次规划，计算开销极大；D3PO 依靠 PPO 原生截断机制实现组件级保真，轻量且端到端稳定。
- vs CAPQL (ICLR 2023): CAPQL 采用强凹奖励增广的单模型 SAC，但在多目标冲突时仍存在严重的早期标量化损失与模式坍塌；D3PO 的解耦流水线和多样性正则彻底解决了前沿萎缩问题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆性揭示早期标量化的梯度消融本质，提出简洁优美的晚期加权与理论层级
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2-9 目标连续与离散环境、详细梯度冲突诊断与严谨消融
- 写作质量: ⭐⭐⭐⭐⭐ 理论证明完整，问题剖析透彻，论证逻辑环环相扣
- 价值: ⭐⭐⭐⭐⭐ 为实用单策略多目标 RL 确立了新的极简基准范式