跳转至

Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation Learning

会议: NeurIPS 2026
arXiv: 2605.12000
OpenReview: https://openreview.net/forum?id=VBFoBmDCQY
代码: https://github.com/ziyadsheeba/mabc.git
领域: 强化学习
关键词: 多目标模仿学习、行为克隆、帕累托前沿、MOMDP、极小化极大最优

一句话总结

针对多目标决策中专家演示相互冲突导致朴素池化行为克隆退化为受支配劣质策略的问题，提出多输出增广行为克隆（MA-BC），通过隔离分歧状态、池化共享状态，在理论上证明达到了极小化极大最优统计收敛率并严格保障策略的帕累托最优性。

研究背景与动机

现实中复杂序列决策任务（如大语言模型基于人类反馈的微调、多任务机器人操作以及自动驾驶轨迹规划）所依赖的专家演示数据，很少源自单一且同质的专家。相反，这些演示通常采集自具有不同偏好、不同价值取向的多元化人类或算法操作员。当底层系统面临相互冲突的多个评估维度时，这一决策过程本质上构成多目标马尔可夫决策过程（MOMDP）。然而，现有模仿学习的主流做法往往是将所有轨迹简单混合到一个大池子中，试图借助高容量神经网络直接拟合多模态动作分布，忽视了多目标冲突对策略最优性带来的根本性破坏。

直接将具有不同目标偏好的帕累托最优专家轨迹混合并训练单一策略（即朴素行为克隆），会导致严重的策略塌陷。在不同目标发生冲突的关键状态上，朴素行为克隆会试图折中各专家的动作分布，导致最终学到的平均策略产生灾难性的“下凹”退化，彻底跌落到帕累托前沿内部（Failure II，定理 2.2 证明其即使在无限数据下仍与帕累托前沿保持常数级的次优距离）。另一种朴素解法是将问题降维为独立的单专家模仿学习，为每个专家数据集分别训练一个独立策略；虽然这能避免策略退化，却完全割裂了不同专家在共享环境中的内在联系（Failure I）。事实上，处于同一帕累托前沿上的相邻专家在绝大多数非冲突状态上具有高度一致的最优动作，独立训练使得每个模型都必须满足单任务样本复杂度下界，造成严重的样本浪费。

为了突破这两大极端方案的困境，本文从 MOMDP 的几何本质出发，证明了帕累托前沿上存在由“单状态动作翻转”相互连通的连续结构（帕累托路径保证），揭示出帕累托最优策略集合天然共享海量一致动作。核心 idea：将多专家演示中的状态显式解耦为冲突状态与无分歧状态，“分歧状态各自隔离，其余状态完全池化”（Split the Differences, Pool the Rest），构建多输出增广行为克隆（MA-BC），在完全规避策略受支配劣势的同时达到极小化极大最优的样本利用效率。

方法详解

整体框架

MA-BC 旨在从包含 \(L\) 个不同帕累托最优专家的无奖励离线演示集 \(\{\mathcal{D}_\ell\}_{\ell=1}^L\) 中，学习出一组覆盖帕累托前沿的非受支配策略 \(\{\hat{\pi}_\ell\}_{\ell=1}^L\)。整个算法由冲突检测、公共状态池化、专家特化增广以及多输出策略求解四个主要阶段构成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多专家演示数据集<br/>{D_1, D_2, ..., D_L}"] --> Det["分歧检测与状态划分<br/>识别跨专家动作冲突状态 D_div"]
    Det --> Pool["共享数据池构建<br/>从联合数据剔除 D_div 获得 D_common"]
    Pool --> Aug["专家特化数据增广<br/>为各专家构建增广集 D_common ∪ D_l"]
    Aug --> Train["多输出行为克隆求解<br/>在各增广数据集上独立优化对数似然"]
    Train --> Out["帕累托前沿策略集合<br/>{pi_hat_1, ..., pi_hat_L}"]

方法的核心运转逻辑在于：首先通过跨数据集比对，将至少被两位专家访问过且动作不一致的状态划入分歧数据集 \(\mathcal{D}_{\mathrm{div}}\)；接着，从联合数据集中剔除所有分歧状态的所有出现记录，沉淀出纯净的无冲突公共数据集 \(\mathcal{D}_{\mathrm{common}}\)；随后，每个专家模型 \(\hat{\pi}_\ell\) 都在其专属数据集 \(\mathcal{D}_\ell\) 与共享数据池 \(\mathcal{D}_{\mathrm{common}}\) 的并集上执行标准行为克隆；最后，针对连续控制问题，引入基于 Lipschitz 连续性的空间邻域兼容池化机制，在连续状态空间实现偏差与方差的平滑权衡。

关键设计

1. 分歧检测与状态划分：隔离行为冲突状态以规避支配劣势

朴素混合训练之所以会得到被严格支配的次优策略（Failure II），根源在于专家在权衡不同目标时的动作分歧破坏了单调效用的一致性。为了根除这种破坏，MA-BC 首先建立分歧状态识别机制。算法扫描所有专家的离散状态动作对，凡是在两个及以上专家数据集中均有出现、但在至少一次出现中动作取值不同的状态，均被严格判定为分歧状态： $\(\mathcal{D}_{\mathrm{div}} = \left\{ x\in\mathcal{X}, a\in\mathcal{A} \mid \exists \ell \neq \ell', \exists n\in[N_\ell], n'\in[N_{\ell'}], \text{ s.t. } X_n^\ell = X_{n'}^{\ell'} = x \text{ AND } A_n^\ell \neq A_{n'}^{\ell'} \right\}\)$ 分歧状态被彻底剥离并单独保留在各自专家的私有数据集中。这一机制确保了任何存在潜在目标利益冲突的决策点都不会发生动作分布的机械混淆，从根本上杜绝了平均策略跌入凸多胞体内部的几何陷阱。

2. 共享数据池构建与专家特化增广：跨专家数据复用以突破单任务样本下界

将分歧状态剔除后，联合数据集所剩余的状态集合构成了公共经验池： $\(\mathcal{D}_{\mathrm{common}} = \left( \bigcup_{\ell=1}^L \mathcal{D}_\ell \right) \setminus \mathcal{D}_{\mathrm{div}}\)$ 在这一集合中，所有被观测到的状态动作对均具备跨专家的行为一致性。对于任意目标专家 \(\ell\)，MA-BC 将其原始数据 \(\mathcal{D}_\ell\) 与 \(\mathcal{D}_{\mathrm{common}}\) 合并进行训练。这种设计的精妙之处在于：\(\mathcal{D}_{\mathrm{common}}\) 中包含大量专家 \(\ell\) 从未亲自探索过、但被其他专家探索过且彼此没有冲突的状态转移。定理 3.1 从理论上证明，MA-BC 输出策略的次优差距 \(\varepsilon_\ell\) 满足： $\(\varepsilon_\ell \le C_{\pi_\ell} \frac{|\mathcal{X}_{\mathrm{common}}|}{e(1-\gamma)^2 N} + \frac{|\mathcal{X}\setminus\mathcal{X}_{\mathrm{common}}|}{e(1-\gamma)^2 N_\ell}\)$ 其中 \(C_{\pi_\ell} = \|\nu^{\pi_\ell} / \nu^{\pi_{\mathrm{data}}}\|_{\infty, \mathcal{X}_{\mathrm{common}}}\) 为公共状态空间上的状态集中度系数。该结果表明，单专家数据规模 \(N_\ell\) 仅需随着分歧状态数量 \(K = |\mathcal{X}\setminus\mathcal{X}_{\mathrm{common}}|\) 线性增长，而全状态空间尺度 \(|\mathcal{X}|\) 的样本压力则分摊给全量样本 \(N\)。定理 3.2 进一步证明了任何离线多输出模仿学习算法的误差下界均无法低于此率，确立了 MA-BC 的极小化极大最优性。

3. 连续空间的 Lipschitz 兼容池化：自适应容差平衡偏差与方差

在连续状态动作空间中，不同专家的采样轨迹几乎以概率 1 不会发生精确的坐标碰撞，直接套用离散集合运算将导致 \(\mathcal{D}_{\mathrm{div}}\) 恒为空且状态无法严格匹配。为此，MA-BC 基于专家策略的 Lipschitz 连续性，提出了空间距离容差增广机制。对专家 \(\ell\)，其从其他专家数据集增广的兼容样本集定义为： $\(\mathcal{D}_\ell^+ = \left\{ (X', A') \in \bigcup_{\ell' \neq \ell} \mathcal{D}_{\ell'} \mid \exists (X, A) \in \mathcal{D}_\ell \text{ s.t. } \|X - X'\| \le \delta \text{ AND } \|A - A'\| \le L^{\pi_\ell} \|X - X'\| \right\}\)$ 其中 \(\delta\) 为空间容差阈值，\(L^{\pi_\ell}\) 为专家策略的 Lipschitz 常数。该机制在连续空间下建立了显式的偏差-方差权衡：增大 \(\delta\) 能够大幅扩充池化样本量以降低方差，但会引入非零的经验动作偏差；减小 \(\delta\) 则收紧了保真度。在样本量充足时，最优阈值 \(\delta\) 自适应向左收敛，从而在平滑控制任务中维持渐近一致性。

损失函数 / 训练策略

在离散场景下，各专家策略通过在增广数据集上求解经验对数似然极大化得到： $\(\hat{\pi}_\ell = \arg\max_{\pi \in \Pi} \sum_{(X,A) \in \mathcal{D}_{\mathrm{common}} \cup \mathcal{D}_\ell} \log \pi(A \mid X)\)$ 对于未曾被任何专家访问过的未观测状态，策略退化为在动作空间上的均匀随机策略 \(\pi(a \mid x) = 1/|\mathcal{A}|\)，以获得最优的泛化极小化上界。在连续 LQR 线性二次型控制任务中，各专家的控制增益矩阵通过带 \(L_2\) 正则化的岭回归求解： $\(\hat{\pi}_\ell \in \arg\min_{\pi} \sum_{(X,A) \in \mathcal{D}_\ell \cup \mathcal{D}_\ell^+} \|A - \pi(X)\|^2 + \lambda \|\pi\|_F^2\)$ 实验中岭回归正则化系数设为 \(\lambda = 0.001\)。在无监督隐变量专家设定下，算法还可通过构建转移相干图（Consistency Graph）识别潜在专家身份，以指数级快速衰减的惩罚率达到同等最优收敛速度。

实验关键数据

主实验

实验在三个经典离散 MOMDP 基准（Deep Sea Treasure、Slippery Y-Maze、Resource Gathering）上评估算法收敛至真实帕累托前沿的归一化 \(L_\infty\) 距离 \(\min_{J^* \in \mathrm{PF}} \|J(\hat{\pi}) - J^*\|_\infty\)。测试基准包括朴素联合行为克隆（Naive BC）、单专家独立行为克隆（Isolated BC）以及本文的 MA-BC。下表汇总了在不同轨迹样本量（\(N_{\mathrm{traj}} \in \{10, 100\}\)）下各算法的平均帕累托距离（100 次独立重复实验的均值）：

数据集 样本量 \(N_{\mathrm{traj}}\) 指标 (\(L_\infty\) 距帕累托前沿) 本文 (MA-BC) 独立基线 (Isolated BC) 联合基线 (Naive BC) 相对独立基线提升
Deep Sea Treasure 10 轨迹 归一化 \(L_\infty\) 距离 0.165 0.380 0.465 56.6% 误差下降
Deep Sea Treasure 100 轨迹 归一化 \(L_\infty\) 距离 0.015 0.082 0.442 81.7% 误差下降
Slippery Y-Maze 10 轨迹 归一化 \(L_\infty\) 距离 0.052 0.285 0.380 81.8% 误差下降
Slippery Y-Maze 100 轨迹 归一化 \(L_\infty\) 距离 0.004 0.045 0.370 91.1% 误差下降
Resource Gathering 10 轨迹 归一化 \(L_\infty\) 距离 0.120 0.395 0.540 69.6% 误差下降
Resource Gathering 100 轨迹 归一化 \(L_\infty\) 距离 0.018 0.075 0.525 76.0% 误差下降

消融实验

在连续 6-DOF 四旋翼无人机 LQR 导航任务（航速 vs 能耗双目标权衡，评估经济型专家策略恢复）中，针对连续兼容容差 \(\delta\) 以及基线样本量 \(N\) 进行消融分析，揭示偏差-方差权衡特性：

样本配置 (\(N\)) 容差阈值 \(\delta\) 池化数据比例 (%) 经验动作偏差 \(\|A_{\mathrm{pool}} - A_{\mathrm{true}}\|_2\) 帕累托前沿 \(L_\infty\) 距离 表现说明
\(N = 40\) \(\delta = 0.02\) 4.5% 0.015 0.210 池化过少，方差过大 (接近 Isolated BC)
\(N = 40\) \(\delta = 0.15\) 48.0% 0.062 0.095 最佳权衡点：方差显著降低且偏差受控
\(N = 40\) \(\delta = 0.40\) 86.5% 0.245 0.185 容差过大，严重动作偏差导致误差反弹
\(N = 100\) \(\delta = 0.02\) 5.2% 0.014 0.065 样本增多后低偏差显现优势
\(N = 100\) \(\delta = 0.06\) 24.5% 0.035 0.032 最佳权衡点：阈值左移，收紧匹配精度
\(N = 100\) \(\delta = 0.25\) 68.0% 0.160 0.110 充足数据下对偏差极度敏感，误差严重恶化

关键发现

  • 朴素池化的恒定次优壁垒：在所有离散环境中，Naive BC 随着数据量增加，误差曲面完全处于水平停滞状态（距离维持在 0.37 至 0.54 之间），实验直接验证了定理 2.2 的结论——冲突专家的动作平均化导致策略无法通过无限数据逼近帕累托前沿。
  • MA-BC 的自校正特性：在 Deep Sea Treasure 超小样本（\(N=5\)）下，MA-BC 会因缺乏反例暂时将寻宝专家的部分动作引入时间专家的未见状态；但随着样本扩展至 \(N=50\)，时间专家触发了分歧检测，此前被误池化的状态被自动识别并剥离至私有集，误差迅速归零，展现出渐近一致的自愈能力。
  • 集中度系数决定增益空间：在初始状态分布越随机的环境中，各专家轨迹的空间重叠度越高（集中度系数 \(C_{\pi_{\mathrm{data}}}\) 越小），MA-BC 相对 Isolated BC 的样本效率提升幅度越显著，严格吻合极小化极大下界定理 3.2。

亮点与洞察

  • 从几何结构导出学习算法：建立“帕累托路径存在性定理”（Theorem 2.1），打破了过往文献要求单策略-单回报一一映射的苛刻假设，从理论上阐明了帕累托最优策略之间天然存在高密度的一致状态。
  • 极小化极大最优收敛速率：同时给出了上限（Theorem 3.1）与匹配的紧下界（Theorem 3.2），首次在数学上证明了多目标离线模仿学习对单专家样本规模的依赖仅受分歧状态数量 \(K\) 约束，而非全状态空间规模 \(|\mathcal{X}|\)。
  • 直击现实混合专家训练盲区：这一洞察对当今大语言模型混合微调与机器人基座模型训练极具警示意义——盲目将具有不同对齐偏好的数据混在一起做交叉熵拟合，必然导致策略塌陷进次优折中区域，而按决策分歧解耦数据才是兼顾最优性与样本效率的正确路径。

局限与展望

  • 连续空间缺乏紧式理论收敛边界：连续控制扩展依赖于基于 Lipschitz 假定的启发式容差阈值 \(\delta\) 滤波，虽通过实验验证了偏差-方差折中，但尚未推导出如离散情形那样严格的极小化极大收敛速率。
  • 对高维复杂非线性策略的扩展性挑战：在深度神经网络参数化策略下，直接在原始输入空间识别“分歧状态”存在维度灾难，如何在潜在表示空间中自适应识别并解耦冲突目标依然是一个开放课题。
  • 静态权重与动态偏好对齐：当前框架假设专家在固定目标权衡下生成轨迹，未来可进一步结合上下文条件化生成模型，实现连续可控帕累托前沿策略的统一表征与实时插值。

相关工作与启发

  • vs. 朴素行为克隆与联合预训练：主流 LLM/机器人模型（如 Devlin et al., Chi et al.）无差别混合多源多偏好数据，本文从理论反例与实验两方面证明了此举必然导致受支配的非帕累托次优解。
  • vs. 独立单专家模仿学习：单任务行为克隆（如 Rajaraman et al.）必须满足单专家样本量与全状态空间成正比的要求，本文通过有选择地跨专家池化无冲突状态，大幅突破了样本效率瓶颈。
  • vs. 帕累托前沿遍历算法 (Pareto Traversal)：Perez et al. 提出的遍历方法依赖单射回报假设且需要显式环境奖励来进行策略检测，本文的帕累托路径定理摆脱了该假设，且完全适用于无奖励信号的纯离线模仿学习范式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从理论上建立多目标模仿学习的样本复杂度界限与帕累托路径保证，选题与切入视角极具开创性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三类离散基准与连续 LQR 控制，深入剖析了集中度、偏差-方差权衡及自校正动力学，理论与实验完美闭环。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，数学论证极其扎实，对失败模式的几何直觉阐述透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为解决具有多元目标偏好的多专家数据混合训练难题提供了坚实的理论基石与极具实用价值的算法原型。

相关论文