Unified Prediction and Planning via Conflict-Aware Disjoint Parameter Training¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://dpt2026.github.io/
领域: 机器人/具身智能
关键词: 运动预测, 运动规划, 模型合并, 技能冲突, 边缘端机器人导航

一句话总结¶

针对移动机器人在紧凑共享编码器中联合预测与规划存在的表征竞争问题，提出不相交参数训练（DPT）与稀疏合并机制，通过在参数空间互斥分配关键更新区域并保留高显著向量，在零推理开销下实现高精度邻车预测与安全自车规划。

研究背景与动机¶

在密集人群等高动态交互场景中，移动服务机器人必须兼顾周围行人的运动意图预测与自身的无碰撞安全路径规划。传统流水线方案通常将两阶段割裂为独立训练并串行推断的预测与规划模块，这不仅带来高昂的推断时延，还截断了环境交互与闭环反馈的深层耦合。为此，近期研究逐渐转向单骨干的统一端到端框架，借助共享编码器提取场景级统一表征并分发给预测和规划解码头。然而，资源受限的边缘计算设备对模型容量有着严苛限制，紧凑型骨干网络难以像大规模基础模型那样拥有广袤冗余的参数空间。

现有统一框架的瓶颈恰恰暴露于紧凑编码器中的表征目标冲突。预测任务要求编码器表征对周围行人的异构多样行为与细微意图高度敏感，关注多智能体间的交互动态；而规划任务则强烈依赖自车中心视角，优先保证自车运动的运动学可行性与避障安全性。当容量有限的共享编码器接收来自两套解码头的梯度更新时，不同梯度的方向碰撞会导致参数空间内的严重竞争。作者实证发现，当两个任务在微调时独立利用更宽比例的参数（如各自占用 50% 容量）时，在共享骨干中被两边同时激活的重叠参数比例急剧激增至 39.25%，引发严重的技能冲突（Skill Conflict），导致联合性能过早饱和并大幅劣化。

传统的模型合并方法（如 Task Arithmetic、Ties Merging 等）多基于大语言模型设计，预设了海量参数下稀疏子空间天然不重叠的先验，将其直接用于轻量机器人导航模型时往往因密集的局部特征耦合而彻底失效。本文的切入角度是：与其在微调完毕后再设法调和冲突的参数方向，不如在微调之初就从梯度分配层面主动隔离各自的核心参数域。核心 idea：提出不相交参数训练（DPT）框架，在微调阶段通过交换二进制掩码为预测与规划互斥分配更新坐标，并在后半程冻结局部核心区域，最终辅以极度精简的稀疏合并（Sparse Merging）消除邻近特征干扰，以零额外参数实现兼顾安全与准确的双任务协同。

方法详解¶

整体框架¶

本文方法的目标是基于紧凑共享骨干网络（扩展自 Social-Transmotion，配合预测解码器与规划解码器）构建高效统一模型。输入包含场景中 $N$ 个智能体（智能体 0 为自车，智能体 $1:N-1$ 为邻居）的历史轨迹 $X_{\text{traj}}$、人体姿态 $X_{\text{pose}}$ 及检测框 $X_{\text{box}}$；输出对应自车未来规划轨迹 $Y_{\text{plan}}$ 及周围行人的预测轨迹 $Y_{\text{pred}}$。

整个框架分为两大阶段：首先是不相交参数训练阶段（DPT），在预训练骨干参数 $\Theta_0$ 基础上，规划与预测两任务交替微调，通过动态监测未分配参数上的绝对梯度幅度，互斥地扩张并固定二者的专属参数掩码 $M_{\text{plan}}$ 与 $M_{\text{pred}}$，产出互不重叠的任务特化素材模型 $f_{\text{plan}}$ 与 $f_{\text{pred}}$；其次是稀疏合并阶段（Sparse Merging），基于任务向量仅截取绝对值最大的微量坐标（如 Top 1%~2%）注入基座模型，彻底抑制邻近权重间的局部隐式耦合；对于需要强化多任务交互的场景，还可在未分配的闲置参数上引入轻量联合推理（Joint Reasoning）阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态历史输入<br/>(自车与行人之轨迹、姿态、边界框)"] --> B["预训练共享编码器"]
    B --> C["不相交参数训练<br/>(梯度引导的互斥掩码交替扩展与空间冻结)"]
    C --> D["双任务素材模型<br/>(f_plan 与 f_pred 核心更新区域严格互斥)"]
    D --> E["稀疏合并<br/>(提取 Top-K% 显著任务向量叠加至骨干)"]
    E --> F["联合推理微调<br/>(利用闲置未分配参数进行端到端协同优化)"]
    F --> G["双任务输出<br/>(自车安全规划轨迹 + 周围行人精准预测轨迹)"]

关键设计¶

1. 不相交参数训练：在参数空间主动解耦两类异构技能 紧凑编码器中的技能冲突源于预测与规划在同一网络层内竞争更新相同坐标。DPT 改变了传统的端到端全量反向传播逻辑，在总轮次为 $E$ 的微调前段（$e \le E/2$），规划与预测任务交替前向推断与计算梯度。在每个交替步中，算法首先搜寻两个任务当前均未占用的参数索引子集： $$ U = { i \mid M_{\text{plan}}[i] = 0 \land M_{\text{pred}}[i] = 0 } $$ 随后，计算当前任务损失对参数的梯度 $\nabla_\Theta \mathcal{L}_t$，在闲置集合 $U$ 中选取绝对值梯度最大的前 $K$ 个关键索引 $I_{\text{top-}K}$，将其永久标记分配给任务 $t$（对应位置置为 1），并仅沿掩码区域实施梯度下降更新： $$ f_t \leftarrow f_t - \eta \nabla_\Theta \mathcal{L}_t \odot M_t $$ 当训练进入后半程（$e > E/2$）时，掩码停止扩张并被完全冻结，任务模型仅在各自锁定的局部子空间内继续微调收敛。这种机制确保了产出的微调模型 $f_{\text{plan}}$ 与 $f_{\text{pred}}$ 具有从数学构造上严格不交叠的核心参数支持集，彻底消除了直接合并时的坐标级冲突。

2. 极度稀疏合并：抑制非重叠参数间的邻接特征干扰 即便通过 DPT 强制使两个任务的权重更新掩码空间互斥，由于紧凑神经网络中同层权重和相近神经元之间存在复杂的非线性连接，相邻坐标的剧烈变动仍然会导致特征表示发生非预期的交叉耦合。作者发现，如果把 DPT 训练出的全部掩码参数（例如 50% 甚至更大比例）直接相加，联合性能依然会发生退化。为此，设计了极度稀疏合并机制，仅保留每个任务向量 $\tau_t = \Theta_t - \Theta_0$ 中绝对幅度最大的微量关键分量（利用分位数掩码 $M_t^{(K\%)}$，选取前 1%~2% 的权重）： $$ \Theta_{\text{merged}} = \Theta_0 + M_{\text{pred}}^{(K\%)} \odot \tau_{\text{pred}} + M_{\text{plan}}^{(K\%)} \odot \tau_{\text{plan}} $$ 这种极致的稀疏化策略将任务技能高度凝练于最敏感的少量神经元连接上，有效阻断了相邻无意义参数对跨任务特征的扰动，使得模型在极低容量下也能兼顾双任务的最大表征纯度。

3. 闲置参数联合推理：保留多智能体博弈协同效益 虽然参数空间的物理隔离彻底解决了梯度与表征冲突，但也可能削弱统一模型本应具备的跨任务双向协同感知能力（例如规划根据预测动态及时调整）。为了弥补这一短板，DPT 框架在完成稀疏合并后，保留了那些未被预测与规划专属掩码占据的大量“中立参数”（即 $M_{\text{plan}}[i] = 0 \land M_{\text{pred}}[i] = 0$ 的非核心区域），利用基于博弈论的联合损失对其进行补充微调。这一设计在牢牢锁定核心预测与规划专属技能的同时，让共享骨干的背景参数学习到两者的交互依赖，达成了“特化解耦”与“统一推理”的有机融合。

损失函数 / 训练策略¶

在预训练阶段，模型使用博弈论损失（Game-theoretic Loss）进行多智能体交互特征的初步表征学习。在 DPT 微调阶段，规划任务优化自车轨迹的位移误差、碰撞规避与目标达标损失，预测任务优化周围行人的 ADE/FDE 监督损失。在稀疏合并后，若启用联合推理（JR），则固定已合并的核心任务参数，仅在非活动参数集合上优化联合任务目标，确保单任务特化技能不被灾难性遗忘。

实验关键数据¶

主实验¶

在标准密集人群机器人导航真实数据集 JRDB 上，与当前主流的统一预测规划模型（DIPP、DTPP）及典型模型合并、集成基线进行了严格的定量对比。评估指标包括规划的轨迹有效性（ADE）、安全性（Collision Rate）和目标达标（FDE、Miss Rate），以及预测的准确性（ADE、FDE）。

方法	规划 ADE ↓	碰撞率 ↓	规划 FDE ↓	规划 Miss Rate ↓	预测 ADE ↓	预测 FDE ↓
DIPP [Huang et al., 2024]	0.8048	0.0167	1.3542	0.6940	0.8834	1.6406
DTPP [Huang et al., ICRA 2024]	0.6232	0.0145	1.1338	0.6931	0.7686	1.4253
Ensemble (双模型集成输出)	0.5807	0.0146	0.9000	0.4786	1.1313	1.5258
Task Arithmetic [Ilharco et al., 2022]	0.9387	0.0189	1.1798	0.8887	0.9904	1.3870
Ties Merging [Yadav et al., NeurIPS 2023]	0.8759	0.0167	1.1503	0.9019	0.9463	1.3412
Localize-and-Stitch [He et al., 2024]	0.8838	0.0176	1.1393	0.9487	0.8104	1.2670
T-Switch [Qi et al., CVPR 2025]	0.8047	0.0199	1.1009	0.8784	0.8091	1.2112
DPT + SM (本文)	0.4044	0.0091	0.7458	0.3706	0.5952	1.0352
DPT + SM + JR (本文完整版)	0.3640	0.0074	0.7105	0.3589	0.5097	0.9396

消融实验¶

消融实验深入考察了稀疏合并掩码比例 $K$ 对系统性能的调控影响（50:50 DPT 参数空间分配，测试于 JRDB 数据集）：

配置 (掩码比例 $K$)	规划 ADE ↓	碰撞率 ↓	规划 FDE ↓	预测 ADE ↓	预测 FDE ↓	说明
$K = 1\%$	0.4044	0.0091	0.7458	0.5952	1.0352	超高稀疏度，保留极致核心技能
$K = 2\%$	0.4041	0.0096	0.7320	0.5753	1.0174	综合最优平衡点
$K = 5\%$	0.4156	0.0100	0.7306	0.5871	1.0322	性能开始出现轻微退化
$K = 10\%$	0.4193	0.0100	0.7346	0.5917	1.0442	邻接特征干扰逐步显现
$K = 20\%$	0.4213	0.0101	0.7389	0.5920	1.0507	干扰进一步积累
$K = 40\%$	0.4229	0.0101	0.7410	0.5895	1.0505	密集重叠导致联合上限严重受阻

此外，在对各模型合并范式的前置适配实验中（JRDB 数据集）： - 将 Task Arithmetic 的规划 ADE 从 0.9387 大幅优化至 0.5865（+DPT），预测 ADE 从 0.9904 优化至 0.5849； - 将 Ties Merging 的规划 ADE 从 0.8759 大幅优化至 0.4193（+DPT），碰撞率从 0.0167 压降至 0.0100； - 证明 DPT 作为通用的微调前置协议，能显著赋能各类已有合并算子。

关键发现¶

紧凑模型在合并时存在显著的“少即是多”现象：当掩码比例 $K$ 从 40% 压缩至 1%~2% 时，预测与规划误差均达到最低值。这表明在紧凑网络中，非核心微调参数极易相互干扰，仅保留最显著的梯度累积方向才能最大化任务正交性。
微调分配空间越小，单任务表征反而越紧凑集中：在 DPT 分配比例对比中，当给单任务分配 10% 参数而非 90% 时，该任务在 $K=1\%$ 稀疏合并下的单项表现更好。这说明约束可训练参数空间会强制模型把关键技能编码进紧凑的局部特征，便于合并阶段无损析出。
冲突主要发生在参数层而非输出层：双模型集成（Ensemble）因参数独立未发生严重碰撞，但牺牲了计算成本与联合推理优势；而常规参数合并由于技能冲突表现极差，只有 DPT 从根源上化解了参数级干扰。

亮点与洞察¶

提出并量化了紧凑多任务模型的“技能冲突”困境：通过层级参数重叠度公式揭示了在紧凑共享编码器中，多任务微调贪婪扩大参数利用率会导致高达 39.25% 的重叠碰撞，直击机器人边缘端端到端部署的核心痛点。
梯度引导的动态空间互斥微调策略：创新性地在训练过程中以二进制掩码动态划分专属参数疆界，且在训练中途冻结掩码以强化局部凝聚力，突破了传统多任务学习依赖损失加权或正交正则化依然难以彻底隔绝干扰的局限。
模型合并技术的轻量化落地范式：不同于以往将模型合并仅视作大语言模型事后算子（post-hoc operator）的常规视角，本文首次将模型合并理论与前置微调过程紧密耦合并成功落地于严苛算力约束的自主移动机器人导航系统。

局限与展望¶

作者承认的局限：DPT 涉及两阶段的交替训练和随后的稀疏合并，相比朴素的一阶段联合微调，离线训练阶段的流程相对繁琐且存在调参超参数（如轮次截断点 $E/2$ 与初始学习率）。
实验设计与适用范围局限：当前验证主要集中在 2.5 fps 下的人群预测与低速轮式机器人规划场景，在高速动态交通（如 Carla 闭环自动驾驶中的高速变道与强对抗避撞）下的扩展性尚需更多长周期实车闭环验证。
改进思路：可探索自适应确定每层网络互斥参数容量的机制（无需预先硬性设定 50:50 分配比例），或将 DPT 理念推广到更泛化的视觉-语言-动作（VLA）多任务具身机器人模型中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从参数分配与模型合并视角剖析并化解边缘端机器人预测-规划统一架构的表征冲突，方法简洁且机制透彻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 JRDB 与 JTA 双主流基准，详细对比了统一架构基线、集成方法与多种主流合并技术，消融实验与重叠度量化严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构层层推进，从冲突发现、量化诊断到机制设计一气呵成，图表呈现清晰有据。
价值: ⭐⭐⭐⭐⭐ 为低算力嵌入式机器人的多任务统一模型部署开辟了低开销、高性能的新范式，具备重要的工程实践与学术参考价值。

配置 (掩码比例 \(K\))	规划 ADE ↓	碰撞率 ↓	规划 FDE ↓	预测 ADE ↓	预测 FDE ↓	说明
\(K = 1\%\)	0.4044	0.0091	0.7458	0.5952	1.0352	超高稀疏度，保留极致核心技能
\(K = 2\%\)	0.4041	0.0096	0.7320	0.5753	1.0174	综合最优平衡点
\(K = 5\%\)	0.4156	0.0100	0.7306	0.5871	1.0322	性能开始出现轻微退化
\(K = 10\%\)	0.4193	0.0100	0.7346	0.5917	1.0442	邻接特征干扰逐步显现
\(K = 20\%\)	0.4213	0.0101	0.7389	0.5920	1.0507	干扰进一步积累
\(K = 40\%\)	0.4229	0.0101	0.7410	0.5895	1.0505	密集重叠导致联合上限严重受阻