ECTraj: Enhanced Consistency Training for Multi-Agent Trajectory Prediction¶

会议: ECCV 2026
论文: ECCV 原文
OpenReview: ECCV 2026 #5593
代码: https://github.com/am3338/ECTraj
领域: 自动驾驶
关键词: 轨迹预测、一致性模型、多智能体交互、扩散模型加速、单步推理

一句话总结¶

ECTraj 针对自动驾驶多智能体轨迹预测中扩散模型去噪延迟高、从头训练一致性模型困难的问题，提出了一种基于增强一致性训练的条件一致性模型管线，通过教师端关键航路点真值融合与训练期多样本 Best-of-K 匹配，以单步推理实现了相比扩散基线 10 倍的加速与更优的轨迹预测精度。

研究背景与动机¶

多智能体轨迹预测是自动驾驶与机器人运动规划的底层关键任务，要求模型根据历史观测、高精矢量地图及社会交互拓扑，输出多模态、物理可行且符合交规的未来轨迹。基于扩散模型的轨迹预测方法（如 MID、LED、MotionDiffuser 与 OptTrajDiff）凭借强大的概率建模能力在捕捉复杂多模态分布上展现出显著优势。然而，标准扩散模型依赖于连续随机微分方程对应的多步反向去噪过程，往往需要数十至数百次迭代；即使采用 DDIM 等加速采样算法，依然需要 10 步以上的去噪迭代，这种高计算延迟严重阻碍了其在车载计算平台等硬实时安全场景中的实际部署。

为降低迭代步数，近期研究尝试采用预训练先验构建热启动分布（如 OptTrajDiff 利用预训练 QCNet 输出作为初始高斯分布的均值）。这种方案虽然压缩了采样步数，但将扩散轨迹严格束缚在先验邻域内，一旦先验预测出现偏差或模态遗漏，去噪过程将难以修正错误，限制了模型对未知多模态轨迹的自由探索。一致性模型（Consistency Models, CMs）能够通过概率流常微分方程（PF-ODE）上的自一致性约束将标准高斯噪声直接映射回干净数据，从而实现真正的单步生成。然而，在图像领域主流的“一致性蒸馏”（Consistency Distillation）依赖成熟高质量的预训练扩散骨干，而轨迹预测领域严重缺乏通用扩散基准；另一方面，脱离预训练教师、完全从零开始的一致性训练（Consistency Training）则面临监督信号不稳定、难以收敛等训练痛点。

针对这一困境，本文选择从零训练条件一致性模型，并在保持从标准高斯白噪声直接单步去噪的前提下重构训练监督机制。核心 idea：构建包含教师端真值航路点融合与训练期多样本 Best-of-K 匹配的增强一致性训练框架，在单步去噪中融合高精监督与多模态探索，实现 10 倍推理加速与 SOTA 预测精度的统一。

方法详解¶

整体框架¶

ECTraj 由场景上下文编码器、紧凑潜空间映射模块、复合注意力条件去噪网络以及增强一致性训练调度系统组成。输入包含周围多智能体的历史时序状态 $X \in \mathbb{R}^{N_a \times T_h \times 2}$ 与多边形矢量车道地图 $\mathcal{M} \in \mathbb{R}^{N_m \times D_p \times D_m}$。模型首先通过预训练骨干提取场景特征向量 $c$，并生成边际先验预测轨迹及置信度得分 $(mm, p)$，组成联合条件上下文 $C = [c, mm, p]$。为降低去噪维数并加速推理，未来时序轨迹通过可学习投影矩阵映射到 10 维连续潜空间。在训练阶段，模型从标准高斯噪声出发，基于自适应离散化时间步调度分别生成学生与教师的噪声潜变量，借助单步去噪快速采样 $K$ 个多模态候选，筛选最优候选后将真实轨迹的中点与终点融合至教师预测中，以增强监督约束学生网络的单步映射。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史轨迹与矢量地图<br/>(X, M)"] --> B["场景编码与边际先验生成<br/>提取上下文 C=[c, mm, p]"]
    B --> C["复合注意力条件去噪网络<br/>多尺度跨注意力融合历史/地图/先验"]
    C --> D["渐进离散化时间步调度<br/>动态扩展离散步数 N 与 EMA 教师索引"]
    D --> E["训练期 Top-K 多样本一致性匹配<br/>单步生成 K 组候选并按 min-ADE 筛选"]
    E --> F["教师端航路点真值融合增强<br/>中点/终点确定性注入生成强监督"]
    F --> G["单步一致性推理输出<br/>1-step 潜变量解码为未来轨迹"]

关键设计¶

1. 复合注意力条件去噪网络：在纯高斯噪声驱动下无损注入时空几何与先验线索
以往基于先验均值热启动的方法容易陷入局部先验偏差，ECTraj 坚持从标准高斯噪声 $x_\sigma \sim \mathcal{N}(0, I)$ 开始去噪，但需要解决无偏噪声输入下多智能体拓扑与地图几何难以快速对齐的难题。为此，ECTraj 设计了由 3 层复合注意力块（Composite Attention Block）组成的条件去噪器 $F_\theta$。在每个复合注意力层内部，模型依序执行：（1）噪声潜变量与目标智能体历史编码的跨注意力；（2）与高精地图矢量线段编码的跨注意力；（3）与周边邻居智能体交互编码的跨注意力；（4）全部预测智能体未来表征之间的自注意力，显式捕捉多车博弈交互；（5）最后引入与预训练 QCNet 边际预测先验 $(mm, p)$ 的跨注意力操作。这种级联交叉注意力设计既保留了标准高斯分布的宽广生成空间，又将结构化的地图与交互先验精确注入去噪潜空间。根据 EDM 框架，网络输出被参数化为带跳跃连接的连续形式： $$f_\theta(x, \sigma, C) = c_{\text{skip}}(\sigma) x + c_{\text{out}}(\sigma) F_\theta(x, \sigma, C)$$ 其中边界条件满足 $c_{\text{skip}}(\sigma_{\min}) = 1$ 与 $c_{\text{out}}(\sigma_{\min}) = 0$。

2. 渐进离散化时间步调度：混合重构与一致性目标的平滑过渡
从零开始训练一致性模型容易在初期因教师网络输出极不稳定而发生崩溃。ECTraj 引入了自适应离散化课程调度，将训练总轮数 $E$ 划分为多个阶段。连续常微分方程轨迹的时间步离散化数 $N$ 从初期的 $N=10$ 开始，每经过 $E//3$ 轮翻倍一次，直至最终收敛到 $N=40$。在采样学生时间步索引 $t \sim \text{DiscreteLogNormal}(\mu, \Sigma, N)$ 之后，教师时间步索引 $r$ 遵循连续平滑公式计算： $$r = \left\lfloor t \left(1 - \frac{n(t')}{q^{\lceil e/d \rceil}}\right) \right\rfloor, \quad n(t') = 1 + \frac{k}{1 + e^{b t'}}$$ 其中超参数设定为 $k=8$、$b=1$、$q=4$，$e$ 为当前轮次，$d = E//3$ 为阶段阈值。在训练初期由于指数项抑制，计算值被截断为 $r=0$（对应无噪声的真实数据重构目标）；随着训练推进，分母项逐渐放大，导致 $r$ 逐步向 $t$ 逼近，平滑演进至标准一致性模型的目标区间。结合 Karras 噪声方差调度 $\sigma_t \in [0.002, 1.04]$（指数 $\rho=7$），模型实现了从鲁棒重建到精细一致性映射的渐进式平稳学习。

3. 训练期 Top-K 多样本一致性匹配：利用单步特性解锁多模态轨迹专用去噪路径
传统扩散模型（如 OptTrajDiff）训练时仅以预测添加的白噪声为优化目标，在反向去噪完成前，模型无法在加噪中间态判断哪一个随机噪声向量对应未来的哪一种意图，因此无法在训练阶段直接做“多抽选优（Best-of-K）”。而一致性模型具备直接从任意加噪态一步还原干净轨迹潜变量的独有特性。ECTraj 充分利用这一能力，在训练批次中独立采样 $K=6$ 组高斯噪声向量 $\epsilon_k \sim \mathcal{N}(0, I)$，分别加噪得到学生与教师的 $K$ 个中间状态，并通过单次前向直接生成 $K$ 条候选轨迹。随后以真实轨迹 $x_0$ 为基准计算平均位移误差（ADE），分别独立选出最佳模式： $$k_\theta = \arg\min_k \text{ADE}(f_\theta(x_{\sigma_t, k}, \sigma_t, C), x_0), \quad k_{\theta^-} = \arg\min_k \text{ADE}(f_{\theta^-}(x_{\sigma_r, k}, \sigma_r, C), x_0)$$ 这种针对最优候选的匹配机制，使得网络能够针对不同的行驶意图（直行、左转、避让等）分别建立专用的确定性去噪映射，避免了传统多模态训练中单一目标向所有模式妥协导致的“模态平均（Mode Averaging）”模糊问题。

4. 教师端航路点真值融合增强：以几何锚点纠偏破除自举监督误差传播
在自一致性训练中，学生网络直接以教师 EMA 网络的输出为监督标签，若教师本身输出漂移，学生将学到错误的流场动力学。但若直接将教师输出全部替换为真实轨迹（退化为完全重构目标），学生网络在极少步数约束下将难以适应巨大的步长跳跃。ECTraj 提出了确定性的局部真值融合策略（Teacher GT Fusion）。在每一轮前向中，将选出的最优教师潜变量解码回真实物理轨迹空间 $\hat{X}_{0, \theta^-} = V \hat{x}_{0, \theta^-}$，随后使用预设的二值掩码 $M$，确定性地将未来轨迹的时间序列中点（Midpoint，$t=30$）和终点（Endpoint，$t=60$）替换为真实轨迹对应坐标： $$\hat{X}'_{0, \theta^-} = (1 - M) \odot \hat{X}_{0, \theta^-} + M \odot X_f$$ 增强后的物理轨迹重新通过投影矩阵压缩回潜变量 $\hat{x}'_{0, \theta^-} = \hat{X}'_{0, \theta^-} U$。中点与终点在自动驾驶运动学中分别代表了关键转向切点和最终行驶意图目标，将其作为高置信度锚点直接注入，既纠正了教师的航向发散，又保留了轨迹其余时步的模型连续性预测，为学生提供了高信噪比的监督引导。

损失函数 / 训练策略¶

模型整体训练采用端到端方式，教师网络参数 $\theta^-$ 通过学生参数 $\theta$ 的指数移动平均（EMA）进行更新，计算图在教师分支施加停止梯度（Stop-Gradient）。ECTraj 的最终训练损失函数定义为潜空间中的自适应加权 $L_2$ 距离： $$\mathcal{L}_{\text{ECTraj}} = w(\sigma_t) \|\hat{x}_{0, \theta} - \hat{x}'_{0, \theta^-}\|_2^2, \quad w(\sigma_t) = \frac{1}{\sigma_t - \sigma_r}$$ 权重函数 $w(\sigma_t)$ 对两个相邻离散步之间的方差间隔进行自适应惩罚，防止大噪声间距主导梯度。模型采用 AdamW 优化器，在 4 张 RTX A6000 GPU 上训练 60 轮，批大小为 16，初始学习率为 0.002，权重衰减为 0.0001。推理阶段严格执行单步生成（NFE=1），仅对每个智能体采样 6 个标准高斯向量，经过单次前向与矩阵解码即完成全场景未来轨迹预测，无需任何迭代去噪或后处理聚类操作。

实验关键数据¶

主实验¶

评估在主流自动驾驶大规模数据集 Argoverse 2 运动预测基准（50 帧历史，60 帧预测）上进行。对比涵盖近年顶会代表性联合轨迹预测方法，包括基于图网络（FJMP、GNet）、掩码预训练（Forecast-MAE）、自回归/解码器（QCNeXt、DONUT）以及扩散模型（OptTrajDiff）。

方法	年份与会议	ADE6 (m) ↓	FDE6 (m) ↓	ADE1 (m) ↓	FDE1 (m) ↓	b-FDE6 (m) ↓	MR6 ↓	CR6 ↓
FJMP	2023 CVPR	0.81	1.89	1.52	4.00	2.59	0.19	0.01
GNet	2023 RA-L	0.69	1.46	1.23	3.05	2.12	0.19	0.01
QCNeXt	2023 CVPRW	0.50	1.02	0.94	2.29	1.65	0.13	0.01
Forecast-MAE	2023 ICCV	0.69	1.55	1.30	3.33	2.24	0.19	0.01
OptTrajDiff	2024 ECCV	0.60	1.31	1.08	2.71	1.95	0.17	0.01
DeMo	2024 NeurIPS	0.58	1.24	1.12	2.78	1.93	0.16	0.01
RealMotion	2024 NeurIPS	0.62	1.32	1.14	2.87	2.01	0.18	0.01
FutureNet-LOF	2025 ICRA	0.58	1.25	0.96	2.34	1.68	0.18	0.02
DONUT	2025 ICCV	0.55	1.13	1.07	2.62	1.79	0.15	0.01
ECTraj (本文)	2026 ECCV	0.50	0.96	0.94	2.37	1.68	0.13	0.01

同时，在推理延迟与计算复杂度方面，ECTraj 展现出了决定性的速度优势：

方法	NFE (步数) ↓	计算量 (GFLOPs) ↓	去噪耗时 (ms) ↓	全场景端到端耗时 (ms) ↓
QCNet (仅先验骨干)	N/A	N/A	N/A	24.84
OptTrajDiff (扩散基线)	10	$\sim 1311$	29.71	54.55
ECTraj (本文)	1	$\sim 132$	2.97	27.81

消融实验¶

为验证各核心设计机制对一致性轨迹预测学习的必要性，作者在 Argoverse 2 上对关键模块进行了严谨的消融对比（表 4、表 5 与表 6 汇总）：

配置 / 变体	ADE6 (m) ↓	FDE6 (m) ↓	ADE1 (m) ↓	FDE1 (m) ↓	b-FDE6 (m) ↓	MR6 ↓	CR6 ↓	说明
完整 ECTraj 模型	0.50	0.96	0.94	2.37	1.68	0.13	0.006	6-shot + 教师局部真值融合 + ECT 调度
w/o 多样本 (单样本训练)	0.53	1.03	0.98	2.39	1.76	0.14	0.007	训练期仅单噪声采样 (1-shot)
w/o 教师真值融合 (标准 CM)	0.52	0.99	0.96	2.38	1.70	0.14	0.007	教师输出无 GT 替换，标准 EMA 自一致性
完全重构目标 (100% GT 融合)	0.57	1.10	1.08	2.53	1.87	0.17	0.009	教师输出完全替换为真实轨迹 $X_f$
OptTrajDiff + Best-of-K 变体 1	0.64	1.17	1.44	3.46	2.02	0.17	0.010	扩散模型选距离真实数据最近的带噪样本
OptTrajDiff + Best-of-K 变体 2	0.99	1.42	2.38	5.10	2.30	0.21	0.030	扩散模型选距离真实噪声最近的带噪样本
替换为 ICT 调度机制	0.52	1.02	0.95	2.38	1.77	0.15	0.006	采用 Improved Consistency Training 调度

关键发现¶

多样本一致性匹配是多模态精度的决定性支柱：将训练阶段的多样本选优退化为单样本（One-shot）时，FDE6 从 0.96m 剧增至 1.03m，MR6 恶化至 0.14。可视化分析表明，多样本训练让网络能够分配不同噪声向量去适应直行、急转与变道等异质意图，有效避免了模式遗漏和越界撞车。
教师航路点融合巧妙权衡了“易学性”与“监督质量”：标准 CM 目标（无 GT 融合）由于初期教师模型自身预测粗糙，导致误差自举累积（FDE6 为 0.99m）；若极端地将教师全部替换为真实轨迹（完全重构），模型在单步去噪目标下难以收敛，性能剧烈衰退至 FDE6 1.10m、ADE6 0.57m。确定性替换中点与终点恰好提供了不可或缺的动力学锚点。
Best-of-K 在扩散模型与一致性模型间存在范式差异：在传统扩散模型 OptTrajDiff 上强行引入 Best-of-K（表 5）会导致性能大幅恶化（变体 2 的 FDE6 恶化至 1.42m，FDE1 恶化至 5.10m）。这是因为扩散模型优化的是噪声空间残差，带噪空间与真实轨迹的拓扑映射并不平滑；而一致性模型的单步映射天生具备直接在数据潜空间评判最优解的能力。
单步推理表现优于多步推理：实验发现多步推理反而由于反复注入高斯噪声破坏了轨迹时序一致性，单步生成（NFE=1）在效率和精度上均达到全局最优。

亮点与洞察¶

将一致性模型成功落地至自动驾驶多智能体轨迹预测：首次在轨迹预测领域系统验证了无需预训练扩散教师模型即可从头训练高质量一致性模型，破除了扩散轨迹模型高延迟的工程死结。
巧妙的教师真值局部融合机制：不仅解决了从零训练一致性模型容易崩溃的痛点，而且避开了随机 Mask 的不稳定性，通过精准替换中点与终点两个运动学关键锚点，以极小修改换取了高质量且易于优化的监督流。
独创的“训练期利用单步能力多采样、推理期单步极速生成”方法论：突破性地指出一致性模型的单步前向不仅是推理加速工具，更是一种能在训练循环中无额外开销进行 Top-K 多模态评估的强大归纳偏置。

局限与展望¶

对边际先验骨干仍存依赖：ECTraj 依然需要预训练的 QCNet 提供边际未来轨迹预测与得分作为条件输入，未实现完全去先验的端到端单模型预测。
未包含联合交互评分机制：当前一致性模型前向输出仅产生多智能体的联合几何轨迹，未能显式计算每个联合预测的联合置信度概率分数。
极端几何动作（如 U-Turn 掉头）场景仍有精度瓶颈：当目标车辆在静止后突然启动掉头时，模型与现有基线类似存在误判为直行或停顿的失效模式，需要结合更长历史时序或高阶交互意图推理模块进一步优化。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将从零训练一致性模型成功引入多智能体轨迹预测，提出的教师航路点融合与训练期多样本一致性匹配极具创新性。
实验充分度: ⭐⭐⭐⭐⭐ 在 Argoverse 2 上与众多顶会 SOTA 进行了全指标对比，包含深入的计算延迟分析与严谨的训练机制消融。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，数学公式推导扎实，图表逻辑层次分明，方法与实验互相印证。
价值: ⭐⭐⭐⭐⭐ 解决了自动驾驶预测领域扩散模型因延迟无法实车上线的核心痛点，为实时生成式运动规划提供了全新的技术范式。