Imitation from Observations with Trajectory-Level Generative Embeddings¶

会议: NeurIPS 2026
arXiv: 2601.00452
领域: 强化学习
关键词: 观察模仿学习 (LfO), 离线强化学习, 轨迹扩散模型, 粒子熵估计, 代理奖励学习

一句话总结¶

针对专家动作缺失且离线次优数据存在严重支撑集不匹配（support mismatch）的离线观察模仿学习难题，本文提出轨迹级生成式嵌入方法（TGE），利用时序扩散规划器在次优数据上无监督学习的平滑隐空间，结合基于粒子熵估计的重尾对数核构建稠密代理奖励，从而摆脱对脆弱密度比估计的依赖并在下游离线 RL 中取得超越 SOTA 的表现。

研究背景与动机¶

离线观察模仿学习（Offline Imitation Learning from Observations, LfO）致力于在环境不可交互且专家演示仅包含纯状态轨迹（缺失动作标签）的苛刻设定下恢复高表现策略。在现实机器人操作、第一人称视频学习或自主导航中，状态序列极易采集，但精确动作数据往往受限于传感器标定或跨具身差异而极度稀缺。更具挑战性的是，实际可用的离线数据集通常由未知行为策略收集，充斥着次优、多峰甚至是探索性噪声轨迹，算法必须在不被次优行为误导的前提下，从海量嘈杂状态流中准确蒸馏出对齐专家的行为先验。

当前主流离线 LfO 方案面临严峻的结构性瓶颈。一类是基于状态占有度匹配（Occupancy Matching）的对偶优化方法（如 SMODICE、LobsDICE 及 DILO），这类方法本质上依赖估计专家与离线数据之间的状态密度比 $w(s) \approx d^{\pi_E}(s) / d^{\mathcal{D}_\mu}(s)$。然而，此类方法隐含了极强的“支撑集重叠”（support coverage）假设；一旦离线数据与专家行为分布相差悬殊（如仅有极少量专家或次优数据主导），超出专家支撑集的区域其专家密度迅速归零，导致密度比退化并对大批次优转移赋予近乎无差异的趋零权重，彻底丧失提供渐进式引导的能力。另一类基于判别器或逆动力学模型的代理奖励方法（如 ORIL）则依赖对抗训练或单步转移模型，长程视界下复合误差严重且极易出现训练崩溃或信号稀疏。

面对上述两难，本文跳出了局部单步模型与脆弱密度比估计的范式，转而从轨迹级生成几何与非参数熵估计的视角重构学习信号。既然基于时序扩散模型的轨迹规划器具备强大的序列重构与去噪能力，其隐空间天然蕴含着全局时序动力学结构与跨区域平滑性。本文的核心 idea 是：利用在离线次优数据上无监督训练的时序扩散规划器隐空间，基于粒子熵估计推导构建重尾对数核的轨迹级稠密代理奖励，将分布匹配转化为最大化专家轨迹对数似然，在严重支撑集失配下仍为次优样本赋予平滑、渐进且具备动力学语义的相对偏好监督。

方法详解¶

整体框架¶

TGE 算法主要由三个串行模块构成：首先是在无标注且包含状态-动作转移的离线次优数据集 $\mathcal{D}_\mu$ 上预训练时序扩散规划器（Diffuser），并将其 U-Net 去噪网络解耦为时序编码器与解码器；随后，在编码隐空间中对动作维度置零（仅输入纯状态视界切片），将仅有的一条专家纯状态演示轨迹与离线次优数据切片分别映射并投影到单位超球面上；接着，通过搜索每个离线切片在专家嵌入集合中的前 $m$ 个近邻，结合粒子熵推导出的重尾对数核函数计算稠密平滑的代理奖励 $r_{\text{TGE}}(s_t)$；最后，将标注好代理奖励的扩充数据集送入通用离线 RL 算法（如 IQL 或结合奖励自适应 BC 权重的 ReBRAC）完成下游策略训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    D_mu["离线次优数据集 D_μ<br/>(状态-动作轨迹，无奖励)"] --> TrainDiff["时序扩散规划器预训练<br/>U-Net 评分匹配无监督去噪"]
    TrainDiff --> SplitEnc["解耦时序编码器 ϕ_θ<br/>屏蔽动作维度，提取纯状态时序结构"]
    SplitEnc --> LatentMap["轨迹切片映射与球面投影<br/>H-步滑动窗口 + L2 模长归一化"]
    D_E["单条纯状态专家演示 D_E<br/>(无动作、无奖励)"] --> LatentMap
    LatentMap --> DistKernel["重尾对数核代理奖励估计<br/>Top-m 近邻距离 + 粒子熵最大似然"]
    DistKernel --> AugData["带稠密奖励的离线数据集 D'_μ<br/>(s_t, a_t, r_TGE(s_t), s'_t)"]
    AugData --> DownstreamRL["下游离线强化学习策略优化<br/>IQL / 奖励自适应加权 ReBRAC"]
    DownstreamRL --> OptPolicy["最终输出执行策略 π(a|s)"]

关键设计¶

1. 时序扩散隐空间的动态表征与天然可分性 标准表示学习或单步逆动力学模型往往陷入状态混淆（state aliasing）的陷阱——在静态几何空间中距离相近的两个状态，其未来动力学演化可能完全不同（例如被障碍物隔开的两侧）。为了捕捉长程时序演化，TGE 借鉴 Diffuser 架构，在离线次优数据 $\mathcal{D}_\mu$ 上训练一个基于 1D 卷积 U-Net 的轨迹级扩散模型。训练目标是经典的去噪评分匹配损失： $$ \mathcal{L}(\theta) = \mathbb{E}{\tau_0 \sim \mathcal{D}\mu,\, k \sim \mathrm{Unif}[K],\, \boldsymbol{\epsilon} \sim \mathcal{N}(0, I)} \left[ \lVert \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\sqrt{\bar{\alpha}_k}\tau_0 + \sqrt{1-\bar{\alpha}_k}\boldsymbol{\epsilon}, k) \rVert_2^2 \right] $$ 其中输入轨迹切片 $\tau \in \mathbb{R}^{H \times (|\mathcal{S}|+|\mathcal{A}|)}$ 具有滑动视界 $H$。U-Net 噪声预测器被解耦为时序编码器 $\phi_\theta$ 与解码器 $\psi_\theta$。在特征提取时，故意将切片中的动作维度置零或屏蔽，使得编码器 $\phi_\theta: \mathbb{R}^{H \times |\mathcal{S}|} \to \mathcal{Z}$ 纯粹映射基于观测状态的长程时序转移。去噪重构目标迫使隐空间 $\mathcal{Z}$ 丢弃高频环境噪声并保留跨多时间步的连贯动力学特征。实验可视化证实，即便在无任何判别式监督的情况下，该隐空间也能将专家级转移与次优转移自发区分为边界清晰的两大类，为后续度量奠定了优质的语义几何基础。

2. 基于粒子交叉熵推导的重尾对数核奖励函数 传统基于高斯核或 $L_2$ 范数的距离奖励在远离专家分布的次优状态处会发生梯度消失或奖励塌缩，且缺乏严格的分布匹配理论保证。TGE 从非参数最近邻熵估计理论切入，将模仿目标形式化为最小化策略诱导分布 $\rho_\pi$ 与专家分布 $\rho_E$ 在隐空间上的交叉熵 $H(\rho_\pi, \rho_E)$。依据最近邻体积估计展开： $$ H(\rho_\pi, \rho_E) \approx \frac{1}{n}\sum_{i=1}^n \log\Big(c + \frac{1}{m}\sum_{z_E \in \mathcal{N}m(\mathcal{Z}E)} |z_i - z_E|^{d_z}\Big) $$ 为保证数值稳定与梯度平滑，引入常数平移与核温度 $\sigma$，将代理奖励定义为负对数距离形式。所有隐向量首先投影到单位超球面上 $z \leftarrow z / \|z\|_2$（使得欧几里得距离与余弦距离单调对应），对次优状态切片编码 $z_t$，检索其在专家嵌入集 $\mathcal{Z}_E$ 中的前 $m$ 个近邻 $\mathcal{N}_m(\mathcal{Z}_E)$，计算其代理奖励： $$ r \sum}}(s_t) = -\frac{1}{m\right) $$ 由于采用了重尾对数衰减核 }_m(\mathcal{Z}_E)} \log\left(1 + \frac{|z_t - z_E|_2}{\sigma$f(d) = -\log(1+d)$，该奖励在全空间保持平缓梯度，避免了高斯核在极度次优区域迅速坍塌为常数的弊端，使远离专家的次优轨迹仍能凭借相对距离获得具有区分度的反馈，在支撑集失配下提供强健的学习信号。

3. 下游策略学习与奖励自适应行为克隆正则 通过 TGE 估计并归一化的奖励信号，原始无奖励转移集转化为标准离线 RL 数据集 $\mathcal{D}'_\mu = \{(s_t, a_t, r_{\text{TGE}}(s_t), s'_{t})\}$。此时可直接接入任意离线 RL 算法进行策略优化。为了充分利用生成式度量给出的质量置信度，本文分别采用了无参数价值反转的 IQL 以及具备显式策略正则的 ReBRAC。特别是在 ReBRAC 中，作者设计了一种基于 TGE 奖励的自适应行为克隆加权机制：在 Actor 的策略损失中，行为克隆惩罚项权重由转移所获的 $r_{\text{TGE}}$ 动态缩放。对高奖励（专家级）转移强化动作模仿，而对低奖励（极度次优）转移减弱模仿约束、赋予价值函数更大的修正自由度，从机制上防止了策略向离线缓冲区的恶劣行为塌缩。

损失函数 / 训练策略¶

时序扩散器预训练：在离线次优转移集上以滑动窗口切取时序片段（默认 $H=32$），使用 AdamW 优化器，学习率 $2\times 10^{-4}$，批大小 32，采用 20 步 DDPM 调度器与 0.995 的 EMA 衰减系数，进行纯无监督扩散训练。
近邻检索与超参选择：将专家演示与离线数据经编码器后投影至 64 维单位超球面，检索近邻数固定为 $m=10$，核温度设定为 $\sigma=1.0$。
下游策略训练：IQL 采用 expectile 0.8、反温度系数 $\beta=0.5$；ReBRAC 采用批大小 4096、折扣因子 $\gamma=0.99$、目标平滑系数 0.005，Actor BC 系数根据任务结构在 MuJoCo 上设为 0.4，Adroit 任务按 Cloned/Human 分别设为 0.1 和 1.0。

实验关键数据¶

主实验¶

论文在 D4RL 的 MuJoCo 连续控制（Hopper, HalfCheetah, Walker2d, Ant）以及高维灵巧手操作 Adroit（Pen, Door, Hammer）基准上展开评估。基线涵盖 Diffuser (纯 BC)、SMODICE、PW-DICE 以及当前最优的对偶方法 DILO。所有 LfO 方法仅能访问单条纯状态专家轨迹。

下表摘录了在存在严重支撑集失配的 random + few-expert（离线集主要由随机策略构成且仅混入 30 条未标记专家轨迹）以及 medium（离线集中完全不含专家轨迹）设定下的归一化 D4RL 表现对比：

数据集设定	环境	SMODICE	PW-DICE	DILO	TGE+IQL	TGE+ReBRAC	Expert 参考
random+few-expert	hopper	62.04±17.02	89.32±17.29	92.66±7.42	50.57±16.55	88.86±12.28	111.34
random+few-expert	halfcheetah	2.60±0.64	31.16±32.38	48.26±14.18	5.76±1.98	89.70±1.63	88.83
random+few-expert	walker2d	16.97±35.72	97.68±10.98	107.32±1.96	96.56±6.64	105.48±2.52	106.93
random+few-expert	ant	32.11±8.38	108.08±15.99	112.50±7.77	42.76±10.78	111.46±4.14	130.75
medium (无专家)	hopper	56.18±1.16	65.82±11.39	48.68±17.85	64.38±1.68	67.90±1.59	111.34
medium (无专家)	halfcheetah	42.44±0.50	43.27±0.58	42.07±0.47	42.87±0.29	48.00±0.30	88.83
medium (无专家)	walker2d	71.28±7.21	75.64±3.58	69.74±1.13	75.15±0.85	84.56±0.68	106.93
medium (无专家)	ant	88.94±2.89	94.90±4.55	90.13±4.68	93.18±0.70	118.52±0.53	130.75
human+expert	pen	47.64±14.83	27.71±6.32	99.33±10.13	99.64±3.63	90.30±5.36	167.18
human+expert	door	1.50±1.06	0.06±0.03	96.45±4.55	98.02±2.63	101.43±3.73	104.73
human+expert	hammer	0.34±0.23	29.26±34.09	91.24±13.50	106.27±2.49	109.63±9.16	125.72

在 Adroit 的人类演示（human+expert）复杂非马尔可夫噪声场景下，TGE 在三大灵巧手上均取得了接近或超越专家、大幅优于先前 baseline 的优异表现。

消融实验¶

论文围绕核函数类型、时序视界 $H$、近邻数 $m$ 以及温度 $\sigma$ 进行了系统消融。

下表给出了关键超参数敏感性消融（以 Walker2d-medium 与 Halfcheetah-random 为例）：

消融维度	具体配置	Walker2d-medium 分数	Halfcheetah-random 分数	现象说明
核函数类型	对数核 (Logarithmic, 本文)	108.68±0.20	89.70±1.63	重尾分布保留序关系，训练稳定无塌缩
核函数类型	高斯核 (Gaussian)	明显劣于对数核 (见附录图4)	明显劣于对数核 (见附录图4)	奖励塌缩在 1.0 附近尖峰，缺乏次优区分度
时序视界 $H$	$H=1$ (单步)	性能严重下降	性能严重下降	丧失时序连贯性，产生状态混淆
时序视界 $H$	$H=32$ (默认)	108.68±0.20	89.70±1.63	捕获充分动力学信息且计算开销适中
近邻数 $m$	$m=1$	108.92±0.83	88.38±1.79	单近邻易受局部噪声影响但整体仍稳定
近邻数 $m$	$m=10$ (默认)	108.68±0.20	89.70±1.63	兼具平滑性与区分度
近邻数 $m$	$m=20$	108.19±0.36	89.19±1.25	近邻过多轻微平滑，表现依然坚挺
温度 $\sigma$	$\sigma=0.1$	108.89±0.39	89.41±1.57	温度跨越两个数量级，表现无显著波动
温度 $\sigma$	$\sigma=1.0$ (默认)	108.68±0.20	89.70±1.63	性能极其稳健，无需任务级精调
温度 $\sigma$	$\sigma=5.0$	108.02±0.50	89.56±0.10	依然保持近 108/89 的高水准

关键发现¶

对数重尾核彻底打破奖励塌缩：对比高斯核集中在极窄区间的分布，对数核赋予次优数据重尾渐进信号，使 Critic 能精确建立长程价值排序，是方法成功的核心驱动力。
轨迹级时序视界是消除状态混淆的关键：单步编码（$H=1$）在各类任务中表现断崖式下跌，验证了必须在轨迹片段（$H \ge 16$）级别捕捉物理动力学上下文。
超参鲁棒性极高：在 $m \in [1, 20]$ 以及 $\sigma \in [0.1, 5.0]$ 的巨大范围内，模型得分方差微小，证明扩散隐空间具备优越且均匀的度量几何结构。

亮点与洞察¶

将生成式规划器降维复用为度量编码器：区别于传统仅用扩散模型做动作输出或正向轨迹规划的高昂推理代价，TGE 仅抽取其 U-Net 编码器作为静态特征提取器，使下游离线 RL 训练享受普通全连接网络级别的毫秒级吞吐。
熵推导与重尾距离核的完美契合：通过严格的粒子交叉熵展开，建立最小化熵与对数距离均值之间的等价联系，从数学上解释了为什么对数核比直觉上的负欧氏距离或高斯核更抗饱和。
突破支撑集限制的泛化机制：彻底告别占有度匹配中分母为零引发的密度比发散问题，利用球形流形上的距离延展，使“距离专家很远但方向正确”的次优探索也能获得正向梯度反馈。

局限与展望¶

预训练阶段的离线计算开销：在 100 万级转移的大型数据集上预训练时序扩散模型需要单张 L40S GPU 约 4-6 小时，虽然属于一次性离线成本，但相较于占有度匹配算法的零初始化代价依然更重。
单条专家演示的覆盖局限：当唯一提供的纯状态专家演示未能覆盖任务的多峰最优解时，依赖近邻距离可能导致策略被局限在单一解路径中。
跨具身与视觉 LfO 拓展：当前实验集中在低维状态向量任务上，未来可结合大规模视频时序扩散模型（Video Diffusion Models）将轨迹级嵌入扩展到像素级观察与具身迁移控制中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出密度比估计陷阱，通过粒子熵与扩散隐空间构建出理论自洽且鲁棒的轨迹级度量。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖连续控制 MuJoCo 与高维灵巧手 Adroit 的多重数据混合场景，消融实验涵盖视界、核函数、近邻数及温度。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从动机、几何直觉到数学推导环环相扣。
价值: ⭐⭐⭐⭐⭐ 为无动作离线模仿学习开辟了基于生成表征几何的新范式，兼具理论优雅性与工业落地价值。