HiDRA: Hierarchical Dual-Routing Attention for Replay-Free Lifelong Imitation Learning¶
会议: NeurIPS 2026
arXiv: 2610.36374
代码: https://github.com/yfqi/HIDRA
领域: 机器人
关键词: 终身模仿学习, 无重放单遍流式学习, 双路由注意力, 几何正则化, 动态专家库
一句话总结¶
HiDRA 提出分层双路由注意力与键空间几何正则化机制，将指令级专家检索与上下文级动态微调解耦，在无重放、单遍流式终身模仿学习中彻底消除了专家路由干扰并实现零遗忘与强正向迁移。
研究背景与动机¶
机器人若想在真实物理世界中持续作业，必须具备在非平稳环境中从连续的多模态示范流中不断学习新技能的能力。然而传统的终身模仿学习（Lifelong Imitation Learning, LIL）往往基于理想化假设：环境不仅具有清晰离散的任务边界，而且允许维护大规模经验回放缓冲区（Replay Buffer）对历史轨迹进行多轮循环优化。在现实部署场景中，由于严苛的存储限制、隐私合规要求或即时流式数据特性，机器人通常只能以单遍（single-pass）、无回放（replay-free）的方式接收演示数据，每条演示轨迹仅能提供一次参数更新机会。
在此严苛条件下，现有基于预训练视觉-语言-动作（VLA）主干与模块化专家扩展（如 LoRA 专家库）的终身学习范式遭遇了严重的路由干扰（Routing Interference）瓶颈。当模型使用单层投影网络或单路混合表示同时推断任务语义与瞬时环境上下文时，高维表征空间在顺序微调下极易发生表征漂移（representation drift）。由于无法重新访问旧数据以校准路由器，表征的渐进失真会导致路由决策迅速崩溃——新引入的任务表征会破坏既有专家的路由边界，误激活不相关的历史专家，从而在无重放流式更新中引发滚雪球式的灾难性遗忘。
针对表征纠缠与单遍路由失真这一核心矛盾，本文的切入点是将任务级目标与瞬时环境观测进行结构化解耦：任务指令语义在整个轨迹中是恒定不变的锚点，而视觉和本体感知状态则是高度动态且易受表征漂移影响的上下文。核心 idea：构建分层双路由注意力机制，先利用稳定的指令嵌入检索出语义锚点专家并界定候选专家集合，再在受限候选池内利用多模态上下文键值注意力进行细粒度专家重用与系数融合；同时引入键空间几何正则化，从根本上保障扩展专家库的正交可分性与路由稳定性。
方法详解¶
整体框架¶
HiDRA 构建在冻结的预训练多模态策略主干之上。对于连续到来的终身任务序列，系统为每个新任务在线挂载轻量级的低秩自适应专家（LoRA Experts），仅在新任务学习期间更新当前专家及其路由参数，并在后续任务中永久冻结以实现参数隔离。输入观测经过多模态编码后，被显式分离为时间池化的指令查询向量 \(q_t^{\mathrm{ins}}\) 与上下文查询向量 \(q_t^{\mathrm{ctx}}\)。整个路由过程分为两阶段进行：第一阶段通过指令级点积注意力从历史与当前专家库中锁定唯一的语义锚点专家 \(j^*\)，并严格将可重用候选范围限制在锚点之前创建的专家集合 \(\mathcal{S}_{j^*}\) 中；第二阶段在受限候选池中计算瞬时上下文匹配度，并通过轻量级任务特定投影网络融合双路分数，选取 Top-\(K^*\) 个最相关的历史专家协同执行动作生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态流式输入<br/>图像 + 状态 + 语言指令"] --> B["解耦查询生成<br/>指令查询 vs 上下文查询"]
B --> C["分层双路由注意力：阶段I 指令级检索<br/>锁定语义锚点专家并构建前序候选集"]
C --> D["分层双路由注意力：阶段II 上下文细化<br/>受限池内融合评分与Top-K*筛选"]
D --> E["键空间几何正则化<br/>类内原型对齐 + 类间正交分离"]
E --> F["动态可扩展 LoRA 专家库混合输出<br/>锚点专家 + 上下文重用专家加权执行"]关键设计¶
1. 分层双路由注意力机制：解耦任务语义检索与动态上下文细化 传统专家路由器使用单一共享隐空间直接预测全部专家的激活系数，极易在无重放数据流中被局部感知扰动误导。HiDRA 为每个专家配置两组显式可学习向量：初始化自任务指令语言特征的指令键 \(k_j^{\mathrm{ins}}\)，以及随机初始化并动态优化的上下文键 \(k_j^{\mathrm{ctx}}\)。在第一阶段（Stage I），系统将 \(\ell_2\) 归一化的指令查询 \(\hat{q}_t^{\mathrm{ins}}\) 与所有候选专家的指令键 \(\hat{k}_j^{\mathrm{ins}}\) 计算余弦相似度，得到截断指令注意力得分： $\(a_{j,t}^{\mathrm{ins}} = \max\left(0, \langle \hat{q}_t^{\mathrm{ins}}, \hat{k}_j^{\mathrm{ins}} \rangle / \tau_{\mathrm{ins}}\right)\)$ 在此基础上选出最大匹配得分对应的锚点专家 \(j^* = \arg\max_j a_{j,t}^{\mathrm{ins}}\)，并将第二阶段允许被激活的专家严格限定在前序候选集 \(\mathcal{S}_{j^*} = \{j \mid j < j^*\}\)。在第二阶段（Stage II），仅在 \(\mathcal{S}_{j^*}\) 内部计算上下文注意力得分 \(a_{j,t}^{\mathrm{ctx}} = \langle \hat{q}_t^{\mathrm{ctx}}, \hat{k}_j^{\mathrm{ctx}} \rangle / \tau_{\mathrm{ctx}}\)，并通过任务专用投影网络输出融合得分 \(s_{j,t}^{\mathrm{fused}}\)。最终选出 \(K^* = \min(K-1, j^*-1)\) 个候选专家与锚点专家共同输出动作。这种因果式前序掩蔽（causal masking）彻底杜绝了后发任务专家反向破坏历史任务路由规则的可能性。
2. 任务特定轻量级投影网络：非线性自适应融合双路路由证据 由于指令兼容度与瞬时物理环境的相关度存在复杂的非线性交互，简单的相乘或启发式排序难以兼顾技能迁移与抗遗忘。HiDRA 为每个任务引入隐层维度仅为 \(d_u=8\) 的轻量级两层 MLP 作为路由融合网络 \(\phi_j(\cdot)\)。具体而言，模型首先分别提取指令证据向量与上下文证据向量： $\(\mathbf{u}_{j,t}^{\mathrm{ins}} = f_j^{\mathrm{ins}}\left(a_{j,t}^{\mathrm{ins}}, \mathbf{q}_t^{\mathrm{ins}} \odot \mathbf{k}_j^{\mathrm{ins}}\right), \quad \mathbf{u}_{j,t}^{\mathrm{ctx}} = f_j^{\mathrm{ctx}}\left(a_{j,t}^{\mathrm{ctx}}, \mathbf{q}_t^{\mathrm{ctx}} \odot \mathbf{k}_j^{\mathrm{ctx}}\right)\)$ 接着将两类特征拼接并经过单层线性映射与 Sigmoid 激活函数，生成标量融合路由评分 \(s_{j,t}^{\mathrm{fused}} = \sigma\left(g_j([\mathbf{u}_{j,t}^{\mathrm{ins}}; \mathbf{u}_{j,t}^{\mathrm{ctx}}])\right)\)。最终的 LoRA 混合系数由锚点直出系数与 Top-\(K^*\) 融合系数共同构成：\(c_{j,t} = a_{j,t}^{\mathrm{ins}} \cdot \mathbf{1}[j=j^*] + s_{j,t}^{\mathrm{fused}} \cdot \mathbf{1}[j \in \mathcal{T}_t]\)。该设计保证了主导语义锚点的稳定性，同时动态调节先验技能的迁移比例。
3. 键空间几何正则化：维持流式自增长专家表征空间的正交分离 在单遍流式增量学习中，随着任务数量持续增加，上下文键向量若不受几何约束，会在连续梯度更新下塌陷到局部重叠的狭小流形内，引发严重的选错专家问题。HiDRA 设计了由类内紧凑性（Intra-task alignment）与类间正交性（Inter-task separation）构成的几何正则项。对于当前任务 \(k\) 引入的专家集合 \(\mathcal{J}_k\)，系统在线维护所有观测上下文查询的无偏滑动均值原型 \(h_j\)： $\(h_j \leftarrow \frac{n-1}{n}h_j + \frac{1}{n}\hat{q}_t^{\mathrm{ctx}}, \quad h_j \leftarrow \frac{h_j}{\|h_j\|_2}\)$ 并通过最小化余弦距离约束键向量紧跟自身任务的原型表征： $\(\mathcal{L}_{\mathrm{intra}} = \sum_{j \in \mathcal{J}_k} \left(1 - \langle \hat{k}_j^{\mathrm{ctx}}, h_j \rangle\right)\)$ 同时，为彻底消除不同任务专家之间的竞争歧义，对当前任务键与所有历史冻结键施加二次互相关正交惩罚： $\(\mathcal{L}_{\mathrm{inter}} = \sum_{j \in \mathcal{J}_k} \sum_{i \in \mathcal{I}_{<j}} \langle \hat{k}_j^{\mathrm{ctx}}, \hat{k}_i^{\mathrm{ctx}} \rangle^2\)$ 这一目标迫使新专家的上下文键在超球面几何上与既有专家互相垂直，从几何拓扑层面锁死各任务的路由边界。
损失函数 / 训练策略¶
在终身流式学习的第 \(k\) 个任务中，所有预训练主干参数以及历史任务的 LoRA 权重、键参数全部锁定，仅更新当前任务所对应的 LoRA 权重、键向量与轻量投影层参数。优化总目标为： $\(\mathcal{L} = \mathcal{L}_{\mathrm{BC}} + \lambda_{\mathrm{intra}} \mathcal{L}_{\mathrm{intra}} + \lambda_{\mathrm{inter}} \mathcal{L}_{\mathrm{inter}}\)$ 其中行为克隆损失 \(\mathcal{L}_{\mathrm{BC}}\) 采用示范动作上的负对数似然损失。正则化超参数固定为 \(\lambda_{\mathrm{intra}} = 1.0\) 和 \(\lambda_{\mathrm{inter}} = 1.0\)。所有任务均严格在单轮数据流（single-pass, 1 epoch）中通过 AdamW 优化器（学习率 \(1 \times 10^{-4}\)，批大小 32）完成在线自适应更新。
实验关键数据¶
主实验¶
在标准 LIBERO 终身操作基准的 4 大套件（OBJECT、GOAL、SPATIAL、10/LONG）上，HiDRA 在严格无重放单遍设置下全面超越了所有无重放基线（如 L2M、EWC、TAIL、ISCIL 以及无重放版的 DMPEL-0%），甚至击败了使用 100% 历史数据完整重放的强 SOTA 基线 DMPEL (100%)。评测指标包含正向迁移（FWT \(\uparrow\)）、负向后向迁移/遗忘率（NBT \(\downarrow\)）及全生命周期性能曲线下面积（AUC \(\uparrow\)）。
| 算法模型 | 经验重放 | LIBERO-OBJECT (AUC) | LIBERO-GOAL (AUC) | LIBERO-SPATIAL (AUC) | LIBERO-10 (AUC) |
|---|---|---|---|---|---|
| ER (Experience Replay) | ✗ (100% Raw) | \(19.8 \pm 2.9\) | \(23.6 \pm 3.3\) | \(16.2 \pm 3.7\) | \(3.4 \pm 3.5\) |
| MLR-IFA (CVPR 2026) | ✗ (Latent Replay) | \(38.7 \pm 2.2\) | \(38.2 \pm 2.1\) | \(19.9 \pm 2.0\) | \(24.6 \pm 2.5\) |
| DMPEL (100%) (2025) | ✗ (100% Replay) | \(82.2 \pm 1.4\) | \(64.3 \pm 1.8\) | \(47.0 \pm 2.3\) | \(53.8 \pm 2.6\) |
| TAIL (Liu et al. 2023) | ✓ (Replay-Free) | \(50.0 \pm 1.2\) | \(25.0 \pm 1.4\) | \(18.0 \pm 1.5\) | \(16.0 \pm 1.8\) |
| ISCIL (NeurIPS 2024) | ✓ (Replay-Free) | \(41.2 \pm 1.6\) | \(28.9 \pm 0.8\) | \(14.6 \pm 1.3\) | \(18.8 \pm 1.2\) |
| DMPEL (0%) (Replay-Free) | ✓ (Replay-Free) | \(24.7 \pm 4.4\) | \(23.1 \pm 4.1\) | \(13.9 \pm 2.9\) | \(11.7 \pm 3.5\) |
| HiDRA (本文方法) | ✓ (Replay-Free) | \(91.5 \pm 0.1\) | \(66.7 \pm 2.0\) | \(58.7 \pm 1.0\) | \(58.1 \pm 1.5\) |
消融实验¶
在 LIBERO-OBJECT 与 LIBERO-SPATIAL 上的系统性组件消融证实了双路由机制与两项几何正则项在抵抗干扰方面的协同效应。
| 实验配置变体 | OBJECT FWT \(\uparrow\) | OBJECT NBT \(\downarrow\) | OBJECT AUC \(\uparrow\) | SPATIAL FWT \(\uparrow\) | SPATIAL NBT \(\downarrow\) | SPATIAL AUC \(\uparrow\) |
|---|---|---|---|---|---|---|
| 简单无注意力路由 (Simple Routing) | \(71.0 \pm 3.7\) | \(62.0 \pm 2.9\) | \(26.1 \pm 2.5\) | \(43.5 \pm 2.5\) | \(47.1 \pm 3.8\) | \(9.2 \pm 2.0\) |
| 仅上下文注意力 \(\text{SingleAttn}(a^{\mathrm{ctx}})\) | \(72.0 \pm 1.9\) | \(2.5 \pm 2.1\) | \(70.0 \pm 2.2\) | \(41.0 \pm 3.4\) | \(-0.3 \pm 2.6\) | \(41.1 \pm 3.1\) |
| 仅指令注意力 \(\text{SingleAttn}(a^{\mathrm{ins}})\) | \(83.0 \pm 2.4\) | \(-0.5 \pm 1.2\) | \(83.2 \pm 2.0\) | \(53.0 \pm 1.6\) | \(3.0 \pm 0.7\) | \(51.7 \pm 1.6\) |
| 无正则双注意力 \(\text{DualAttn}(a^{\mathrm{ins}}, a^{\mathrm{ctx}})\) | \(85.5 \pm 3.1\) | \(-1.0 \pm 2.2\) | \(85.8 \pm 2.6\) | \(54.5 \pm 1.7\) | \(1.7 \pm 0.7\) | \(54.2 \pm 1.9\) |
| 双注意力 + \(\mathcal{L}_{\mathrm{intra}}\) | \(87.5 \pm 2.2\) | \(-1.9 \pm 1.3\) | \(87.4 \pm 2.6\) | \(55.5 \pm 2.9\) | \(2.1 \pm 2.7\) | \(54.6 \pm 3.3\) |
| 双注意力 + \(\mathcal{L}_{\mathrm{inter}}\) | \(90.0 \pm 1.8\) | \(1.2 \pm 1.3\) | \(88.8 \pm 0.9\) | \(57.0 \pm 2.0\) | \(1.2 \pm 4.4\) | \(55.8 \pm 2.6\) |
| 完整 HiDRA (+ \(\mathcal{L}_{\mathrm{intra}} + \mathcal{L}_{\mathrm{inter}}\)) | \(93.0 \pm 1.5\) | \(2.2 \pm 1.9\) | \(91.5 \pm 0.1\) | \(58.0 \pm 1.5\) | \(-1.4 \pm 0.8\) | \(58.7 \pm 1.0\) |
关键发现¶
- 传统 DMPEL 一旦剥离重放机制（DMPEL 0%），遗忘率在各个基准上飙升至 46%~73%，AUC 出现雪崩式暴跌（OBJECT 上从 82.2% 跌至 24.7%），证明普通多层投影路由器极易受无重放流式表征漂移的毁灭性破坏。
- 单路消融显示，指令检索主导了跨任务迁移能力（\(\text{SingleAttn}(a^{\mathrm{ins}})\) AUC 达 83.2%，远高于仅上下文的 70.0%），但若缺失第二阶段上下文重用，模型在新任务上的快速自适应上限受到显著制约。
- 候选专家因果掩蔽是防止遗忘的关键屏障。在对比实验中，一旦取消 \(\mathcal{S}_{j^*}\) 的前序范围限制（Context-only No Mask），OBJECT 上的 NBT 激增至 19.1%，AUC 从 91.5% 直降至 74.0%，SPATIAL 上的 AUC 更暴跌至 36.9%。
- 在极高跨任务干扰的 LIBERO-MIX 基准测试中，尤其在多任务同时引入的 Inc4 强干扰阶段，HiDRA 的 AUC 达到 67.0%（NBT 为 \(-2.0\%\)），相比依赖重放的 DMPEL (100%)（AUC 59.9%，NBT \(2.4\%\)）表现出更强劲的抗干扰韧性。
- 存储与计算开销极其轻巧：HiDRA 每个任务仅新增 2.77 MB 存储参数（其中 LoRA 适配器占 95.4%，路由器仅占 4.5%），相比存储重放数据的 DMPEL（约 48 MB/任务）节约了超过 \(16\times\) 的内存开销，同时单步前向延迟与 FLOPs 几乎完全不变（125.8 ms vs 125.5 ms）。
亮点与洞察¶
- 两级分层双注意力解耦：将语义不变的指令特征作为第一级路由锚点，而将时变多模态上下文限定在受控候选子集内精细重用，精准解决了模块化连续学习中“既要复用又要防串扰”的本质困境。
- 正交几何正则化约束键空间拓扑：利用滑动原型均值与互相关二次方惩罚强行让新增专家的键向量与历史向量在超球面上保持正交，以几乎零额外推理开销的方式稳固了终身扩展表征空间。
- 可复用的通用架构范式：这种基于双键解耦检索、因果前序掩蔽与正交正则化的路由机制，不仅适用于机器人操作，也可直接无缝迁移到需要单遍自适应的 VLM Agent、长文本持续微调以及多任务大模型专家路由（MoE）场景中。
局限与展望¶
- 空间敏感型任务的局限：在 LIBERO-SPATIAL 上，由于各任务之间仅存在细微的空间方位差异（指令文本高度相似，仅“左/右”方位词不同），模型在指令阶段极易给出高重叠的先验匹配，此时对上下文几何表征的敏锐度要求极高，导致整体成功率（58.7%）相比目标套件（91.5%）仍有提升空间。
- 真实硬件平台部署验证：当前实验完全在 MuJoCo 物理引擎下的 LIBERO 仿真环境中进行，尚未在搭载真实 RGB 相机与机械臂的实体机器人系统上验证高频动态噪声下的路由鲁棒性。
- 未来改进方向：可进一步探索结合空间几何显式特征（如点云或 3D 边界框）强化空间上下文键的判别力，并在真实物理工作台展开流式操作技能验证。
相关工作与启发¶
- vs DMPEL：DMPEL 依赖连续的回放机制来修正多层感知机路由器的预测偏置，去除重放后性能近乎瓦解；HiDRA 采用点积注意力匹配取代黑盒预测，并结合分层解耦与键空间正交约束，在完全无重放的严苛单遍设置下依然取得超越全量重放 DMPEL 的 SOTA 表现。
- vs TAIL / ISCIL：TAIL 仅采用孤立的任务适配器且在测试时必须显式依赖人工给定的任务标签，丧失了自主技能迁移能力；ISCIL 依赖单模态原型聚类检索适配器，在复杂语言指令变体下鲁棒性较差。HiDRA 实现了完全自主的视觉-语言-状态联合路由，兼具强负迁移抑制与高正向复用。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [分层双路由解耦与因果前序受限候选池设计极具启发性，对无重放 LIL 具有突破性贡献]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 个标准子套件、多任务重交织套件 MIX、同义指令泛化 INS 以及多遍轮次扩展，对比深入且消融完备]
- 写作质量: ⭐⭐⭐⭐⭐ [问题拆解层层递进，方法形式化推导清晰严谨，附录工程细节全面]
- 价值: ⭐⭐⭐⭐⭐ [为严苛受限下的流式终身机器人学习指明了可行的高效架构演进路线]