BEACON: Cross-Domain Co-Training of Generative Robot Policies via Best-Effort Adaptation

会议: NeurIPS 2026
arXiv: 2605.08571
OpenReview: https://openreview.net/forum?id=bSawLg1NO0
项目主页: https://computationalrobotics.seas.harvard.edu/BEACON/
领域: 机器人
关键词: 机器人操作, 跨域协同训练, 扩散策略, 最优努力自适应, 重要性重加权

一句话总结

针对仿真与真实世界间视觉和物理差距导致的跨域策略退化问题，BEACON 将生成式机器人策略的跨域协同训练转化为受目标域泛化界指导的重要性重加权优化问题，在无需显式特征对齐损失的前提下显著提升了极少真实示范下的策略鲁棒性与迁移效果。

研究背景与动机

行为克隆（Behavior Cloning, BC）将机器人技能学习简化为基于专家轨迹的监督模仿，配合表达能力极强的扩散策略（Diffusion Policy），在长程多模态接触操作中取得了巨大突破。然而，机器人策略在不同域之间极其脆弱：仿真环境（源域）能够通过 MimicGen 等系统低成本合成数千条轨迹，但与物理真实环境（目标域）之间不仅存在纹理、光照、视角的视觉差距，更深嵌着接触动态、摩擦因数、执行机构延迟等物理动力学差距。直接在源域上训练会彻底失效，而在真实世界中采集高精度的专家示范又极其昂贵且难以规模化。

现有应对策略呈现出两极分化的尴尬局面。经典的域随机化（Domain Randomization）试图强行覆盖物理扰动，但在复杂接触任务中往往因为建模失配而丧失精度；域适应（Domain Adaptation）或近期流行的 Sim-and-Real 协同训练方法（如利用最大均值差异 MMD 或不平衡最优传输 UOT）则执着于在潜在表征空间施加显式的特征对齐损失。然而，这种特征级对齐存在三大根本痛点：无法感知非视觉的物理动态失配、极度依赖人工挑选对齐的层级与特征，且面对多源异质仿真数据时难以拓展。更关键的是，粗暴拉近源域与目标域特征分布往往会破坏精细操作所需的任务几何结构，导致分布崩塌。

本文退回统计学习理论的底层第一性原理思考：我们不应盲目强求源域与目标域所有特征完全重合，而应回答「海量源域轨迹中，究竟哪些样本能严谨证明对目标域泛化有益」。核心 idea：将跨域扩散策略协同训练重塑为基于目标域泛化界的最优努力自适应（Best-Effort Adaptation, BEA）问题，联合优化扩散策略参数与每个源样本的重要性权重，在严格约束源域偏差的同时最大化有效经验迁移。

方法详解

整体框架

BEACON 输入包含海量带标签源域示范 \(\mathcal{D}_{\mathrm{src}}=\{(x_i,y_i)\}_{i=1}^m\) 和极少量带标签目标域示范 \(\mathcal{D}_{\mathrm{tgt}}=\{(x_j,y_j)\}_{j=m+1}^{m+n}\)（通常 \(m \gg n\)），其中输入 \(x_t\) 为包含视觉与本体感觉的观测历史窗口 \(o_{t-H:t}\)，输出 \(y_t\) 为未来动作分块 \(a_{t:t+N}\)。策略骨干网络采用条件扩散模型 \(\pi_\theta\)。与传统固定比例混合训练不同，BEACON 为每个样本引入连续重要性权重 \(q_i \in [0, q_{\max}]\)，并通过一个由泛化误差界导出的联合目标函数，动态调节源域轨迹的参与度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多源/单源示范 Dsrc (m条)<br/>+ 极少量目标示范 Dtgt (n条)"] --> Enc["共享视觉骨干网络 (ResNet-18)<br/>提取观测嵌入 zi = ϕθ(xi)"]
    Enc --> Discrepancy["实例级差异估计<br/>视觉空间归一化 k-NN 距离 di"]
    Discrepancy --> Weights["交替随机权重更新<br/>次梯度投影 + 目标权重下界约束"]
    Weights --> PolicyUpdate["扩散策略参数更新<br/>加权去噪行为克隆损失优化"]
    PolicyUpdate --> Out["鲁棒的目标域扩散操作策略 πθ"]

关键设计

1. 基于泛化误差界的目标函数构建：将域适应理论具象化为正则化优化

传统启发式加权缺乏理论收敛与泛化保障。BEACON 继承最优努力自适应（BEA）理论，将目标域总体风险 \(L(P,\pi_\theta)\) 的上界转化为可微的学习目标。目标函数由经验拟合项、差异惩罚项和三个互补的正则项构成：

\[\min_{\theta,\;\mathbf{q}\in[0,q_{\max}]^{m+n}} \sum_{i=1}^{m+n} q_{i}\big(\ell_{\mathrm{BC}}(\theta;x_{i},y_{i}) + \lambda_{d}d_{i}\big) + \gamma\|\mathbf{q}\|_{\infty}R(\theta) + \lambda_{1}\|\mathbf{q}-\mathbf{p}_{0}\|_{1} + \lambda_{2}\|\mathbf{q}\|_{2}^{2}\]

其中目标样本的差异惩罚恒设为 \(d_i=0\)；\(\mathbf{p}_0\) 为目标域纯经验分布先验（目标样本权重为 \(1/n\)，源样本为 \(0\)）；\(\ell_1\) 偏差惩罚 \(\|\mathbf{q}-\mathbf{p}_{0}\|_{1}\) 防止加权目标过度偏离目标域真实分布，\(\ell_2\) 收缩项 \(\|\mathbf{q}\|_{2}^{2}\) 抑制极端权重崩溃，无穷范数项 \(\gamma\|\mathbf{q}\|_{\infty}R(\theta)\) 则直接关联到优化器的解耦权重衰减（Weight Decay），保证了最大样本权重增大时对应施加更强的模型容量约束。

2. 实例级差异估计：在策略表征空间度量非对称失配

原始 BEA 理论采用全域单一差异度量 \(d_i=\mathrm{dis}(P,Q)\)，但机器人操作中源域示范具有高度内部异质性——即便在同一仿真器内，有些轨迹因接触视角合适而极具迁移价值，有些则完全是物理离群点。BEACON 摒弃静态的域级标量，改用策略自身视觉编码器 \(\phi_\theta\) 嵌入空间中的动态归一化 \(k\) 近邻（\(k\)-NN）距离作为实例级差异评分：

\[d_{i} = \frac{\frac{1}{k_{\mathrm{eff}}}\sum_{z_j \in \mathrm{kNN}(z_i, \mathcal{T})} \|z_i - z_j\|_2}{Z}, \quad i \in \mathcal{S}\]

其中 \(Z\) 为目标域样本自身 \(k_{\mathrm{eff}}\) 邻域的平均内部距离，\(k_{\mathrm{eff}}=\min(k,n)\)。当 \(d_i \approx 1\) 时表明源样本完全落入目标域的自然流形分布中，而 \(d_i \gg 1\) 则代表严重偏离。由于嵌入随策略演化，差异评分会周期性动态重算，使样本权重与表征学习协同自适应。

3. 随机交替优化算法：支撑高维序列去噪扩散策略规模化训练

原始 BEA 依赖全数据集凸优化交替求解，面对高维视觉扩散策略不可行。BEACON 提出了高效的随机交替求解器：在每个 epoch 中，先执行前向推理收集样本的扩散行为克隆损失 \(\ell_i(\theta)\)，利用投影次梯度步长更新权重：

\[g_{i} = \ell_{i}(\theta) + \lambda_{d}d_{i} + \gamma R(\theta)\frac{\mathbf{1}[q_{i}=\|\mathbf{q}\|_{\infty}]}{|\arg\max_{j}q_{j}|} + \lambda_{1}\mathrm{sign}(q_{i}-p_{0,i}) + 2\lambda_{2}q_{i}\]

权重裁剪至 \([q_i^{\min}, q_{\max}]\) 后，通过二分法快速投影到总体预算约束超平面 \(\sum_i q_i = n + \alpha m\) 上，并设立目标样本权重保护下界 \(q_T^{\min} \in [0.05, 0.10]\)；随后固定权重，执行多步加权扩散去噪损失的反向传播。这一交替过程极大降低了内存和算力开销。

4. 多源异质协同训练（MS-BEACON）：域级与实例级双层解耦加权

当源域数据来自多个不同物理引擎、不同渲染材质或不同机械臂本体时，简单混合会导致源域间互相干扰。MS-BEACON 将源样本权重分解为域级全局权重与域内细粒度权重：\(q_i = w_{s(i)} \tilde{q}_i\)（\(i \in \mathcal{S}\)），其中 \(\mathbf{w} \in \Delta^{K-1}\) 为多源单纯形分布。在优化时增设源域正则化项 \(\rho_1 \|\mathbf{w}-\mathbf{w}_0\|_1 + \rho_2 \|\mathbf{w}\|_2^2\)，通过闭式梯度投影先筛选有效源域，再利用 \(\tilde{q}_i\) 过滤域内异常轨迹，实现了从粗到细的双重负迁移阻断。

训练策略与超参数设置

扩散策略沿用标准 DDPM 噪声预测架构，视觉网络采用在 \(96\times96\) 输入上运行的 ResNet-18。核心超参数在单张 NVIDIA L40S（48GB）上运行验证：差异估计邻居数 \(k=5\)；权重更新步长 \(\eta_q=10^{-2}\)，每 epoch 刷新一次 \(d_i\)；损失惩罚系数 \((\lambda_1, \lambda_2, \lambda_d) \approx (0.01, 0.01, 0.1)\)；总权重预算比率 \(\alpha \in [0.3, 0.5]\)，单样本上限 \(q_{\max}=5.0\)。整个训练过程在 24 小时内即可收敛。

实验关键数据

主实验

实验在 Franka Emika Panda 机械臂上展开，涵盖方块堆叠（Block Stacking，含随时成功 R 与 5 帧稳定成功 S 标准）、咖啡杯清理（Mug Cleanup，包含拉抽屉放杯子）、穿针引线（Threading，高精度亚厘米对准）三项接触丰富任务。仿真（Sim-to-Sim）设置纹理（T）及纹理+视角（T+V）双重差距；真实世界（Sim-to-Real）设置物理与视觉复合差距（P）及分布外测试（P-OOD）。

表 1：Sim-to-Sim 跨域操作任务成功率对比

方法	方块堆叠 T(R)	方块堆叠 T(S)	方块堆叠 T+V(R)	方块堆叠 T+V(S)	咖啡杯清理 T	咖啡杯清理 T+V	穿针引线 T	穿针引线 T+V	平均 T	平均 T+V
Source-Only	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
Target-Only	0.16	0.10	0.23	0.20	0.16	0.12	0.15	0.16	0.16	0.13
Co-Training	0.33	0.25	0.26	0.16	0.29	0.15	0.33	0.14	0.32	0.18
MMD	0.87	0.72	0.67	0.54	0.47	0.29	0.47	0.28	0.60	0.41
UOT	0.68	0.48	0.52	0.38	0.46	0.23	0.41	0.22	0.52	0.32
BEACON (Ours)	0.89	0.77	0.73	0.60	0.51	0.29	0.53	0.33	0.64	0.45

表 2：真实物理世界 Sim-to-Real 跨域操作任务成功率对比

方法	方块堆叠 P(R)	方块堆叠 P(S)	堆叠 P-OOD(R)	堆叠 P-OOD(S)	咖啡杯清理 P	杯子 P-OOD	平均 P	平均 P-OOD
Source-Only	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
Target-Only	0.05	0.00	0.00	0.00	0.15	0.00	0.10	0.00
Co-Training	0.40	0.25	0.15	0.15	0.58	0.18	0.49	0.17
MMD	0.55	0.40	0.15	0.05	0.68	0.20	0.62	0.18
UOT	0.45	0.30	0.25	0.20	0.70	0.33	0.58	0.29
BEACON (Ours)	0.75	0.55	0.45	0.35	0.78	0.53	0.77	0.49
MS-BEACON (Ours)	0.85	0.55	0.45	0.45	0.80	0.60	0.83	0.53

消融实验

针对优化求解算法（凸内层求解 vs 随机交替更新）与差异估计器形式（局部标签差异、分类器概率差异、\(k\)-NN 几何距离）在方块堆叠 T+V 严苛场景（S 评判标准）下进行了系统消融。

表 3：不同权重更新策略与差异估计器的组合消融（成功率 S）

权重更新策略	局部标签差异（Localized）	\(k\)-NN 几何差异（Default）	分类器概率差异（Classifier）
全凸内层求解器（Full-convex）	0.58	0.52	0.54
随机交替更新（Stochastic，默认）	0.58	0.60	0.58

关键发现

• 隐式特征对齐的自然涌现：UMAP 特征可视化揭示，BEACON 虽未施加任何特征对齐惩罚项，其深层潜在表征空间却自动实现了源域与目标域特征的高质量紧密对齐。因为差异大、失配严重的样本被重要性重加权机制自动降权归零，梯度更新被完全引导至与目标域一致的流行区域。
• OOD 外推鲁棒性优异：在物体初始放置位置与目标示范完全不相交的 OOD 测试中，显式对齐基线 MMD 发生灾难性退化（平均仅 0.18），甚至低于朴素协同训练；而 BEACON 达到 0.49，MS-BEACON 达到 0.53。这证实强行拉近全域特征会破坏任务几何结构，而样本筛选保留了有用的操作物理先验。
• 目标域数据规模的放大效应：当目标域示范数由 20 条递增至 80 条时，BEACON 的性能提升曲线斜率显著高于单纯 Target-Only 基线，证明源域重加权并不因目标数据变多而边际效用递减，反而因差异度量 \(d_i\) 变得更精确而放大了正迁移收益。

亮点与洞察

• 理论推导向高维扩散工程的优雅落地：将纯数学统计学习理论（BEA 泛化界）严密转化为可落地的深度强化学习与生成式行为克隆模块，通过 Weight Decay 与 \(\|\mathbf{q}\|_\infty\) 的等价挂钩，巧妙化解了复杂的泛化惩罚项计算。
• 免选对齐层级的泛化优势：传统域对齐方法最大的工程噩梦在于“选哪一层特征算对齐损失”以及“如何权衡表征不变性与任务特异性”。BEACON 从样本重加权切入，天然与网络架构解耦，自动跨越了视觉和物理动态的双重鸿沟。
• 可复用的权重演化洞察：训练终期的权重呈现清晰的双峰分布——目标样本全部顶格饱和放大（均值 1.93），而源样本则演化为“大量直接压零淘汰、高质量轨迹适度赋权（均值 0.46）”。这种自适应剪枝机制为大规模机器人多源数据清洗提供了极具价值的范式。

局限与展望

• 准静态操作假设：当前评估场景（堆叠、清洁、穿针）均以准静态接触为主，面对高速掷接、流体互动等富含极高频动力学突变的任务时，视觉空间的 \(k\)-NN 距离可能不足以捕捉深层动态失配。
• 多源域异质本体的探索尚浅：实验主要覆盖视觉域与仿真物理参数变化，未来若拓展至跨机械臂构型（如两指夹爪向五指灵巧手）、跨具身人手视频迁移，需要融合动作语义级的拓扑差异度量。

相关工作与启发

• vs Sim-and-Real Co-Training (Maddukuri et al., 2025)：基线方法采用固定 1:1 或静态比例混洗仿真与真实数据，导致不适配的仿真数据持续污染真实策略；BEACON 赋予样本动态自适应加权能力，显著阻断负迁移。
• vs UOT 域自适应协同训练 (Cheng et al., NeurIPS 2025)：UOT 利用不平衡最优传输强行在特定潜空间寻找对齐映射；BEACON 则跳出表征对齐的死局，用实例级泛化界过滤轨迹，保留了更精细的任务流形几何结构。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次将 BEA 泛化理论成功移植并工程化落地到现代高维扩散机器人策略协同训练中。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Sim-to-Sim、Sim-to-Real 实体机器人操作、多源异质域以及严苛的 OOD 泛化评估与多维度消融。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，算法落地步骤严谨，实验图表信息极其完备。
• 价值: ⭐⭐⭐⭐⭐ 为具身智能领域利用海量廉价合成数据微调真实机器人策略提供了极具前景的通用方案。

相关论文

• [ICML 2026] Online Self-Training for Co-Adaptation in Hierarchical Diffusion Policies
• [NeurIPS 2025] Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training
• [NeurIPS 2026] Efficient Test-Time Adaptation For Robot Policies
• [NeurIPS 2026] NoTVLA: Semantics-Preserving Robot Adaptation via Narrative Action Interfaces
• [NeurIPS 2026] HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation