Efficient Camera Pose Augmentation for View Generalization in Robotic Policy Learning¶
会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/SanMumumu/GenSplat
领域: 机器人/具身智能 / 3D 视觉
关键词: 视角泛化、三维高斯泼溅、三维先验蒸馏、相机位姿增强、模仿学习
一句话总结¶
GenSplat 从稀疏、未标定的机器人多视角观测前馈重建三维高斯场景，以三维先验蒸馏稳定几何，再保持动作标签生成新视角示范，使大幅相机扰动下的 \(\pi_0\) 平均成功率从 48.9% 提升至 62.2%，合成耗时为每帧 0.14 秒。
研究背景与动机¶
机器人模仿学习把图像中的空间线索与专家动作联系起来，但这份联系往往隐含了采集时的相机位置。 同一个夹爪与物体关系，换一个视角后会出现不同的像素位置、遮挡关系和透视缩短，固定视角训练的策略未必还能正确解释它。 因此，即使任务、物体和动作都没有改变，相机外参的小幅变化也可能让部署成功率显著下降。 单纯增加相同机位的示范数量，并没有补上训练数据中缺少的观察方向。 重新摆放相机并遥操作采集又会重复支付人工成本，使视角覆盖成为独立于任务覆盖的数据瓶颈。
新视角合成看起来可以复用原有动作标签，但前提是合成图像仍然描述同一个物理状态。 扩散生成方法可能做出视觉上合理、几何上错误的画面，例如物体比例漂移、视差不匹配或遮挡关系变化。 这类错误对一般图像生成未必致命，对插环、叠放等操作却会使图像与正确动作不再对应。 三维高斯泼溅（3D Gaussian Splatting，3DGS）从共享场景渲染多个视角，更适合维持这种对应关系。 然而，传统逐场景优化常依赖密集且已标定的观测，而机器人数据通常只有少量固定相机，也未必提供可靠外参。
本文把问题收敛为：能否从已有稀疏观测快速恢复足够可靠的三维结构，专门用于扩展策略训练的相机位姿分布？ 直接套用前馈 3DGS 仍不够，因为仅靠输入图像重建误差，模型可能用漂浮高斯或破碎表面拟合当前视角，在新视角才暴露几何错误。 作者因此利用预训练视觉几何模型的点图和相对相机位姿作为结构监督，同时保留 RGB 监督恢复纹理与边界。 目标不是让策略额外执行三维推理，而是在训练数据端减少视角变化与动作语义之间的混淆。 核心 idea：用置换等变重建与三维先验蒸馏获得可重复渲染的机器人场景，把同一条专家轨迹变成动作不变、观察视角不同的训练示范。
方法详解¶
整体框架¶
输入是一条包含同步多相机图像、动作序列和语言指令的专家示范，重建以每个时间步为单位进行。 GenSplat 先提取多视角特征，预测相机到全局坐标的变换与相机坐标系中的稠密点图，再回归可渲染的高斯属性。 训练重建模型时，三维先验蒸馏提供点图和相对位姿监督；制作策略数据时，则在重建场景中采样目标相机位姿并渲染。 新图像与原动作、原时间索引和原语言指令配对，形成增强示范，与真实示范共同训练策略。 部署时运行的是训练后的 \(\pi_0\) 或 Diffusion Policy（DP），而非把教师模型或 GenSplat 插进每一步控制回路。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Input["同步多视角示范"] --> Equivariant["置换等变聚合"]
Equivariant --> Gaussian["点图驱动的高斯预测"]
Prior["三维先验蒸馏"] -.->|仅训练时监督| Gaussian
Gaussian --> Augment["轨迹一致的位姿增强"]
Augment --> Policy["真实与增强示范<br/>共同训练策略"]
Observation["部署时的新视角观测"] --> Execution["训练后的策略输出动作"]
Policy -.->|训练后的参数| Execution这里的“无位姿”指输入不需要提供外部标定好的相机位姿，并不意味着渲染过程不使用相机模型。 相机几何由网络估计，目标相机又围绕估计出的场景进行扰动，因此误差仍可能通过渲染传播到策略数据。 图中的蒸馏分支只约束重建训练，不是增强时额外串行执行的图像生成阶段。
关键设计¶
1. 置换等变聚合：不让参考相机选择决定重建质量
每幅图像先经 DINOv2 编码成 patch token，随后交替执行帧内自注意力和跨图像的全局自注意力。 帧内注意力保留单幅图像的局部结构，全局注意力让不同相机共同解释同一个场景，而不是分别生成互不相干的几何。 整个聚合过程对输入视角采用对称处理，目的是避免某个任意指定的参考视角支配坐标组织并引入顺序相关伪影。 置换等变并非“输出完全不变”：如果交换输入相机的顺序，对应的逐视角预测也应随之交换。 它也不等于策略已经获得了相机运动不变性，后者还需要后续新视角数据训练来验证。
聚合特征分给两个轻量 Transformer 解码器：一个预测每个相机的旋转和平移，另一个预测逐像素三维点及置信度。 点图保存在各相机的局部坐标系中，相机位姿负责把这些局部结构放到共同坐标系里。 这种分工让多视角对齐与单视角的稠密几何表示可以分别受到监督，而不是要求颜色损失独自推断所有几何量。 实现使用 36 个交替注意力块，两种解码器均为 5 层、仅含自注意力的 Transformer。 作者从参考文献 [57] 的 \(\pi^3\) 初始化相关几何网络；这个视觉几何模型与下游控制策略 \(\pi_0\) 不是同一个模型。
2. 点图驱动的高斯预测：把几何位置与外观属性分开
高斯中心并非由一个完全自由的属性头直接猜测，而是把点图中的局部三维坐标变换到全局坐标系。 论文第 5 页明确给出的关系是：
其中，\(\boldsymbol{P}_i\) 表示相机 \(i\) 的局部点坐标，\(\boldsymbol{R}_i\) 和 \(\boldsymbol{T}_i\) 是对应的局部到全局变换。 这个约束把可渲染元素的位置锚定在可监督的三维点图上，减少“颜色拟合成功，但几何漂移”的自由度。 相对于仅回归标量深度，点图为每个像素提供三维位置，可直接承接视觉几何教师的结构信息。 这并不意味着点图天然保证物理正确，而是让本文使用的先验监督有一个明确作用对象。
剩余的透明度、四元数旋转、各向异性尺度和球谐系数由 Dense Prediction Transformer（DPT）属性头回归。 属性头融合深层多视角特征与浅层高分辨率 RGB 特征，使几何上下文与细粒度外观都能参与预测。 高斯中心决定“放在哪里”，其余属性决定局部覆盖形状、透明程度和视角相关颜色，两者共同进入可微渲染。 训练还把渲染深度与点图的 z 分量在有效像素区域内对齐，防止高斯集合与其几何来源各自拟合出不同表面。 因此，本文不是先生成一张好看的 RGB 图再反推结构，而是先建立共享空间表示，再从中产生图像。
3. 三维先验蒸馏：用点图和相对位姿约束稀疏重建
只用 RGB 监督时，稀疏输入留下大量不可观测区域，模型可能用漂浮高斯拟合已知视角，却在转动相机后产生裂缝和错误遮挡。 预训练视觉几何模型为输入提供伪真值点图与相机关系，使重建学习同时受到图像外观和几何结构的约束。 点图损失按正文定义为预测点与教师点之间的平均平方欧氏距离，直接约束逐像素三维位置，而不是仅约束深度标量。 相机损失对视角对之间的相对旋转使用 SO(3) 测地距离，对相对平移使用 Huber 损失。 这些相对约束不依赖外部绝对跟踪数据，帮助各相机预测在同一个场景中保持一致，减少漂移与退化。
总的三维先验项由点图损失和相机损失加权组成，再与 RGB 重建及深度对齐项联合优化。 教师先验并不替代真实图像监督：论文指出伪深度和伪法线可能过度平滑，RGB 损失仍负责恢复物体边界与高频细节。 因此，蒸馏更接近结构正则化，而不是要求学生在所有细节上照搬教师输出。 这也解释了为什么作者同时检查重建质量与操作成功率：结构伪影只有在污染动作监督时，才真正影响本文的核心目标。 缓存中公式 (2) 至 (8) 存在缺失运算符等提取损坏，本笔记按清晰正文说明损失含义，不猜补其精确范数、常数或损失权重。
4. 轨迹一致的位姿增强：改变相机，不改变专家行为
得到逐帧场景后，作者先取两台外部相机光轴之间最短连线的中点作为旋转支点。 目标相机绕指定世界轴 X 或 Y 旋转，角度从 \([-30^\circ,30^\circ]\) 范围采样，再沿相机自身 +Z 方向前移 0.5 至 6 cm。 前移是为了减轻大旋转把视点带出有效高斯覆盖范围的问题，而不是给机器人动作增加平移。 主实验中，每条原始示范恰好采样一组旋转与平移，生成一条增强轨迹，整段采用同一组扰动参数。 网络仍按帧重建动态场景；“同一组相机扰动”不代表把整段机器人运动冻结成一个静态场景。
增强后保留原动作标签、时间对齐和语言指令，真实轨迹与增强轨迹一起用于模仿学习。 这里的监督逻辑是：场景中的动作和物体关系未变，变化的只是从哪里观察这段动作。 如果生成图像移动了物体或改变了遮挡几何，这种标签复用就会变得不可靠，因此重建质量并非可有可无的视觉装饰。 本文没有把新视角等同于新动作、新物体配置或新任务，新增的数据多样性主要位于相机位姿维度。 在该范围内增加更多视角主要让训练分布更稠密，并不自动扩张可泛化的视角边界。
一个完整示例¶
以 Stack Block 为例，一条示范包含机器人接近、抓取和叠放积木时的同步观测及对应动作。 在每个时刻，外部视角中的同一积木会由聚合特征共同解释，点图与相机变换把它放入共享的高斯场景。 为整条轨迹选定一组合法相机扰动，再逐帧渲染这台虚拟相机看到的操作过程。 渲染图像中的积木位置可以因透视而变化，但轨迹标签仍是原专家在对应时间执行的动作。 于是，策略会在真实视角和虚拟视角下看到相同动作的监督，而不必重新执行一遍遥操作。 主设置的 100 条原始示范生成 100 条增强示范；数量实验进一步使用 200、300 或 400 条增强示范。 这些新增轨迹不是额外采集的独立专家行为，因此其收益需要由真实机器人回放验证，而不能只按数据条数判断。
损失函数 / 训练策略¶
GenSplat 的训练目标包含 RGB 重建、深度对齐和三维先验蒸馏三个部分，RGB 项结合 L1 与 LPIPS 感知约束。 重建模型在 DROID 上预训练，每段轨迹按每秒 1 帧抽样，得到 271k 张训练图像，以缩小通用场景与机器人操作场景的差距。 训练进行 30k 次迭代，batch size 为 16，使用模型权重指数移动平均稳定评估。 学习率采用余弦退火和 1k 步线性预热，峰值为 \(2\times10^{-4}\)，从几何模型初始化的参数使用基础学习率的 0.1 倍。 实现使用 FlashAttention、梯度检查点和 bfloat16 减少显存开销。 下游分别训练 \(\pi_0\) 与 DP，策略根据视觉观测和本体状态预测未来动作序列，数据仍来自真实与增强专家示范。 正文把策略目标概括为行为克隆，但不能据此把两类策略都解释成同一种显式似然实现。 具体策略训练配置被指向附录 A.1，而提供的缓存止于参考文献，未包含该附录，因此不补写其优化器、训练步数或动作窗口长度。
实验关键数据¶
主实验¶
实验平台为 7 自由度 Franka Research 3、Robotiq 2F-85 夹爪与 3 台 RGB 相机，其中 2 台为外部相机、1 台为腕部相机。 作者设置 6 项真实操作任务，每项采集 100 条专家示范，并变化物体位置与颜色。 Small 扰动为旋转 3 至 6 度、平移 0.5 至 2 cm；Medium 为 8 至 15 度、2 至 4 cm；Large 为 18 至 30 度、4 至 6 cm。 下表摘录原文表 1（第 12 页）：策略均为 \(\pi_0\)，在 Large 扰动下每项任务执行 30 回合，成功率单位为 %，合成耗时在同一计算设备上测量。
| 增强方法 | 6 任务平均成功率 ↑ | Insert Ring | Place Can | 合成耗时（秒/帧）↓ |
|---|---|---|---|---|
| 无增强 Baseline | 48.9 | 33.3 | 26.7 | 不适用 |
| VISTA | 37.8 | 36.7 | 6.7 | 2.81 |
| SEVA | 57.7 | 43.3 | 30.0 | 50.00 |
| InstantSplat | 55.0 | 40.0 | 33.3 | 85.20 |
| NoPoSplat | 36.7 | 33.3 | 10.0 | 0.05 |
| AnySplat | 56.1 | 43.3 | 30.0 | 0.16 |
| GenSplat | 62.2 | 46.7 | 40.0 | 0.14 |
表 1 中，GenSplat 比无增强高 13.3 个百分点，比 AnySplat 高 6.1 个百分点；这两个差值都不是相对百分比。 第 10 页文字将 \(\pi_0\) 的 +6.7%、+8.9%、+13.3% 称为相对提升，但其大扰动数值与表 1 的绝对百分点差一致，因此本笔记不沿用该相对提升措辞。 同页给出的 DP 大扰动结果为 27.78% 至 43.33%，相对增幅约 56.0%，与 \(\pi_0\) 的比较口径应分开。 0.14 秒/帧描述数据合成耗时，不是机器人控制周期，也不是策略推理延迟。
消融实验¶
下表对应原文表 2（第 13 页），比较架构与三维先验对渲染和策略表现的作用。 缓存中的勾叉符号已损坏，配置名称依据紧随表格的解释性正文确认；两种策略评测条件分别为 30 度、6 cm 和 60 度、12 cm。
| 配置 | PSNR ↑ | LPIPS ↓（原表数值） | Large 成功率（%）↑ | Extreme 成功率（%）↑ |
|---|---|---|---|---|
| VGGT 基线，无三维先验 | 22.35 | 6.01 | 66.0 | 30.0 |
| 置换等变架构，无三维先验 | 25.87 | 5.03 | 70.0 | 40.0 |
| 置换等变架构 + 三维先验 | 26.53 | 3.72 | 74.0 | 46.0 |
在置换等变架构上加入三维先验后，PSNR 从 25.87 升至 26.53，Extreme 成功率从 40.0% 升至 46.0%。 LPIPS 的 6.01、5.03、3.72 缺少尺度说明，不能自行改成 0.0601、0.0503、0.0372，也不宜与其他论文的常见归一化数值直接比较。 表 2 的 Large 成功率 74.0% 不等于表 1 的 62.2%；缓存未充分交代两表的任务汇总与策略评测对应关系，因此保留各自实验口径，不拼成一个主结果。
原文表 3（第 14 页）进一步固定 100 条真实示范，评测 DP 在 Stack Block 与 Stack Cups 上的视角数量效应，每项任务为 50 回合。 下表仅摘录 Large 扰动列；S 表示真实示范，G 表示生成示范，所有成功率单位为 %。
| 训练示范组成 | Stack Block ↑ | Stack Cups ↑ |
|---|---|---|
| 100S | 30.0 | 26.0 |
| 100S+100G | 48.0 | 44.0 |
| 100S+200G | 58.0 | 50.0 |
| 100S+300G | 64.0 | 56.0 |
| 100S+400G | 62.0 | 54.0 |
关键发现¶
- 合成数据可能有负作用：VISTA 与 NoPoSplat 的平均成功率低于无增强基线，说明数量不能抵消几何错误。
- 蒸馏的增益超出图像指标：表 2 同时报告重建改善和 Extreme 条件下 6.0 个百分点的策略提升，但尚不能把所有增益仅归因于单一几何因素。
- 增强数量存在饱和：表 3 中 300G 达到两项任务的最佳 Large 成绩，400G 反而均下降 2.0 个百分点，不支持“越多必然越好”。
- 原文图 8 使用 3 次独立试验、每项每次 30 回合，与表 3 的 50 回合设置不同，不能混用其误差统计。
亮点与洞察¶
- 论文把三维重建定位为训练数据工具，而非控制网络的必需输入。这样可以复用不同策略架构，也把重建计算留在数据准备阶段。
- 点图提供可直接蒸馏的几何载体，RGB 监督负责补足教师的过度平滑。两者互补比单纯追求更逼真的新视角图像更贴近操作监督的需求。
- 相机位姿扰动在整段轨迹上保持一致，动作与时间标签也保留。这个设计避免把逐帧随机视角跳变误当作合理的相机运动。
- 作者把视角数量饱和解释为在固定边界内提高位姿分布密度。对读者而言，可迁移的启发是先补覆盖空洞，再决定是否继续增加同范围样本，而不是把该现象当成已证明的普适规律。
局限与展望¶
- 作者将整合动态腕部相机观测列为未来工作，以捕获操作过程中的细粒度遮挡几何；不能仅因硬件包含腕部相机，就认为这一动态重建问题已经解决。
- 逐帧重建与共享高斯场景不能保证真实尺度、遮挡和时间连续性绝对正确。教师误差、不可见表面和超出有效覆盖的视角仍可能破坏增强样本。
- 证据主要来自单一机器人平台上的 6 项任务，支持视角泛化，但不能直接推出跨机器人、跨动作空间或任意物体变化的泛化。
- 表 1 没有给出均值的置信区间，表 2 的评测对应关系和 LPIPS 尺度也不充分；不宜把小幅差异都解读为已证明的统计显著优势。
- 后续可研究几何置信度筛选与遮挡感知位姿采样，把增强预算用于当前重建可信且训练覆盖不足的区域。这是阅读后的延伸建议，不是本文已验证模块。
相关工作与启发¶
- 与 AnySplat、NoPoSplat 对比：它们同属前馈三维高斯方向，本文强调机器人稀疏输入下的置换等变处理、点图监督与三维先验蒸馏。表 1 表明渲染速度快本身并不足以保证策略收益。
- 与 VISTA、SEVA 对比：它们代表生成式新视角增强，GenSplat 则从共享三维场景控制视角。这里的实验支持所测设置下的性能差异，不代表所有扩散方法在所有机器人数据上都会失败。
- 与 \(\pi^3\)、VGGT 对比：这些模型提供视觉几何能力或架构基线，GenSplat 将相关表示用于高斯渲染和动作标签可复用的数据增强，而不是只评估重建本身。
- 与策略侧空间建模对比：本文主要扩展输入数据的相机分布，不修改 \(\pi_0\) 与 DP 的核心控制架构。未来可研究数据增强与策略侧几何约束是否互补，但本文没有给出该组合结论。
评分¶
- 新颖性: 4/5。将置换等变前馈高斯、点图蒸馏与机器人视角增强形成完整方案，贡献主要在任务化整合与几何监督设计。
- 实验充分度: 4/5。覆盖 6 项真实任务、两类策略、方法对比和数量消融，但部分评测口径仍需补充。
- 写作质量: 3/5。主要机制清楚，但相对提升措辞、LPIPS 尺度及不同表格的结果对应关系不够严谨。
- 价值: 4/5。无需为新视角重复遥操作，也不增加策略部署时的重建步骤，适合关注真实机器人数据效率的研究者。