SyncWorld: Visual Calibration Enables World Models as Zero-Shot Simulators¶

会议: NeurIPS 2026
arXiv: 2609.09155
OpenReview: https://openreview.net/forum?id=lj7OHtUYX1
代码: https://umass-embodied-agi.github.io/SyncWorld/
领域: 其他
关键词: 世界模型, 视觉标定, 机器人仿真, 零样本迁移, 扩散变换器

一句话总结¶

针对异构机器人数据下数值动作与像素运动映射冲突的根本瓶颈，本文提出动作条件世界模型 SyncWorld，通过引入显式六自由度视觉标定片段与标定蒸馏机制，实现了跨未知视点与机械臂本体的零样本动力学仿真与免训练策略测试期提升。

研究背景与动机¶

构建能够精确预测未来观测的动作条件世界模型（Action-Conditioned World Models）是实现具身智能自主规划、闭环控制与数据生成的关键基石。近年来，基于扩散变换器（DiT）的视频生成模型在画面保真度与时间连贯性上取得了突破，研究者们逐渐尝试将其作为策略评估与闭环推演的“想象环境（Imagination Environments）”。这类策略在环（Policy-in-the-Loop）应用对世界模型提出了严苛的细粒度可控性要求：模型生成的未来视频轨迹必须在因果上精准反映底层连续控制动作（如末端执行器的低层位姿指令）所引发的视觉物理演变，每一帧画面都需与动作的变化直接对齐。

然而，在面对来自不同机械臂仿真平台与真实场景的多源异构数据时，将动作条件世界模型向通用化扩展面临着根本性阻碍：在像素空间中，数值动作并不是一种“通用语言”。在真实的机器人配置中，动作到视觉状态转移的映射（Action–Visual Mapping）高度依赖于具体实验设置。相机外参视角（Camera Extrinsics）、机器人底座安装位置乃至机械臂运动学本体（Embodiment）的任何改变，都会导致相同的数值动作向量在像素网格中呈现出截然不同、甚至完全相反的运动轨迹。这造成了两大核心矛盾：一方面，在多源数据混合训练时，模型被迫将同一组动作数值拟合到多个相互冲突的像素运动模式中，引发监督冲突并削弱泛化表征；另一方面，在测试期部署至全新视点或全新机械臂时，静态的动作语义无法自适应调整，导致世界模型彻底失效。

为了打破这一僵局，本文的核心思路是不去人为设计某种通用的手写几何动作投影，而是将“动作-视觉映射”视为可在视觉域内自适应解析的隐式关系。核心 idea：将动作与画面的映射关系转化为上下文视觉标定任务，通过在输入中引入覆盖六自由度的简短标定交互片段，使扩散世界模型能够在无须微调的情况下于上下文内即时对齐动作语义，并借助标定蒸馏将这一校准能力泛化至仅依赖推演历史的零样本仿真。

方法详解¶

整体框架¶

SyncWorld 旨在构建一个在未见视觉环境、相机视点与机械臂本体上均保持高精度可控性的动作条件世界模型。给定当前时刻 $t$ 的交互历史 $H_t$ 以及未来 $H$ 步的动作块 $A_t = (a_{t+1}, \dots, a_{t+H})$，标准模型直接建模未来观测序列 $I_{t+1:t+H} \sim W_\theta(\cdot \mid H_t, A_t)$。而在 SyncWorld 中，模型额外以当前配置的上下文标定片段 $\mathcal{C}^s$ 为输入条件，建模 $I_{t+1:t+H} \sim W_\theta(\cdot \mid \mathcal{C}^s, H_t, A_t)$。模型底层基于 Wan2.2-TI2V-5B 的扩散变换器架构，采用时空三维 VAE（下采样率 $4 \times 16 \times 16$）将视频编码为潜在表示，并向每个 DiT 模块注入线性位姿编码与标定元嵌入。通过这种上下文机制，模型能够在零样本迁移至新配置时，依据视觉线索自主消除视角与机械臂维度的动作模糊性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流<br/>标定片段 C / 交互历史 H / 候选动作 A"] --> B["多自由度标定片段提取<br/>12段单轴运动与规范化排序"]
    B --> C["动作坐标系数据增强<br/>符号翻转 / 轴置换 / 尺度缩放"]
    C --> D["标定到历史知识蒸馏<br/>教师-学生一致性正则化"]
    D --> E["扩散变换器视频去噪<br/>Wan2.2 5B 主干 + 动作分类器自由引导"]
    E --> F["测试期决策提升<br/>多视点仿真与 VLM 视觉评分重排"]

关键设计¶

1. 多自由度标定片段提取：将复杂多维动作解耦为规范有序的视觉证据

为了向世界模型提供确凿且紧凑的动作-视觉映射依据，本文设计了一套自动化标定交互采样与提取管线。针对 7-DoF 机械臂（3 自由度平移 $\{x,y,z\}$、3 自由度旋转 $\{\text{yaw}, \text{pitch}, \text{roll}\}$ 与夹爪开合），考虑到夹爪开合的视觉表象直观且与空间外参无关，标定过程聚焦于 6 个空间运动维度。系统首先指令机械臂沿各自由度执行“正向运动—停顿—反向复位”的规范动作流，随后通过确定性算法在连续轨迹中筛选出位移超过阈值（平移 $>1\text{mm}$、旋转 $>0.2^\circ$）的最显著单向连贯区间，每个区间截取固定 $5$ 帧。最终，提取出的 $12$ 个符号化运动片段按照固定的规范顺序排列为前缀上下文向量： $$ \mathcal{C}^s = \big[\mathcal{C}^s_{+x}, \mathcal{C}^s_{-x}, \mathcal{C}^s_{+y}, \mathcal{C}^s_{-y}, \ldots, \mathcal{C}^s_{+\text{roll}}, \mathcal{C}^s_{-\text{roll}}\big] $$ 这一有序片段总计包含 60 帧画面，作为视觉前缀直接拼接在交互历史与待生成未来帧之前，为模型消解当前场景中的坐标系朝向、相机视角外参和机械臂结构提供了最直接的物理参照。

2. 动作坐标系数据增强：阻断固有坐标系记忆并强制模型依赖视觉证据

在混合训练过程中，若直接向网络提供标定片段与动作数值，神经网络极易走捷径（Shortcut Learning），即仅依靠内部参数死记某些常见数据集的全局坐标系约定，而忽略输入的标定上下文。为了强迫模型真正学会“通过观察标定画面的像素移动来推断当前动作含义”，本文提出了严格保持几何一致性的动作坐标系联合增强机制。在训练迭代中，系统以设定概率 $p_{\text{axis}}$ 随机采样三维旋转置换矩阵 $\mathbf{S} \in \mathbb{R}^{3 \times 3}$（满足正交性且行列式 $\det(\mathbf{S})=+1$）与平移缩放因子 $s \sim \mathcal{U}(0.7, 1.5)$。对于轨迹中的每个末端执行器齐次位姿矩阵 $\mathbf{T}_t = [\mathbf{R}_t, \mathbf{p}_t; \mathbf{0}^\top, 1]$，同步执行变换： $$ \mathbf{R}_t' = \mathbf{R}_t \mathbf{S}, \qquad \mathbf{p}_t' = s \, \mathbf{p}_t $$ 该扰动严格同步施加于标定输入 $\mathcal{C}^s$、历史动作 $H_t$ 和未来目标动作块 $A_t$ 中，同时保持对应的所有视频像素完全不变。这迫使数值坐标的物理指向在每次训练中发生随机重构，模型无法再依赖绝对数值记忆，必须完全基于标定序列中的视觉对应关系来解释动作的几何内涵。

3. 标定到历史知识蒸馏：让世界模型摆脱对显式标定片段的绝对依赖

尽管显式标定片段能提供清晰的映射证据，但在许多实际部署场景中，用户无法预先让机械臂执行一次完整的 6-DoF 标定交互。为了让同一个世界模型在缺失独立标定序列时依然可用，SyncWorld 提出了标定到历史的知识蒸馏策略。在训练阶段，针对同一条交互轨迹构造配对的“教师样本”与“学生样本”：教师网络接收完整的视觉标定上下文 $\mathcal{C}^s$、交互历史 $H_t$ 与未来动作 $A_t$；而学生网络则将标定输入替换为全黑的占位张量（像素归一化值为 $-1$，位姿置零，并在动作特征第 8 维拼接特定的空标定标记 $-2.0$），仅能依靠包含 $25$ 帧的自然交互历史 $H_t$ 来推断动作映射。通过在扩散模型的去噪输出上施加均方误差一致性损失： $$ \mathcal{L}{\text{distill}} = \mathbb{E}} \Big[ \big| \hat{\boldsymbol{\epsilon}\theta(\text{history}, \text{null-calib}) - \text{sg}\big(\hat{\boldsymbol{\epsilon}}\theta(\text{history}, \text{calib})\big) \big|_2^2 \Big] $$ 其中 $\text{sg}(\cdot)$ 表示阻断梯度传播。该设计促使学生网络学会从日常操作的动态历史中提取隐含的运动映射特征，实现了“有标定则精度极致、无标定则自适应平替”的灵活推演能力。

4. 测试期决策提升：基于多视点世界模型生成的免训练策略重排

高质量的动作条件世界模型不仅能用于被动观察，更可作为主动策略搜索的虚拟沙盒。SyncWorld 结合 GPC-Rank 测试期扩展框架，构建了一套完全免训练的策略提升机制。在面对未见环境与语言指令 $l$ 时，底层的通用视觉-语言-动作（VLA）策略首先在当前状态下并行采样 $K$ 个候选动作块 $A_t^{(k)} \sim \pi(\cdot \mid O_t, l)$（$k=1,\dots,K$，通常 $K=8$）。SyncWorld 随后作为推演引擎，自回归预测每个候选动作块所引发的未来 $16$ 帧多视角（前视与侧视）视频演化。随后，引入预训练视觉大模型（如 GPT-5）充当无偏裁判，综合多视点一致性与任务目标指令给出进展评分： $$ s^{(k)} = \mathrm{VLMScore}\big(\hat{I}_{t+1:t+H}^{(k)}, l\big) $$ 执行机构最终选取评分最高的候选动作块 $k^\star = \arg\max_k s^{(k)}$ 实际执行。通过该流程，机器人策略能够在无需对底层网络进行任何权重更新的情况下，直接借助高保真想象模拟规避不可行轨迹，显著突破基础策略的能力边界。

损失函数 / 训练策略¶

模型训练采用两阶段递进式学习课程（Curriculum Learning）。在第一阶段（标定预热），所有样本均强制包含显式视觉标定片段，并将坐标变换概率设置为较为保守的 $p_{\text{axis}} = 0.3$，使 DiT 主干与轻量级位姿编码器平稳学会理解视觉标定线索。在第二阶段（全数据混合训练），引入包含无标定真实世界数据（如 DROID）的完整混合集，并将坐标变换概率提升至 $p_{\text{axis}} = 0.6$，同时全面激活标定蒸馏目标。总体训练损失函数由基础流匹配扩散损失 $\mathcal{L}_{\text{base}}$ 与蒸馏损失复合而成： $$ \mathcal{L} = \mathcal{L}{\text{base}} + \lambda $$ 训练在 32 块 NVIDIA H100 GPU（}} \mathcal{L}_{\text{distill}$4 \times 8$ 节点配置）上进行，全局 Batch Size 为 64，采用 bfloat16 混合精度与梯度检查点技术，学习率恒定为 $5 \times 10^{-5}$，耗时 2 至 3 天收敛。在推理阶段，为了确保生成的视频帧严格遵从动作指令，引入动作分类器自由引导（Action-CFG），设置引导强度 $\lambda_{\text{action}} = 5.0$；并通过 4 卡统一序列并行（USP）将 20 步去噪推理时延压低至 3.2 秒。

实验关键数据¶

主实验¶

实验在完全未见的仿真基准（LIBERO、ManiSkill）以及使用全新未见机械臂（xArm）的真实世界轨迹上展开评估。对比基线包括前沿的动作条件世界模型 IRASim、WorldGym 与 Ctrl-World。如表 1 所示，SyncWorld 在所有指标上均以显著优势刷新 SOTA，展现出强大的跨视点与跨本体泛化能力。

数据集	指标	SyncWorld (w/ Calib)	SyncWorld (w/o Calib)	Ctrl-World (之前SOTA)	提升幅度 (相对SOTA)
LIBERO	PSNR ↑	28.3	27.9	24.8	+3.5 dB
LIBERO	SSIM ↑	0.935	0.933	0.892	+0.043
LIBERO	LPIPS ↓	0.035	0.049	0.137	-0.102 (-74.5%)
LIBERO	FID ↓	7.0	8.7	16.5	-9.5 (-57.6%)
ManiSkill	PSNR ↑	27.0	26.0	22.6	+4.4 dB
ManiSkill	SSIM ↑	0.870	0.845	0.770	+0.100
ManiSkill	LPIPS ↓	0.049	0.071	0.178	-0.129 (-72.5%)
ManiSkill	FID ↓	9.7	14.0	26.5	-16.8 (-63.4%)
Real-World (xArm)	PSNR ↑	29.2	28.8	25.2	+4.0 dB
Real-World (xArm)	SSIM ↑	0.936	0.934	0.856	+0.080
Real-World (xArm)	LPIPS ↓	0.039	0.042	0.142	-0.103 (-72.5%)
Real-World (xArm)	FID ↓	5.5	5.9	22.8	-17.3 (-75.9%)

消融实验¶

表 2 评估了核心模块（视觉标定与标定蒸馏）在无测试期显式标定输入（仅靠历史推演）时的重要性；表 3 进一步汇报了跨视点 3D 几何一致性度量（Met3r 指标，越低越好，以真实两视角间的 Met3r 作为理论 Oracle 上界）。

配置	LIBERO (PSNR / LPIPS / FID)	ManiSkill (PSNR / LPIPS / FID)	Real-World (PSNR / LPIPS / FID)	说明
SyncWorld (Full Model)	27.9 / 0.049 / 8.7	26.0 / 0.071 / 14.0	28.8 / 0.042 / 5.9	完整模型（无测试期标定，依赖历史）
w/o 视觉标定训练	25.0 / 0.134 / 15.6	23.2 / 0.174 / 25.7	26.7 / 0.128 / 18.2	训练阶段去除视觉标定片段
w/o 标定蒸馏机制	24.2 / 0.148 / 17.8	22.5 / 0.192 / 27.3	26.0 / 0.142 / 20.1	训练阶段去除知识蒸馏对齐损失

在跨视角几何一致性方面，各模型在双视点间的 Met3r 表现如下：

方法	LIBERO Met3r ↓	ManiSkill Met3r ↓	Real-World Met3r ↓	平均 Met3r ↓
IRASim	0.579	0.633	0.468	0.560
WorldGym	0.583	0.632	0.515	0.577
Ctrl-World	0.559	0.642	0.494	0.565
SyncWorld (w/o Calib)	0.545	0.607	0.474	0.542
SyncWorld (w/ Calib)	0.540	0.602	0.473	0.538
Ground-Truth Oracle	0.515	0.594	0.459	0.523

在利用世界模型进行测试期策略重排提升的实验中（基于 $\pi_0$ 策略与 GPT-5 评审裁判），在具有分析价值的子任务上成功率对比为： - BBQ Sauce 任务: 基线策略 $0.52 \rightarrow$ SyncWorld (w/o Calib) $0.54 \rightarrow$ SyncWorld (w/ Calib) $\mathbf{0.58}$（仿真器 Oracle 为 $0.60$） - Orange Juice 任务: 基线策略 $0.56 \rightarrow$ SyncWorld (w/o Calib) $0.68 \rightarrow$ SyncWorld (w/ Calib) $\mathbf{0.72}$（仿真器 Oracle 为 $0.80$） - Black Bowl 任务: 基线策略 $0.48 \rightarrow$ SyncWorld (w/o Calib) $0.58 \rightarrow$ SyncWorld (w/ Calib) $\mathbf{0.60}$（仿真器 Oracle 为 $0.66$）

关键发现¶

视觉标定是跨域可控泛化的绝对核心支柱：消融实验表明，在训练中去除视觉标定会导致 ManiSkill 和真实机械臂上的 FID 显著恶化（从 14.0/5.9 劣化至 25.7/18.2）。标定片段使模型能够解耦动作数值与其视觉运动效应。
标定蒸馏成功赋予了模型隐式自适应能力：即便在测试期不输入任何专用标定片段，仅依靠常规操作中积累的 25 帧交互历史，经过蒸馏训练的 SyncWorld 依然能够推断出相当精确的坐标系映射，性能极其逼近显式标定版本（LIBERO 上 FID 仅由 7.0 变为 8.7，远超此前所有基线）。
坐标增强对防过拟合具有决定性作用：附录实验表明，完全禁用坐标增强（Aug. 0.0）会使模型退化至对预设坐标系的死记硬背，PSNR 显著下降；而适度的增强强度（$p_{\text{axis}}=0.6$）达成了最佳物理平衡。

亮点与洞察¶

将几何外参估计转化为纯视觉上下文理解：传统机器人跨视角迁移严重依赖于高精度的相机外参标定矩阵或手眼标定算法，而 SyncWorld 将这一复杂的几何推导完全包装为一个通用的视觉上下文生成任务，让神经网络通过端到端注意力直接领会动作映射。
通过反事实动作扰动破除“预言机幻觉”：训练数据中不仅包含专家演示，还特意注入了合成的离轨偏差与动作噪声。这种反事实数据设计确保了世界模型不会由于数据偏差而总是自动补全“成功操作”，从而保证了因果级别的精确控制反馈。
兼顾显式提示与隐式推演的教师-学生闭环：通过蒸馏损失强制学生网络在无标定输入下模仿教师网络的特征分布，既保留了显式标定的上限天花板，又极大拓宽了真实无标定部署时的应用实用性。

局限与展望¶

作者承认的局限：极端极限视角下的退化明显。当相机安装过于陡峭、视场几乎被巨大且旋转的机械臂末端完全遮挡时，尽管模型能捕捉大致的旋转趋势，但难以稳定预测清晰末端轨迹；此外，面对训练集中完全未见过的物体交互（如 ManiSkill 中特定形状的插销销轴），接触动力学可能出现模糊或局部漂移。
未充分探索的瓶颈：当前研究仅针对单臂 7-DoF 控制场景进行了验证，尚未涉及双臂协同操作、移动复合底座（Mobile Manipulator）或高维灵巧手操作；同时，测试期策略提升极其依赖外部 VLM（GPT-5）作为零样本裁判，在长时序精细操作中仍易受到 VLM 空间推理瓶颈的限制。
可改进方向：探索在视觉标定中引入接触力学传感或轻量触觉上下文；将生成式世界模型内部的潜在特征直接转化为价值函数，减少对昂贵黑盒商业 VLM API 调用的依赖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用 6-DoF 视觉交互片段作为上下文对齐动作世界模型的动作-视觉映射，思路新颖且优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ManiSkill、LIBERO 仿真及真实 xArm 机械臂，包含详实的多视角 3D 一致性评测与闭环策略提升验证。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式符号严谨，图表排版美观且论述极其连贯。
价值: ⭐⭐⭐⭐⭐ 为通用机器人具身大模型在虚拟想象环境中的训练、评测与测试期搜索提供了极具启发性的基础设施。