UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling¶
会议: NeurIPS 2026
arXiv: 2604.19734
论文: https://arxiv.org/abs/2604.19734
代码: https://xpeng-robotics.github.io/unit/
领域: 其他
关键词: 具身智能、人形机器人、潜在动作表示、跨实体迁移、世界模型
一句话总结¶
UniT 提出基于“视觉锚定”的三分支跨重构潜在动作 Tokenizer，通过视觉预测动作与动作预测视觉的双向约束将异构人机运动投射到共享离散物理意图空间，在人形机器人 VLA 策略泛化、零样本任务迁移及跨实体世界模型控制上均取得显著突破。
研究背景与动机¶
人形机器人基础模型的规模化扩展当前受制于高质量真机遥操作数据的极端匮乏。相比之下，低成本采集的大规模第一人称视角人类动作数据（如 EgoDex）提供了极具扩展性且富含物理交互先验的替代来源。然而，人类与人形机器人在运动学结构、控制自由度（DoF）以及动力学特质上存在天然差异，跨越这种实体鸿沟面临根本性壁垒。传统的运动重定向（Motion Retargeting）严重依赖针对特定硬件设计的复杂逆运动学（IK）求解器，过程耗时费力且难以规模化，生成轨迹还往往与真实视觉观测在物理上脱节；而直接在混合实体数据上做端到端联合训练，又极易诱导策略拟合特定实体的捷径特征，导致表征坍缩。
为了规避显式重定向的脆弱性，近期涌现的潜在动作表示（Latent Action）尝试在隐空间构建统一接口，却陷入两难困境：纯动作驱动方法仅依赖本体感受轨迹重构，缺乏外部物理世界锚定，在面对人机巨大的运动学分布差异时泛化能力骤降；纯视觉驱动方法直接从像素推断运动意图，虽绕过了运动学不匹配，但极易与光照、纹理、背景等低层视觉干扰项纠缠，难以解析精细动作并浪费了人类姿态数据中的显式结构先验；而简单的视觉-动作双模态拼接或单向预测方案，又因缺乏深层双向约束而无法建立起严格对齐的物理语义词表。
本文的破局切入点源自一个深刻的物理直觉：虽然人类与人形机器人的骨骼运动学参数大相径庭且各自夹杂特定噪声，但它们完成同一物理意图时所引起的“视觉结果与环境状态演变”是高度一致的。因此，视觉变化可以充当跨实体的绝对物理锚点。核心 idea：构建基于视觉锚定的三分支（视觉-动作-融合）双向跨重构 Tokenizer（UniT），让动作分支预测未来视觉演化以锚定物理后果，同时让视觉分支重构低层动作以剥离外观干扰，在残差离散编码本中蒸馏出实体无关的统一物理语言。
方法详解¶
整体框架¶
UniT 旨在将异构的人类示教与人形机器人数据统一映射至离散的潜动作意图空间，并以此作为底层物理通用语言支撑下游的策略决策（VLA-UniT）与动力学世界建模（WM-UniT）。在输入端，给定连续视觉观测对 \((o_t, o_{t+k})\)、当前本体状态 \(s_t\) 与动作块 \(a_{t:t+k}\)，UniT 通过平行的视觉编码器、动作编码器与跨模态融合编码器分别提取表征，并通过共享的残差向量量化编码本（RQ-VAE）映射为离散 Token；随后，两组解码器（共享视觉前向动力学解码器与实体专用动作解码器）强制所有分支的 Token 进行双向交叉重构。在下游应用中，VLA-UniT 利用融合分支 Token 作为离散预测目标指导 VLM 上下文表征对齐，并借助轻量流匹配专家生成连续执行动作；WM-UniT 则利用动作分支的连续隐表征作为条件信号注入视频扩散模型，实现跨实体的未来视频生成与动态模拟。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>观测对 (o_t, o_t+k) + 动作块 a_t:t+k + 状态 s_t"] --> B["视觉锚定三分支编码与跨重构对齐<br/>视觉 Ev / 动作 Ea / 融合 Em 编码器"]
B --> C["共享残差离散量化 (RQ-VAE)<br/>分层量化至统一离散意图空间 C"]
C --> D["双向跨模态重构校验<br/>Dv 预测视觉演化 + Da 解码底层动作"]
D --> E["统一物理语言 Token / 潜在动作表征"]
E --> F["VLA-UniT 意图解耦策略学习<br/>Qwen2.5-VL 预测离散意图 + 流匹配动作生成"]
E --> G["WM-UniT 统一动作条件世界建模<br/>Cosmos 注入动作分支隐特征 + 跨实体视频预测"]关键设计¶
1. 视觉锚定三分支编码与跨重构对齐：将异构运动投影至物理效果交集
针对异构运动学分布难以对齐且纯视觉表征易缠绕环境外观干扰的问题，UniT 设计了三路平行的 Transformer 编码器结构。视觉分支 \(E_v\) 充当逆动力学模型（IDM），输入由冻结的 DINOv2 提取的帧对特征 \((f_t, f_{t+k})\)，提取环境物理状态变化的视觉表征；动作分支 \(E_a\) 将异构实体的控制维度填充并经实体专用 MLP 投影后输入，编码当前状态 \(s_t\) 与动作块 \(a_{t:t+k}\)；融合分支 \(E_m\) 则整合视觉与动作特征以捕获互补的跨模态结构。系统最核心的约束在于严格的“双向跨重构”机制：由任一分支量化得到的 Token \(\hat{z}_i\)（\(i \in \{v, a, m\}\)），必须同时送入共享的视觉前向动力学解码器 \(D_v\) 和实体特异的动作解码器 \(D_a\) 中：
$$
\hat{f}_{t+k}^{(i)} = D_v(\hat{z}i, f_t), \qquad \hat{a}_i, s_t)
$$
这种对称的双向约束达成了深层物理对齐：动作分支被迫预测视觉特征的未来演化，从而将千差万别的异构关节角轨迹锚定在客观环境的物理交互效果上，自动过滤掉无法引起物理变化的本体无效晃动；而视觉分支被迫重构低层物理动作，迫使其剔除与动作执行无关的光影、背景纹理等视觉混杂变量。两个域中不相关的噪声在双向信息瓶颈中被自然丢弃，仅保留跨实体的纯净物理意图。}^{(i)} = D_a(\hat{z
2. 共享残差离散量化（RQ-VAE）：分层解耦宏观意图与精细运动
为了构建通用且鲁棒的物理词表，UniT 对三路分支的连续特征使用共享编码本 \(\mathcal{C}\) 进行残差向量量化：
$$
\hat{z}_i = \operatorname{RQ}(z_i; \mathcal{C}), \quad i \in {v, a, m}
$$
多级残差量化具有粗细粒度解耦的天然优势：浅层残差码捕获全局的宏观交互意图（如“向前伸手”、“抓握”、“倾倒”），而深层残差码递进补充微调姿态与末端旋转等高频精细控制参数。更重要的是，视觉锚定赋予了离散量化强大的滤波降噪能力。真实人体动捕数据常夹带高频传感器抖动与标定误差，在经过 UniT 的编解码瓶颈后，缺乏环境物理对应的高频抖动被有效抹除，重构出可供机器人直接执行的高平滑轨迹。
3. VLA-UniT 意图解耦策略学习：离散意图预测与连续流匹配动作专家协同
在策略学习层面，传统 VLA 直接从视觉-语言输入回归高维异构动作，在人机数据共训时容易因动作分布裂痕产生梯度冲突。VLA-UniT 以 Qwen2.5-VL 为骨干，将策略解耦为“离散意图推断”与“连续动作生成”两阶段。模型在 VLM 序列中追加可学习查询向量 \(q_t\)，令其以自回归或分类方式预测 UniT 融合分支的离散 Token 索引 \(c_t\)；与此同时，挂载轻量级动作专家（Flow Matching Head），以 VLM 顶层视觉语言上下文特征 \(x_t\) 为条件，学习速度场 \(V_\theta\) 并在高斯噪声与真值动作间做流插值生成连续控制量：
$$
\mathcal{L}{\text{fm}} = \mathbb{E}(o_t), \tau) - (A_t - \epsilon)\right|_2^2\right]
$$
由于 UniT Token 扮演了语义意图的拉力目标，反向传播强制 VLM 底层的视觉语言隐空间收敛到人类与人形机器人高度重合的统一流形上；动作专家在此对齐上下文之上生成各关节位姿（包含头部、腰部、手腕及灵巧手），使单一大模型无需显式 IK 即可直接消化人类交互数据并泛化到真实人形本体。}\left[\left|V_\theta(A_t^\tau \mid x_t, \mathrm{Enc
4. WM-UniT 统一动作条件世界建模：基于跨实体动力学先验的可控视频生成
在动力学世界建模层面，基于视频生成模型的机器人仿真通常以单机特定动作作为条件，无法直接吸收人类视频蕴含的动力学常识。WM-UniT 基于 Cosmos Predict 2.5 视频扩散框架，废除了传统的原始动作输入，改以 UniT 动作分支未经量化的连续表征 \(\tilde{z}_t^a = E_a(s_t, a_{t:t+k})\) 作为通用控制接口。由于动作分支在预训练时已被视觉演化深度锚定，该特征在推理时无需未来帧输入（不泄露未来信息），却天生携带着物理运动演化先验。通过交叉注意力注入扩散模型后，世界模型能够无缝理解人类动作指令并模拟生成高保真的人形机器人未来操作视频，支持自回归多步环境推演与双向跨实体动作条件生成。
损失函数 / 训练策略¶
UniT Tokenizer 的训练目标汇聚了三分支的双向跨重构损失与 RQ-VAE 承诺损失： $$ \mathcal{L} = \sum_{i \in {v, a, m}} \left[\lambda_v \mathcal{L}{\text{cos}}(\hat{f}}^{(i)}, f_{t+k}) + \lambda_a \mathcal{L{\text{act}}(\hat{a} $$ 其中视觉重构采用余弦相似度损失 }^{(i)}, a_{t:t+k})\right] + \mathcal{L}_{\text{RQ}\(\mathcal{L}_{\text{cos}}\) 对齐 DINOv2 目标特征向量，动作重构 \(\mathcal{L}_{\text{act}}\) 采用平滑 L1/MSE 损失。 在下游策略训练中，VLA-UniT 的联合优化损失为 \(\mathcal{L}_{\text{VLA}} = \mathcal{L}_{\text{token}} + \lambda_{\text{fm}} \mathcal{L}_{\text{fm}}\)，其中 \(\mathcal{L}_{\text{token}}\) 为离散 Token 交叉熵，\(\mathcal{L}_{\text{fm}}\) 为流匹配回归损失。世界模型 WM-UniT 则使用流匹配目标在隐视频帧空间直接优化速度场损失 \(\mathcal{L}_{\text{WM}}\)。整体训练分为两阶段：先在大规模人类与机器人混合数据集上预训练 UniT Tokenizer，再分别微调下游 VLA-UniT 策略网络与 WM-UniT 世界模型。
实验关键数据¶
主实验¶
实验在 RoboCasa GR1 人形机器人仿真基准（24 项任务，包含 18 项抓放重排与 6 项微波炉/抽屉等铰接机构交互）、IRON-R01-1.11 真机人形机器人（50 自由度全身控制）以及 DROID / EgoDex 视频数据集上展开全面评估。
表 1：RoboCasa GR1 仿真基准全量数据（24,000 条轨迹）策略成功率对比
| 方法 | 抓放任务（Pick & Place） | 铰接机构任务（Articulated） | 全局平均成功率 |
|---|---|---|---|
| Diffusion Policy | 42.1% | 38.6% | 41.2% |
| UWM | 53.4% | 48.2% | 52.1% |
| \(\pi\)-Qwen3 | 53.1% | 47.9% | 51.8% |
| FAST-Qwen3 | 50.8% | 45.6% | 49.5% |
| OFT-Qwen3 | 54.5% | 49.3% | 53.2% |
| GR00T-Qwen2.5（同架构基线） | 48.9% | 44.5% | 47.8% |
| FLARE（前 SOTA） | 56.2% | 51.4% | 55.0% |
| VLA-UniT（本文） | 67.3% | 64.7% | 66.7% |
注：VLA-UniT 相比强基线 FLARE 取得 +11.7% 的绝对提升，相比无 UniT 监督的同架构 GR00T 基线大幅提升 +18.9%。
表 2：真实世界人形机器人（IRON-R01-1.11，50-DoF）操控及 OOD 泛化成功率（%）
| 实验场景 / 评估维度 | GR00T 基线 | VLA-UniT（仅真机数据） | VLA-UniT（人类+真机共训） | 提升幅度（共训 vs 基线） |
|---|---|---|---|---|
| 域内抓放（Pick & Place） | 30.0% | 70.0% | 78.0% | +48.0% |
| 域内双臂倾倒（Pouring） | 5.0% | 35.0% | 75.0% | +70.0% |
| OOD-几何形状变化（Geometry） | 10.0% | 23.3% | 63.3% | +53.3% |
| OOD-背景扰动（Distractor） | 13.3% | 26.7% | 60.0% | +46.7% |
| OOD-多目标组合指令（Combinational） | 6.7% | 10.0% | 70.0% | +63.3% |
| 零样本迁移任务：叠碗（Stacking） | 0.0% | 10.0% | 60.0% | +60.0% |
消融实验¶
表 3：Tokenizer 架构范式与对齐机制消融（RoboCasa GR1 人机共训设置）
| Tokenizer 范式配置 | 域内抓放成功率 | OOD 平均成功率 | 核心机制评价 |
|---|---|---|---|
| VLA-Action（纯动作 Tokenizer） | 52.4% | 42.1% | 缺乏视觉锚定，本体运动学跨域鸿沟严重 |
| VLA-Vision（纯视觉 Tokenizer） | 56.1% | 45.2% | 缺乏运动先验，易受外观纹理干扰，缺少精细控制 |
| VLA-UniT w/o Cross-Recon（无跨重构） | 41.3% | 30.3% | 双模态独立词表缺乏深层对齐，产生表征裂痕 |
| VLA-Villa（单向视觉到动作 V2A 重构） | 63.1% | 46.8% | 单向重构无法迫使动作表征吸纳环境演化物理先验 |
| VLA-UniT（完整双向跨重构） | 66.8% | 49.9% | 视觉锚定双向重构促成统一物理表征（最优） |
表 4：世界模型 WM-UniT 在 EgoDex 与 RoboCasa-GR1 共训下的视频生成质量对比
| 评估子集 | 条件输入模式 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | FVD ↓ | EPE (光流误差) ↓ |
|---|---|---|---|---|---|---|
| EgoDex (人类) | Raw Action | 24.84 | 0.800 | 0.164 | 171.37 | 0.706 |
| WM-UniT | 28.06 | 0.858 | 0.086 | 130.87 | 0.519 | |
| RoboCasa-GR1 (机器人) | Raw Action | 13.45 | 0.590 | 0.259 | 237.13 | 0.558 |
| WM-UniT | 17.66 | 0.718 | 0.142 | 166.50 | 0.453 |
关键发现¶
- 数据利用效率实现 10 倍跃升：在 RoboCasa 少样本（10% 数据量，每任务仅 100 条轨迹）设定下，VLA-UniT 取得了 45.5% 的成功率，直接逼近同架构 GR00T 在 100% 全量数据训练下的表现（47.8%），证明结构化意图词元大幅降低了控制策略的学习样本门槛。
- 动捕噪声过滤与隐空间去噪：人为向 EgoDex 轨迹注入归一化高斯噪声（\(\sigma=0.2\)）时，FAST 编码器重构误差劣化高达 \(10.7\times\)，纯动作 Tokenizer 劣化 \(2.7\times\)，而 UniT 仅劣化 \(1.7\times\)，验证了视觉物理约束对低层运动扰动具有极佳的内生滤波能力。
- 真机涌现出非平凡的全身协同控制：在真机叠碗（Stacking）的零样本迁移任务中（机器人仅学过抓放单个碗，人类示教中包含叠放与视角调整），全量 VLA-UniT 实现了 60% 的成功率，并在真机上自主涌现出腰部旋转找位、头部主动转动调整视角的复合协调动作，而所有消融变体成功率近乎为零。
- 世界模型跨实体动作双向控制成立：以人类参考动作控制人形机器人视频生成时，WM-UniT 能够忠实还原轻微探索性伸出、大幅向前延伸、抓取后回缩等非单调运动幅度（Gemini-3-Pro 裁判几何一致性达 3.09 vs 原始动作 2.72）；以机器人动作驱动人类视频生成时，亦能完美再现手腕预旋转及微下压姿态（语义一致性达 3.91 vs 2.96）。
亮点与洞察¶
- 视觉锚定（Visual Anchoring）哲学：打破了机械重定向和纯动作拟合的思维定势，巧妙利用“不同机体骨骼运动千差万别，但改变物理世界的视觉结果相通”这一第一性原理，将跨实体鸿沟转变成以环境演化为真值的自然对齐。
- 严格对称的双向跨重构信息瓶颈：动作预测视觉剥离实体专属冗余动作，视觉预测动作滤除光照纹理幻觉；两相交织迫使模型在隐空间只沉淀出环境-机体交互的共性物理因果关系。
- 策模双生（Policy-World Model Synergism）的统一接口：同一个 UniT Tokenizer 既可作为 VLA 策略的高层离散预测目标，引导 VLM 建立对齐表征，又可作为世界模型的连续物理动力学条件，为未来的潜动作空间搜索与“脑内演练”强化学习闭环铺平了道路。
局限与展望¶
- 依赖第一人称手部交互数据源：当前 UniT 依赖具备高质量 3D 手腕与手部姿态跟踪的低成本第一人称示教（如 EgoDex），对于缺乏动作标注的纯网络无约束视频（Internet In-the-wild Videos），其动作分支尚无法直接吸收无标签数据。
- 视觉特征依赖预训练 DINOv2 粒度：冻结的 DINOv2 虽具有优异的域不变性，但在细微透明物体、高光金属反光及极小零件交互等接触力学敏感场景下，特征表征可能存在物理辨识度上限。
- 未来方向：探索无动作标注网络视频的无监督潜在动作挖掘，以及利用 WM-UniT 生成的大量仿真假想轨迹在潜动作空间构建闭环策略自进化（Test-Time Planning & RL）。
相关工作与启发¶
- vs FAST / VQ-BeT (纯动作编码)：FAST 等方案仅在动作空间做频域或 BPE 离散化，因缺少视觉世界接地，在面对人机巨大的自由度与运动学分布裂痕时极易崩溃；UniT 通过视觉演化双向重构使跨实体轨迹自然对齐。
- vs Moto / UniVLA (纯视觉潜在动作)：Moto 与 UniVLA 直接由视频帧提取运动 Token，避开了机械差异却极易过拟合特定机位外观与光照背景；UniT 结合三分支架构与动作重构，保留了人类动捕骨骼的精细运动控制先验。
- vs Villa-X (单向视觉到动作重构)：Villa-X 仅采用视觉预测动作的单向辅助任务；UniT 证实了动作反向预测未来视觉演化（FDM）才是促使本体动作向物理交互结果对齐的决定性机制（OOD 性能取得 49.9% vs 46.8% 显著优势）。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐（首次提出视觉锚定三分支双向跨重构潜在动作 Tokenizer，立意极佳）
- 实验充分度: ⭐⭐⭐⭐⭐（涵盖 24 项仿真、50 自由度真机操控、5 大 OOD 轴向、零样本迁移及世界模型双向控制评测）
- 写作质量: ⭐⭐⭐⭐⭐（逻辑链条严密，动机叙述层层递进，方法设计与论证高度自洽）
- 价值: ⭐⭐⭐⭐⭐（为具身智能规模化利用海量人类低成本示教提供了优雅而通用的大一统物理语言方案）