AnchorWorld: Embodied Egocentric World Simulation with View-Based Evolution Customization¶

会议: NeurIPS 2026
arXiv: 2606.07326
论文: https://arxiv.org/abs/2606.07326
代码: https://yuli0103.github.io/AnchorWorld/
领域: 机器人
关键词: 交互式世界模型, 第一人称视觉模拟, 具身动作控制, 锚点视角定制, 动态场景演化

一句话总结¶

AnchorWorld 基于 Wan2.2 视频生成底座，提出混合视角投影动作控制与带姿态锚点视角机制，实现了由全身三维人体运动驱动且支持局部场景动态演化定制的第一人称具身世界模拟器。

研究背景与动机¶

交互式世界模型旨在根据用户动作干预合成动态视觉环境，在虚拟现实（VR）与具身人工智能（Embodied AI）等场景中扮演着基石角色。在第一人称视角应用中，逼真的模拟不仅要求视觉续写的连贯性，更必须真实映射智能体与环境的物理耦合：头部运动决定视线朝向，肢体运动驱动全局位移，而协同动作则直接塑造智能体与近处物体的物理交互。与此同时，仿真环境不能只是不受约束的黑盒扩散，而必须支持显式空间状态的锚定、记忆与可控演化。

然而，现有交互式世界模型在具身动作控制与局部状态定制两方面均存在显著瓶颈。在控制信号维度，传统方案多依赖键盘轨迹、粗粒度相机位姿或全局文本指令，难以体现真实第一人称下的具身行为；而近期尝试引入手部或全身动作的方案，在第一人称视频训练下面临天然的“视野外截断”难题——由于穿戴者躯干与下肢大部分时间位于主视角之外，模型只能通过背景光流等间接线索弱监督动作后果，导致空间对齐极其微弱。在环境表征维度，现有世界模型通常仅靠首帧图像或全局 Prompt 隐式定义场景，在新视点探索或转头返回时缺乏精确的三维局部状态约束，既无法指定特定三维空间中物体的存在与否，也无法控制视线不可见区域的动态状态推演。

针对上述核心矛盾，本文提出 AnchorWorld 框架，其切入点在于解耦第一人称视野与物理空间的全局运动监督，同时利用位姿关联的外部视角构建可演化的空间锚点。核心 idea：利用第三人称视频的完整人体可见性建立混合视角投影动作表征，并引入解耦于视线之外的 3D 位姿锚点视角与局部演化文本提示，实现可自由漫游且局部状态按需推演的具身第一人称世界模拟。

方法详解¶

整体框架¶

AnchorWorld 以 Wan2.2 TI2V 5B 视频扩散变换器（DiT）为底座，在图生视频范式下接收初始第一人称视角图像、三维全身人体动作序列以及若干带位姿的锚点视角作为条件。整个框架分为两大核心支柱：其一是混合视角人体动作控制，将 SMPL-X 骨骼动作与相机轨迹联合投影编码，通过空间位姿注意力注入扩散模型；其二是可演化锚点视角定制，通过图生图上下文（In-Context）拼接、三维旋转位置编码（3D RoPE）、位姿广播与局部遮罩交叉注意力，实现对特定三维区域外观与动态演化过程的精准控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始视角图像 + SMPL-X 人体动作 + 锚点视角元组"] --> B["混合视角投影动作控制<br/>SMPL-X 联合相机轨迹投影，空间位姿注意力注入"]
    B --> C["上下文锚点视角与三维位姿注入<br/>In-Context 潜在特征拼接 + 3D RoPE + 视点位姿广播加和"]
    C --> D["遮罩交叉注意力局部动态演化<br/>局部文本与锚点/视频 Token 专用遮罩，隔离跨锚点干扰"]
    D --> E["渐进式四阶段训练策略<br/>Stage I/II 动作控制迁移 → Stage III/IV 静态与动态锚点演化"]
    E --> F["输出：时空一致且状态自演化的 77 帧第一人称视频"]

关键设计¶

1. 混合视角投影动作控制：通过第三视角外置监督解耦动作与第一人称视野

第一人称视频中大部分肢体处于视野截断状态，单纯在第一视角视频上监督人体动作会导致动作与视觉后果的微弱对齐与过拟合。针对这一缺陷，AnchorWorld 提出投影式动作条件建模，把全身三维运动序列 \(M \in \mathbb{R}^{f \times k \times 6}\)（包含 \(k=22\) 个关键关节点的三维坐标与轴角旋转向量）与相机轨迹参数 \(C \in \mathbb{R}^{f \times 3 \times 4}\) 联合编码。这一设计使得三维人体运动可以被投影到任意相机视角所对应的二维感知平面上。

在注入机制上，动作编码器与相机编码器先将输入降采样映射为隐层表示 \(z_m \in \mathbb{R}^{f' \times k \times d}\) 与 \(z_c \in \mathbb{R}^{f' \times 1 \times d}\)，并与当前时间步的视频特征 \(z_v^{(t)} \in \mathbb{R}^{f' \times (h \cdot w) \times d}\) 在空间序列维度拼接，通过空间自注意力层（Spatial Pose Attention）实现帧级精确对齐：

\[T = [z_v^{(t)}; z_m; z_c] \in \mathbb{R}^{f' \times (h \cdot w + k + 1) \times d}\]

\[z_v^{(t)} = z_v^{(t)} + \text{Truncate}(\text{Attn}(W_Q T, W_K T, W_V T))\]

注意力计算完成后，通过截断操作（Truncate）直接丢弃辅助位姿 Token，只保留更新后的视频潜变量。这一操作不仅提供了显式的帧级时空对应，而且完全避免了骨骼特征与 VAE 潜变量分布差异对后续生成产生的负面影响。

2. 上下文锚点视角与三维位姿注入：建立全局坐标系下的显式空间基准

为了赋予世界模型显式的局部空间状态约束，AnchorWorld 引入锚点视角集合 \(\mathcal{S} = \{(I_i, c_i, t_i)\}_{i=1}^n\)。每个锚点视角包含一张局部 RGB 图像 \(I_i\)、其在统一全局坐标系下的 6-DoF 外参位姿 \(c_i = [R_i \mid p_i] \in \mathbb{R}^{3 \times 4}\)，以及用于描述局部状态演化的文本指令 \(t_i\)。

为最大化保留预训练视频模型的先验能力，锚点图像不通过复杂的跨模态适配器，而是以 In-Context 的形式直接将 VAE 编码后的特征 \(z_s \in \mathbb{R}^{f_s \times (h \cdot w) \times d}\) 与视频 Token \(z_v^{(t)}\) 在帧维度拼接，形成合成序列 \(\mathcal{T}_{\text{total}} = [z_v^{(t)}; z_s] \in \mathbb{R}^{(f' + f_s) \times (h \cdot w) \times d}\)。为了让模型在长序列中清晰辨识不同锚点，AnchorWorld 在时间位置编码上为每个锚点视角分配独立的帧轴索引，采用 3D RoPE 进行空间位置区分；随后将编码广播后的相机外参嵌入 \(z_{\text{pose}} \in \mathbb{R}^{(f' + f_s) \times (h \cdot w) \times d}\) 与视觉 Token 直接相加：

\[\mathcal{T}_{\text{total}} = \mathcal{T}_{\text{total}} + z_{\text{pose}}\]

通过将视觉外观与三维几何位姿在注意力层前强绑定，模型能够依据当前智能体头部视点与锚点位姿之间的相对几何变换，在第一视角镜头转动时自适应检索并呈现对应锚点区域的物理内容。

3. 遮罩交叉注意力局部动态演化：解耦多锚点局域动态与视线外状态推演

真实世界不仅具备静态外观，其局部实体还会随时间发生自主状态转移（如“沙发上的人站起来”）。若将局部演化文本简单作为全局 Prompt 输入，极易引起不同空间区域之间的语义串扰与全局画风崩塌。AnchorWorld 提出基于空间解耦的遮罩交叉注意力（Masked Cross-Attention）机制。

对于属于锚点 \(j\) 的演化描述 \(t_j\)，其文本 Key 和 Value 仅对生成的视频 Token \(z_v\) 以及属于该锚点的视觉 Token \(z_s^{(j)}\) 可见，对其他锚点视角的查询向量设为负无穷遮蔽：

\[\mathcal{M}(q, k_j) = \begin{cases} 0, & \text{if } q \in z_v \text{ or } q \in z_s^{(j)} \\ -\infty, & \text{otherwise} \end{cases}\]

这一机制确保了局部动态指令的独占性与精准性。实验表明，该设计支持“视线外场景演化推演”：即当智能体未看向锚点区域时，环境依然在潜空间中根据文本推进状态；当智能体在第 25 帧转头时看到人物正在起立，而在第 60 帧转头时则直接看到已经站立的人物，展现出优秀的时空物理因果推理能力。

4. 渐进式四阶段训练策略：分步解耦动作可控性、场景一致性与动态演化

直接将多视角数据、复杂骨骼、位姿锚点与文本指令端到端联合训练会导致优化目标剧烈震荡。AnchorWorld 建立了由易到难、逐层解耦的渐进式训练方案： - Stage I（外视角动作预训练）：在 200K 单人动作视频与 101K UE 多相机视角合成数据上训练外视角观察投影，赋予底座模型解析 3D 人体动作与场景交互几何投影的稳固先验。 - Stage II（第一视角动作适配）：在 Ego-Exo4D 与 LEMMA 的 100K 第一视角样本上微调，将相机参数与人体头部视点精确对齐，实现动作驱动的第一人称平滑导航。 - Stage III（静态锚点一致性定制）：引入 25K 具大视点变换的成对样本，冻结动作先验，专门学习基于位姿与 In-Context 的静态锚点记忆与新视点外观召回。 - Stage IV（动态锚点演化联合建模）：混合 Stage III 的 25K 静态数据与 10K 具备显著人体动态活动的样本，联合训练遮罩演化文本控制，使场景在漫游中兼顾静态几何刚性与局部非刚性动态。

实验关键数据¶

主实验¶

评估在第一视角静态场景（Ego Static Scene）、虚幻引擎跨域场景（UE Static CineScene）及第一视角动态场景（Ego Dynamic Scene）三大基准上展开。评测涵盖场景一致性（GIM 匹配像素数 Mat. Pix.、CLIP-V、PSNR、SSIM、LPIPS）、相机位姿精度（ATE、RTE、RRE，使用 MegaSaM 估计轨迹）、文本动态对齐度（VideoAlign-TA）以及视频综合质量（VBench）。

评测场景与方法	Mat. Pix. (K) \(\uparrow\)	CLIP-V \(\uparrow\)	PSNR \(\uparrow\)	SSIM \(\uparrow\)	ATE \(\downarrow\)	RRE \(\downarrow\)	TA \(\uparrow\)	VBench \(\uparrow\)
Ego Static Scene
PlayerOne (Tu et al.)	3961.6	0.845	13.26	0.459	0.131	3.741	—	0.734
PlayerOne-Scene	4334.8	0.864	14.38	0.500	0.142	3.353	—	0.735
CaM-Ego (Yu et al.)	4379.4	0.872	15.16	0.554	0.125	3.207	—	0.748
Ours (AnchorWorld)	4493.4	0.885	16.06	0.578	0.112	3.145	—	0.748
UE Static CineScene
PlayerOne	3947.0	0.787	—	—	—	2.438	—	0.736
CaM-UE	4301.1	0.852	—	—	—	1.722	—	0.750
Ours (AnchorWorld)	4555.1	0.851	—	—	—	1.656	—	0.769
Ego Dynamic Scene
PlayerOne-Scene	4455.4	0.864	14.24	0.454	0.067	1.784	0.449	0.756
CaM-Ego	4459.0	0.871	14.57	0.501	0.083	1.636	0.385	0.770
Ours (AnchorWorld)	4634.6	0.899	16.37	0.555	0.048	1.346	0.717	0.774

消融实验¶

针对核心设计组件在第一人称静态场景与动态演化场景中进行的剥离分析如下：

配置变体	Mat. Pix. (K) \(\uparrow\)	CLIP-V \(\uparrow\)	PSNR \(\uparrow\)	LPIPS \(\downarrow\)	ATE \(\downarrow\)	RRE \(\downarrow\)	TA \(\uparrow\)
Full Model (Ours)	4493.4	0.885	16.06	0.470	0.112	3.145	—
w/o Stage I (无第三人称预训练)	4438.3	0.877	15.50	0.492	0.116	3.351	—
w/o Head Pose (无头部姿态解耦)	4425.4	0.877	15.42	0.502	0.119	3.395	—
w/o Stage II (跳过第一人称微调)	4416.1	0.879	15.68	0.487	0.115	3.234	—
w/o Anchor-View Pose (无锚点位姿)	4401.7	0.879	15.59	0.493	0.112	3.184	—
w/o Anchor-View RoPE (无时序区分)	4395.2	0.878	15.40	0.498	0.110	3.162	—
Joint Stage III & IV (动静态联合训练)	4442.6	0.877	15.59	0.489	0.109	3.180	—
动态场景消融 (Dynamic)
Joint Stage III & IV	4573.4	0.893	15.67	0.502	0.050	1.362	0.703
Full Model (Dynamic Ours)	4634.6	0.899	16.37	0.486	0.048	1.346	0.717

关键发现¶

外视角预训练是空间感知的基石：去掉 Stage I 第三人称外视角动作训练后，不仅相机轨迹绝对误差 ATE 从 0.112 恶化至 0.125、相对旋转误差 RRE 升至 3.532，且后续场景重建的像素匹配数也显著缩减，验证了外部全局视角对于第一视角建立稳健三维空间映射的不可替代性。
锚点位姿与 3D RoPE 共同构筑几何约束：缺乏锚点位姿注入时，模型退化为纯图像语义联想，匹配像素大幅下降（4493.4 \(\to\) 4401.7K）；而去掉区分锚点时间轴的 RoPE 编码后，多锚点相互干扰，PSNR 发生明显下滑（16.06 \(\to\) 15.40 dB）。
动态演化具有严格的时间因果性与局部纯度：在动态场景下，AnchorWorld 的文本动态对齐度（VideoAlign-TA）达到 0.717，较基线提升近 60%（PlayerOne-Scene 仅 0.449，CaM-Ego 仅 0.385），且展现出即使在未注视期间也能自主演化、在视线切入时准确呈现阶段状态的因果推理特性。

亮点与洞察¶

外视角辅助监督化解第一视角动作截断：通过将三维人体姿态与任意相机投影空间联合表征，巧妙用第三人称完整动作视频弥补了第一人称“只闻其声不见其人”的肢体截断短板，使得骨骼动作向相机视角的投影映射可在大规模通用人体视频中充分泛化。
带 3D 姿态锚点与 In-Context 无缝融合：直接将锚点图像注入 DiT 的时间序列上下文，并以加法广播形式结合三维位姿编码，避免了额外构建昂贵复杂 3D 点云或神经辐射场的繁复流程，在保持生成模型原始表达力的同时实现了严格的三维空间几何着陆。
视线之外的潜空间时空演化：通过局部文本遮罩交叉注意力，使得模型不仅能控制可视区域，还能赋予离开视线的不可见三维空间自主演化的能力，为具身智能体与长期环境交互提供了因果连贯的状态机雏形。

局限与展望¶

长期自回归漫游的累积误差：当前实验主要聚焦于 77 帧的短视频片段生成，在需要智能体连续数分钟甚至数小时深度探索超大室内外场景时，缺乏显式全局拓扑地图或长期记忆检索机制，容易发生长周期漂移。
开放域场景多样性瓶颈：训练数据依赖 Ego-Exo4D 与 LEMMA 等特定实验室或有限日常活动采集集，面对开放世界极其复杂的地貌或极端光照条件仍存在域迁移泛化缺口。
动态场景演化的文本模板粒度受限：受制于当前第一视角双路成对数据集标注瓶颈，动态演化文本主要集中于穿戴者自身行为或单一互动对象，对于多智能体并发交互或物理环境非刚性自主变化（如流水、火灾蔓延）的细粒度描述与控制仍有待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出混合视角投影动作表征与可演化位姿锚点，拓宽了具身交互世界模型的研究范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖真实第一人称、虚幻引擎与真实捕获三类场景，消融实验设计严谨，指标覆盖全面。
写作质量: ⭐⭐⭐⭐⭐ 叙述流畅清晰，数学表达克制精当，图表论证扎实。
价值: ⭐⭐⭐⭐⭐ 为具身智能虚拟交互模拟、第一人称沉浸式仿真与具身策略评测提供了强有力的端到端生成式环境基座。