WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/showlab/WorldWander
领域: 视频生成
关键词: 跨视角生成、第一人称视频、角色一致性、上下文学习、协同位置编码

一句话总结¶

WorldWander 将同步的第一/第三人称视频放入 Wan2.2-5B 的联合注意力，并让对应帧共享时间位置编码，以 LoRA 学习无需相机位姿或深度的双向视角转换，在 EgoExo-8K 真实场景的 ego→exo 任务中将 FVD 从微调 ReCamMaster 的 968.1 降至 374.7。

研究背景与动机¶

第一人称视频呈现角色看见的环境，第三人称视频则同时显示角色本身及其周围空间。两者之间的转换不是给视频换风格：角色前进、转身或操作物体时，背景的遮挡关系、运动方向和可见内容都要随观察位置改变。普通视频编辑模型可能保留纹理，却没有学会这些跨视角对应；依赖相机轨迹的新视角生成也不能直接回答“这个第一人称观察者在外部看起来是谁”。

本文面向动态漫游而非固定机位，既要从第三人称生成第一人称，也要把第一人称视频和角色参考图组合成第三人称结果。后一方向特别困难，因为输入视频往往根本看不到角色身体，模型既要推断其运动，又要把参考外观绑定到正确的动作和位置。已有配对数据难以充分覆盖自由移动相机和开放场景，而额外条件编码网络又提高了小数据微调的成本。

WorldWander 的切入点是复用视频扩散 Transformer 已有的视觉潜空间和注意力，让条件视频、角色图与生成目标直接交流，再明确告诉模型哪些 token 属于同一个时刻。核心 idea：将跨视角转换变成“干净条件与带噪目标共同参与注意力、对应帧共享时间坐标”的条件生成问题，用同步三元组和轻量微调学习视角对应，而不额外输入几何信息。

方法详解¶

整体框架¶

任务定义以原文 §4.1 为准：exo→ego 输入第三人称视频，输出同步的第一人称视频；ego→exo 输入第一人称视频和角色背面参考图，输出保持角色外观的第三人称视频。两种方向均不输入相机位姿或深度，但这不意味着恢复了唯一、精确的三维场景；不可见区域仍由生成模型根据数据先验补全。

训练数据通过“同步三元组构建”获得。模型随后用“上下文视角对齐”把干净条件和带噪目标组织为一条 token 序列，再用“协同位置编码”保持跨视角的逐帧时间对应。Wan2.2-5B 的注意力层以 LoRA 适配该任务，推理时保留条件、迭代更新目标潜变量，最后由 VAE 解码成视频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    D["同步三元组构建"] -.->|训练配对| A["上下文视角对齐"]
    I["条件视频 / 角色图<br/>目标噪声"] --> A
    A --> P["协同位置编码"]
    P --> T["Wan2.2 + LoRA<br/>目标速度预测"]
    D -.->|训练目标| L["流匹配监督"]
    T -.->|仅训练| L
    T -->|推理迭代更新目标| O["VAE 解码<br/>另一视角视频"]

虚线表示训练数据与监督，实线表示生成路径。图中的“上下文学习”是将视觉条件放进模型上下文，而不是完全不训练的示例提示：论文实际对任务进行 LoRA 微调，并按转换方向和合成/真实域分别适配。

关键设计¶

1. 同步三元组构建：让场景变化、角色运动与外观有共同监督

每个样本包含第一人称视频、同时刻的第三人称视频，以及角色参考图。合成部分来自 GTA-5 的双玩家录制：一名玩家控制角色行动并记录第一人称画面，另一名通过旁观模式记录外部视角。400 多组超过一分钟的配对长视频经过筛选和切段，得到 4,000 个三元组。真实部分使用头戴 Ac-tion5Pro 和后置 Osmo360 同步记录，累计超过 10 小时，再筛成 4,000 个三元组；参考图从外部视角视频随机抽取。两个子集都包含室内外漫游，也包含清洁、搬运等活动。

这种采集方式的重要性不只是扩大数据量，而是保证两个画面中的动作节奏确实可以逐帧关联。角色图补充第一人称视频中缺失的身体外观，配对视频提供外观如何随运动呈现的监督。原始片段为 5 秒、300 帧，训练另采用 49 帧输入，二者不能混为一谈。原文引言和两个子集说明支持合计约 8,000 条，但 §4.5 总述写成约 4,000 条，存在内部数量矛盾；本笔记不将该句改写成一致的原文陈述，也不推断未说明的帧采样规则。

2. 上下文视角对齐：让干净条件与带噪目标直接交换信息

所有图像和视频都使用同一个 VAE 编码，因而共享潜表示空间，不另训条件编码器。训练 exo→ego 时，第三人称潜变量保持干净，第一人称目标按流匹配过程加噪；训练 ego→exo 时，第一人称视频和角色参考图保持干净，第三人称目标加噪。目标 token 使用当前噪声时间步，条件 token 使用时间步 0。这里区分的是扩散噪声级别，不是视频帧的时间位置：前者告诉网络哪些内容可信、哪些需要恢复，后者由下一项设计处理。

关键不是把两份潜变量按通道压在一起，而是沿 token 维拼接，让同一个自注意力层中的 query、key、value 对条件与目标做全局交互。exo→ego 的序列由干净外部视频与带噪第一人称目标组成；ego→exo 则加入干净参考图和干净第一人称视频，再接带噪外部目标。这样一个目标位置可以按内容检索另一视角的环境或角色外观，而不要求两个视角的相同像素位置恰好对应。投影层继续复用骨干，新增可训练容量主要由 LoRA 提供；这种方案避免辅助编码网络，但更长的联合 token 序列并不等于没有注意力计算开销。图 3 的训练曲线及表 2 的通道拼接对照共同支持其优化优势。

3. 协同位置编码：把对应帧视为同一时刻，而不是前后两段视频

沿 token 维拼接后，如果直接把整条序列视作时间上连续的一个视频，第一段的第一个时刻与第二段的第一个时刻就会得到不同的时间编码。模型需要在这种人为时间偏移之上重新学习“它们其实同步”，而角色参考图的加入还会改变序列布局。WorldWander 将各组成潜变量分别进行位置编码，再拼接编码结果，使条件与目标视频在对应帧上共享时间位置嵌入；编码按 RoPE 方式作用于注意力的 query 和 key。

这一设计提供的是帧级对应先验，而不是把两视角强制视为同一空间位置。环境在另一个视角如何出现仍由注意力学习，时间坐标则明确同一动作发生在哪一帧。参考图也作为独立潜变量进行编码后并入上下文，提供静态身份条件。原文没有在正文给出足够清晰的参考图专属位置索引实现细节，因此不进一步推断特殊索引或额外视角标签。协同位置编码与干净/带噪时间步分工互补：一个解决时间同步，一个区分条件和待生成内容。

一个完整示例¶

以“第一人称镜头跟随步行者向前移动，另给一张角色背面图”为说明性例子；这不是原文新增的定量实验。

首先，VAE 编码 49 帧条件视频和参考图，外部视角目标从噪声潜变量开始。模型能看到环境运动和角色外观，但看不到真实目标视频；真实目标只在训练时用于构造加噪样本和监督。

随后，三组潜变量沿 token 维组成上下文。目标视频的某一帧既能关注同一时刻第一人称环境中的运动线索，也能关注静态参考图中的服装与身体轮廓；协同位置编码避免把这个条件时刻误当成另一段时间。

每轮生成仅推进目标潜变量的去噪，干净条件持续提供锚点，最终解码出角色出现在画面中的第三人称视频。反向 exo→ego 不需要角色图，模型需要从外部观察生成角色所见环境，而不是简单裁掉画面中的人物。两种方向因此共享设计原则，但论文分别进行微调，不能称为一个零样本双向通用模型。

损失函数 / 训练策略¶

模型采用流匹配监督：训练时把目标潜变量与高斯噪声按所采样时间步进行插值，网络预测由目标潜变量指向噪声的速度场，并以目标速度监督预测。推理则从高斯噪声沿学习到的场积分回视频潜空间。正文中的多个公式在缓存提取时损坏，因此这里保留机制叙述，不把猜补后的表达式当作作者精确公式。

LoRA 插入 Wan2.2-5B 的注意力层，冻结原有权重，只训练低秩更新；其中一个低秩矩阵零初始化以稳定训练。默认秩为 80，采用 AdamW，学习率为 0.0001、权重衰减为 0.01，每张 GPU 的 batch size 为 4。视频裁剪和缩放到 704×1280，输入 49 帧；作者报告使用 4 张 NVIDIA H200，训练约两天，推理约三分钟。正文未细分这些耗时对应的全部运行条件，不应据此宣称实时交互。

为了应对两个方向和合成/真实场景的差异，作者分别微调模型，并在每个场景域保留 50 个对应三元组用于测试。这种设计能验证各域内适配效果，但不等于同一个合成域模型直接在真实域零样本泛化；也未充分说明是否按原始长视频、人物或地点进行互斥划分。

实验关键数据¶

主实验¶

下表摘录原文表 1。星号表示使用 EgoExo-8K 微调；本文为上述 Wan2.2-5B 配置，其他方法不保证骨干或计算量相同。由于相关专用方法未公开实现或需要四路外部视频，作者比较的是视频编辑和视角重定向基线，而非与所有专用方法直接比较。

FVD 衡量生成与真实视频的特征分布差异，越低越好；LPIPS 是感知距离，越低越好；SSIM 是结构相似度，越高越好。VBench 是论文使用的平均生成质量分数；CLIP-I 衡量生成角色与参考图的语义一致性，两者越高越好，但 CLIP-I 不等于严格身份识别准确率。

场景 / 方向	方法	LPIPS ↓	SSIM ↑	FVD ↓	VBench ↑	CLIP-I ↑
合成 / exo→ego	ReCamMaster*	0.6039	0.5365	298.9	0.8098	不适用
合成 / exo→ego	WorldWander	0.5811	0.5416	230.3	0.8110	不适用
合成 / ego→exo	ReCamMaster*	0.5732	0.5125	531.5	0.8116	0.7129
合成 / ego→exo	WorldWander	0.5550	0.5215	353.7	0.8395	0.7672
真实 / exo→ego	ReCamMaster*	0.6752	0.3476	716.1	0.7933	不适用
真实 / exo→ego	WorldWander	0.6054	0.3567	416.5	0.8333	不适用
真实 / ego→exo	ReCamMaster*	0.6699	0.3048	968.1	0.7787	0.7020
真实 / ego→exo	WorldWander	0.5357	0.3469	374.7	0.8142	0.7214

用户研究收集了 630 份有效回答，比较生成质量、视角一致性，并在 ego→exo 中增加角色一致性。图 6 报告本文获得最高偏好，但缓存未提供清晰的柱状图数值，因此不推算具体胜率，也不把回答数当作参与人数。

消融实验¶

原文表 2 仅在合成域进行消融，不能直接视为真实场景的模块贡献估计。下表选择两个方向的 FVD 和 ego→exo 的角色一致性，保留全部配置以展示 LoRA 秩的取舍。

配置	exo→ego FVD ↓	ego→exo FVD ↓	ego→exo CLIP-I ↑
通道拼接	280.2	524.3	0.7310
统一噪声时间步	287.7	365.9	0.7429
统一位置编码	280.3	356.5	0.7562
完整模型，LoRA 秩 64	282.6	362.9	0.7461
完整模型，LoRA 秩 80	230.3	353.7	0.7672
完整模型，LoRA 秩 128	273.0	344.9	0.7556

关键发现¶

token 联合注意力对合成 ego→exo 尤为重要：通道拼接的 FVD 为 524.3，完整模型为 353.7，支持显式跨条件交互的作用。
位置编码的影响具有方向差异：exo→ego 的 FVD 从统一位置编码的 280.3 降到 230.3；ego→exo 则从 356.5 降到 353.7，不能宣称两个方向同等受益。
秩 80 是综合取舍，不是逐项最优：秩 128 的 ego→exo FVD 更低，为 344.9，但 CLIP-I 从 0.7672 降至 0.7556。

亮点与洞察¶

条件组织本身就是建模选择。 从通道融合改成 token 联合注意力，让目标可以主动检索不同视角的线索。这个思路适合条件与目标无法按像素对齐的生成任务。
区分两种“时间”很关键。 噪声时间步区分条件可信度，视频时间编码建立同步关系。分别处理能避免把“已观测内容”和“对应时刻”混为一种信号。
用数据协议支撑任务定义。 同步视频加角色图恰好覆盖视角变化与外观绑定。双向任务的输入并不对称，这比笼统说“视频视角转换”更有辨识度。

局限与展望¶

作者明确说明的边界： 受资源限制，消融只覆盖合成场景；正文没有单独的系统性失败案例章节。
本笔记观察： 每域只有 50 条测试三元组，且长视频切片的划分粒度不清楚。需要人物、地点和原始序列互斥测试及重复运行，才能更稳健评价泛化和统计稳定性。
本笔记观察： 不使用几何输入并不保证几何正确；LPIPS、SSIM 和 FVD 也不能充分验证遮挡、接触与不可见区域的三维一致性。可进一步加入几何诊断或独立动作同步测量。
本笔记观察： 约三分钟的推理耗时不支持实时漫游主张；基线骨干和适配条件不同，也无法将全部收益单独归因于两个模块。
文本证据边界： 引言和相关工作多处混用 ego→exo 与 exo→ego，§4.5 的总量也与子集说明冲突。本笔记按 §4.1 和表格标注方向，保留数量矛盾；正文引用但本缓存未包含的附录不视为已核验材料。

评分¶

新颖性: 4/5，双向动态视角任务与角色条件具有辨识度，模块建立在已有注意力、RoPE 和 LoRA 上。
实验充分度: 3/5，双域双向与模块消融较完整，但测试规模、划分披露和直接专用基线不足。
写作质量: 3/5，主要机制可理解，但方向命名与样本总量存在内部不一致。
价值: 4/5，同步三元组和条件组织方案对角色化视频生成有参考价值，距离可靠实时世界模型仍有差距。