Decoupling Action from Egocentric Observation for World Simulation¶

会议: NeurIPS 2026
arXiv: 2610.27946
论文: https://arxiv.org/abs/2610.27946
代码: https://ego-act.github.io/
领域: 视频生成
关键词: 第一人称动作迁移, 世界模拟, 视频扩散模型, 测试时优化, 手物交互

一句话总结¶

提出了免训练的测试时第一人称动作迁移框架 EgoACT，通过去噪早期的速度引导结构锚定与中后期的稀疏对应校准，将动作交互语义与场景外观彻底解耦，并构建了基准 EgoActionBench。

研究背景与动机¶

第一人称动作迁移旨在将第一人称观察视频中的动作语义与具体视觉场景解耦，并在全新的场景、物体和外观下忠实重现该动作。这一能力是构建可扩展具身世界模拟器、具身策略学习以及机器人数据生成的关键基础。在第一人称交互中，迁移的核心不仅在于复现手部的宏观位移，更在于保留动作背后的物理交互逻辑——包括接触建立时序、物体的动态响应以及手物之间紧密协调的运动关系。

现有的第一人称动作复现方案主要受制于两条技术路线的固有缺陷。条件引导视频生成方法依赖手部姿态估计或三维网格等外部显式几何控制，但在手部自遮挡严重、透视畸变剧烈的第一人称视角下，估计器不可避免地会引入累积误差，硬性注入几何控制往往产生不符合物理规律的悬空接触或生硬运动。另一条路线是纯动作迁移方法，直接从观察视频提取特征并重放运动模式，无需外部估计器，但缺乏对细粒度接触动态的建模，在生成过程中极易发生手部结构崩溃、断指或物体坍塌。

面对结构坍塌与物理失真这两大核心矛盾，本文跳出依赖外部估计器或硬拷贝运动的框架，转向在视频扩散模型内部探索纯测试时的潜空间流形校准。本文的核心 idea 是：将第一人称动作解耦分解为跨去噪步的时序协同优化，在去噪早期通过注意力运动流引导的速度回归锚定手物宏观结构流向，在去噪中后期通过置信度加权的稀疏对应校准修正局部接触时序与动态响应，实现免训练的高保真物理交互迁移。

方法详解¶

整体框架¶

EgoACT 构建于预训练的视频 Diffusion Transformer（如 WAN-2.1）之上，在推理阶段冻结全部网络权重，通过双分支协同进行测试时潜变量优化。整个流程由参考分支（Reference Branch）和优化生成分支（Generation Branch）组成：参考分支输入真实观察视频并注入步数一致的高斯噪声，在无文本提示（Null-text Prompt）下提取指导目标；优化生成分支根据目标文本提示词合成新场景。针对去噪过程的不同阶段，系统在前 20% 扩散步执行速度引导结构锚定（VSA），在第 35 至 45 步执行稀疏对应校准（SCC），从而在不改变外观解耦的前提下约束手物结构与物理接触。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：第一人称参考视频 + 目标场景文本提示"] --> B["前向加噪与双分支特征提取<br/>参考分支（空文本）与生成分支（目标文本）"]
    B --> C["阶段1：速度引导结构锚定（VSA，前20%去噪步）<br/>注意力运动流自适应加权速度回归，防止早期结构崩溃"]
    C --> D["阶段2：扩散主干演化与内容解耦（去噪中期）<br/>生成分支根据文本自主生成目标外观与场景几何"]
    D --> E["阶段3：稀疏对应校准（SCC，第35-45步）<br/>局部窗口匹配与熵置信度加权，校准接触时序与动态响应"]
    E --> F["输出：物理合理且动作一致的全新第一人称交互视频"]

关键设计¶

1. 速度引导结构锚定（VSA）：基于速度流形约束消除早期手物结构坍塌 在扩散采样的早期阶段，粗暴注入动作信息极易导致手部关节变形、手指折断和物体几何破坏。VSA 并不直接在像素或潜在空间拉近生成特征与参考特征（这会导致参考场景外观泄露），而是利用流匹配模型中的速度预测向量 $v(z_t)$。速度向量表征了潜流形去噪轨迹的局部切线方向，隐含着手物演化的动力学规律。VSA 将参考分支的速度预测视作停止梯度的物理锚点 $v_{\text{anchor}} = \operatorname{sg}[v(z_t^{\text{ref}})]$，并约束生成分支的预测速度 $v_{\text{opt}} = v(z_t^{\text{opt}})$ 沿相似的切线方向前行。

为了避免对静态背景施加不必要的强约束，VSA 引入了注意力运动流（AMF）诱导的自适应结构掩码 $\mathcal{M}(\mathbf{x})$。通过计算 DiT 自注意力层中跨帧 Query-Key 亲和度期望获得运动向量 $\mathcal{A}_{\text{ref}}(\mathbf{x})$，其幅值经幂次变换与下限保护平滑后形成空间软掩码： $$\mathcal{L}_{\text{VSA}} = \frac{1}{N} \sum_{\mathbf{x}} \mathcal{M}(\mathbf{x}) \left\| v_{\text{opt}}(\mathbf{x}) - v_{\text{anchor}}(\mathbf{x}) \right\|_2^2$$ 在每次引导步中对潜变量 $z_t^{\text{opt}}$ 实施梯度下降，既确保了高动态交互区域的骨架物理合理性，又赋予了静态背景自由生成的空间。

2. 稀疏对应校准（SCC）：局部窗口分布对齐解决中后期接触漂移 即便宏观运动对齐，视频在去噪中后期生成高频纹理时仍常常发生接触时序错位或物体响应延迟（例如手已抓取但物体静止）。若采用全局密集特征损失，会把外观信息和动作语义杂糅在一起，破坏目标场景文本解耦。SCC 观察到第一人称操作中手物运动具有局部连续性，因此将匹配限定在每个查询 token $u$ 周围的局部邻域 $\mathcal{N}(u) = \{u + \Delta \mid \Delta \in [-r, r]^2\}$ 内。

SCC 在参考分支中挑选跨帧余弦相似度最高的前 $k$ 个局部偏移量作为可靠支撑集 $\Omega_k^i(u)$，计算跨帧软匹配概率分布 $\mathcal{P}(\Delta \mid u)$。同时，利用参考匹配分布的信息熵 $H_i(u)$ 定义置信度权重 $w_{\text{conf}}^i(u) = 1 - \frac{H_i(u)}{\log k}$，使清晰、无歧义的接触点主导优化，抑制不确定背景 token： $$\mathcal{L}_{\text{corr}} = - \sum_{i} \sum_{u} \bar{w}_i(u) \sum_{\Delta \in \Omega_k^i(u)} \mathcal{P}_{\text{ref},i}(\Delta \mid u) \log \mathcal{P}_{\text{gen},i}(\Delta \mid u)$$ 结合防止偏离原采样路径的驻留正则项 $\mathcal{L}_{\text{stay}} = \|z_{j+1}^{\text{opt}} - \operatorname{sg}[z_{j+1}]\|_2^2$，总损失 $\mathcal{L}_{\text{SCC}} = \lambda_{\text{c}} \mathcal{L}_{\text{corr}} + \lambda_{\text{s}} \mathcal{L}_{\text{stay}}$ 集中修正微观接触动态，显著提升抓握、放置等交互时刻的真实感。

3. 时序窗口分阶段干预：解耦动作语义与生成控制的阶段调度 EgoACT 将优化动作严格限定在特定的去噪时间窗内。全过程施加干预会过度约束早期生成，导致无法将动作与原始场景外观彻底解耦；而过晚干预则无法逆转已固化的伪影。通过仅在去噪前 20% 应用 VSA（快速锁定拓扑结构）、在第 35-45 步应用 SCC（对齐关键接触时序），在生成质量、外观多样性与动作忠实度之间取得了最优平衡。

损失函数 / 训练策略¶

EgoACT 为免训练架构，直接在推理期通过内部迭代更新潜变量 $z_t^{\text{opt}}$。基础视频生成器采用 WAN-2.1（50 步采样，分辨率 $832 \times 480$，共 81 帧）。在每个执行优化的外层扩散步中，使用 AdamW 优化器对潜变量连续执行 10 步梯度下降，学习率从 0.003 线性衰减至 0.002。超参数设置包括 $\lambda_{\text{VSA}} = 15.0$、$\lambda_{\text{c}} = 1.0$、$\lambda_{\text{s}} = 0.05$。单张 A100 GPU 上生成 81 帧视频总耗时约 413 秒（基线扩散耗时约 318 秒，VSA 增加 23 秒，SCC 增加 72 秒）。

实验关键数据¶

主实验¶

在构建的 EgoActionBench（350 个参考视频、1400 个目标提示词，覆盖室内/室外与单/双手机器人及人手交互场景）上，与条件生成基线（Mask2IV、CosHand、InterDyn）及运动迁移基线（DiTFlow、VACE）进行定量评估。

方法	文本相似度 (Text Sim.)↑	动作保真度 (Motion Fid.)↑	时序一致性 (Temp. Cons.)↑	外观一致性 (App. Cons.)↑	主体一致性 (Sub. Cons.)↑	背景一致性 (Back. Cons.)↑	美学质量 (Aes. Qual.)↑	运动平滑度 (Motion Smooth.)↑
InterDyn (CVPR 2025)	0.2645	0.2434	0.9673	0.9265	0.9105	0.9069	0.4273	0.9865
Mask2IV (AAAI 2026)	0.2604	0.1910	0.9749	0.8565	0.8929	0.9495	0.4673	0.9820
CosHand (ECCV 2024)	0.2602	0.2227	0.9277	0.9133	0.8381	0.9201	0.4226	0.8784
DiTFlow (CVPR 2025)	0.2579	0.2167	0.9750	0.8839	0.8856	0.9325	0.5065	0.9868
VACE (ICCV 2025)	0.2624	0.2389	0.9571	0.9149	0.9439	0.9507	0.4647	0.9881
EgoACT (本文)	0.2746	0.2750	0.9866	0.9617	0.9732	0.9719	0.5633	0.9898

消融实验¶

消融实验验证了早期 VSA 结构锚定与中后期 SCC 对应校准的核心作用。

配置	文本相似度 (Text Sim.)↑	动作保真度 (Motion Fid.)↑	时序一致性 (Temp. Cons.)↑	外观一致性 (App. Cons.)↑	说明
完整模型 (Ours)	0.2746	0.2750	0.9866	0.9617	全流程协同优化
去掉 VSA (w/o VSA)	0.2689	0.2442	0.9683	0.9312	缺少早期速度锚定，手部几何崩溃严重
去掉 SCC (w/o SCC)	0.2641	0.2398	0.9714	0.9487	缺乏局部校准，接触抖动且物体响应延迟

关键发现¶

移除 VSA 导致动作保真度大幅下降（0.2750 降至 0.2442），视觉上频发手部断裂与畸变，证明宏观速度切线场引导是阻止生成流形脱轨的关键。
移除 SCC 则导致微观接触发生漂移，动作保真度下滑至 0.2398，且外观一致性从 0.9617 跌至 0.9487，反映了局部置信对应能够稳定手物交互边界。
20 位评估者对 50 个随机案例的人类偏好评测中，EgoACT 在优秀率（Excellent）与良好率（Good）占比上显著压倒所有对照方案。

亮点与洞察¶

切线方向指导替代潜变量硬拷贝：利用扩散模型的速度预测向量作为结构锚，巧妙避开了参考视频的外观泄漏，使模型只继承动力学趋势而非具体像素。
熵置信度加权局部软对齐：通过自注意力特征在局部滑动窗口内计算匹配，并利用信息熵过滤背景杂波，精准捕获手指与物体的微小接触跃迁。
双阶段时间窗口调度：前期控结构骨架、中后期校正局部细节、其余阶段自由生成，为测试时引导方法提供了优雅的调度范式。

局限与展望¶

推理延迟较基线有所增加：每个优化步内部迭代 10 次，单卡 A100 生成一段 81 帧视频需额外增加约 95 秒计算开销。
极端快速交互与大幅度视角抖动下的鲁棒性：当第一人称相机产生剧烈晃动或手部快速移出画幅时，局部窗口搜索可能失效。
未来方向：探索通过轻量级前向适配器（Adapter）或自蒸馏将测试时优化目标固化到模型权重中，实现单步极速生成。

评分¶

新颖性: ⭐⭐⭐⭐☆ (免外部几何估计器，利用速度场切线与熵置信度稀疏对应实现纯测试时动作语义解耦)
实验充分度: ⭐⭐⭐⭐⭐ (提出覆盖 350 个高难度视频的 EgoActionBench，包含任务指标、VBench 评价及用户评测)
写作质量: ⭐⭐⭐⭐⭐ (逻辑链条清晰，问题拆解精确，图表与数学公式表达规范统一)
价值: ⭐⭐⭐⭐⭐ (为具身智能世界模型仿真、机器人模仿学习数据增广提供了高质量第一人称动作迁移路径)