EgoForce: Robust Online Egocentric Motion Reconstruction via Diffusion Forcing¶

会议: NeurIPS 2026
arXiv: 2605.13041
OpenReview: https://openreview.net/forum?id=fS4wDYJZpa
代码: https://inwoohwang.me/EgoForce
领域: 人体理解
关键词: 第一人称动作重建, 扩散强制, 在线因果生成, 全身姿态估计, 噪声鲁棒插补

一句话总结¶

针对第一人称视角下头部与双手稀疏噪声输入导致的在线动作重建难题，EgoForce 借鉴 Diffusion Forcing 范式构建了随时间推移不确定性递增的时序非对称扩散机制，结合噪声鲁棒因果注入与流式温启动重采样，在严格因果约束下实现了长时程平滑且保真的在线全身人体动作重建。

研究背景与动机¶

随着 AR/VR 头显设备与具身智能体的普及，穿戴式第一人称视角传感数据（如头部追踪轨迹及偶发进入视野的双手动捕信号）成为实时交互应用中最自然的控制输入。从这些极度稀疏且伴随严重噪声的局部线索中在线恢复出自然连贯的全身 3D 人体动作，对于人机交互、日常生活辅助和虚拟现实化身驱动具有重大实用价值。然而，离线动作重建方法往往假设可以获取干净且完整的双向全局上下文，通过全局平滑或双向注意力消除误差；而在真实的在线交互场景中，系统面临严格的因果时序限制，不仅无法获取任何未来观测，还必须在毫秒级延迟内随着数据流逐帧输出稳定的人体姿态。

现有在线动作重建方法难以平衡因果时延与建模鲁棒性之间的核心矛盾。以因果 Transformer 为代表的确定性自回归序列模型计算速度快，但在面对第一人称视角下频繁发生的手部出画遮挡、下半身完全不可观测以及传感器漂移时极其脆弱，容易产生动作抖动或误差累积漂移；而新兴的扩散生成模型虽然在处理稀疏与不确定性方面表现出强大的多模态建模能力，但现有方案普遍依赖整段序列的离线多步去噪，或基于固定长度滑动窗口进行自回归拼接，窗口交界处极易出现动作断裂与严重的时延开销，根本无法无缝嵌入按帧递进的实时流式管线。

面对这一矛盾，本文的切入角度是改变传统扩散模型整段统一去噪的范式，将在线因果重建建模为一个随时间演化不确定性的递进去噪过程：历史动作作为确定的已知上下文，当前帧结合最新传感器观测，而未来未观测时间步的不确定性则随时间距离单调递增。核心 idea：将在线第一人称全身动作重建重塑为时序非对称因果扩散生成问题，引入 Diffusion Forcing 机制赋予各帧异构噪声步长，借助滑动窗口隐空间温启动与小步长增量去噪，在毫秒级因果流式推断下实现平滑稳定的长时程全身动作追踪。

方法详解¶

整体框架¶

EgoForce 接收穿戴式头显设备连续捕获的第一人称图像流与稀疏运动学控制信号，在严格因果约束下逐帧流式重建出规范坐标系下的 22 个全身关节 6D 连续旋转与全局位姿。系统以当前时间步为中心维护长度为 $h+1+f$ 的滑动窗口（包含 $h$ 帧历史动作、1 帧当前动作以及 $f$ 帧未来前瞻时域），在训练时通过为各时步独立赋予异构扩散噪声并注入带可见性掩码的因果观测，使去噪网络学会基于历史上下文与当前稀疏输入去噪多层级不确定性；在在线推理时，模型通过时序滑动与隐状态温启动，每推进一帧仅需执行极少数步的增量逆扩散去噪，辅以微量噪声重注入稳定机制，达成近实时的长程连贯动作生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["流式第一人称输入<br/>头戴位姿 + 偶发手部 + 视频帧"] --> B["1. 异构时序噪声调度<br/>历史已确定 / 未来不确定性递增"]
    B --> C["2. 噪声鲁棒因果观测注入<br/>动态可见性掩码与阈值截断"]
    C --> D["3. 多模态交叉注意力融合<br/>DINOv2 视觉语义上下文嵌入"]
    D --> E["4. 滑动窗口增量去噪与温启动<br/>单步向前推进 + 微量噪声稳定重注"]
    E --> F["输出因果全身动作<br/>22 关节 6D 连续位姿与脚着地"]

关键设计¶

1. 异构时序噪声调度：赋予不同时步动态演化的不确定性

传统扩散模型在训练与推理中往往对序列内所有帧施加相同的扩散噪声水平，这与在线因果生成中“历史已确定、当前局部可见、未来完全未知”的信息不对称本质相违背。为了在扩散架构下支持严格的因果推断，EgoForce 借鉴 Diffusion Forcing 思维，为滑动窗口内各帧分配独立的扩散噪声时间步 $k_\tau \sim \mathcal{U}\{0, 1, \dots, K\}$。在训练阶段，每个姿态帧 $\mathbf{x}_\tau$ 依据独立的 $k_\tau$ 被加噪为 $\mathbf{x}_\tau^{k_\tau}$，迫使网络学习在异构噪声环境下利用低噪声帧（已确定的历史动作）去指导高噪声帧（高度不确定的未来轨迹）的去噪。在推理阶段，未来前瞻步长 $i \in \{0, \dots, f\}$ 采用随未来时间距离单调递增的确定性噪声调度策略： $$k_{t+i} = i \cdot \Delta k, \quad \Delta k = \frac{K}{f+1}$$ 这使得当前帧 $t$ 恰好完成去噪达到干净状态（$k_t = 0$），而越远的未来预测包含越高程度的随机探索，既保留了多模态姿态的泛化能力，又避免了自回归单帧外推导致的崩溃。

2. 噪声鲁棒因果观测注入：锚定可信信号与抑制传感噪声

第一人称视角下的运动控制信号由头部跟踪以及由于视野受限和自遮挡而偶发出现的双手位姿构成，且真实传感存在不可避免的抖动和漂移。EgoForce 设计了因果可见性掩码 $\mathbf{b}_\tau \in \{0, 1\}^d$，其中历史帧完全可见（由已生成的全身动作填充），当前帧依据双手的可见性指示器 $\mathbf{v}_t^{l/r}$ 激活对应关节维度，未来帧全部置零掩蔽。为使模型在信噪比不同的扩散阶段合理利用观测，作者引入噪声鲁棒条件注入机制：在训练时合成扰动观测 $\mathbf{c}_t^{\text{noisy}}$，且仅在噪声步长大于阈值 $K^*$ 的早期扩散阶段将带噪声观测注入到姿态中；在接近最终精细姿态的后期去噪阶段（$k < K^*$），完全切断外部噪声信号注入，由扩散网络自身的先验完成自洽去噪： $$\tilde{\mathbf{x}}_\tau = \begin{cases} \mathbf{b}_\tau \odot \mathbf{x}_\tau^0(\mathbf{c}_t^{\text{noisy}}) + (1 - \mathbf{b}_\tau) \odot \mathbf{x}_\tau^k, & k \ge K^* \\ \mathbf{x}_\tau^k, & k < K^* \end{cases}$$ 注入后的姿态与可见性掩码拼接为 $\bar{\mathbf{x}}_\tau = [\tilde{\mathbf{x}}_\tau, \mathbf{b}_\tau]$ 输入主干网络，既强制约束生成的运动轨迹与当前传感器读数紧密贴合，又赋予网络在传感器剧烈抖动时滤除噪声、补全缺失肢体合理姿态的鲁棒性。

3. 滑动窗口增量去噪与温启动：实现低延迟流式在线推断

在流式推断中，如果每接收到一帧新观测就对整个时域窗口执行完整的 $K$ 步逆扩散，推断延迟将高达数百毫秒甚至秒级，无法应用于交互系统。EgoForce 充分利用了相继两步之间重叠的时域区间 $[t-h+1, t+f]$：当时间窗口向前推进 1 帧时，丢弃最旧的历史帧，新引入的未来末端帧 $\mathbf{x}_{t+f+1}$ 初始化为纯高斯噪声，而缓冲区内保留的中间帧则复用前一时刻已经部分去噪的潜在表示作为温启动（warm-start）。由于在上一时步中这些帧已经达到了其对应的目标噪声水平，在当前时步网络仅需执行 $\Delta k$ 步增量去噪，即可将所有帧推进至新的目标噪声状态（当前帧 $t+1$ 恰好归零完全去噪）。此外，为了抑制长时程自回归滚动推断中的误差累积与分布漂移，作者在每次去噪前向历史潜在状态注入极小幅度的稳定噪声 $n > 0$（实验中设为 $n=2$）： $$\mathbf{x}_\tau^{\max(k-\Delta k, 0)} \leftarrow \mathcal{G}(\text{InjectNoise}(\mathbf{x}_\tau^k, n), \bar{\mathbf{X}}_{t+1}, \mathcal{I}_{\leq t+1})$$ 这一设计将单帧推断耗时骤降至 0.08 秒（~12.5 FPS），且彻底解决了固定窗口分段拼接带来的时序不连续与关节跳变问题。

损失函数 / 训练策略¶

系统采用端到端的监督去噪训练目标。输入特征包含拼接了因果可见性掩码的带噪姿态窗口 $\bar{\mathbf{X}}_t$、各帧对应的异构噪声步长向量 $\mathbf{k}_t = \{k_{t-h}, \dots, k_{t+f}\}$，以及由 DINOv2 图像编码器提取并经交叉注意力层融合的因果历史图像序列 $\mathbf{I}_{\leq t} = \{\mathbf{I}_{t-h}, \dots, \mathbf{I}_t\}$。网络直接预测未加噪的真实动作窗口 $\mathbf{X}_t^0$，通过最小化期望 $L_2$ 重建损失进行优化： $$\mathcal{L} = \mathbb{E}_{\mathbf{X}_t^0, \mathbf{k}} \left[ \left\| \mathcal{G}(\bar{\mathbf{X}}_t, \mathbf{k}, \mathbf{I}_{\leq t}) - \mathbf{X}_t^0 \right\|_2^2 \right]$$ 模型在单张 NVIDIA RTX 3090 GPU 上训练，默认设置历史帧长 $h=5$、未来前瞻 $f=19$（总窗口长 25 帧），总扩散步数 $K=100$，每个在线推进步对应 $\Delta k = K/(f+1) = 5$ 步去噪。

实验关键数据¶

主实验¶

在代表性第一人称基准数据集 EE4D-Motion 上，EgoForce 与主流确定性在线模型（AvatarJLM、RPM）、在线扩散修补基线（HMD2）以及离线前沿扩散模型（EgoAllo、UniEgoMotion）进行全序列定量对比。评估涵盖重建误差（Head/Wrist PE, MPJPE, MPJRE-F）、动作拟真度（Semantic 语义相似度, FID）、运动平滑度（Peak Jerk PJ, Area Under Jerk AUJ）及单帧推断耗时。

方法	在线因果	MPJPE (m) ↓	MPJRE-F ↓	Semantic ↑	FID ↓	AUJ ↓	推断耗时 (s) ↓
Real motions (真实参考)	-	-	-	0.999	0.001	10.7	-
AvatarJLM (ICCV 2023)	✓	0.119	0.388	0.829	0.096	18.8	0.01
RPM (CVPR 2025)	✓	0.115	0.364	0.907	0.042	11.1	0.005
HMD2† (3DV 2025)	✓	0.127	0.245	0.913	0.032	11.0	0.35
EgoAllo (CVPR 2025)	✗	0.168	0.612	0.869	0.045	14.3	84.9
UniEgoMotion (ICCV 2025)	✗	0.091	0.497	0.917	0.024	12.7	2.05
EgoForce (本文完整模型)	✓	0.073	0.138	0.987	0.016	10.8	0.08
- 离线版本 (上限参考)	✗	0.042	0.059	0.991	0.012	10.8	3.19

在噪声观测环境下的 EE4D-Motion 鲁棒性评测中，针对头部和手部施加旋转和位移高斯噪声（标准差 $2^\circ, 2\text{ cm}$），EgoForce 展现出极高稳定性：

方法	在线因果	Wrist PE (m) ↓	MPJPE (m) ↓	MPJRE-F ↓	Semantic ↑	FID ↓	AUJ ↓
AvatarJLM	✓	0.228	0.171	0.517	0.813	0.118	20.8
RPM	✓	0.147	0.134	0.386	0.899	0.054	12.1
HMD2†	✓	0.149	0.155	0.283	0.884	0.046	11.3
UniEgoMotion	✗	0.134	0.145	0.523	0.902	0.030	14.7
EgoForce (本文完整模型)	✓	0.086	0.084	0.163	0.971	0.021	11.0

消融实验¶

在 EE4D-Motion 数据集上对核心架构组件进行逐项消融验证：

配置	MPJPE (m) ↓	MPJRE-F ↓	Semantic ↑	FID ↓	AUJ ↓	说明
Full model (完整模型)	0.073	0.138	0.987	0.016	10.8	默认超参 ($h=5, f=19, n=2$)
w/o image feat. (去除图像特征)	0.077	0.141	0.986	0.018	11.0	仅使用运动学控制信号，缺乏语义线索
w/o stabilize. (去除噪声重注入)	0.075	0.143	0.985	0.019	10.9	去除 $n=2$ 的稳定化扰动，长时推断略有漂移
$h = 30$ (超长历史窗口)	0.129	0.271	0.933	0.086	12.9	历史窗口过长引入过多推断误差积累，性能显著劣质化
w/o noise robust. (去除噪声注入训练)	0.102	0.201	0.943	0.027	11.3	(含噪测试集) 缺乏 $K^*$ 截断与噪声注入训练导致抗扰能力下降

关键发现¶

异构扩散调度的在线优越性：相比于确定性在线模型 RPM（MPJPE 0.115m、FID 0.042），EgoForce 将重建误差降低 36.5% 并将 FID 大幅改善至 0.016，甚至显著优于离线扩散 SOTA 模型 UniEgoMotion（MPJPE 0.091m、FID 0.024），证明了时序演化不确定性建模在处理稀疏模糊姿态时的显著优势。
平滑度与长时程稳定性：在衡量时序加加速度的 AUJ 指标上，EgoForce 达到 10.8，几乎完全对齐真实动作水平（10.7），远优于基于固定窗口拼接导致交界突变的离线方法 UniEgoMotion（12.7）与 EgoAllo（14.3）。
历史窗口并非越长越好：消融实验揭示将历史窗口从 $h=5$ 扩大到 $h=30$ 时，MPJPE 从 0.073m 恶化至 0.129m，证实过长的生成历史在自回归回环中会累积前序微小姿态预测偏差，适度的紧凑历史（$h=5$）配合前瞻预测能维持最佳因果稳定性。
噪声稳健性机制成效：在含噪声控制信号评测中，具备 $K^*$ 截断注入机制的 EgoForce 仅退化至 0.084m，而未作噪声鲁棒设计的变体剧烈退化至 0.102m，确定性模型 AvatarJLM 更是恶化至 0.171m。

亮点与洞察¶

扩散强制在因果连续运动学上的精巧迁移：将原本用于离散 Token 生成的 Diffusion Forcing 理论创造性地引入到连续人体位姿流式生成中，利用单调递增的异构噪声步长优雅兼顾了当前时刻的确定性约束与未来轨迹的多样性探索。
隐空间温启动与小步增量去噪打破实时性瓶颈：避免了从零开始的多步逆扩散过程，通过滑动窗口间的信息继承，将原本每次推进需要上百步去噪缩减为固定的 $\Delta k=5$ 步，将扩散动作生成推至 0.08 秒单帧耗时，具备高度工程复用价值。
防漂移微量噪声重注入技巧（Stabilization Trick）：在流式生成中，已去噪的历史姿态难免带有微小分布偏移，将其作为干净条件喂入网络易造成误差滚雪球式累积；在推理时向前序历史隐变量重注极低幅度高斯扰动（$n=2$），打破了确定性累积偏差，显著提升了 600+ 帧超长序列的全局稳定性。

局限与展望¶

作者承认的局限：尽管推断耗时达到了 0.08 秒（12.5 FPS），相比于仅需数毫秒的极简 MLP/确定性 Transformer 仍存在算力开销差距，在超低功耗嵌入式移动头显（如独立 VR 一体机芯片）上仍需进一步轻量化与蒸馏。
未充分探索的物理交互与脚部滑动约束：当前模型主要依赖运动学自回归与足部接触指示器，在复杂地形（如上下楼梯或跨越障碍）中未引入严谨的物理接触动力学模拟或环境场景网格碰撞判定，极限视角下偶有脚底滑步或穿模现象。
未来改进方向：可进一步结合快速一致性模型（Consistency Models）或流匹配（Flow Matching）技术将每帧去噪步骤进一步压缩至 1~2 步，并在因果特征中显式结合 3D 场景点云或占用栅格先验，实现感知-物理一体化的在线第一人称交互建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将 Diffusion Forcing 异构噪声机制引入在线因果第一人称动作重建，构思精巧且理论自洽]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖主流在线与离线 SOTA 算法，针对噪声、长程稳定性、超参数及组件进行了完备定量与消融分析]
写作质量: ⭐⭐⭐⭐⭐ [形式化表述严谨规范，因果推断与训练流向图文互证，逻辑推导清晰透彻]
价值: ⭐⭐⭐⭐⭐ [成功化解了扩散模型高表现力与在线流式高时效性之间的核心冲突，为穿戴式 AR/VR 交互提供了极具实用价值的范式]