EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration¶

会议: NeurIPS 2026
arXiv: 2605.15042
论文: https://everanimate.github.io/homepage/
领域: 人体理解
关键词: 人体动画, 视频生成, 潜在流匹配, 漂移恢复, 长期连续生成

一句话总结¶

针对长程人体姿态驱动动画中出现的背景退化与身份漂移问题，EverAnimate 通过跨分块持久潜在记忆传播与带速度重调度的恢复流匹配，仅需轻量级 LoRA 微调即可实现分钟级稳定且高保真的人体视频生成。

研究背景与动机¶

基于扩散变换器（Video DiT）的姿态驱动人体动画近期取得了显著突破，能够从单张参考人物图像与目标骨架序列出发，合成真实且连贯的人体动态视频。然而，现有模型大多受限于数秒内的短视频片段生成，难以直接外推至长视频。当采用自回归的分块分段生成（chunk-wise generation）策略时，生成过程不可避免地面临严峻的累积漂移挑战。

长程人体动画的核心难点根植于背景与人体之间显著的运动异质性：人体关节点运动剧烈且多变，而周围环境背景通常相对静态。这种异质性在长程自回归展开中引发了两类累积误差：一是低级别的质量漂移，跨分块的重复条件依赖导致静态背景的纹理与色彩逐渐模糊退化；二是高级别的语义漂移，在剧烈运动或视角变换下，人物面部特征、服饰纹理与身体身份标识发生渐进式遗忘与畸变。深入的实证分析表明，这主要源于传统方案中反复进行帧级别 VAE 往返编解码对静态背景细节的破坏，以及诸如注意力汇聚（Attention Sinks）等被动语义记忆机制在双向 DiT 长分块中稀释失效且缺乏主动纠偏能力。

为了打破长程视频生成的漂移死锁，必须从潜在表征的传播与动力学恢复双重角度重构生成过程。核心 idea：在潜在空间直接跨分块自回归传播多视角身份与短期运动记忆以规避破坏性重构，并在分块内部引入带速度重调度的恢复流匹配（Restorative Flow Matching），通过内在速度纠偏主动将偏离的生成流轨迹拉回干净流形，实现分钟级长程稳定生成。

方法详解¶

整体框架¶

EverAnimate 提出了一种基于潜在状态控制的高效后训练（post-training）框架。整体管线在训练阶段采用两分块联合优化，推理阶段直接在潜在空间中逐分块自回归展开，无需在相邻分块之间执行解码为像素帧再重新编码的损耗操作。

框架由两大互补机制构成：持久潜在传播（Persistent Latent Propagation, PLP）与恢复流匹配（Restorative Flow Matching, RFM）。PLP 从前序分块提取短期运动切片与经过空间增强的多视角身份潜在向量，拼接入当前分块的输入条件；RFM 在扩散去噪轨迹内部模拟端点扰动，并通过推导恒定速度场与有界高斯时间重调度，训练网络自主预测纠偏速度分量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：参考图像 + 目标骨架序列"] --> B["阶段1：持久潜在传播<br/>提取短期运动与多视角身份记忆"]
    B --> C["阶段2：潜在空间自回归拼接<br/>结合姿态适配器注入当前目标分块"]
    C --> D["阶段3：恢复流匹配去噪<br/>高斯重调度速度校正抑制累积漂移"]
    D --> E["输出：分钟级高保真人视频"]

关键设计¶

1. 持久潜在传播：规避 VAE 往返损耗并建立多视角身份记忆锚点 传统长视频自回归方案通常依赖前一分块末尾帧解码后重新编码（$I_L^{(n-1)} \to \mathcal{E}(I_L^{(n-1)})$），这种连续的像素与潜在空间往返变换即使在纯静态背景下也会累积显著的色彩和纹理畸变；同时单帧参考图在人体剧烈转动或视角大变时无法提供充足的三维一致性线索。为彻底阻断重构损耗，EverAnimate 直接在潜在特征空间中维护跨分块上下文记忆 $M_{\mathrm{ctx}}$，解耦为保留前一分块最后 $r$ 个潜在切片的短期运动记忆 $M_{\mathrm{mot}}$，以及由 $K$ 帧采样构成的多视角身份记忆 $M_{\mathrm{id}}$。为防止模型对记忆帧产生寄生性的绝对空间位置依赖，训练时对身份帧引入轻微的位置平移和尺度缩放等空间增强变换 $\mathcal{T}_{\mathrm{id}}$，随后通过时间维度拼接与填充得到与目标长度对齐的记忆 Token： $$M_{\mathrm{ctx}} = \mathrm{Concat}_t(M_{\mathrm{mot}}, M_{\mathrm{id}}, X_{\mathrm{pad}})$$ 该设计不仅消除了静态背景的渐进性退化，还显著提升了长程大幅度肢体动作下的面部与服饰保真度。

2. 恢复流匹配：输出端点扰动与内在速度场纠偏 现有长视频容错方法多采用对条件输入添加显式噪声（如扰动前置条件帧）的策略，但这破坏了跨分块必须保持的客观时间连续性，极易诱发分块边界的剧烈闪烁。EverAnimate 转而采用输出导向的轨迹纠偏思路：保持传播的输入运动上下文 $M_{\mathrm{mot}}$ 纯净不变，而在当前生成分块的目标端点应用扰动 $\widetilde{X}_1 = \mathcal{E}(\mathcal{T}_\xi(V^{(2)}))$ 构建偏离状态 $\widetilde{X}_t = (1-t)X_0 + t\widetilde{X}_1$。为了引导模型从偏离状态自主回归干净端点 $X_1$，在时间区间 $[t, 1]$ 内推导出严格保持端点一致性的恒定速度向量场： $$\widetilde{U}_{t, \mathrm{exact}} = U_t + \frac{1}{1-t}(X_t - \widetilde{X}_t)$$ 其中第一项为标准流匹配的目标速度 $U_t = X_1 - X_0$，第二项即为恢复纠偏分量。该机制赋予了 DiT 在采样过程中感知漂移并主动沿切线方向拉回真实流形的能力。

3. 速度重调度机制：避免端点奇异性与稳定训练收敛 在精确恢复速度公式中，纠偏权重因子 $\frac{1}{1-t}$ 在 $t \to 1$（低噪声区、接近最终生成端点）时趋于无穷大，导致微小的偏离在最后阶段被过度惩罚，引起训练梯度剧烈震荡甚至模型发散。为解决数值病态问题，EverAnimate 提出基于有界钟形曲线的高斯时间重调度权重 $\lambda(t)$： $$\lambda(t) = \frac{\exp\left(-\beta(t - \frac{1}{2})^2\right) - \exp(-\beta/4)}{1 - \exp(-\beta/4)}, \quad \beta > 0$$ 最终修正的速度场为 $\widetilde{U}_t = U_t + \lambda(t)(X_t - \widetilde{X}_t)$。该函数在中间时间步达到峰值，并在高噪声端（$t \to 0$ 语义信号弱、以高斯噪声为主）与低噪声端（$t \to 1$ 偏移大体已被前期步骤修正、过大权重易破坏高频细节）平滑衰减至零，使模型在具备强健纠偏能力的同时保持数值高度稳定。

损失函数 / 训练策略¶

训练过程采用两阶段渐进式优化，底层冻结 Wan-2.2-Animate 主干参数，仅使用 LoRA（秩和缩放因子 $\alpha$ 均设为 128）在 8 张 GPU 上高效微调： 1. 记忆自适应阶段：利用标准流匹配损失 $\mathcal{L}_{\mathrm{FM}}$ 优化 4,000 次迭代，微调网络以适应由 $M_{\mathrm{mot}}$ 与 $M_{\mathrm{id}}$ 构成的记忆输入通道，初步建立跨分块的潜在特征关联； 2. 抗漂移自适应阶段：引入扰动操作子 $\mathcal{T}_\xi$（包含颜色漂移、清晰度与饱和度扰动），采用恢复流匹配目标函数优化 1,000 次迭代： $$\mathcal{L}_{\mathrm{RFM}} = \mathbb{E}\left[ \left\| v_\theta(\widetilde{H}_t, t \mid C) - \widetilde{U}_t \right\|_2^2 \right]$$ 其中 $\widetilde{H}_t = \mathrm{Concat}_{\mathrm{ch}}(\widetilde{X}_t + \mathcal{E}_{\mathrm{pose}}(C_{\mathrm{pose}}), M_{\mathrm{ctx}})$。推理阶段无需 CFG 分类器引导，仅需 20 步 Euler ODE 采样即可完成高保真分块外推。

实验关键数据¶

主实验¶

论文在 10s、30s、60s 及 90s 等不同持续时间维度上对生成质量进行了全方位评测。基线涵盖 One-to-All、SCAIL、SteadyDancer、UniAnimate-DiT 以及 Wan-Animate。

序列时长	评测指标	本文 (Ours)	之前SOTA (Wan-Animate)	提升幅度
10s	PSNR ↑ / SSIM ↑	25.238 / 0.895	23.470 / 0.839	+1.768 / +0.056
10s	LPIPS ↓ / FID ↓	0.169 / 38.277	0.217 / 42.898	-0.048 / -4.621
10s	V-MAE ↓ / F-PSNR ↑	0.031 / 17.701	0.042 / 17.278	-0.011 / +0.423
30s	PSNR ↑ / SSIM ↑	24.458 / 0.873	21.907 / 0.787	+2.551 / +0.086
30s	LPIPS ↓ / FID ↓	0.181 / 31.190	0.241 / 40.809	-0.060 / -9.619
30s	V-MAE ↓ / F-PSNR ↑	0.033 / 17.650	0.039 / 16.426	-0.006 / +1.224
60s	PSNR ↑ / SSIM ↑	23.857 / 0.855	20.665 / 0.745	+3.192 / +0.110
60s	LPIPS ↓ / FID ↓	0.194 / 26.241	0.282 / 32.603	-0.088 / -6.362
60s	V-MAE ↓ / F-PSNR ↑	0.027 / 16.927	0.041 / 15.920	-0.014 / +1.007
90s	PSNR ↑ / SSIM ↑	22.646 / 0.810	19.676 / 0.702	+2.970 / +0.108
90s	LPIPS ↓ / FID ↓	0.220 / 23.981	0.323 / 32.636	-0.103 / -8.655
90s	V-MAE ↓ / F-PSNR ↑	0.027 / 16.623	0.030 / 15.855	-0.003 / +0.768

消融实验¶

在 60 秒长程展开生成（480P 分辨率）条件下的模块剥离分析（Table 2）：

配置	PSNR ↑	SSIM ↑	LPIPS ↓	说明
Full model (完整模型)	23.857	0.855	0.194	联合使用持久潜在传播与恢复流匹配
w/o RFM	21.842	0.781	0.273	移除恢复流匹配，去除在轨漂移纠正机制，感知质量显著下滑
w/o PLP	22.317	0.809	0.208	移除潜在传播与多视角记忆，跨分块语义承接弱化
Baseline	18.472	0.543	0.386	传统分块展开基线，60秒内发生严重崩塌退化

关键发现¶

随着生成时长从 10 秒扩展至 90 秒，大部分现有方案（如 SCAIL、SteadyDancer）性能发生雪崩式下降（90s 时 SCAIL 的 PSNR 跌至 11.048，FID 恶化至 186.992），而 EverAnimate 表现出极强的鲁棒性，在 90 秒时依然维持 22.646 dB 的 PSNR 和 0.810 的 SSIM。
在消融实验中，完整模型相比基线实现了 +5.39 dB 的 PSNR 提升，SSIM 从 0.543 剧增至 0.855。剥离 RFM 后，LPIPS 从 0.194 显著恶化至 0.273，证实了主动流场纠正对维持感知保真度至关重要；剥离 PLP 则削弱了跨分块特征的连续性，证实潜在级自回归传播是解决长期遗忘的基础。

亮点与洞察¶

潜在级传播规避 VAE 循环损伤：揭示了现有长视频方法在静态背景上退化的根源是跨分块频繁的 VAE 编解码往返误差积累，通过端到端在潜在空间复用短期与多视角切片，优雅地保持了场景一致性与时序连贯性。
输出端扰动与内在流纠偏（RFM）：打破了先前向条件图像注入噪声的粗暴做法（易导致分块交界闪烁），从动力学 ODE 角度推导出的恢复流速度场使模型学会对自身潜在轨迹中的微小漂移进行自发修正。
高斯时间重调度克服奇异性：巧妙规避了精确速度公式在接近最终干净端点时权重发散的数值缺陷，在保证梯度的良好条件数的同时，使纠偏注意力精准集中在最具信息量的中间扩散阶段。

局限与展望¶

极端时长下的长尾退化：作者指出在极长时长或超出训练分布的极端外观/剧烈运动样本中，受限于 LoRA 较小的参数容量与训练数据多样性，仍可能偶发细微的累积误差。
缺乏显式相机视角控制：当前框架中的人机相对运动完全依赖数据隐式学习，无法通过显式的相机外参轨迹实现精准的镜头推拉摇移与长程视角调度。
计算开销与评估：长视频训练与评测成本极为高昂，未能提供覆盖全配置的置信区间与统计显著性检验。未来可进一步探索全参数端到端扩展以及与可控相机模块的深度融合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从动力学流匹配恢复与纯潜在记忆传播的角度系统解决长程人体动画漂移问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10s 至 90s 四个时间档位、多个量化指标与细致的模块消融对比。
写作质量: ⭐⭐⭐⭐⭐ 动机分析深入透彻，数学推导清晰完备，图表论证扎实有力。
价值: ⭐⭐⭐⭐⭐ 为分钟级长视频及数字人驱动生成提供了极具实用价值的轻量级后训练范式。