AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5144
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9062.pdf
代码: https://github.com/NVLabs/AnyFlow
领域: 视频生成
关键词: 流映射、同策略蒸馏、分布匹配、任意步采样、因果视频生成

一句话总结¶

AnyFlow 将视频蒸馏从“每次预测干净终点”改为“学习任意时间区间的流映射”，再通过三段捷径反向模拟与分布匹配修正学生自身轨迹，使 14B 因果模型在 4 NFE 达到 84.05 VBench，并在 32 NFE 提升到 84.41。

研究背景与动机¶

视频生成的使用场景并不只有一个固定预算：预览时希望很快得到结果，最终输出时则愿意多花一些计算换取质量。常规扩散模型可通过更多小步推进来提高轨迹积分精度，但计算昂贵；一致性蒸馏直接学习从噪声状态到干净终点的映射，适合少步生成，却不一定能利用额外采样步数。本文观察到，rCM 和 Self-Forcing 等一致性路线在增加步数后反而可能退化。

论文把这一现象归因于轨迹结构：一致性采样在预测终点后重新加噪，再次预测终点，这条路径不等同于沿原来的概率流常微分方程（PF-ODE）继续积分。额外计算于是可能放大偏差，而不是细化同一条流。因果生成还有另一层问题：后续视频片段依赖模型已经生成的历史，训练时未见过的历史错误会逐步累积，即暴露偏差。仅让模型学会更长的去噪跳跃，并不能自动消除这两种测试时误差。

流映射提供了一个合适的接口：既能跨越较长时间区间，又能在短区间保留局部流场。但要让它真正适合视频后训练，还需要稳定接入预训练骨干，并让蒸馏监督经过学生自己生成的状态。核心 idea：先训练可跨任意时间区间的流映射，再用“前段捷径、目标一步、后段捷径”的可微模拟链，把教师的分布监督传到不同步长下的学生转移，而不是只优化固定少步的终点映射。

方法详解¶

整体框架¶

输入是文本条件和视频潜空间噪声，输出是生成视频。AnyFlow 基于 Wan2.1，在双向与因果架构上都采用两个阶段：先用教师合成的视频做前向训练，将骨干改造成双时间流映射；随后同时保留前向目标并引入同策略分布匹配，在学生自己的模拟轨迹上进一步优化。因果版本还要面对已生成历史带来的误差，而非只处理单段视频的积分误差。

下面将前向阶段拆成“双时间流映射”和“稳定前向初始化”，将同策略阶段拆成“流映射反向模拟”和“联合分布匹配”。推理只使用训练好的学生和 Euler 调度器，不需要教师或分布匹配中的评分网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练骨干<br/>教师合成视频"] --> B["双时间流映射"]
    B --> C["稳定前向初始化"]
    C --> D["流映射反向模拟<br/>前段捷径 → 目标一步 → 后段捷径"]
    D --> E["联合分布匹配"]
    T["冻结教师<br/>学生分布评分网络"] --> E
    C -->|保留前向目标| E
    E -->|更新学生| D
    E --> F["学生与 Euler 调度器<br/>按预算生成视频"]

关键设计¶

1. 双时间流映射：把固定终点改为可指定的目标时间

普通速度场模型描述当前状态应朝哪个方向移动，一致性模型主要描述如何到达干净终点。AnyFlow 学的是从当前时间 \(t\) 到目标时间 \(r\) 的转移；\(t\) 越大代表噪声越多，生成沿时间减小的方向推进。网络预测该区间的平均速度，而不是只预测某个瞬间的速度。沿用原文 MeanFlow 参数化：

\[ f_\theta(z_t,t,r)=z_t-(t-r)u_\theta(z_t,r,t). \]

这里 \(u_\theta\) 是平均运输速度，\(f_\theta\) 才是转移后的潜变量。目标取 \(r=0\) 时可直接预测终点；当 \(r\) 接近 \(t\) 时，平均速度应接近局部瞬时速度。严格在 \(r=t\) 时，状态映射本身是恒等映射，训练保留的是对应速度场的边界约束。这一区分很重要：不是靠恒等映射生成视频，而是把大步运输和小步流场学习放进同一个模型接口。

这使采样预算不再直接绑定一个终点预测器。少步时选择较大的时间跨度，多步时选择较小跨度，同一个学生可以处理两种情况。不过“可以接收任意时间对”仅是参数化能力，尚不能保证每个区间都准确，后面的训练与同策略校正才决定实际质量。

2. 稳定前向初始化：保住原有速度场，再学大跨度转移

直接给预训练骨干追加新的时间嵌入并不稳妥。论文发现，原有时间嵌入与新分支相加的方案可能使嵌入范数偏大，造成输出过饱和。它改用原时间嵌入与目标时间嵌入的插值，新分支由原嵌入初始化，原时间分支权重固定为 0.25。这样在初始化且两时间相同时，条件仍与原骨干对齐；这个 0.25 是嵌入混合系数，不是 CFG 引导强度。

前向目标采用 MeanFlow 的平均速度回归。其目标由瞬时速度减去时间跨度乘以平均速度的沿轨迹导数构成，并停止目标端梯度。精确计算该导数需要雅可比向量积，难以扩展到大型视频模型的全分片数据并行（FSDP）；AnyFlow 沿用中心有限差分，用时间前后扰动处的两次前向计算近似导数。扰动不仅改变时间，还沿瞬时速度移动潜变量，因此不是固定图像、仅修改时间标签的差分。

几个训练细节都服务于保留骨干已有能力。非边界时间对先均匀采样再排序，并按噪声时间重加权；每批一半样本使用 \(t=r\)，以边界回归损失的均值作为其他区间损失的尺度基准，防止长区间回归压倒已有速度场。CFG 则融合在预测端：条件预测减去按引导尺度调整的、停止梯度的无条件预测，再除以引导尺度。训练因此把指导效果压入学生，推理不再每步执行条件和无条件两次预测。缓存中的若干公式排版损坏，本文不补写无法可靠逐符号核对的权重表达式。

3. 流映射反向模拟：用三段链覆盖不同采样步长

前向训练面对教师合成数据构造的噪声状态，但测试面对学生之前步骤产生的状态，两者仍然不同。若为每一种采样步数都完整展开轨迹，成本会随步数增长；一致性路线常截断中间梯度以节约显存，但还要沿“终点预测再加噪”的路径运行。AnyFlow 利用流映射的近似组合性质，将一条长转移近似为两个连续短转移，从而跳过不必逐步模拟的部分。

具体地，先选择目标采样预算 \(N\) 和其中一个待训练区间，使它的宽度为 \(T/N\)。从初始噪声到该区间起点，用一次流映射捷径；目标区间仍执行对应步长的一次转移；从该区间终点到干净样本，再用一次捷径。于是完整链是 \(T\to t\to r\to0\)，其中只有中段代表被抽中的实际采样一步。长链两侧用学习到的转移近似，而不是声称三次计算精确等价于完整 Euler 轨迹。

与截断梯度不同，终点监督沿这三段链整体反传。通过改变 \(N\) 和区间位置，训练能覆盖不同步数预算，而模拟链的段数不随预算增加。这里的“相同计算成本”指这种三段轨迹构造，不包含所有评分网络计算，也不意味着因果生成上下文长度或实际推理时间恒定。该设计是 AnyFlow 把任意时间接口转化为可训练任意步能力的关键。

4. 联合分布匹配：用教师纠正学生自己的终点分布

三段链产生学生样本后，DMD 将其重新加噪，比较教师对应的真实分布 score 与学生生成分布的 fake score，用两者之差构造反向 KL 方向的蒸馏梯度。图中的教师参数冻结，fake score 网络用于估计学生分布，生成学生则通过整条捷径链接收更新。这是分布层面的纠偏，不是要求某一个学生视频逐像素复制某一个教师视频；fake score 也不是直接对视频打“好看程度”分数的奖励模型。

需要区分两类加噪：论文批评的是一致性多步采样中反复投影终点后加噪的轨迹；AnyFlow 的 DMD 为估计梯度而对最终样本加噪仍然存在。后者属于训练监督，不意味着推理重新走一致性采样。第二阶段也没有丢弃前向目标，而是将其与同策略目标联合优化，让学生改善终点分布的同时继续学习不同时间区间的转移。原文未在正文给出完整目标权重和 fake score 优化细节，不能据此伪造一套可直接复现的训练配置。

一个完整示例¶

以“给同一文本生成一段视频”为示意，不对应论文额外报告的样本结果。若在训练中抽到某个预算下的中间一步，学生先从纯噪声跳到该步起点，执行对应时间跨度的转移，再跳到干净终点；教师与 fake score 网络根据加噪终点评估分布差异，梯度穿过三段转移更新学生。换一个预算，就换中段的宽度，无需展开那个预算下的所有步骤。

实际使用时，同一个完成训练的模型可先用 4 NFE 预览，再用 32 NFE 生成。此时真正运行的是所选预算对应的采样过程，并非所有视频都只走训练用的三段捷径；也不要求把预览视频直接作为高预算推理的起点。论文验证的是同一模型的预算灵活性，而不是两次生成内容必然逐像素相同。

损失函数 / 训练策略¶

教师数据来自 Wan2.1-T2V-14B，共 256K 个提示词与视频对，每段最多 81 帧，分辨率为 \(480\times832\)。两阶段均使用秩为 256 的 LoRA 和 AdamW。

第一阶段学习率为 \(5\times10^{-5}\)，1.3B 模型全局 batch 为 32、训练 6,000 次迭代；14B 模型 batch 为 16、训练 4,000 次迭代。第二阶段从收敛的前向检查点出发，学习率降至 \(2\times10^{-6}\)，联合训练 800 次迭代。正文没有明确给出第二阶段独立的 batch 配置，因此这里不沿用第一阶段数字进行推断。

这条路线不是从零训练视频基础模型：它依赖预训练骨干、教师合成数据和同策略阶段的教师指导。论文还提出保留细粒度流场有利于继续微调，但当前缓存正文没有展示下游继续微调的量化结果。

实验关键数据¶

主实验¶

以下 T2V 数字来自原文表 2，均为作者标记重新评测的模型，分辨率统一为 \(480\times832\)。VBench 从 16 个细粒度维度汇总 Quality、Semantic 与 Total，均为越高越好；NFE 是网络求值次数，原文的 \(50\times2\) 表示带 CFG 的双次预测，不应直接解释为实测加速倍数。

模型与架构	参数量	NFE	Quality	Semantic	Total
Wan2.1，双向	1.3B	50×2	84.99	76.23	83.24
rCM，双向	1.3B	4	84.71	73.74	82.51
AnyFlow，双向	1.3B	4	85.24	76.41	83.48
AnyFlow，双向	1.3B	32	85.70	76.99	83.96
rCM，双向	14B	4	85.47	76.72	83.73
AnyFlow，双向	14B	4	85.70	77.38	84.04
AnyFlow，双向	14B	32	85.76	77.44	84.10
Self-Forcing，因果	1.3B	4	85.23	76.01	83.39
AnyFlow，因果	1.3B	4	85.60	75.30	83.54
AnyFlow，因果	14B	4	85.82	76.97	84.05
AnyFlow，因果	14B	32	86.12	77.55	84.41

14B 双向模型在同为 4 NFE 时比 rCM 高 0.31 个 Total 分数点；增加到 32 NFE 后自身仅再提高 0.06 点，说明可扩展不等于收益很大。1.3B 因果模型虽然总分比 Self-Forcing 高 0.15 点，Semantic 却低 0.71 点，不能概括为所有维度全面胜出。

消融实验¶

以下摘录原文表 1 的 Overall 分数，按前向训练与反向模拟组合保留关键对照。原文表 1 与表 2 的一致性基线分数不同，不能把消融中的组合行当成主表 Self-Forcing 的同一次评测。

前向训练 + 同策略模拟	双向 4 NFE	双向 32 NFE	因果 4 NFE	因果 32 NFE
Consistency ODE-Init，仅前向	80.44	82.86	73.97	77.55
流映射训练，仅前向	81.75	83.40	80.48	83.13
Consistency ODE-Init + 一致性反向模拟	82.96	79.80	82.49	79.64
流映射训练 + 一致性反向模拟	83.55	82.96	82.99	83.49
流映射训练 + 流映射反向模拟	83.48	83.96	83.54	83.96

固定流映射初始化后，双向 32 NFE 从一致性反向模拟的 82.96 提升至 83.96，支持“轨迹模拟方式影响多步能力”的判断。但双向 4 NFE 的完整方案为 83.48，略低于一致性模拟的 83.55，因此不能写成各设置都提高。因果 4 NFE 则从仅前向的 80.48 提升到完整方案的 83.54，说明只改参数化仍不足以消除测试时误差。

关键发现¶

任意步能力来自两阶段配合：更好的前向初始化缩小差距，流映射反向模拟进一步保住较大预算下的收益。
图生视频也有验证：原文表 3 报告 14B 因果 AnyFlow 在 4 NFE 下 Quality 为 80.39、I2V 为 95.35、Total 为 87.87；Wan2.1-I2V-14B 在 50×2 NFE 下对应 80.30、95.12、87.71。该 Total 属于 VBench-I2V，不能与 T2V 总分混排。
正文称图生视频复用因果生成器并使用非均匀分块，但没有给出分块边界等完整实现，不能把这项结果扩写成未经证实的独立算法。

亮点与洞察¶

最有价值的是把“任意步接口”落实到“任意步长监督”。仅引入第二个时间变量不够，训练还必须覆盖学生在这些时间跨度下实际会犯的错误。
三段捷径把终点分布监督传给中间转移，避免为每种预算都完整展开长链。可复用的思想是利用可组合转移压缩训练 rollout，而非把推理固定成三步。
边界速度场不是必须覆盖掉的旧知识，而是后训练的稳定参考。时间嵌入插值和以边界损失定标，说明保留预训练模型的数值尺度同样重要。

局限与展望¶

正文证据边界：没有独立的局限章节；时间采样权重、嵌入方案消融等指向补充材料，当前缓存不含这些材料。上述细节缺口不能用猜测的超参或消融数值补齐。
近似链仍有误差：捷径依赖学到的组合性质，三段模拟不是完整多步 rollout 的严格等价物。可进一步测量捷径与真实多步轨迹的偏差，以及这种偏差随预算和视频长度的变化。
预算收益不均匀：14B 双向模型从 4 到 32 NFE 只增加 0.06 分，主表也没有方差或显著性检验。应结合真实延迟、显存和人工偏好评估额外计算是否划算。
覆盖范围有限：实验覆盖双向、因果、1.3B/14B 和 T2V/I2V，但核心骨干仍是 Wan2.1，训练片段最多 81 帧。不能据此证明在任意骨干、无限长视频或任意步数下都稳定改善。
教师依赖仍在：训练需要合成数据和教师评分，推理便宜不等于训练免费。下游继续微调的可适配性在正文主要是方法动机，仍需专门实验支撑。

评分¶

新颖性: 4/5。流映射与 DMD 并非新概念，但三段反向模拟针对任意步视频蒸馏形成了明确的新组合。
实验充分度: 4/5。架构、规模、任务与关键组合消融较齐全，仍缺延迟成本、统计误差和长视频证据。
写作质量: 4/5。动机与轨迹图能串起方法，部分实现细节依赖补充材料，缓存公式也存在提取损坏。
价值: 4/5。同一模型覆盖预览与高预算生成很实用，但大预算的边际收益需要按架构具体衡量。