EcoVideo: Entropy-Orchestrated Video Generation Paradigm in Cloud-Edge Dynamics¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/IF-LAB-PKU/EcoVideo
领域: 视频生成
关键词: 云边协同、注意力熵、关键帧选择、视频插帧、动态资源调度

一句话总结¶

EcoVideo 把云边视频生成从“大小模型接力去噪”改为“云端生成高信息关键帧、边缘补齐中间帧”，用注意力熵和资源感知调度组织计算，在 Wan2.1 主实验中取得 1.84 倍端到端加速，云端算力受限实验中达到 2.91 倍。

研究背景与动机¶

视频扩散 Transformer 的推理开销不仅来自模型规模，还来自每一步都需要处理整段视频。相邻帧即使只发生很小变化，完整序列仍会反复经过时空建模和去噪，时间冗余因此转化为重复计算。 HybridSD 和 EC-Diff 这类云边方案把去噪过程沿步数拆开，让云端大模型先建立内容，再由边缘小模型继续生成。这种划分可以转移云端负载，却没有减少需要处理的帧，也要求小模型承担高频纹理和时序一致性的最后修复。当大小模型在同一潜变量上的噪声预测存在逐帧差异时，切换模型就可能改变原有采样轨迹，产生闪烁、模糊或细节坍塌。

另一方面，减少云端计算并不自动等于缩短用户等待时间。中间潜变量要经过网络传输，边缘设备还必须完成剩余去噪；带宽降低或边缘算力被占用时，这两项可能抵消云端节省。论文把端到端耗时视为云端、网络和边缘三部分之和，因此优化对象不是某个模型的单次前向速度。它关注的是哪些视频内容必须让大模型直接生成，以及哪些内容可以依赖已经生成的画面重建。这一问题把划分单位从“去噪步”转向“帧”，也把边缘模型的职责从继续去噪改成条件插帧。

帧级划分仍有两个难点：正式生成前不知道哪些帧重要，稀疏生成后又不能让运动和纹理在关键帧之间断裂。 EcoVideo 从早期去噪的自注意力分布中估计帧的信息密度，以此寻找变化复杂的时间位置。云端保留这些位置的生成能力，同时利用未选中位置的冻结上下文；边缘则把计算优先分给难以插值的区间。最后，系统根据实时资源情况决定关键帧数量和插帧细化深度，而不是固定一个大小模型切换点。 核心 idea：让大模型负责决定视频内容的高信息时间锚点，让小模型复用这些锚点补齐连续运动，并把两者的工作量作为可随资源变化调整的配置。

方法详解¶

整体框架¶

输入是文本等条件信息、目标视频长度以及完整视频潜空间中的随机噪声；输出是按目标长度补齐的视频。系统先在云端执行完整序列的短暂预热，从自注意力中获得稳定的逐帧熵。随后，“注意力熵选帧”给出不同关键帧预算下的候选集合，“资源感知调度”选择本次请求的关键帧预算和边缘细化深度。 “冻结上下文去噪”只继续更新关键帧潜变量，同时保留其余帧的预热潜变量作为注意力上下文。关键帧被解码成像素画面并传到边缘后，“多线索贪心插帧”逐步补齐缺失帧。调度所依赖的单位成本由在线 profiling 更新，因此下次请求或下个调度窗口可以采用不同配置。这里的调度是推理系统的一部分，不是另一个替视频生成内容的模型。框架来源为原文图 2–3、§3.1–3.3（第 6–10 页）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["条件与完整噪声序列"] --> B["注意力熵选帧"]
        B --> C["资源感知调度"]
        R["带宽与云边算力"] --> C
        C -->|关键帧预算| D["冻结上下文去噪"]
        C -->|细化深度| E["多线索贪心插帧"]
        D -->|解码并传输关键帧| E
        E --> F["完整视频"]

关键设计¶

1. 注意力熵选帧：从早期生成状态估计哪些时间位置值得直接生成

选帧不是对已经生成的完整视频做后处理，否则无法省掉主要生成开销。 EcoVideo 读取去噪过程中的自注意力权重，对每个查询 token 的注意力分布计算熵，再把属于同一帧的 token 熵取平均。如果一个查询的注意力分散到更多位置，它的熵更高；论文把这理解为更复杂动态和更高信息密度的代理信号。这个解释是方法采用的启发式，并不是“注意力熵严格等于运动复杂度”的证明。原文式 (4)–(5) 的逐帧平均可以合写为：

\[ e_f^{(t)}=-\frac{1}{|\mathcal I_f|}\sum_{i\in\mathcal I_f}\sum_{j=1}^{N}A_{ij}^{(t)}\log A_{ij}^{(t)}. \]

其中 \(A_{ij}^{(t)}\) 是去噪步 \(t\) 的注意力权重，\(\mathcal I_f\) 是映射到帧 \(f\) 的查询 token 集合，\(N\) 是 token 总数。早期注意力会随噪声变化，直接依赖某一步容易让选帧不稳定，因此原文式 (6) 用指数移动平均融合预热阶段的逐帧熵。预热结束后固定熵估计，后续不再为全序列反复计算选帧信号；这也是控制额外开销的重要安排。给定关键帧预算 \(K\)，方法强制保留首尾帧，并按熵排序补足其余关键帧，再恢复时间顺序。首尾帧提供完整时间范围的锚点，其余位置则优先覆盖变化较复杂的区域，而不是机械地等间隔采样。方法部分采用前 10% 步数作为预热，实验实现又写为前 5 步；两者对 50 步设置一致，但对 40 步的 Wan2.2 并不完全一致。因此，本文保留两处原始描述，不把所有骨干都写成已明确采用相同百分比。

2. 资源感知调度：同时决定云端关键帧预算和边缘细化深度

熵排序提供“先选谁”，调度器解决“选多少、边缘做多深”。它监测带宽 \(B\)、云端可用算力 \(P_c\) 和边缘可用算力 \(P_e\)，在小规模候选集合中搜索关键帧数 \(K\) 与细化深度 \(D\)。增加关键帧通常能提供更密集的时间锚点，但会增加云端计算和传输量；提高细化深度则把额外工作交给边缘。这两个旋钮不能独立看待，因为关键帧越少，边缘需要补齐的帧就越多，而区间本身也可能更难重建。原文式 (14)–(15) 将总成本分成固定预热、关键帧生成、关键帧传输和中间帧重建。其中云端成本近似与关键帧数量成正比，网络成本由每帧载荷及带宽决定，边缘成本由缺失帧数及相应深度的单位耗时决定。这些单位统计量使用指数移动平均在线更新，而不是假设某个 GPU 或网络永远具有固定速度。

搜索目标是最大化质量效用减去带权预测耗时，权重由质量与延迟偏好或服务目标决定。候选集合较小时可以枚举配置，不必训练一个复杂的策略网络。这并不意味着调度器在每次请求上计算真实 VBench；其使用的是轻量质量效用 \(Q(K,D)\)。原文说效用的递减收益形式在附录展开，但当前缓存仅包含正文和参考文献，没有该附录。候选集合具体取值、效用标定和部分调度超参数因而不能从这份材料完整复现，笔记不补写猜测版本。此外，本文给出的是效用与延迟的折中目标，不能把它解读成对每个视频质量的严格数学保证。

3. 冻结上下文去噪：减少更新的帧，同时保留全局时间线索

预热得到的是完整视频潜变量，其中既包含已选关键帧位置，也包含未选中的位置。最直接的加速做法是只裁出关键帧，后续让大模型在更短序列上继续去噪。但这样会丢掉全序列预热形成的时间布局，关键帧之间的运动关系和结构可能随之改变。 EcoVideo 因而将潜变量沿时间轴分成两组：关键帧潜变量继续更新，非关键帧潜变量固定在预热结束的状态。后者被转成冻结上下文 token，在后续注意力中充当额外的键和值；噪声预测仅保留关键帧位置。条件信息仍参与生成，云端大模型负责剩余关键帧去噪步骤，最终由 VAE 解码出关键帧画面。

这种安排不是把未选帧当成已经完成的视频，也不是让边缘小模型接着修复这些噪声潜变量。未选帧在云端充当时间上下文，边缘实际重建的依据则是云端输出的关键帧像素。原文式 (8) 使用停止梯度记号描述冻结上下文，但这里主要是推理时状态复用，不能据此推断存在新的教师学生训练。保留额外键值也意味着全局上下文仍有处理开销，不能把裁帧比例直接当成理论加速倍数。其节省主要来自不再对全部帧维持完整的逐步更新路径，同时尽量保留关键帧之间的关系。这一点解释了它与“先生成完整视频再丢帧”的本质区别：省略发生在主要去噪阶段之前。

4. 多线索贪心插帧：把细化预算优先交给变化最大的区间

边缘模型 EcoVFI-160M 基于 EDEN 的插帧思路修改区间评分，不承担完整视频扩散模型的后半程去噪。对相邻关键帧组成的区间，系统同时检查运动、信息密度、结构和纹理四类差异。运动由 RAFT 双向光流的幅度描述，信息密度由关键帧熵差描述，结构由 DINO-small 端点特征距离描述，纹理由像素外观差描述。它们分别针对快速位移、信息变化、语义结构变化和局部外观变化，避免只凭一个信号分配预算。四类线索在每段视频内归一化到 \([0,1]\)，再按原文式 (13) 等权平均并经过 sigmoid：

\[ g(I_a,I_b)=\sigma\!\left(\frac{\hat d_1+\hat d_2+\hat d_3+\hat d_4}{4}\right). \]

这里 \(I_a,I_b\) 是区间两端画面，\(\hat d_1\) 到 \(\hat d_4\) 依次表示归一化的运动、密度、结构、纹理线索。评分越大，区间被认为越容易出现插帧伪影，应优先细化；它是排序信号，不是经过校准的失败概率。系统每次取当前最高分区间，用 EcoVFI 合成其中点，再把原区间拆成两个新区间并更新评分。重复这一过程直到达到目标视频长度，使已有关键帧信息被逐步复用，而不是一次性均匀填满所有间隔。调度器给出的 \(D\) 控制边缘细化预算，但其如何映射到具体插帧模型执行深度在正文中没有充分展开。正文也未详细说明新插入帧的熵线索如何更新，以及非均匀中点插入如何严格对应最终固定帧率时间网格；这些是复现时需要确认的接口。

一个完整示例¶

以原文 Wan2.1 的 81 帧、50 步设置为例，系统首先对完整潜序列执行预热，而不是立即跳过低信息帧。前 5 步产生的注意力熵经移动平均后，形成可供选帧使用的时间排序。首尾帧被保留，调度器根据当前带宽和算力选择预算，熵排序决定预算内的其余位置。云端继续去噪这些位置，并在注意力中引用预热后冻结的其余位置。解码后的关键帧送到边缘，区间评分把运动或结构变化较大的间隔排在前面。每次插入中点后都重新比较候选区间，直到序列被补齐至 81 帧。这个例子只说明原文的数据流；由于正文没有给出该请求的实际 \(K\) 和 \(D\)，不能写成某个固定关键帧数量的执行记录。

损失函数 / 训练策略¶

本文主要贡献是推理组织与调度，不是提出新的端到端视频训练损失。注意力熵分析明确为免训练信号，预热指已有扩散模型的早期推理步骤，而不是额外预训练。 EMA 同时用于稳定帧熵和运行成本估计，二者都属于运行时统计。云端分别采用 Wan2.1-14B、Wan2.2-A14B、CogVideoX-5B，边缘采用 EcoVFI-160M。当前全文未提供 EcoVFI 的独立训练数据、优化器或损失细节，因此不能把整个系统进一步概括为所有部件都无需训练。同样，损失项、EMA 系数和未公开的调度候选值都不应由常见默认设置代填。

实验关键数据¶

主实验¶

评测采用 VBench 提示词集，硬件为单张 NVIDIA H200（141GB）与 NVIDIA Jetson Thor，实验设置写平均带宽 20 Mbps。 Wan2.1/Wan2.2 生成 5 秒、81 帧、720P 视频，分别运行 50/40 个去噪步；CogVideoX 生成 6 秒、49 帧、480P 视频，运行 50 步。各协同方法使用相同云端骨干；Wan 的步间基线在边缘用 Wan2.1-1.3B，CogVideoX 的基线用 CogVideoX-2B。下表摘自原文表 1（第 11 页），只保留总分和相对对应纯云端基线的端到端加速，不跨骨干比较绝对延迟。

云端骨干	方法	VBench Overall ↑	加速比 ↑
Wan2.1-14B	纯云端	0.837	1.00×
Wan2.1-14B	HybridSD	0.677	0.89×
Wan2.1-14B	EC-Diff	0.683	1.27×
Wan2.1-14B	EcoVideo	0.846	1.84×
Wan2.2-A14B	纯云端	0.842	1.00×
Wan2.2-A14B	EcoVideo	0.830	1.59×
CogVideoX-5B	纯云端	0.819	1.00×
CogVideoX-5B	EcoVideo	0.775	2.03×

EcoVideo 在这三个骨干上都优于原文表 1 中的步间协同基线，但不代表所有骨干上都保持纯云端质量。尤其 CogVideoX 总分从纯云端的 0.819 变为 0.775，说明加速仍伴随质量代价。以下耗时分解摘自原文表 2（第 11 页），限定为相同 Wan2.1-14B、81 帧、720P 设置；时间单位为秒，通信量保留原表 MB 单位。

方法	云端耗时 ↓	边缘耗时 ↓	通信量 MB ↓	总耗时 ↓
纯云端	1996.25	不适用	1.92	1996.35
HybridSD	1597.24	648.92	17.23	2247.02
EC-Diff	798.96	778.68	17.23	1578.50
EcoVideo	988.00	96.23	1.10	1084.29

EcoVideo 的云端耗时并非低于所有协同基线：EC-Diff 的 798.96 秒反而更少，但边缘耗时更高，最终总耗时更长。这支持论文以端到端成本而非单独云端成本作为优化目标。通信项需要谨慎解释：例如 HybridSD 的总耗时减去云端与边缘耗时仅约 0.86 秒，不能直接与 17.23 MB 在 20 Mbps 下的简单串行传输相吻合。笔记按原表转录，不自行修正单位，也不声称原文已明确解释传输重叠或该差异。

消融实验¶

下表摘自原文表 3（第 13 页），采用 Wan2.1-14B 与同一纯云端基线，考察选帧、插帧和预热长度。其中完整 EcoVideo 的 VBench 原值为 0.845，与表 1 的 0.846 略有出入；两表分别保留原值，不能当成同一个精确测量互换。

配置	VBench ↑	总耗时（秒）↓	加速比 ↑
完整 EcoVideo	0.845	1084.29	1.84×
去掉熵选帧，改用均匀关键帧	0.832	1049.73	1.90×
去掉 EcoVFI，仅保留关键帧视频	0.835	988.82	2.02×
使用原始 EDEN 的朴素插帧	0.835	1019.33	1.96×
预热 2%	0.834	938.17	2.13×
预热 20%	0.842	1180.13	1.69×
预热 30%	0.847	1336.45	1.49×

均匀选帧略快却降低总分，说明收益不仅来自减少帧数，也来自把大模型预算放在合适位置。去掉 EcoVFI 会改变时间补全程度，因此这一行不能视为完全相同输出条件下的等价替代。原始 EDEN 插帧与 EcoVideo 的差别则说明区间评分和细化组织有贡献，但表 3 没有分别消融全部四种线索。延长预热不是单调提升质量：20% 的 0.842 低于默认完整配置的 0.845，30% 才达到 0.847，同时延迟明显增加。

关键发现¶

原文图 5 与 §4.3（第 13–14 页）在云端算力为 50%、边缘为 100%、带宽为 20 的设置下报告 2.91 倍加速；这不是默认设置的速度，也不是所有资源场景的下限。
边缘算力为 50% 时，EcoVideo 为 1.48 倍，HybridSD 和 EC-Diff 分别为 0.69 倍和 0.84 倍，说明边缘负担决定协同方案是否真的更快。
带宽降至图中标注的 10 时，EcoVideo 为 2.32 倍；这是另一组资源实验，不能与默认 1.84 倍拼成相同固定配置的带宽曲线。
图 4 和图 6 给出纹理、结构和运动连续性的定性比较，但本文没有据此额外编造伪影发生率或用户偏好比例。

亮点与洞察¶

最重要的改变是边缘职责：小模型不再试图模仿大模型后半段的去噪行为，而是解决有明确端点约束的帧间重建问题。这降低了大小模型能力差直接污染同一采样轨迹的风险。
冻结非关键帧上下文说明“少更新”不必等于“完全看不见”。它保留全局时间线索，但仍需实测注意力额外开销，不能只用帧数比估计收益。
熵和插帧难度分别作用于两个阶段：前者分配直接生成预算，后者分配重建预算。二者配合比只优化一个全局稀疏比例更贴合视频的非均匀变化。
在线单位成本估计可以迁移到其他协同推理系统。真正可复用的是随瓶颈变化重算任务划分，而非把本文的具体速度倍数复制到其他硬件。

局限与展望¶

作者明确指出极快运动、重遮挡和突发场景切换仍可能使插帧失效；增加关键帧或使用更强插帧器也会消耗原本节省的预算。
注意力熵只是信息密度的代理，原文没有证明高熵帧一定是最难重建的帧，也未详细报告不同层或注意力头的选取敏感性。
当前资源实验覆盖若干代表性设置，不等价于长期真实网络轨迹上的稳定性保证；作者把异构边缘设备和长时间在线适配列为未来方向。
缺失附录、预热步数口径差异、主表与消融分数差异，以及通信时间与单位的疑点，限制了只凭当前全文精确复现的能力。
冻结上下文没有独立删除消融，四种插帧线索也未逐项拆开，因此不能仅凭现有表格判定每个子设计的独立贡献。
合理后续方向是把插帧不确定性反馈给关键帧插入，并与云端缓存或稀疏注意力联合优化；这些是原文提出的方向，不是已经验证的联合加速结果。

评分¶

新颖性：4/5。将帧级生成划分、注意力熵和资源调度结合，系统问题定义清晰，但插帧与熵信号均有前作基础。
实验充分度：3/5。覆盖三个生成骨干、真实云边硬件和资源变化，但缺少更完整的组件拆解、调度细节及长期运行证据。
写作质量：3/5。主线清楚，若干数值、单位和实现说明不一致，需结合代码与附录进一步核验。
价值：4/5。适合研究生成服务的端到端瓶颈和任务划分，不应被简化成普遍无损的视频加速结论。