WorldCache: Content-Aware Caching for Accelerated Video World Models¶

会议: ECCV 2026
论文: ECCV 官方页
代码: https://github.com/umair1221/WorldCache
领域: 视频生成 / 推理加速
关键词: 特征缓存、扩散 Transformer、运动补偿、显著性加权、世界模型

一句话总结¶

WorldCache 在不重训练视频扩散模型的前提下，联合改进缓存命中判据与命中后的特征近似，在 Cosmos-2B 图像条件生成实验中把延迟从 55.04 秒降至 24.48 秒，同时将 PAI-Bench Overall 从 0.8030 保持到 0.7977；论文标注为 2.3× 加速，但其倍数与质量保留率存在需要区分的舍入口径。

研究背景与动机¶

视频世界模型依靠扩散 Transformer（DiT）的时空注意力生成未来视觉状态，但每个去噪步都执行深层网络，推理开销较高。相邻去噪步的中间激活通常具有冗余，因此训练外的特征缓存可以用少量浅层计算估计变化，在变化足够小时跳过深层。FasterCache 利用固定复用调度，DiCache 则采用浅层探针和历史残差对齐，把缓存命中变成在线决策。

世界模型需要保留运动和交互，不能只看整张特征图的平均变化。面积很小的移动对象可能被静态背景淹没；即便判定可以复用，未对齐的历史特征也可能造成鬼影或边界涂抹。此外，建立布局的高噪声阶段与细化纹理的低噪声阶段对近似误差的敏感性不同，一个固定阈值很难同时兼顾保真与速度。这里的挑战不是单纯增加跳过次数，而是让跳过的位置、时机和近似方式相互匹配。

作者将这些问题组织为“感知约束的动态缓存”。不过，相关工作中 DiCache 已经混合历史残差，TaylorSeer 也预测未来特征，因此不能把全部先前方法概括成只会原样复制。核心 idea：用输入变化和空间显著性判断是否值得重算，用带方向信息的残差混合及可选空间对齐改善复用，再利用去噪后期的阈值放宽换取更多缓存命中。

方法详解¶

整体框架¶

每个去噪步先运行前若干个 DiT 块作为探针，之后决定执行剩余深层，还是用历史缓存近似深层输出。CFC 提供运动相关的基础阈值，SWD 提供空间加权的漂移信号，ATS 按去噪进度调整阈值；只有缓存命中时，OFA 才负责生成近似输出。缓存未命中则执行深层并更新残差缓存，两条路径都返回采样器以进入下一去噪步。

论文中的步索引表示扩散去噪进度，不是视频帧号。输入潜变量本身包含多个视频帧，因此“相邻步变化”和“视频中相邻帧的物体运动”不能直接画等号；CFC 与可选形变都从去噪步之间的潜变量变化获取信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    I["当前潜变量<br/>与历史缓存"] --> P["执行浅层探针"]
    I --> C["CFC 运动自适应阈值"]
    P --> S["SWD 显著性加权漂移"]
    C --> A["ATS 去噪阶段调度"]
    S --> G{"加权漂移低于<br/>调度后的阈值？"}
    A --> G
    G -->|是：缓存命中| O["OFA 对齐残差近似"]
    G -->|否：缓存未命中| F["执行深层块<br/>更新残差缓存"]
    O --> Y["深层输出或其近似<br/>交给采样器"]
    F --> Y

CFC 和 SWD 是并行的决策信号，ATS 只调整阈值，OFA 只出现在命中分支。图中没有训练监督分支，因为方法不更新模型权重，也不需要额外训练数据；各步骤本身仍有运行开销。

关键设计¶

1. CFC 运动自适应阈值：输入变化大时减少冒险复用

Causal Feature Caching（CFC）从原始潜输入计算相隔两个去噪步的归一化变化幅度，作为作者所称的“速度”代理。变化越大，缓存阈值越紧，浅层漂移越难满足跳过条件；变化较小时，阈值接近预设基础值。其目的不是估计真实物理速度，而是用低成本信号识别潜变量正在快速演化的区间，避免继续沿用陈旧的深层状态。

作者解释，选择相隔两步而非一步，是考虑到紧邻历史步可能已经使用近似，并配合按奇偶交替的两个缓存槽维护历史状态。需要保留一个实现疑点：正文把相隔两步的状态称为最近完整计算锚点，但在允许连续缓存命中的情况下，这一性质如何始终成立，未在所给文字中完整说明。不能仅凭两个缓存槽就推导出任意时刻都有两个新鲜、完整计算的历史步。

缓存式 (2)、式 (3) 提取损坏，尤其阈值函数的运算结构不清楚，因此这里不猜测它是指数衰减还是另一种形式。能够从正文确认的是归一化两步变化、速度增加使阈值收紧，以及基础阈值和运动敏感度两个参数。

2. SWD 显著性加权漂移：让结构复杂区域在判据中占更大权重

Saliency-Weighted Drift（SWD）使用探针本来就产生的特征构造空间权重，不调用额外显著性网络。先在批次和视频时间轴上平均探针输出，再计算每个空间位置的通道方差，最后归一化为 0 到 1 的显著性图。通道方差高常对应边缘、纹理和结构复杂区域；图 3 给出可视化支持，但这不是经过语义监督的前景分割，也不保证每个重要交互对象都被突出。

计算浅层特征的步间差异时，SWD 用显著性权重放大信息密集位置的贡献，再在空间上聚合。原文明确写出权重为 \(1+\beta_s\hat S\)：在非负显著性权重下，它不会把背景的绝对权重压到 1 以下，因此“背景被衰减”应理解为相对于高显著区域的重要性降低，而不是公式显式减小了每个背景位置的误差。正文称它可减少背景主导的误判；消融支持加入后更快，但不等于证明所有前景变化都被正确检出。

另一个边界来自时间平均：最终空间显著图会汇总多个潜帧，快速移动的小目标可能被平滑。因此，SWD 是便宜的感知代理而非精确物体追踪；其作用是重排决策关注点，不是替代视频运动建模。

3. ATS 去噪阶段调度：在后期允许更宽松的缓存命中条件

Adaptive Threshold Scheduling（ATS）在 CFC 给出的阈值上叠加随去噪进度增长的放宽因子。早期主要形成布局和运动结构，保持较紧阈值；后期主要细化纹理，阈值逐步增大，使一部分本来会触发重算的漂移仍可由缓存近似承接。这里不是减少采样器的总步数，而是让更多去噪步只执行探针与近似模块。

正文以 35 步、调度参数 4.0 举例：第 2 步的乘子约为 1.2，第 32 步约为 4.6。图 4 的固定阈值演示使用 0.12，跳过率为 36%，调度后达到 68%；这不是默认基础阈值 0.08 下所有任务都具有相同跳过率的报告。式 (13) 也有提取缺损，因此不把根据例子推测出的完整表达式作为原文精确公式写出。

ATS 可以被理解为使用前面控制与后面 OFA 提供的质量余量：不是证明低噪声阶段“必然安全”，而是在被测模型和任务上找到更快的近似运行点。其质量影响需要通过最终生成结果评估，不能仅根据去噪进度保证。

4. OFA 对齐残差近似：命中之后同时考虑历史变化方向和空间错位

Optimal Feature Approximation（OFA）的时间部分称为 Optimal State Interpolation（OSI）。它缓存深层输出相对当前原始输入的计算残差，而不是只缓存最终视频。在命中步没有完整深层结果时，先用浅层探针得到部分残差，再用它与历史残差的差异作为目标，估计沿最近历史残差变化方向前进多少更合适。相比 DiCache 从 L1 距离比估计标量系数，这里用最小二乘向量投影，利用内积保留变化方向的信息。

当当前变化不再沿历史方向发展，投影可以降低沿旧方向延伸的增益；作者将增益限制到 0 至 2，以抑制小分母造成的放大。最终以当前输入加历史残差的组合近似深层输出。这里“最优”仅针对所设定的一维残差方向和浅层代理目标，并非全空间、真实深层输出或感知质量意义下的全局最优；式 (8) 至式 (10) 的提取损坏使精确符号对应无法完全核验。

空间部分是可选的运动补偿：通过当前与前一去噪步潜输入之间的多尺度相关估计位移场，不使用外部光流网络，然后将缓存深特征变换到当前坐标后再参与残差组合。正文报告该部分每个缓存步增加不到 3% 开销，并在最初 5 个去噪步禁用，因为高噪声时位移估计不可靠。这个局部开销不能等同于完整 OFA 模块对端到端延迟的影响；消融中 OFA 的加入实际让总延迟上升。

损失函数 / 训练策略¶

本方法没有新的训练损失。Cosmos-Predict2.5 的被测设置使用 35 步 Euler 调度，生成 93 帧、16 FPS，约 5.8 秒，对应 24 个潜帧；2B 和 14B 检查点均保持不变。WAN2.1 使用相应检查点的官方推理配置，不能将 Cosmos 的帧数和步数自动套用到其他模型。

默认基础阈值为 0.08，运动敏感度 0.2，显著性权重 0.12，阶段调度参数 4.0；正文称这些参数跨模型与任务固定，不逐提示调优。单张 NVIDIA H200 用于端到端延迟测量，各方法使用一致的 batch 与精度设置；所给正文未列出完整探针深度、缓存初始化和所有形变启用细节。

实验关键数据¶

主实验¶

PAI-Bench 分别报告 Domain（物理相关评价）、Quality（视觉质量）及二者平均的 Overall。以下直接保留原文表 4 的 Cosmos-Predict2.5-2B / Image2World 数据，不与表 2 或表 6 的略有差异的基线混用。加速比栏是论文报告值，而非本笔记重新计算。

方法	Domain ↑	Quality ↑	Overall ↑	延迟（秒）↓	报告加速比 ↑
Baseline	0.8450	0.7610	0.8030	55.04	1.0×
EasyCache	0.8399	0.7552	0.7975	40.25	1.37×
DiCache	0.8352	0.7522	0.7941	39.68	1.39×
TeaCache (Fast)	0.8381	0.7549	0.7965	41.00	1.34×
TeaCache (Slow)	0.8396	0.7562	0.7979	49.59	1.10×
MagCache	0.7682	0.7410	0.7546	26.87	2.05×
TaylorSeer	0.7106	0.6956	0.7031	29.49	1.86×
WorldCache	0.8395	0.7559	0.7977	24.48	2.30×

WorldCache 是表中延迟最低的方法，但不是 Overall 最高的加速方法：TeaCache (Slow) 为 0.7979，比它高 0.0002。关键在于接近这一质量水平时，WorldCache 的延迟显著更低。

按表中已显示数字计算，55.04 / 24.48 约为 2.25，而非精确的 2.30；0.7977 / 0.8030 对应约 99.34% 的 Overall 保留率。摘要写“2.3×、99.4%”，因此这些数字应视为论文概括口径，不能把舍入后的分数用于证明精确的保持率。

跨模型证据还包括表 3：WAN2.1-1.3B 的 T2W 从 120.04 秒降到 50.84 秒，Overall 从 0.7727 到 0.7721；WAN2.1-14B 的 I2W 从 475.60 秒降到 206.73 秒，Overall 从 0.7384 到 0.7388。两种设置分别报告 2.36× 和 2.30×，不能当成相同任务下的模型规模消融。

消融实验¶

原文表 6 在 Cosmos-2B / I2W 上逐项加入模块；它的基线 Overall 为 0.8027，与表 4 的 0.8030 不同，以下按各自原表保留。

配置	Domain ↑	Quality ↑	Overall ↑	报告加速比 ↑	延迟（秒）↓
Base	0.8447	0.7607	0.8027	1.00×	55.04
+ CFC	0.8457	0.7583	0.8020	1.52×	36.06
+ CFC + SWD	0.8414	0.7592	0.8003	1.70×	33.24
+ CFC + SWD + OFA	0.8468	0.7602	0.8035	1.47×	37.38
+ CFC + SWD + OFA + ATS	0.8395	0.7559	0.7977	2.3×	24.48

这是累加消融，不是从完整模型分别移除每个模块的控制实验。因此它能支持加入 OFA 后提高质量但降低速度、继续加入 ATS 后提速的观察，却不能证明去掉任意模块必然破坏整个方法。

表 6 中 SWD 行的 55.04 / 33.24 约为 1.66，与报告的 1.70 也有偏差。完整模型相对该表基线的 Overall 下降约 0.62%，正文称“在 0.6% 以内”；这些口径差异应保留，而不是自行把原始表格改成一致。

关键发现¶

OFA 并非直接的加速模块。 加入后 Overall 从 0.8003 到 0.8035，但延迟从 33.24 秒增加到 37.38 秒。作者将其解释为改善近似质量并改变命中模式，为后续调度留出余量。
ATS 的主要效果是更积极地使用近似。 在含 OFA 的配置上，延迟从 37.38 秒降到 24.48 秒，同时 Overall 从 0.8035 降到 0.7977；这是速度与质量的交换，不是无损加速证明。
标准视频评价也有支持。 表 5 中 HunyuanVideo 的 VBench 从 82.34 到 82.23，延迟从 984 秒到 334 秒，报告 2.95×；Cosmos-2B 从 76.35 到 76.47，延迟从 54.87 秒到 24.42 秒，报告 2.25×。
分数微升不代表改善模型物理能力。 若干设置的整体分数略高于无缓存基线，但正文没有给出足够的方差或显著性检验，应解释为在这些评估点上没有明显下降，而非缓存使模型学会更正确的物理规律。

亮点与洞察¶

同时优化判据和近似值。 只改跳过阈值会把错误转移到复用输出，只改近似又可能增加延迟。递增实验清楚展示两者必须连同阶段调度一起评价。
从已有计算中提取控制信号。 潜输入变化和探针通道方差都来自模型内部，避免另加大型运动或显著性网络。不过这种低开销也意味着信号是代理量，需要检查失效场景。
方向比单纯幅度更有信息。 残差投影会考虑当前变化与历史方向是否一致，为缓存更新提供比距离比值更丰富的判断依据。“最优”仍依赖所选代理目标与受限方向。

局限与展望¶

短视频指标不等于闭环世界模型验证。 Cosmos 主设置生成约 5.8 秒视频；正文未报告足够的长期自回归滚动或真实闭环决策实验，无法由此量化缓存误差在长期规划中的影响。
显著性与运动代理可能失准。 通道方差突出复杂纹理而未必突出语义重要对象，时间平均可能稀释小目标；去噪潜变量变化同时包含噪声消除与内容变化，不是纯粹运动信号。
公式及缓存时序细节需核实。 所给文本的多个公式提取破损，两步锚点与连续命中的关系、形变使用设置也未充分展开。本笔记不以猜补公式替代代码或排版原文核验。
收益依赖具体推理配置。 当前数据支持 H200 上的被测模型与任务；不同硬件、探针深度、分辨率和采样器下的瓶颈可能变化。正文宣称固定超参有效，但未提供完整的敏感性分析结果。
进一步研究可关注可测的误差约束。 在固定延迟预算下，根据缓存误差反馈调度阈值，并分别检验位移补偿与时间插值的贡献，比单纯增加模块更能说明何时允许激进复用。

评分¶

新颖性：4/5。面向动态视频内容联合改造缓存判据和近似机制，有明确任务动机；单项工具与探针框架均有前作基础。
实验充分度：4/5。覆盖多个模型族、PAI-Bench 与 VBench、多个缓存基线；递增消融和长期闭环验证仍有边界。
写作质量：3/5。四个模块的逻辑清楚，但速度、保持率及跨表基线存在口径差异，缓存时序与若干实现细节需进一步核验。
价值：4/5。不需要重训练就能降低视频生成延迟，工程价值明显；质量保持是特定测评下的经验结果，而非普遍保证。