RA-CFGCache: From Branch-Level Criteria to Guided-Risk Control under Classifier-Free Guidance¶

会议: NeurIPS 2026
arXiv: 2609.36433
OpenReview: https://openreview.net/forum?id=g6toliY0op
代码: https://github.com/yiming-l21/RA-CFGCache.git
领域: 其他
关键词: 扩散模型加速, 免训练特征缓存, 分类器无关引导, 误差传播动力学, 风险对齐控制

一句话总结¶

针对分类器无关引导（CFG）下双分支独立缓存带来的分支-引导失配与局部-终态传播失配问题，本文提出无需重训练的风险对齐缓存框架 RA-CFGCache，通过几何引导风险合成与时步传播重缩放统一决策双分支联合复用，在保持原采样轨迹不变的同时显著提升生成质量与推理加速权衡。

研究背景与动机¶

现代扩散模型与扩散变换器（DiT）在视觉生成领域取得了突破性进展，但其多步迭代去噪的计算开销极大。为了提升生成样本与输入条件的忠实度，分类器无关引导（Classifier-Free Guidance, CFG）已成为不可或缺的标准技术。然而，标准 CFG 在每个去噪时步都需要分别对条件分支和无条件分支进行前向评估，使得去噪计算量直接翻倍。免训练特征缓存（如 TeaCache、MagCache、DiCache）通过复用相邻时步计算出的冗余特征或预测值来降低延迟，但在 CFG 场景下，现有方案通常仅简单沿用单分支复用准则，未能显式建模双分支误差在引导合成时的非线性交互以及局部扰动对最终图像的动态影响。

深入分析这一范式，可以发现现有 CFG 缓存决策机制存在两个根本性的认知失配。第一是「分支-引导失配（branch–guided mismatch）」：真正驱动去噪轨迹更新的是通过引导尺度加权合成后的引导预测值，而非孤立的单分支输出；在实用引导尺度 $s > 1$ 下，两分支误差的夹角直接决定了合成误差是发生部分相消还是被放大，单分支误差的大小并不能真实反映合成扰动。第二是「局部-终态失配（local–final mismatch）」：即使准确估计了当前时步的局部合成误差，由于去噪动力学具有强烈的时序敏感性，早期时步注入的微小误差在后续迭代中会被显著放大，而晚期时步的扰动对最终隐变量影响极小，孤立的局部阈值无法有效约束最终生成质量。

针对上述两大致命缺陷，研究者需要一种既不改变既定采样器调度与引导规则、又能准确感知引导误差合成与跨时步传播影响的统一控制方案。核心 idea：将 CFG 下的免训练缓存控制重构为引导风险控制问题，利用离线标定的分支误差对齐度将基线分支代理按精确 CFG 几何形式合成为引导风险，再通过基于幂律的时步传播增益进行前向加权，以在线累积风险阈值驱动双分支联合刷新与复用。

方法详解¶

整体框架¶

RA-CFGCache 将 CFG 扩散推理中的特征缓存决策抽象为一个端到端的引导风险控制流程。在去噪过程的每个时步，系统并不直接依赖各分支独立的标量变动，而是首先提取底层缓存方法（如 MagCache、TeaCache 或 DiCache）计算出的条件与无条件分支代理变动；接着，通过引入离线预标定的双分支跨步对齐统计量，按照 CFG 引导预测的二次几何分解公式，将两分支代理融合成综合的局部引导风险估计；随后，利用拟合的幂律传播先验对该局部风险施加时步敏感的缩放因子，量化该扰动对最终生成隐变量的实际破坏力；最后，在线控制器累加有效传播风险，一旦超过设定阈值即触发双分支的同步完整计算与锚点更新，否则继续安全复用缓存特征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前去噪时步输入<br/>潜在隐变量与条件/无条件输入"] --> B["分支代理变化量提取<br/>基于底层缓存方法获取标量变化信号"]
    B --> C["CFG 感知的引导风险合成<br/>结合二次几何分解与跨分支对齐统计量"]
    C --> D["传播感知的时步重缩放<br/>利用幂律传播增益先验加权局部风险"]
    D --> E{"在线累积风险判断<br/>累积风险是否超出预算阈值?"}
    E -->|超出阈值| F["双分支联合完整刷新<br/>执行全计算并重置缓存锚点与累积风险"]
    E -->|未超阈值| G["双分支联合缓存复用<br/>跳过两分支冗余计算并累加传播风险"]
    F --> H["更新扩散潜变量并进入下一去噪时步"]
    G --> H

关键设计¶

1. CFG 感知的引导风险合成：精确还原误差几何交互

现有分支级缓存准则只单独监控无条件误差 $\delta u_t$ 与条件误差 $\delta c_t$ 的幅值，完全忽略了两者的合成效应。在实际引导预测更新中，$p_t^{(s)} = u_t + s(c_t - u_t) = (1-s)u_t + s c_t$，其引起的诱导引导误差为 $\delta p_t = (1-s)\delta u_t + s \delta c_t$。计算其欧氏范数平方可得： $$\|\delta p_t\|_2^2 = (1-s)^2 \|\delta u_t\|_2^2 + s^2 \|\delta c_t\|_2^2 + 2s(1-s)\|\delta u_t\|_2 \|\delta c_t\|_2 \rho_t$$ 其中 $\rho_t = \cos(\delta u_t, \delta c_t)$ 为双分支误差的余弦相似度。在常用的强引导配置 $s > 1$ 下，交叉项系数 $2s(1-s)$ 恒为负数。这意味着当双分支误差正向对齐（$\rho_t > 0$）时，CFG 合成会天然产生误差抵消机制；而若对齐减弱，抵消效应消失甚至导致误差放大。RA-CFGCache 在无须在线运行完整模型的前提下，引入离线在保留校准集上统计的残差漂移余弦相似度均值矩阵 $\bar{\rho}_{t_a, t_b}$，将底层方法给出的分支变化代理 $\hat{r}_u(t_a, t_b)$ 与 $\hat{r}_c(t_a, t_b)$ 组合为局部引导风险估计： $$\hat{r}_{t_a, t_b}^{\text{guided}} = \sqrt{(1-s)^2 \hat{r}_u^2(t_a, t_b) + s^2 \hat{r}_c^2(t_a, t_b) + 2s(1-s)\bar{\rho}_{t_a, t_b} \hat{r}_u(t_a, t_b) \hat{r}_c(t_a, t_b)}$$ 这一设计将离线标定的相关性先验与在线实时代理无缝耦连，精准预测了组合更新受到的真实扰动，纠正了传统方法在采样早期由于忽略对齐变化而导致的误判。

2. 传播感知的时步重缩放：量化局部误差的长程终态破坏力

局部的引导误差 $\delta p_t$ 并不等价于最终样本的品质恶化。根据一阶去噪雅可比累乘分析，单步注入扰动 $e_t^{\text{local}} = \|\delta p_t\|_2$ 经过后续连乘更新算子传递后，其在最终隐空间引起的真实偏差 $e_t^{\text{final}} = \|x_0^{(t)} - x_0^{\text{full}}\|_2$ 存在强烈的时步依赖性。作者通过单步扰动仿真测得传播增益 $g_t = e_t^{\text{final}} / e_t^{\text{local}}$，发现前期时步的传播增益极高，而临近终点时步的增益接近于零。为了在轻量在线控制中引入该动态，RA-CFGCache 采用三参数幂律平滑代理： $$\hat{g}_k = \lambda \left(\frac{T-k}{T}\right)^\alpha + \beta$$ 其中 $k$ 为正向执行步数序号，$T$ 为总步数，标量 $\lambda, \alpha, \beta$ 通过离线回归预先拟合。最终施加于在线状态的单步风险增量定义为： $$\Delta \hat{r}_{t_a, t_b} = \max\left(0, \hat{g}_b \cdot \hat{r}_{t_a, t_b}^{\text{guided}}\right)$$ 该机制压低了晚期去噪步骤的风险权重、大幅增加了高保真细节阶段的跳步机会，同时严密防范了早期主干结构形成阶段的高风险缓存累积。

3. 在线累积阈值控制器与双分支联合复用

在具体的控制执行层面，系统在每个复用区间内维护一个累积风险变量 $R$（初始为 0，锚点设为区间起始步 $t_a$）。在当前步 $t_b$，若预测风险 $R + \Delta \hat{r}_{t_a, t_b} > \tau$（$\tau$ 为用户设定的全局保真度-延迟权衡阈值），则触发刷新：条件分支与无条件分支同时进行全量计算，更新特征缓存，并重置 $R \leftarrow 0$ 与 $t_a \leftarrow t_b$；反之，若未超标，则执行双分支联合复用，累加 $R \leftarrow R + \Delta \hat{r}_{t_a, t_b}$。采用双分支同步刷新与联合复用而非单侧异步复用的原因在于：在并行硬件或关键路径上，单侧复用仍需等待重算分支完成，延迟缩减有限；更关键的是，双分支联合复用能够充分利用正向对齐时的 CFG 几何相消红利，实现计算吞吐与扰动容忍的最佳配比。

损失函数 / 训练策略¶

本方法完全属于测试时免训练（training-free）加速算法，不引入任何可学习参数微调，不改变扩散模型原始权重、求解器（ODE/SDE）采样步长划分或引导系数。其准备阶段仅包含轻量级的离线标定流程： 1. 对齐矩阵标定：在 50 至 100 条验证提示词上执行标准无缓存推理，提取保存各层骨干网络的中间残差特征，通过向量化内积计算所有 $(t_a, t_b)$ 锚点-目标步对的平均余弦相似度，生成上三角矩阵 $\bar{\rho}_{t_a, t_b}$； 2. 传播先验拟合：以固定采样步长间隔（例如每隔 3 步）注入单步独立预测替换扰动，测算其对最终未解码隐变量的欧氏漂移比率，使用最小二乘法拟合幂律曲线参数 $(\lambda, \alpha, \beta)$。测试阶段所有标定数据作为常量查找表常驻显存，在线决策仅需常数次标量算术运算，额外时延完全可忽略不计。

实验关键数据¶

主实验¶

在文生图模型 FLUX.1-dev（1024×1024，CFG=3.5，50步）以及文生视频模型 Wan2.1-T2V-1.3B（832×480，81帧，CFG=5.0）和 CogVideoX-2B（720×480，49帧，CFG=6.0）上进行对比评测。评估指标包括 LPIPS 感知误差、SSIM 结构相似度、PSNR 峰值信噪比、端到端生成延迟（秒）以及相对基线的加速比。

模型	方法	LPIPS ↓	SSIM ↑	PSNR ↑	加速比 ↑	时延 (s) ↓
FLUX.1-dev	Vanilla (T=50)	0.0000	1.0000	$\infty$	1.00×	21.02
	Vanilla (T=25)	0.4556	0.6207	13.09	1.96×	10.71
	TeaCache ($\tau=0.4$)	0.4471	0.6174	13.80	2.53×	8.31
	TaylorSeer ($\mathcal{N}=3, \mathcal{O}=1$)	0.4379	0.6398	13.75	2.37×	8.86
	DiCache ($m=2, \tau=0.4$)	0.1431	0.8229	22.13	2.94×	7.15
	MagCache ($\tau=0.24$)	0.1636	0.8177	21.46	3.18×	6.60
	FasterCache ($I_\Delta=8, I_{\text{attn}}=8$)	0.2158	0.7593	20.88	2.09×	10.06
	RA-CFGCache-Slow ($\tau=0.18$)	0.1137	0.8680	24.02	3.19×	6.58
	RA-CFGCache-Fast ($\tau=0.3$)	0.1484	0.8340	22.75	3.95×	5.32
Wan2.1-T2V-1.3B	Vanilla (T=50)	0.0000	1.0000	$\infty$	1.00×	93.32
	Vanilla (T=25)	0.4371	0.5658	15.87	1.93×	48.41
	TeaCache ($\tau=0.15$)	0.1661	0.7955	23.08	2.44×	38.24
	DiCache ($m=2, \tau=0.4$)	0.1350	0.8361	24.90	2.61×	35.70
	MagCache ($\tau=0.1$)	0.1926	0.7696	22.16	2.54×	36.69
	RA-CFGCache-Slow ($\tau=0.4$)	0.0993	0.8778	28.03	2.56×	36.48
	RA-CFGCache-Fast ($\tau=0.6$)	0.1409	0.8386	26.12	2.99×	31.25
CogVideoX-2B	Vanilla (T=50)	0.0000	1.0000	$\infty$	1.00×	40.48
	TeaCache ($\tau=0.2$)	0.2040	0.7538	21.48	2.42×	16.72
	DiCache ($m=2, \tau=0.4$)	0.2080	0.7710	22.35	2.44×	16.57
	MagCache ($\tau=0.08$)	0.2386	0.7230	20.33	2.34×	17.30
	FasterCache ($I_\Delta=6, I_{\text{attn}}=6$)	0.1157	0.8573	25.48	2.03×	19.94
	RA-CFGCache-Slow ($\tau=0.6$)	0.0968	0.8746	26.93	2.39×	16.96
	RA-CFGCache-Fast ($\tau=1.4$)	0.2052	0.7614	21.89	3.13×	12.91

消融实验¶

1. 核心设计模块消融分析（FLUX.1-dev）

CFG 引导风险合成	传播感知时步重缩放	加速比 ↑	LPIPS ↓	SSIM ↑	PSNR ↑
✗	✗	3.42×	0.1732	0.8076	21.12
✓	✗	3.41×	0.1391	0.8462	22.82
✗	✓	3.41×	0.1423	0.8354	22.47
✓	✓	3.43×	0.1262	0.8565	23.45

2. 缓存复用对象选择消融分析（FLUX.1-dev，固定刷新预算）

复用对象策略	加速比 ↑	LPIPS ↓	SSIM ↑	PSNR ↑	说明
全步完整刷新 (Vanilla)	1.00×	0.0000	1.0000	$\infty$	无复用基线
仅复用无条件分支 $u$	1.55×	0.2943	0.7281	19.80	单分支关键路径延迟受限
仅复用条件分支 $c$	1.47×	0.2317	0.7630	18.62	破坏条件敏感语义
仅复用 CFG 差值 $\Delta$	1.55×	0.1939	0.7940	19.91	仅重算无条件分支
双分支联合复用 (Both)	3.38×	0.1729	0.8112	21.17	跳过两分支计算且相消红利最佳

关键发现¶

双模块互补增益显著：在保持约 3.42× 的加速倍率下，单独引入 CFG 引导风险合成使 LPIPS 从 0.1732 降至 0.1391，单独引入传播感知重缩放降至 0.1423，两者联合使用进一步降至 0.1262，PSNR 提升达 2.33 dB，证明了几何合成建模与长程传播加权的强大互补性。
重分配去噪刷新时序：对比实验表明，CFG 引导风险合成机制促使控制器将刷新动作向前置时步倾斜（前 20% 时步分配的刷新占比由 56.1% 上升到 75.0%），这与扩散模型早期决定轮廓几何、晚期丰富纹理细节的内在动力学完全吻合。
跨代理架构通用适配：当包装在 TeaCache、MagCache 与 DiCache 等不同特征代理之上时，RA-CFGCache 在时延几乎完全持平的前提下全面提升保真度（例如 Tea-style 代理 LPIPS 从 0.1852 降至 0.1492，DiCache-style 从 0.2177 降至 0.1453），证明了其作为通用即插即用控制层的普适价值。

亮点与洞察¶

解构 CFG 几何误差相消机制：指出了传统独立监测单分支变动的核心缺陷，利用 $2s(1-s)\rho_t$ 严格揭示了双分支误差在 $s>1$ 时的部分自抵消数学本质，为多分支加速提供了坚实的理论支撑。
以幂律先验刻画长程动力学影响：将复杂的完整雅可比逆问题转化为离线单步注入与幂律曲线拟合，仅凭三个标量参数便在测试时实现了对长程终态误差的精准加权，设计极其轻量优美。
即插即用的通用控制层封装：不绑定特定的特征探测方式，既支持基于时步嵌入梯度的在线信号（TeaCache），又兼容浅层前向探测（DiCache）与离线固定比率（MagCache），具备高度的工程复用性。

局限与展望¶

高阶误差累积未建模：传播增益目前基于孤立单步扰动仿真获取，尚未显式考虑多步连续复用引起的非线性复合误差与轨迹漂移耦合。
跨配置标定依赖：对齐统计矩阵与幂律参数依赖于特定模型架构、离散步长总数与采样器类型，一旦切换调度器（如 DDIM 与 DPM-Solver 互换）通常需要重新离线标定。
未来方向：探索无需离线采样的在线无监督对齐度估计，以及结合强化学习策略自适应调节非均匀阈值曲面。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次从 CFG 误差几何相消与长程传播增益双重维度重构了免训练缓存控制准则。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖图像与视频生成领域的多个代表性 DiT 模型，详尽剖析了误差对齐度与各设计模块。
写作质量: ⭐⭐⭐⭐⭐ 数学形式化推导清晰严密，实验设置严谨，论述自洽。
价值: ⭐⭐⭐⭐☆ 为工业界扩散模型与视频生成的高性能无损加速部署提供了极具实用价值的轻量级解决方案。