AccelAes: Accelerating Diffusion Transformers for Training-Free Aesthetic-Enhanced Image Generation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4669
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6955.pdf
代码: https://github.com/xuanhuayin/AccelAes
领域: 图像生成
关键词: 扩散 Transformer、美学语义掩码、空间稀疏计算、跨步缓存、空间 CFG

一句话总结¶

AccelAes 从提示词中的美学语义及交叉注意力定位值得精细更新的区域，结合局部稀疏计算、空间 CFG 和跨步预测缓存，在不训练模型的情况下将 Lumina-Next 的单图耗时从 12.37 秒降至 5.86 秒，同时将 ImageReward 从 0.7518 提高到 0.8410。

研究背景与动机¶

高分辨率文生图不仅需要大型模型，还需要在数十个去噪步骤里反复处理同一组空间 token。DiT 的自注意力要建立图像 token 之间的两两联系，分辨率上升会迅速增加计算量；即使单步已经优化，重复前向、注意力和数据搬运仍会累积成明显延迟。已有免训练加速方法通过合并 token、复用中间特征或预测后续时间步减少计算，但仅按数值相似性或统一时间间隔决策，不一定能保护真正影响观感的局部细节。

本文把这个问题与提示词中的美学描述联系起来。“intricate”“cinematic”等词并不是额外的物体类别，却会经由交叉注意力影响纹理、光照边界和材质。作者观察到，与这些描述关联较强的图像区域在去噪过程中变化更明显，而低关联区域相对平稳。如果全图一起跳过更新，最难外推的区域也可能被跳过；如果全图都保留精确计算，平滑背景上的冗余又没有利用起来。不过，美学词注意力只是感知重要性的内部代理，不等同于真实的人类局部美学标注。

因此，本文并不另训一个美学奖励模型来优化生成器，而是用模型已有的语义与注意力信号决定计算位置，再让时间缓存处理剩余的跨步冗余。核心 idea：让提示词相关的美学区域获得更多计算和更强引导，让低关联区域及可预测时间步复用已有结果，将推理加速与偏好质量改善绑定到同一套空间预算上。

方法详解¶

整体框架¶

输入仍然是文本提示词与初始噪声潜变量，输出仍然是 VAE 解码后的图像，不改变预训练 DiT 权重。开始阶段运行完整前向；在默认第 5 步，AesMask 根据文本美学语义与交叉注意力生成一次二值空间掩码，随后默认保持不变。SkipSparse 用它选择实际更新的查询与 FFN token，并分配空间 CFG；StepCache 则在输出层缓存预测，在部分后续步骤用外推值替代 Transformer 前向。

二者节省的是不同成本：空间路径减少一次实际前向中的工作量，时间路径减少需要实际执行的前向次数。时间缓存并不要求模型内部一定支持局部更新，因此可作为较通用的路径；空间稀疏路径则明确以架构能够支持局部更新为前提。图中的缓存刷新回路表示采样持续推进，不表示每一步都依次执行一次完整前向再做缓存。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["提示词与噪声<br/>完整前向预热"] --> Mask["AesMask<br/>美学语义定位"]
    Mask --> Spatial["SkipSparse<br/>局部计算与引导"]
    Spatial --> Cache["StepCache<br/>预测缓存与外推"]
    Cache --> Update["采样器更新潜变量"]
    Update -->|需要刷新预测| Spatial
    Update -->|复用步骤| Cache
    Update -->|采样结束| Output["VAE 解码图像"]

关键设计¶

1. AesMask：先找美学相关文本，再定位对应图像区域

AesMask 不是直接把所有高注意力区域当作重要区域，而是先限定“对哪些词的注意力值得保留”。作者给定一组美学锚词，实验中固定使用 34 个锚词，并用冻结的 CLIP 文本编码器计算每个提示词 token 与各锚词的余弦相似度。每个 token 的美学分数取它与所有锚词相似度的最大值，再选出分数最高的 top-r 个文本 token。这样，选择依据不是是否逐字出现某个固定形容词，而是它是否在语义上接近至少一个美学锚点；没有显式美学形容词的提示词也仍然可以被排序，但这种排序未必可靠。

接下来，针对每个图像 token，把它对上述文本 token 的交叉注意力权重相加，再在所用层之间求平均，得到空间亲和图。亲和度表示该位置持续关注美学相关语义的程度。最后保留高于亲和图第 p 百分位阈值的位置，得到二值掩码。百分位阈值避免不同提示词注意力尺度不同带来的绝对阈值问题；p 越高，通常保留的位置越少。原文默认在第 5 步构建一次并复用，而不是持续重新分割图像。固定掩码既节约构造开销，也避免动态刷新引起的区域抖动；代价是后续出现或移动的重要细节可能落在掩码外。

2. SkipSparse：局部查询保留全局上下文，计算预算与引导强度共同分配

有了掩码，Transformer 块将隐状态分成关注区域与背景区域，但不会把背景完全从模型输入中删除。自注意力只对关注区域生成需要更新的查询，同时保留全图的键和值，因此关注位置仍然能读取远处背景和其他物体的信息。注意力的查询维度从全部 token 缩小为活跃 token，而键值侧仍覆盖全图；这区别于把局部区域裁出来单独生成。FFN 也只重新计算关注 token，背景则复用最近一次完整更新时缓存的激活，随后把结果散射回原始位置，维持后续模块需要的完整张量形状。

同一张掩码还用于空间 classifier-free guidance（CFG）。关注区域使用较高的引导系数，背景使用较低的引导系数，二者均不低于 1。对一个位置，仍然是“无条件预测加上加权的条件与无条件预测差”，只是权重随位置变化：

\[ \hat\epsilon_{\mathrm{cfg}}[i] =\hat\epsilon_{\mathrm{uncond}}[i] +\bigl(g_{\mathrm{bg}}+(g_{\mathrm{aes}}-g_{\mathrm{bg}})M[i]\bigr) \bigl(\hat\epsilon_{\mathrm{cond}}[i]-\hat\epsilon_{\mathrm{uncond}}[i]\bigr). \]

这里 M 为 AesMask，两个 g 分别是背景与关注区域的 CFG 系数。空间稀疏计算解释了为何能少算，空间 CFG 则提供了改变生成结果而非仅逼近原始结果的手段。因此，不能把质量提升全部归功于“删除冗余计算”：完整方法同时改变了算力分配和引导分布。原文说明在启用双路 CFG 时，延迟统计包含条件与无条件两次前向。

3. StepCache：缓存最终预测，而不是要求每个内部特征都可复用

StepCache 利用相邻时间步预测通常相关这一性质，存储实际前向得到的最终噪声或速度预测，并根据已缓存预测的变化趋势线性外推中间步骤。它与背景 FFN 缓存不在同一层级：后者仅替代局部特征计算，前者可以让一个时间步完全不运行 Transformer。采样器仍需要用得到的预测更新潜变量，所以这是替换模型评估，不是简单删除对应采样步骤。

为防止外推误差无限积累，方法先进行 5 步完整推理预热，再按默认间隔 2 周期性刷新预测缓存。空间模块保护难预测的视觉区域，时间模块则进一步利用整个输出序列的相关性，两条路径因此具有互补性。需注意，本地全文的式（12）至式（13）存在公式抽取损坏，时间索引方向也不够清晰；这里不重建具体外推系数或实现级更新顺序。复现时应核对原始 PDF 与代码，不能从“间隔 2”自行推断所有骨干都共享同一内部缓存刷新细节。

一个完整示例¶

以原文出现的“宇航员肖像，精细宇航服细节，写实、电影感”提示为例，先由完整去噪前向建立初步布局。默认到第 5 步时，CLIP 锚点匹配筛出与精细纹理、写实风格等接近的文本 token，交叉注意力把这些语义映射到宇航服与肖像细节所在的位置，再经百分位阈值得到关注区域。这只是对原文示例的流程说明，不虚构具体活跃 token 数量。

之后，在执行实际模型前向的步骤里，这些位置继续做注意力查询与 FFN 更新，并使用较强的 CFG；注意力仍可读取全图键值，因此人物与背景不是两幅独立图像。背景特征在允许复用的路径上沿用缓存。到了时间复用步骤，StepCache 输出外推预测，采样器据此推进潜变量；下一次预测刷新重新校正轨迹，最后统一解码成图像。这个例子也说明风险：如果第 5 步未把后来出现的小配件纳入关注区域，该细节可能因缺少更新而受损。

损失函数 / 训练策略¶

没有新增训练损失、参数微调或奖励反向传播，CLIP 编码器与生成骨干保持冻结。ImageReward、HPSv2 和 LAION 美学预测器用于评测，不是在采样过程中反复求梯度的优化目标。默认设置为一次性掩码、34 个锚词、5 步预热与间隔 2 的预测刷新。

实验采用骨干默认采样设置：Lumina-Next 使用 30 步，SD3-Medium 与 FLUX.1-dev 使用 28 步，分辨率均为 1024 × 1024。缓存正文没有充分给出 top-r 的具体数值、百分位 p、所聚合层的完整选择，以及各骨干的两个空间 CFG 系数；笔记不补设这些超参数。

实验关键数据¶

主实验¶

作者从 Pick-a-Pic 选取 10,000 条提示词，每条使用固定种子 1、2、3，即每个配置生成 30,000 张图。同表内的方法共享提示词子集与种子。时间是从采样开始到最终图像的平均单图端到端延迟，包含 VAE 解码；加速比定义为稠密基线时间除以方法时间。以下数据来自原文表 1，不把三个骨干之间的耗时当作同构模型的横向效率排名。

骨干与配置	单图耗时 / 秒	加速比	CLIP	ImageReward	HPSv2	美学分数
Lumina-Next 基线	12.37	1.00×	0.2531	0.7518	0.2710	5.9407
Lumina-Next + AccelAes	5.86	2.11×	0.2640	0.8410	0.2740	6.0414
SD3-Medium 基线	3.52	1.00×	0.2662	0.8788	0.2895	5.7330
SD3-Medium + AccelAes	2.34	1.50×	0.2744	0.9042	0.3014	5.9898
FLUX.1-dev 基线	12.66	1.00×	0.2753	1.233	0.3200	6.243
FLUX.1-dev + AccelAes	7.31	1.73×	0.2772	1.317	0.3214	6.372

CLIP 衡量文本图像匹配，ImageReward 与 HPSv2 是偏好代理，LAION 美学分数是图像级审美预测，不能互换含义。Lumina-Next 的 IR 绝对增加 0.0892，相对增加约 11.9%，不是增加 11.9 个百分点的胜率。原文还报告 Edge Density 作为边缘与细节代理，但正文未充分说明边缘提取阈值，不能把它等同于真实细节质量。

在表 2 的同骨干竞争方法比较中，TaylorSeer 为 6.02 秒、2.05×、IR 0.604，RAS 为 8.38 秒、1.47×、IR 0.788；AccelAes 为 5.86 秒、2.11×、IR 0.841。因此最有说服力的优势是相近加速区间内更高的偏好质量，而非声称所有指标均最优：TaylorSeer 的 Edge 为 0.668，高于 AccelAes 的 0.629。

消融实验¶

下表来自图 5 及第 4.4 节正文，保留该组实验的三位小数精度。图 4 的部分图内数字在文本缓存中损坏，故不转录无法可靠辨认的具体值。

配置	加速比	ImageReward	解释
稠密基线	1.00×	0.752	原始推理
仅 StepCache	1.57×	0.743	时间复用较快，但偏好分数略降
仅空间路径	1.43×	0.818	AesMask 与空间计算分配改善质量
去掉 AesMask，保留空间与时间路径	2.11×	0.822	与完整方法同速，缺少美学语义区域先验
完整 AccelAes	2.11×	0.841	两条路径与美学掩码联合

最关键的同速对照是最后两行：保留 AesMask 时 IR 高 0.019，支持美学相关区域选择确实带来增益，而不仅是多花了计算。空间路径单独提高 IR，时间路径单独略微降低 IR，也说明最终结果不是任意缓存策略天然能提升观感。

关键发现¶

人工盲测由 15 位标注者评估 60 对图像，问题覆盖整体偏好、提示对齐、视觉吸引力和更少伪影。排除平局后，AccelAes 对稠密基线的整体偏好胜率为 67%，视觉吸引力胜率为 68%；这些不是全体生成图像的总体胜率估计。
无美学描述词时，IR 从 1.109 升至 1.144；有描述词时从 1.168 升至 1.224。该鲁棒性实验与主表数值口径不同，不应把它们混算为同一实验的提升幅度。
默认静态掩码优于频繁动态刷新，作者将后者的问题归因于区域抖动。困难失败样本采用晚期掩码与熵回退规则后恢复到稠密基线 IR 的 92.7%–95.4%，是恢复比例，不是额外提升比例；缓存未提供足以独立实现这些规则的完整细节。

亮点与洞察¶

把美学语义变成算力预算，而不是仅在生成后做评分。冻结文本编码器负责词义匹配，模型内部注意力负责空间定位，避免另训一个区域美学预测器。
关注区域只缩小查询侧，键值仍覆盖全局。这个选择保留了长距离依赖，解释了为何局部计算不必退化为局部裁剪生成。
质量提升与速度提升来自不同但相互配合的路径。空间 CFG 允许主动改变局部生成偏好，时间缓存则提供较大的计算收益，消融让两者的贡献有了可区分的证据。

局限与展望¶

作者明确指出，早期注意力分散或显著区域随后转移时，过窄的掩码可能使掩码外细节冻结；密集人群、室内杂物、抽象画和风景中均挖掘出失败案例。静态区域先验不是普遍可靠的感知分割。
从复现角度看，缓存正文缺少若干关键掩码与引导超参数，也没有明确的硬件型号和完整回退算法说明；公式抽取又损坏了外推表达式。因此已报告的加速比是特定实现下的实测，不是仅凭正文即可复现的性能保证。
空间更新具有架构前提，全局键值、掩码构造和张量重排仍有开销；输出缓存更通用，不代表整个方法在所有 DiT 上都能无差别即插即用。4 步 FLUX.1-schnell 的补充结果支持质量兼容性，但正文未给出对应加速比，不能据此宣称短轨迹也有相同速度收益。
自动偏好指标与较小规模人工实验提供了互补证据，但未完全排除提示分布、风格偏好和投票相关性的影响。后续应更明确报告置信区间、不同提示类型的失败率，以及保持 CFG 不变时稀疏计算本身的净效应。

评分¶

以下为阅读者主观评分，满分 5 分，不是会议评审结论。

新颖性：4/5。美学语义、局部计算与空间引导的耦合有明确辨识度，稀疏计算和外推缓存本身已有相关工作。
实验充分度：4/5。覆盖三类骨干、配对种子、组件消融和人工偏好，仍缺少更完整的不确定性统计与复现细节。
写作质量：3/5。动机和组件关系清晰，但部分超参数、回退规则及时间索引说明不足，本地公式抽取损坏也限制核验。
价值：4/5。展示了免训练加速不必只接受质量下降，适合关注延迟与偏好质量的文生图推理研究。