Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models¶

会议: ECCV2026
论文: ECCV 原文
项目: https://flash-bon.github.io
领域: 图像生成
关键词: 推理时扩展、扩散模型、廉价草稿、多阶段验证、候选多样性

一句话总结¶

Flash-BoN 把生成预算用于大量廉价草稿，再以多阶段比较选出一个候选并恢复完整计算续算，在真实耗时评估下优于完整生成的 Best-of-N，例如 Wan 14B 的 GenAI-Bench 归一化 AUC 从 0.60 提升至 0.68。

研究背景与动机¶

文本到图像生成的推理时扩展，并不一定需要改变模型权重：给同一个提示词尝试不同噪声种子，再选出最符合要求的图像，就可能改善结果。最直接的 Best-of-N（BoN）会完整生成所有候选，最后统一评分。 BFS、DFS 等轨迹搜索则在去噪中途反复查看候选，决定分支、剪枝或回退，把更多决策放在生成过程中。问题在于，视觉语言模型（VLM）的验证并不是免费的，其调用成本可能超过单次去噪前向计算。如果只统计去噪网络的函数评估次数（NFE），频繁验证的方案看起来可能更优，但并不一定更快。

论文因此把约束改为真实端到端耗时，包括生成、验证、后续精化及数据传输。在这种核算方式下，BoN 已能匹配或超过多种引导搜索，说明中间判断所消耗的时间，可能更适合用于尝试不同种子。然而，标准 BoN 仍为最终会被丢弃的候选支付完整渲染成本。如果只需要判断构图和语义是否有希望，就不必先把每一张图的细节都生成到最终质量。真正的难点转为：省掉多少计算之后，草稿仍能支持可靠选择，而且这种选择在精化后仍然有意义？

Flash-BoN 将时间步截断、层跳过和激活代理联合使用，并为每个模型预先确定一套配置，而不是为每个提示词重新搜索。它也不把绝对分数最高当作可靠答案，因为整数评分会让大量候选并列；相对比较被集中用于逐步缩小后的候选集。 核心 idea：把完整图像生成拆成可用于选择的廉价草稿与仅对胜出候选执行的完整计算续算，让有限耗时覆盖更广的噪声空间。

方法详解¶

整体框架¶

输入是文本提示词、预训练生成模型和真实耗时预算，输出是经过候选选择与精化的图像。离线阶段先做联合草稿配置，在保留足够感知相似性的条件下寻找快速配置；在线阶段使用该配置生成不同种子的草稿。随后执行多阶段 Elo 筛选，先做独立评分，再逐步增加相对比较，最后执行选择性续算。草稿不只是展示给验证器的预览图，同时对应可恢复的去噪潜变量；丢弃候选后，无须完成它们剩余的计算。验证器决定搜索方向，独立评测器负责报告结果，两者不应混为一个角色。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["预训练模型与<br/>校准提示词"] --> CONFIG["联合草稿配置"]
        CONFIG -->|"在线复用配置"| DRAFT["提示词与不同种子<br/>生成草稿并缓存状态"]
        DRAFT --> SELECT["多阶段 Elo 筛选"]
        SELECT --> REFINE["选择性续算"]
        REFINE --> OUTPUT["最终图像<br/>交给独立评测器"]

关键设计¶

1. 联合草稿配置：让三种近似分担加速压力

时间步截断只执行去噪轨迹的前一部分，留下尚未完成的状态，用便宜的预览支持候选判断。层跳过则减少每个时间步内部的工作：在允许跳过的步骤中，把上一层激活直接传给后续层，不执行指定区间的网络块。它不是删除模型参数，也不是为每个输入动态学习一个新网络，而是使用固定配置控制执行路径。激活代理利用另一种冗余，即同一层在相邻去噪时间步之间的特征变化通常较平滑。论文采用基于缓存特征的二阶 Taylor 预测，以历史激活估计当前层输出，替代部分真实前向计算。配置还控制完整计算的频率，避免所有后续步骤都无限依赖近似值；时间导数估计式在文本提取中损坏，此处不把残缺表达式重建成精确公式。三种方法分别减少轨迹长度、网络深度和跨时间步的重复计算，不能简单看作同一个“少采几步”的开关。

联合配置包含草稿步数、开始跳层之前的初始步数、连续跳过层区间的起止位置，以及完整计算频率。过度依赖其中任一加速方式都可能破坏结构，使验证器无法区分真正有希望的候选。作者在 120 个留出的校准提示词上，使用 dual annealing 搜索 200 次迭代，同时考察真实耗时加速与相对完整输出的 LPIPS 感知差异。最终从 Pareto 前沿选择满足最低相似性要求的最快配置，并跨提示词和基准复用。这里的 LPIPS 用于校准草稿保真度，不是在线候选的语义奖励；它也不直接证明草稿排名一定保持不变。主文没有给出各模型最终配置和相似性阈值，具体目标与优化器比较被放在未包含于缓存的附录 C。因此可以复述搜索机制，却不能仅凭本缓存完整复现其最优配置。

2. 多阶段 Elo 筛选：先便宜缩池，再解决高分候选的并列

每个草稿首先由逐点评分验证器独立打出 1 至 10 的整数分数，这一步容易并行，但高分段分辨率很低。主文第 8 页报告，超过 80% 的提示词存在最高分并列，约 30% 的提示词有至少 20 个候选同获最高分。方法先把分数转换为 Elo 初始评级，使逐点评分提供的粗略先验不被丢弃，然后保留排名靠前的一部分候选。若草稿索引为 \(j\)、逐点分数为 \(s_j\)，原文给出的初始化关系为：

\[ r_j^{(0)} = 1500 + (s_j - 5)\cdot 100. \]

接下来按当前 Elo 排序，在相邻条目间进行稀疏比较，将有限调用集中在排名接近的候选上。比较结果更新双方评级，验证器给出的高、中、低置信度分别把 Elo 的 K 系数乘以 1.2、1.0、0.7。再保留一部分候选后，对小集合内部进行完整两两比赛，最后选 Elo 最高的草稿。默认两轮保留比例均为 0.5，稀疏阶段每个幸存候选平均对应 1.5 次比较。这样减少的是大候选池的密集比较，而不是取消比较本身；被第一轮误删的优质草稿无法在后续阶段恢复。主文关于总调用量的近似式提取不清，且固定比例保留后的完整两两比较仍含二次项，因此不能据此宣称严格线性复杂度。在线验证器可以是通用 VLM 或奖励模型，但报告质量时需采用不同的评测器，避免只是选中验证器偏爱的图像。

3. 选择性续算：恢复胜出状态，而不是重画所有候选

每个草稿保存截断点的潜变量与随机种子；主文还提到可选的层激活缓存。草稿生成期间，缓存张量可以卸载到 CPU，以限制候选池对 GPU 显存的占用。选择完成后，只把胜出候选的状态传回 GPU，执行尚未完成的去噪步骤，并关闭层跳过与激活代理。这与只拿草稿图像做一次全新的文本到图像生成不同，因为续算继承的是该候选的中间状态。被丢弃的候选不再消耗剩余去噪成本，省下的预算才有机会用于更多独立种子的探索。数据卸载与回传也要算进耗时，因此该方案的收益不是只根据理论前向次数计算出来的。

作者用去噪过程的 Markov 性说明为什么能够从当前潜变量继续：未来演化由当前状态决定，而不要求保留完整历史。但这一点只支持“可以续算”，不保证近似轨迹会与同种子的全计算轨迹完全相同。前面累计的近似误差已经进入潜变量，剩余完整计算未必能修复错误构图或遗漏实体。因此，草稿配置需要保真度约束，验证器也必须看见对最终任务有意义的结构。精化的价值在于把预算集中给已选候选，而非提供无损加速的理论承诺。

一个完整示例¶

以下用 16 个草稿说明候选数量如何变化，是对默认规则的流程演示，不是论文中某个提示词的实测记录。给定一个要求多个物体满足空间关系的提示词，先从 16 个不同种子生成草稿，并保存各自截断点的潜变量。验证器对 16 张预览分别打分，用分数初始化 Elo，保留前 8 张。稀疏阶段按默认比例安排约 12 次相邻候选比较，再保留 Elo 靠前的 4 张。这 4 张之间需要 6 次完整两两比较，最终只让 1 张胜出草稿恢复完整计算，完成剩余去噪。按上述计数，比较与逐点评分共涉及约 34 次验证调用；这只是该示例的调用计数，不是延迟估计。其余 15 个候选无需补完轨迹，但它们生成草稿和参与验证的成本已经发生，不能从总预算中删除。如果正确空间关系在草稿里尚不可见，筛选也可能选错，这正是预览保真度与验证能力共同限制效果的地方。

损失函数 / 训练策略¶

主方法不训练生成模型，也不新增端到端损失；离线校准搜索的是执行配置，而非模型权重。推理时不对每个提示词做梯度优化，候选改进来自种子探索和选择。论文另给出 Flash-Flow-GRPO，说明草稿选择也可用于强化学习后训练，但这是独立扩展，不能当成主方法的必要训练阶段。该扩展针对每个提示词先生成 \(2G=16\) 条廉价草稿，再保留得分最高的 6 条与最低的 2 条，组成 \(G=8\) 条训练轨迹。完整前向与梯度计算只针对这些选出的轨迹；保留低分样本是为了同时提供负例，而不只收集高奖励候选。与随机抽取小组相比，这增加了困难提示词下找到有信息量正负例的机会。除轨迹选择外，作者还提高了 KL 惩罚来应对选择后的分布变化，因此训练对照并非只改变一个因素。主文报告约 10 倍更少的梯度步数达到基线最终表现，但这不能直接解释为训练端到端耗时加速 10 倍。完整训练超参数与 KL 系数在缺失的附录 A.4，当前缓存不足以独立复现该训练结果。

实验关键数据¶

主实验¶

表 1 摘录原论文表 1（第 10 页）的 BoN 与 Flash-BoN，保留全部 9 个模型与基准组合；差值由表中数值相减。指标为分数随真实耗时变化曲线的面积除以总时间，即归一化 AUC，越高越好，不是固定时刻的单点准确率。实验使用 NVIDIA H200，计入生成、验证、精化和数据传输，并进行系统预热。 GenAI-Bench 与 UniGenBench 各抽取 300 个提示词，GenEval 使用完整集合，评估包含每提示词最高 300 秒的预算。

基准	模型	BoN	Flash-BoN	AUC 绝对增量
GenAI-Bench	Wan 1.3B	0.65	0.66	0.01
GenAI-Bench	Wan 14B	0.60	0.68	0.08
GenAI-Bench	FLUX.1-dev	0.60	0.68	0.08
GenEval	Wan 1.3B	0.43	0.45	0.02
GenEval	Wan 14B	0.42	0.49	0.07
GenEval	FLUX.1-dev	0.42	0.47	0.05
UniGenBench	Wan 1.3B	0.54	0.57	0.03
UniGenBench	Wan 14B	0.53	0.60	0.07
UniGenBench	FLUX.1-dev	0.54	0.61	0.07

原表同时包含 ZOS、DFS 和 BFS，Flash-BoN 在所有列均为最高值，BoN 是其中最强的对照基线。这里的 0.08 是 AUC 绝对增量，不应直接写成相对提升 8%；各模型增益也不能只依据参数规模解释。

消融实验¶

下表是策略组合分析，而非逐项关闭三种加速开关的严格消融；来源为图 6（第 13 页）及第 11 页对应正文。条件为 Wan 1.3B、GenAI-Bench、真实耗时归一化 AUC，所有行使用相同指标。

配置	原方法 AUC	加入 Flash 草稿后的 AUC	AUC 绝对增量
Reflection-Tuning	0.46	0.62	0.16
BFS	0.49	0.55	0.06

Reflection-Tuning 用草稿替代反馈循环里的完整图像，使同一预算支持更多提示词修订；BFS 则加速验证节点之间的生成，最后一次剪枝后恢复完整计算。两者增益不同，说明省下生成成本之后如何使用新增预算同样重要，局部轨迹搜索不一定获得与广域探索相同的收益。图 6 的 BFS 基线为 0.49，而主文表 1 对应列是 0.50；缓存未解释这个差异，此处按各自来源保留，不擅自统一。逐开关消融、随机配置对照、排序策略比较和少步蒸馏模型实验被放在附录 B，缓存不含附录，故不补造其数值。

关键发现¶

大模型收益更突出：GenAI-Bench 的 Wan 1.3B 增量为 0.01，Wan 14B 与 FLUX.1-dev 都为 0.08，符合完整候选越贵、廉价探索越有用的解释。
第 11 页的类别分析认为空间关系、比较和部件关系更受益；属性与计数的优势较窄，提示细节可能难以在草稿阶段判断。
图 7（第 13 页）报告候选多样性与最终质量的 Pearson 相关系数为 \(r=0.75\)，这支持关联，但不是多样性带来提升的因果证明。
多样性用基于 DINOv2 特征相似度矩阵的 Vendi Score 衡量，即归一化特征值分布的熵取指数；相同图像集合得 1，完全不同的 \(n\) 张图像理想情况下得 \(n\)。
图 10 及第 14 页报告 Flash-Flow-GRPO 最终分数为 0.699，基线为 0.692，并在第 60 步已达到基线最终水平；指标为 GenAI-Bench 的 VQAScore。

亮点与洞察¶

加速目标从“同一张图更快完成”变为“相同时间内找到更好的图”。这使原本容忍有限误差的执行近似，成为扩大候选覆盖面的工具。
多阶段验证同时利用绝对分数的低成本与相对比较的分辨力。其收益依赖早期剪枝的召回率，而不只是后期 Elo 排名是否精细。
草稿状态可恢复，比只保存一张低质量图片更重要。候选选择可以真正省去落选轨迹的后半段计算，而不是筛选后又全部重做。
验证器和评测器分离是实验设计的关键。主文图 8 展示同一模型兼任两者时的误判，提醒分数上升不总是语义质量上升。

局限与展望¶

作者提出未来扩展到文本到视频，但现有主实验是文本到图像；不能因使用 Wan 就视为已验证视频时序一致性。
草稿上的细节不稳定会直接影响筛选，尤其是计数和细粒度属性。针对草稿质量训练比较器是作者提出的方向，但本文尚未实现。
真实耗时结论依赖 H200、模型、验证器及传输实现；NFE 排名的问题成立，并不意味着任意部署环境都具有相同的收益幅度。
校准依赖 LPIPS 保真度与实际语义可排序性之间的关系；读者可进一步考察两者何时脱钩，但这不是本文已经验证的结果。
本缓存包含第 1 至 19 页主文与参考文献，不含附录；精确配置、逐模块消融、详细验证器设置和训练超参数仍有证据缺口。
多阶段筛选减少了配对成本，但最后阶段仍为完整两两比较；需要结合候选池规模讨论开销，不能把损坏的近似调用量公式当作复杂度证明。

评分¶

新颖性: 4/5。贡献主要是以真实耗时重构预算分配，并把联合草稿加速与多阶段选择组合成完整系统。
实验充分度: 4/5。覆盖 3 个基准和 3 种模型设置，并分析验证偏差与训练扩展，但当前缓存缺失附录，无法核验细粒度消融。
写作质量: 4/5。问题与系统流程清楚；部分成本表达和跨图表数值需要结合附录进一步核对。
价值: 4/5。适合重视延迟预算的图像生成系统，主要启发是显式核算验证成本并减少落选候选的完整生成浪费。