Ctrl-Z Sampling: Scaling Diffusion Sampling with Controlled Random Zigzag Explorations¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/ShunqiM/Ctrl-Z-Sampling
领域: 图像生成
关键词: 扩散模型、推理时计算、奖励停滞检测、自适应回退、候选搜索

一句话总结¶

Ctrl-Z Sampling 在扩散生成的奖励分数停滞时随机回退到更高噪声状态，并逐步加深搜索，以较少的去噪器调用获得接近或超过固定深度搜索的生成质量，但并非所有指标都占优。

研究背景与动机¶

文本到图像扩散模型通常先从高斯噪声确定大致构图，再逐步补全纹理与细节。这意味着一张图可以越来越清晰，却始终没有正确表达提示词中的物体数量、相对位置或属性归属。如果早期已经形成错误的低频结构，后期继续去噪往往只是把错误画得更完整。无分类器引导（CFG）能加强条件信号，却不保证采样轨迹能够离开已经形成的错误布局。因此，额外推理计算不应只被理解为增加普通去噪步数，还可以用于重新选择轨迹。

已有 Resampling 用浅层随机加噪寻找附近状态，Z-Sampling 交替使用无条件反演和条件去噪，Search-over-Path（SOP）则比较多个候选。这些方法说明回退有价值，但固定扰动深度可能只能反复访问同一错误构图附近的状态。若每一步都搜索，又会把计算花在仍能自然改善的轨迹上。本文将这种困难描述为“代理质量空间中的局部最优”：样本在有限探索范围内难以获得更高的偏好分数。这里的质量不是扩散模型的似然，所谓爬山也不是对某个已知真实质量函数进行梯度优化。

作者于是把“何时探索”和“回退多远”联动起来：先用奖励模型观察干净图像预测是否继续改善，停滞时才付出探索成本。浅回退找不到足够好的延续，就逐层回到更高噪声状态，让全局结构重新获得调整空间。这种思路没有承诺找到全局最优，而是希望有限计算优先用于修正早期错误，而非均匀增加浅层尝试。 核心 idea：由奖励停滞触发搜索，以随机加噪产生替代轨迹，再根据候选反馈自适应加深回退，把额外计算集中在尚可修改全局结构的阶段。

方法详解¶

整体框架¶

输入包括文本条件、初始高斯噪声、冻结的扩散去噪器、DDIM 时间表以及一个现成的奖励模型。状态是中间噪声潜变量；奖励模型评价的则是去噪器预测的干净图像，而非直接给噪声潜变量打分。在潜空间扩散实现中，图像评分接口需要对应的可评价图像表示，不能把潜变量张量直接当成 RGB 图像。正常步骤仍按条件 DDIM 推进；本文改动的是这些步骤之间的搜索控制，而非去噪网络结构。

整个过程依次采用“奖励停滞检测”“受控随机回退”“候选择优与深度升级”。前两者决定何时以及在哪里重新探索，最后一个设计负责在统一时间层级比较候选、控制继续搜索与状态替换。探索只开放于前 \(\lambda\) 个采样步骤；离开该窗口后沿当前轨迹完成常规去噪，输出最终图像。因此图中的循环全是推理数据流，不包含训练监督或参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["文本条件与噪声"] --> STEP["条件 DDIM 去噪<br/>及干净图像预测"]
        STEP --> DETECT["奖励停滞检测"]
        DETECT -->|窗口内且停滞| REWIND["受控随机回退"]
        REWIND --> SELECT["候选择优与<br/>深度升级"]
        SELECT -->|未达阈值且可加深| REWIND
        SELECT -->|采用保留状态| NEXT["后续去噪或最终图像"]
        DETECT -->|有进展或窗口外| NEXT
        NEXT -->|仍有采样步骤| STEP

关键设计¶

1. 奖励停滞检测：判断当前轨迹是否值得继续直接推进

每次正常 DDIM 更新可以同时得到一个干净样本估计，作者复用它作为最终输出的廉价代理。奖励模型 \(R\) 结合文本条件 \(c\) 评价这个估计，得到当前分数 \(r\)。分数不必等到整张图生成完才计算，因此搜索可以在构图尚未锁定时介入。这也带来一个前提：高噪声阶段的干净预测必须足够有信息，评分才可能指导最终质量。本文用经验结果支持这种做法，没有证明中间分数与最终人工偏好严格一致。

按第 7 页算法 1 的分支条件，可将触发规则清楚写为：

\[ r = R(c,\hat{x}_0^{\,t-1}),\qquad \operatorname{explore\ if}\quad r < r_{\mathrm{prev}} + \delta. \]

\(r_{\mathrm{prev}}\) 是上一次保留步骤更新后的参考分数，初值为 \(-\infty\)；默认阈值 \(\delta=0\)。正常分支在达到阈值时直接保留 DDIM 更新，并刷新参考分数，不生成额外候选。正阈值要求可见的增益才停止干预，但也可能让已经很好的高分平台反复触发昂贵搜索。论文把相对阈值和全局奖励调度列为未来方向，当前方法仍使用固定偏移量。

2. 受控随机回退：从当前状态重新打开结构选择空间

检测到停滞后，算法从当前 \(x_t\) 出发，而不是从最终图像重新开始，也不是简单取回旧的历史潜变量。它依据原扩散噪声日程，将当前信号按比例衰减并混入独立高斯噪声，构造更高噪声层级的状态。每个噪声向量对应一条新的随机延续，因此这是受控的重新加噪，不是 DDIM 确定性轨迹的精确逆映射。浅回退保留更多已有结构；较深回退释放更大的变化空间，但也要重新付出去噪成本。回退深度表示 DDIM 日程上的离散索引跨度，不是直接指定任意噪声方差。

算法 1 将实际跨度限制在初始时间边界之内：

\[ \Delta = \min(\text{inversion\_step},\,T-t). \]

从生成的 \(x_{t+\Delta}\) 出发，使用相同文本条件，依次运行 \(k=t+\Delta,\ldots,t\) 的去噪步骤，回到 \(t-1\) 层级。这样比较的是同一进度下的不同轨迹，而不是把更噪或更干净的潜变量直接混在一起排序。每条候选需要 \(\Delta+1\) 次这样的去噪更新，深度增加并不是免费的随机扰动。原文第 5 页式 (2) 至式 (4) 在文本提取中存在缺项和符号粘连，本笔记不把它们猜补成作者精确公式。这里保留由文字及清晰伪代码共同支持的操作关系，精确的噪声日程实现仍应核对原文公式或代码。

3. 候选择优与深度升级：先尝试附近延续，失败后再扩大范围

每个深度生成 \(N\) 条使用不同高斯噪声的候选，各自回到 \(t-1\)，再评价其干净图像估计。搜索开始时将正常 DDIM 更新及其分数设为当前最佳，因此候选可以不被采用。只有候选分数高于当前最佳分数时，才替换保留状态；算法不盲目接受最后一次探索结果。一旦最佳分数达到旧参考分数加 \(\delta\)，就提前退出搜索，不再继续增加深度。如果尚未达到这一阈值，则把回退深度逐级增加，直到达到最大深度 \(d_{\max}\)。

需要区分“提前退出门槛”和“预算耗尽后的保底选择”。算法 1 在搜索耗尽后仍采用已见最佳状态，并把参考分数更新为它的分数，即使该分数没有达到旧参考门槛。所以它保证的只是本轮保留项不差于作为候选加入的普通前进一步，不能据此宣称跨时间步奖励严格单调不降。这比正文中默认零阈值“强制非下降”的概括更有条件，复现时应以具体分支行为为准。不同候选在被选择之前相互独立，可以并行计算，但深度之间存在反馈依赖。

一个完整示例¶

考虑一个要求正确空间关系的文本提示；以下是解释状态变化的示例，不是新增定量实验。使用默认 \(T=50\)、\(\lambda=40\)、\(N=4\)、\(d_{\max}=3\)、\(\delta=0\)，探索窗口为 \(t=50,\ldots,11\)。在 \(t=30\) 时，正常更新先产生 \(x_{29}\) 和对应干净预测；若其奖励达到参考值，直接进入下一步。若奖励下降，则先从 \(x_{30}\) 随机加噪至 \(x_{31}\)，分别为 4 条候选执行 \(31\to30\to29\) 的去噪。假设这一层所有候选仍未达到门槛，算法再尝试从 \(x_{32}\) 回到 \(x_{29}\) 的更深延续。若深度 2 已找到达到门槛的最佳候选，就保留它而不再花费深度 3 的预算。若直到深度 3 都失败，就保留本轮所有已见状态中分数最高者，其中也包括最初的正常 \(x_{29}\)。到 \(t=10\) 及以后不再开展该搜索，模型沿已选轨迹完成细节生成。

损失函数 / 训练策略¶

该方法不新增损失函数，不微调去噪器，也不反向传播奖励梯度来优化噪声。默认用 ImageReward 进行候选排序，CFG scale 为 5.5；这些选择都是推理配置。主表用 Ctrl-Z‡ 表示上述默认配置，用 Ctrl-Z† 表示 \(\lambda=30\)、\(N=2\)、\(d_{\max}=3\) 的低开销配置。论文的 NFEs 是每个基础去噪步骤平均调用去噪器的次数，DDIM 标为 1.00，而非整张图只调用一次网络。总开销随停滞次数、候选数及实际回退深度变化，同样参数在不同骨干或提示集合上的 NFEs 可以不同。奖励模型前向、图像解码和并行调度的代价不能直接从这个指标读出，因此 NFEs 不等同于端到端延迟。

实验关键数据¶

主实验¶

原文评估 Stable Diffusion 2.1 与 Hunyuan-DiT，使用 Pick-a-Pic、DrawBench 和 T2I-CompBench。下表摘录第 10 页表 1 的 SD2.1 结果；50 步、CFG 5.5，HPSv2、AES、PickScore 与 ImageReward（IR）均越高越好，NFEs 越低越好。两档 Ctrl-Z 的参数见上一节；这些是相近预算比较，不是严格相同 NFEs 的比较。

方法	Pick-a-Pic HPSv2	Pick-a-Pic AES	Pick-a-Pic PickScore	Pick-a-Pic IR	DrawBench IR	NFEs
DDIM	25.34	5.649	20.67	0.194	0.046	1.00
SOP-1	26.34	5.684	20.85	0.735	0.637	3.00
Ctrl-Z†	26.44	5.686	20.88	0.720	0.650	2.77
SOP-4	27.23	5.700	21.12	1.113	1.008	9.00
Ctrl-Z‡	27.34	5.705	21.02	1.138	1.025	7.72

Ctrl-Z‡ 的 Pick-a-Pic IR 为 1.138，高于 SOP-4 的 1.113，同时 NFEs 从 9.00 降到 7.72；差值分别为 0.025 和 1.28。但其 PickScore 为 21.02，低于 SOP-4 的 21.12；低预算 Ctrl-Z† 的同数据集 IR 也低于 SOP-1。因此结果支持更好的部分指标与计算权衡，不支持“每一项指标都超过 SOP”。

下表摘录同页表 2 的 SD2.1 组合生成结果，保留原表数值尺度，所有列越高越好。 Color、Shape、Texture 评价属性绑定，Spatial 与 Numeracy 分别涉及空间关系和数量约束。

方法	Color	Shape	Texture	Spatial	Numeracy
DDIM	46.27	41.01	46.06	13.80	46.44
SOP-4	59.64	48.91	60.56	16.97	52.85
Ctrl-Z†	58.65	47.10	57.75	18.55	51.83
Ctrl-Z‡	61.26	53.97	62.24	19.29	53.73

默认 Ctrl-Z 的 Shape 相比 SOP-4 增加 5.06，Spatial 增加 2.32，支持回退能够改善部分构图与组合约束的解释。不过同一原表中 Hunyuan-DiT 的 Numeracy 为 Ctrl-Z‡ 56.69、SOP-4 57.58，跨骨干也不是全面领先。

消融实验¶

第 13 页表 3 比较探索触发策略，使用 SD2.1 与 ImageReward，其他设置沿用默认配置。 Always 总是触发，Random 以 \(p=0.5\) 触发，Reward-Based 使用本文停滞规则；下表为该表的指标子集。

触发策略	Pick-a-Pic HPSv2	Pick-a-Pic IR	DrawBench HPSv2	DrawBench IR	NFEs
Always (\(p=1.0\))	27.86	1.317	27.17	1.174	16.72
Random (\(p=0.5\))	27.00	1.062	26.71	0.906	7.81
Reward-Based	27.34	1.138	26.73	1.025	7.72

奖励触发相比随机触发，在相近 NFEs 下将 Pick-a-Pic IR 从 1.062 提高到 1.138，而不是单纯增加搜索次数。 Always 的这些质量指标更高，但 NFEs 为 16.72；奖励触发的 7.72 少了 9.00，不能把它称作无质量损失的替代方案。

关键发现¶

图 3（第 12 页）支持深度与宽度共同影响质量，较深且较窄的配置有时优于相近 NFEs 的浅而宽配置；缓存无法可靠读出每个散点的精确值，因此不伪造数值消融。
表 3 的奖励模型消融显示 AES 导向会提高美学分数，却未必同幅改善条件对齐；奖励模型也会改变触发频率和实际 NFEs。
表 4（第 14 页）的 COCO-2k 检查中，SD2.1 的 Recall 从 DDIM 55.85 变为 Ctrl-Z‡ 55.20，LPIPS 从 75.00 变为 75.54，均按原表尺度报告。
这些多样性结果只说明该样本规模与预算范围内没有一致退化，不能证明任意奖励或更大搜索预算都不会导致模式集中。

亮点与洞察¶

将触发时机纳入采样器设计很重要：两种算法即使候选生成方式相似，也可能因为把计算花在不同步骤而出现显著差异。
深度与宽度不是可互换的预算旋钮。扩大候选池提高局部命中率，加深回退则可能改变候选所能覆盖的结构范围。
以普通前进一步作为搜索保底项，避免了必须接受随机扰动的设计缺陷；但这个局部保底不等于最终质量或历史奖励的全局保证。

局限与展望¶

作者承认固定阈值可能反复惩罚高分平台；按分数尺度或采样阶段调整门槛，是更直接的改进方向。
验证集中于两个潜空间图像生成骨干；像素空间 EDM、视频生成及更高预算扩展在本文中仍是待验证方向。
本笔记的判断：ImageReward 同时用于搜索和部分评测，因此 IR 增益存在目标耦合；其他评分器与组合测试提供补充证据，但不是人工偏好的直接替代。
本笔记的判断：缺乏可从主表读出的完整墙钟时间分解，不能把较低 NFEs 直接换算成相同比例的用户等待时间下降。
原文提到补充材料中的阈值、窗口等消融，但给定缓存只有主文和参考文献；这些未提供的实验细节不在本笔记中推断。

评分¶

新颖性: 4/5。贡献主要是奖励触发与自适应回退深度的组合，而非新的扩散训练范式。
实验充分度: 4/5。涵盖两个骨干、多个基准及触发与奖励消融，但更大预算、人工评测和完整延迟仍有限。
写作质量: 3/5。直觉和主表清楚，但严格单调性描述与算法保底分支需要区别理解，缓存公式也需回源核对。
价值: 4/5。为不改模型权重的文本到图像质量提升提供了可调方案，实际收益仍依赖奖励质量与计算预算。