Early Estimation of Language to Latent Alignment in Diffusion Models¶

会议: ECCV 2026
论文: ECCV 论文页
项目: NoisyCLIP
领域: 图像生成
关键词: 扩散模型、语言潜变量对齐、噪声感知对比学习、提前终止、Best-of-N

一句话总结¶

NoisyCLIP 用中等噪声的扩散中间状态微调双塔模型的视觉编码器，使其能提前判断候选图像与提示词的匹配程度，在 Best-of-6 实验中将累计去噪预算从 300 步降到 150 步，并将相对完整生成 CLIP 基线的 VQAScore 损失控制在论文所述约 2%。

研究背景与动机¶

文本到图像扩散模型即使接收相同提示词，不同随机种子也会生成语义匹配程度不同的图像。Best-of-N 因而是一种直接的推理时扩展方式：先生成多个候选，再用 CLIP 或其他评估器选出最好的一张。然而，传统选择发生在图像全部生成之后，最终丢弃的候选同样消耗了完整的去噪预算。候选越多，这部分浪费越明显。

提前选图并不只是把最后一步的 CLIP 调用移到中间。扩散早期的潜变量主要被噪声占据，即便转换成 RGB，普通视觉语言编码器也未必能读出稳定语义；在这些状态上打出的分数不足以区分好坏轨迹。另一方面，只拿接近完成的状态训练虽然容易，却不能解决早期识别问题；只拿高度含噪的状态训练，又可能损害后期判断。本文真正要解决的是评分器对噪声阶段的适应，而不是重新训练生成器。

作者据此保存真实生成轨迹，用其中的噪声状态和对应提示词训练视觉分支，再把这个评分器接入候选筛选。核心 idea：让视觉编码器在中等噪声的潜变量表示上学习文本对齐，尽早淘汰不匹配的生成轨迹，把后续去噪计算集中到最有希望的候选上。

方法详解¶

整体框架¶

NoisyCLIP 是生成器之外的对齐评分器，输入是提示词和某一去噪阶段的中间潜变量，输出是二者的相似度。训练时，作者用 SDXL 生成并保存轨迹，在选定噪声区间微调视觉编码器、冻结文本编码器；推理时，让多个候选先共同生成一段，再按分数只保留一个继续完成。

中间潜变量不能直接送进原有图像编码器，因此需要表示转换。SDXL 的四通道潜变量通过线性变换得到 RGB 表示；迁移到 SD3.5 和 FLUX.1 时，则使用各自模型的 VAE 解码。这里的“语言到潜变量对齐”指对潜变量所承载语义的评估，并不意味着所有实验都绕过解码器直接处理原始潜变量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Prompts["训练提示词"] --> Sampling["中段噪声采样"]
    Sampling -->|训练样本| Scoring["噪声感知双塔评分"]
    Text["冻结文本编码器"] --> Scoring
    Candidates["推理时多个候选<br/>中间潜变量"] -->|RGB 转换后评分| Scoring
    Scoring -->|推理时按分数排序| Selection["中途单候选续算"]
    Selection --> Output["最高分候选完成去噪<br/>其余轨迹终止"]

图中训练样本用于学习评分器，并不是推理时必须重新构建的数据；推理也不需要最终图像或 VQAScore 作为选择输入。VQAScore 只在实验评估中衡量被选中结果的提示词匹配程度，避免把用于选图的相似度直接当成最终效果。

关键设计¶

1. 中段噪声采样：用真实轨迹中尚有歧义但已出现语义的状态训练

作者使用经重写、描述更密集的 CC12M captions 作为 SDXL 提示词，保存提示词、最终图像及完整中间潜变量序列。这样得到的是生成器实际走过的状态，而不是仅对普通图像临时叠加噪声。训练数据的用途也不是教模型重建图像，而是让同一个提示词在含噪状态下仍能与其视觉表示对应。

默认训练选取编号 20–29 的中间区间。图 5 比较表明，10–19 区间训练更偏向早期状态，但在最后两个推理区间表现明显下降；40–49 区间有利于后期及最终图像；20–29 则兼顾较早判断与后期稳定性。这里沿用论文按去噪进程描述的区间编号，不将它误解为所有调度器通用的噪声强度，也不与从大到小变化的扩散时间变量混为一谈。

2. 噪声感知双塔评分：固定文本语义空间，让视觉分支适应含噪输入

文本分支保留预训练参数，视觉分支从 CLIP 初始化并在噪声潜变量转换后的 RGB 表示上微调。一个含噪表示与自己的提示词构成正样本，与批内其他提示词构成负样本；InfoNCE 促使模型在噪声干扰下仍识别正确的跨模态对应。冻结文本分支使优化集中在原模型最不适应的视觉分布上，作者也指出，在编码器兼容时文本分支可以与扩散模型共享；这不是任意生成架构都自动满足的条件。

评分本质上仍是余弦相似度。下面用规范化写法重述第 3.1 节的定义，其中潜变量转换函数为 \(\Phi\)，视觉编码器为 \(\nu\)，文本编码器为 \(\tau\)；它不是额外的回归头，也没有直接以最终 VQAScore 为训练标签。

\[ S(z_t,y)=\frac{\nu(\Phi(z_t))^{\mathsf T}\tau(y)}{\|\nu(\Phi(z_t))\|_2\,\|\tau(y)\|_2}. \]

因此，“预测最终对齐”是指中间分数已经有能力区分最终更匹配的候选，而非作者证明了该分数等于最终质量或是一个校准后的成功概率。论文还将噪声适应思路迁移到 SigLIP，称为 NoisySigLIP；其选图能力与文本细粒度辨别能力需要分别评估。

3. 中途单候选续算：在统一检查点选出一个候选，停止其他轨迹

对同一提示词启动多个随机种子，每个先生成到预设阶段，再用 NoisyCLIP 排序，只让最高分候选生成剩余步骤。这里终止的是落选轨迹，胜出图像仍然完成全程去噪；方法并非把一张半成品当最终输出，也不是在每一步都重新调整生成器参数。正文的主要证据来自这种中途单次筛选，而不是多轮自适应搜索。

为明确计算节省来自哪里，按第 5.3 节的计数规则，设候选数为 \(N\)、每条完整轨迹为 \(T\) 步、已经执行 \(k\) 步时做选择，则累计去噪成本可整理为：

\[ C_{\mathrm{early}}=Nk+(T-k)=T+(N-1)k,\qquad C_{\mathrm{full}}=NT. \]

这个式子是对论文计数方式的归纳，不包含评分器、表示转换、VAE 解码或并行调度的时间。越早筛选，省下的步数越多，但信息也越少；NoisyCLIP 的作用是在这个选择点上提供比冻结 CLIP 更可靠的排序，而不是改变单个扩散步骤的成本。

一个完整示例¶

假设同一提示词启动两个 SDXL 候选，每条完整轨迹需要 50 步。两者各生成 25 步后，累计已经消耗 50 步；评分器比较它们的中间表示与提示词，只保留高分候选。胜出者再执行剩余 25 步，总成本为 75，而完整 Best-of-2 是 100，节省 25%。这是正文直接给出的成本示例，不是额外测得的效果数字。

用同样的计数方式理解 Best-of-6：若在已执行 20 步时筛选，总成本为 \(6\times20+30=150\)，而全部生成需 \(6\times50=300\)。这个计算解释了“半预算”如何成立，但不能据此保证每个提示词都选到最终最优图像；后者必须由 VQAScore 实验检验。

损失函数 / 训练策略¶

正文指定使用 InfoNCE，以匹配的提示词和含噪表示为正样本，批内不匹配的组合为负样本，只更新视觉编码器。缓存没有提供可完整复核的温度参数或双向损失实现细节，因此不额外补写看似精确的训练公式。

训练使用 50,000 个潜变量样本、10 个 epoch、batch size 128，学习率为 \(5.7\times10^{-5}\)，采用余弦退火、0.1 warm-up 比例和 0.1 weight decay，硬件为 NVIDIA A100 40G。实现节说明从生成图像中均匀采样，方法节另外限定默认的 20–29 训练区间；不能据此推断在全部时间步上均匀训练。

评估数据也围绕“中途能否辨别语义”构建。Noisy-Conceptual-Captions 包含 1,000 条提示词，每条生成 4 张图像，并配 4 条非事实干扰提示词；检索时从 1 个正确加 4 个错误描述中选择。Noisy-GenAI-Bench 包含 1,600 条提示词，其中 730 条基础、870 条高级，每条扩展为 10 条生成轨迹，正文主要 BoN 分析使用基础提示词。

实验关键数据¶

主实验¶

下表摘自原文表 1。R@1 是正确提示词在五个候选描述中排名第一的比例；BoN 的 VQAScore 衡量所选图像的文本匹配程度，两者均越高越好。表 1 的 21–30 中间阶段结果不能与图 6 基础提示词成本曲线的分数混用。

评分器与评估阶段	事实一致性 R@1	BoN VQAScore
CLIP L14，中间阶段 21–30	0.145	0.657
NoisyCLIP，中间阶段 21–30	0.506	0.709
SigLIP L16，中间阶段 21–30	0.147	0.652
NoisySigLIP，中间阶段 21–30	0.194	0.718
CLIP L14，最终图像第 50 步	未报告	0.747
SigLIP L16，最终图像第 50 步	未报告	0.764

NoisyCLIP 相对 CLIP 的中途 R@1 提高 0.361，即 36.1 个百分点，约为基线的 3.49 倍；BoN VQAScore 从 0.657 增至 0.709，绝对增加 0.052。中途 0.709 相当于最终图像 CLIP 0.747 的约 94.9%，这是两种评估阶段的分数比值，不表示有 94.9% 的候选选对。

消融实验¶

下表整理原文第 5.2 节及图 5 的训练区间分析。缓存正文没有保留热力图逐格数值，因此这里只列可核验的区间、明确数字及作者描述的趋势，不把趋势伪装成精确消融分数。

训练配置	评估范围或数值	原文支持的结论
冻结 CLIP，无含噪训练	中间区间 1–49 最佳 0.696；最终图像 0.747	干净图像上的能力不能直接转移到中间状态
NoisyCLIP，区间 10–19	早期推理区间，正文描述最多提升 4 个点	更利于早期判断，但最后两个区间明显下降
NoisyCLIP，区间 20–29	默认中段训练区间	较早阶段更强，后期接近低噪声训练配置
NoisyCLIP，区间 40–49	后期区间及最终图像	这些阶段整体表现最好，未给出可读逐格数字

图 6 另报告 Best-of-6 的成本权衡：完整生成 CLIP 的 300 步预算取得 0.85，NoisyCLIP 在同预算下为 0.86；降至 150 步后，作者报告相对完整生成 CLIP 和 LatentCLIP-8 约 2% 的 VQAScore 损失。正文未列出该点的精确分数，不应由“2%”反算并冒充实测值。

关键发现¶

噪声区间是关键变量：最早或最晚训练都存在阶段偏向，中段训练的价值是覆盖较广的推理阶段，而不是在每个区间都最优。
图 3 描述 NoisyCLIP 在约第 20 个潜变量阶段即可明显区分更匹配与较差候选，冻结 CLIP 约到第 40 阶段才具有相近的区分表现。
两项任务不能互相替代：NoisySigLIP 的 BoN 为 0.718，高于 NoisyCLIP 的 0.709，但 R@1 只有 0.194，低于后者的 0.506。
零样本迁移到 SD3.5 和 FLUX.1 时，正文及图 9 分别报告 +2% 和 +1.8% 的对齐收益，以及 57% 的去噪步数减少；该结论仍不是端到端时延测量。

亮点与洞察¶

将评估器的训练分布对准决策发生的阶段。普通 CLIP 在最终图像上有效，并不保证它能在噪声状态下做有用排序；本文通过小规模视觉分支适应直接解决这个分布差异。
把质量预测落到具体计算决策。中间对齐分数不是仅供观察的曲线，而是决定哪些轨迹值得继续，因而其价值可以用质量与累计去噪预算的关系来检验。
视觉排序与文本事实辨别应分别测量。表 1 的 NoisySigLIP 结果提醒人们，擅长挑图不等于能识别细微错误描述，只报告一个总分容易掩盖能力边界。

局限与展望¶

成本口径有限：本文主要统计累计去噪步数，没有据此证明 GPU 墙钟时间减半；跨 DiT 实验还要进行 VAE 解码，部署时需计入其开销。
早期排序存在不可逆的选择风险：被淘汰的轨迹可能在后期变好。保留少量候选并分阶段淘汰值得研究，但不是正文已经验证的机制。
实验结论以合成轨迹及自动评估为主。正文重点分析基础提示词，完整高级提示词分析和失败案例被指向附录；当前缓存不含附录，不能声称已核验这些结果。
固定 20–29 区间依赖生成与调度设置。跨架构已有迁移证据，但对不同采样器、步数和噪声日程的统一标定仍需进一步测试。
正文将 NoisySigLIP 的 R@1 差异归因于原始 sigmoid 与 softmax 训练目标；这是作者解释，当前对照不足以单独隔离这一因果因素。

评分¶

新颖性: 4/5。将噪声适应的双塔评分器与中途 BoN 淘汰连接起来，问题定位明确，核心组件仍建立在已有对比学习上。
实验充分度: 4/5。覆盖训练区间、两类视觉语言骨干、跨生成架构和成本权衡，但缺少完整时延口径与可核验附录内容。
写作质量: 4/5。方法到系统收益的逻辑清楚，阶段编号及相对百分比与绝对分数的表述仍需谨慎区分。
价值: 4/5。适合关注扩散推理预算与在线对齐监控的研究者，实际收益取决于筛选开销和早期排序可靠性。