Opening the Black Box of Classifier-free Guidance via Information Bottleneck

会议: NeurIPS 2026
arXiv: 2610.13369
OpenReview: https://openreview.net/forum?id=wfY4Srt4qX
领域: 图像生成
关键词: 扩散模型、Classifier-free Guidance、信息瓶颈、Fisher信息、动态激活

一句话总结

本文从时间依赖的信息瓶颈理论切入，揭示无分类器引导（CFG）的有效性在去噪轨迹中呈非均匀分布，并据此设计了一种免训练的自适应得分统计量阈值激活策略。

研究背景与动机

无分类器引导（CFG）已成为现代扩散模型与流匹配模型中实现高质量条件生成的标准范式，但其在推理阶段的激活策略通常依赖启发式设定。大部分现存方法在采样全程采用恒定的静态引导尺度，暗含假设条件信息在整个去噪反向过程中具有恒常不变的效用；近期部分动态调度策略虽尝试引入时间重加权或固定激活区间（如 Interval Guidance），但依旧建立在经验性的超参数试错之上，缺乏关于“引导信号到底在何时最具信息价值”的严格理论解释。

这种理论盲区的核心矛盾在于：扩散过程在前向加噪与反向去噪时，数据表征复杂度与条件信息相关性在连续动态演变；早期强噪声阶段图像结构尚未成形，盲目施加条件引导往往会扭曲边缘分布并削弱样本多样性，而极晚期残余微小扰动阶段条件信息增益又趋于饱和。然而，如何定量刻画去噪轨迹中条件变量与得分函数（score function）之间互信息的演化临界点，长期缺乏统一的解析框架。

本文从信息瓶颈（Information Bottleneck, IB）的理论视角出发，将条件扩散轨迹建模为包含时变压缩与相关性权衡的马尔可夫链。通过将互信息的时间导数与 Fisher 信息建立严密对偶联系，本文揭示了条件信息并非全程均匀生效，而是在越过一个由 Fisher 信息平衡条件所界定的临界阶段后才爆发显著增益。核心 idea：将条件扩散轨迹形式化为时变信息瓶颈极值问题，基于 Fisher 互信息平衡条件推导出得分范数差这一可观测引导增益统计量，实现免训练、即插即用且大批次下渐近收敛至区间引导的自适应 CFG 激活机制。

方法详解

整体框架

该方法的核心目标是在无需重新训练扩散模型的前提下，于采样过程中在线判断最优的 CFG 开启时刻。在反向去噪推进阶段，算法在每个时间步将当前批次的样本与其对应的条件输入和空条件输入联合前向传播，计算出条件得分预测与无条件得分预测；随后实时统计批次内两者的二阶范数差作为“即时引导增益”代理变量，一旦该统计量在反向遍历中首次跨过理论推导出的信息瓶颈阈值，便永久激活标准 CFG 公式，从而自适应地匹配每批数据的真实生成动态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始高斯噪声先验 x_T"] --> B["时间依赖信息瓶颈形式化<br/>互信息优化转化为 Fisher 平衡"]
    B --> C["重缩放理论阈值构建<br/>消除病态条件数与高敏感性"]
    C --> D["批次得分范数差统计量 ΔJ_hat<br/>实时追踪条件增益演化"]
    D -->|未越过临界增益阈值| E["保持无引导纯条件/基线单分支更新"]
    D -->|首次跨越阈值条件| F["反向激活 CFG 组合更新<br/>进入强语义条件引导阶段"]
    E --> G["后一步扩散状态 x_{t-1}"]
    F --> G
    G --> H["终点生成图像 x_0"]

关键设计

1. 时间依赖信息瓶颈形式化与 Fisher 互信息平衡：将互信息动力学转化为可观测得分条件

为刻画条件信息何时最为关键，本文将前向扩散链 \(C \to X_0 \to X_t\) 的表征权衡表述为连续时间信息瓶颈问题：\(\inf_t \mathcal{L}(t) = I(X_0; X_t) - \beta I(X_t; C)\)，其中参数 \(\beta > 0\) 控制对条件约束的偏好权重。通过对扩散过程微分熵的演化性质进行求导（利用 Fokker-Planck 方程证明熵与互信息时间导数正比于 Fisher 散度：\(\frac{\mathrm{d}}{\mathrm{d}t}I(X_t; Y) = -\frac{1}{2}g^2(t) J(X_t; Y)\)），本文证明了瓶颈泛函极值点 \(t^*\) 必须严格满足 Fisher 信息平衡条件：

\[\beta J(X_{t^*}; C) = J(X_{t^*}; X_0) \iff \beta \left( J(X_{t^*} \mid C) - J(X_{t^*}) \right) = J(X_{t^*} \mid X_0) - J(X_{t^*})\]

针对 \(n\) 维 Ornstein-Uhlenbeck 扩散过程及随机流匹配插值路径（\(X_t = \alpha_t X_0 + \sigma_t X_1\)），条件噪声核具有解析 Fisher 形式 \(J(X_t \mid X_0) = \frac{n}{m(t)}\)（流模型下为 \(\frac{n}{\sigma_t^2}\)）。借由神经网络拟合的分数估计 \(s_\theta(x_t, t, c) \approx \nabla \log p_t(x_t \mid c)\) 与无条件分数 \(s_\theta(x_t, t, \varnothing) \approx \nabla \log p_t(x_t)\)，抽象的互信息平衡被精确具象化为关于模型输出得分范数的代数约束。

2. 超参数重缩放：克服原始瓶颈平衡方程的数值病态与高方差

直接利用经验批次解方程 \(\beta \Delta \mathcal{J}(t) = \frac{n}{m(t)} - \mathbb{E}[\|s_\theta(x_t, t, \varnothing)\|^2]\) 存在严重的数值稳定性缺陷。在早期高噪声区间，得分模长剧烈震荡且有限批次蒙特卡洛方差极大；更关键的是，对原始目标关于 \(\log \beta\) 和激活时刻 \(t\) 的敏感性分析表明其导数曲线极其平坦，导致超参数微小的扰动即可引起激活时刻的剧烈漂移。为此，本文定义边际与先验 Fisher 信息的无量纲比值 \(\eta(t) := \frac{J(X_t)}{J(X_t \mid X_0)}\)，将原始平衡条件严格等价变形为：

\[\left(\frac{\beta}{1 - \eta(t)}\right) \cdot \Delta \mathcal{J}(t) = \frac{n}{m(t)} \implies \beta^* \cdot \Delta \mathcal{J}(t) = \frac{n}{m(t)}\]

通过引入代理超参数 \(\beta^* = \frac{\beta}{1 - \eta(t)}\)，成功将右侧高方差的无条件得分二次项吸收。重缩放后的 \(\log \beta^* - t\) 对应关系呈现出陡峭且单调的几何形态，极大地降低了求根过程的病态程度，使得固定的经验超参 \(\beta^*\) 在不同随机种子与多批次采样中展现出优异的数值稳健性。

3. 反向停止时间在线判据：构建批次得分随机过程与大批次区间收敛性

在离散时间推理阶段，算法定义反向扫描的首次越界停止时间（stopping time）：

\[\tau_{\mathrm{activate}} = \sup \left\{ t \le T : \Delta \widehat{\mathcal{J}}(t) \ge \frac{n}{m(t)\beta^*} \right\}\]

其中批次统计量 \(\Delta \widehat{\mathcal{J}}(t) = \frac{1}{B}\sum_{i=1}^B \|s_\theta(x_t^{(i)}, t, c^{(i)})\|^2 - \frac{1}{B}\sum_{i=1}^B \|s_\theta(x_t^{(i)}, t, \varnothing)\|^2\)。在反向时间从 \(T \to 0\) 遍历时，若当前步未达到阈值，模型执行纯无引导（或常规条件分支）更新以维护数据流形的大局多样性；一旦首次满足判据，锁定激活状态并在后续所有步中开启 CFG 外插更新 \(\hat{\epsilon}_c^\omega = \hat{\epsilon}_\varnothing + \omega (\hat{\epsilon}_c - \hat{\epsilon}_\varnothing)\)。该设计同时从理论上搭桥了经验性的区间引导（Interval Guidance）：大数定律下，当批大小 \(B \to \infty\) 时，随机变量 \(\tau_{\mathrm{activate}}\) 依概率集中于固定临界点，精准退化为人工硬编码的激活边界 \(t_h\)。

损失函数 / 训练策略

本方法属于完全无需训练（training-free）的推理期即插即用技术，完全复用预训练模型的权重（如 DiT、SiT、Stable Diffusion 3 与 FLUX.1），不修改任何原始训练目标。推理期核心超参数仅为标量引导强度 \(\omega \ge 1\) 以及判定灵敏度 \(\log \beta^*\)（典型范围在 \(5.9 \sim 10.0\) 之间，根据分辨率和模型架构由实验标定），计算额外开销仅限于批内得分二范数的标量减法运算，开销可忽略不计。

实验关键数据

主实验

论文在类条件图像生成基准 ImageNet（256×256 与 512×512 分辨率）以及文本到图像生成基准（SD3 与 FLUX.1，涵盖 1024×1024 高分辨率）上展开了系统性评测。在 DiT-XL/2、SiT-XL/2（流匹配架构）以及 Rectified Flow 体系下，均取得相比基线 CFG 与手工区间引导更为优越的生成质量。

数据集 / 架构	引导配置	FID ↓	IS ↑	sFID ↓
ImageNet-256 (DiT-XL/2)	原始 CFG (\(\omega=1.5\), SDE)	2.29	276.8	4.6
ImageNet-256 (DiT-XL/2)	原始 CFG (\(\omega=1.6\), SDE)	2.71	303.2	4.5
ImageNet-256 (DiT-XL/2)	Ours (\(\omega=1.6, \log \beta^*=8.0, B=32\))	2.06	280.9	4.5
ImageNet-256 (SiT-XL/2 REPA)	原始 CFG (\(\omega=1.35\), SDE)	1.80	284.0	4.5
ImageNet-256 (SiT-XL/2 REPA)	Interval Guidance (\(\omega=1.8, t_l=0, t_h=0.7\))	1.42	305.7	4.7
ImageNet-256 (SiT-XL/2 REPA)	原始 CFG (\(\omega=1.9\), SDE)	4.67	388.3	5.5
ImageNet-256 (SiT-XL/2 REPA)	Ours (\(\omega=1.9, \log \beta^*=5.9, B=48\))	1.41	306.6	4.7
ImageNet-256 (SiT-XL/2 REPA)	Interval Guidance (\(\omega=1.8, t_h=0.7\), ODE)	1.56	283.0	4.6
ImageNet-256 (SiT-XL/2 REPA)	Ours (\(\omega=1.8, \log \beta^*=6.5\), ODE)	1.47	291.2	4.4
ImageNet-512 (DiT-XL/2)	原始 CFG (\(\omega=1.5\), SDE)	6.81	229.5	20.0
ImageNet-512 (DiT-XL/2)	原始 CFG (\(\omega=1.7\), SDE)	7.08	275.5	19.2
ImageNet-512 (DiT-XL/2)	Ours (\(\omega=1.7, \log \beta^*=8.5, B=16\))	6.49	241.4	20.0
MS-COCO / T2I (SD3 1024)	原始 CFG (\(\omega=7.5, B=4\))	25.98	30.33 (HPSv2)	31.83 (CLIP)
MS-COCO / T2I (SD3 1024)	Interval Guidance (\(\omega=7.5, t_h=0.7T\))	–	27.13 (HPSv2)	31.41 (CLIP)
MS-COCO / T2I (SD3 1024)	Ours (\(\omega=7.5, \log \beta^*=10.0\))	24.88	30.55 (HPSv2)	31.89 (CLIP)
MS-COCO / T2I (FLUX.1 1024)	原始 CFG (\(\omega=7.5\))	–	20.13 (HPSv2)	–
MS-COCO / T2I (FLUX.1 1024)	Ours (\(\omega=7.5, \log \beta^*=8.0, B=16\))	–	30.73 (HPSv2)	–
MS-COCO / T2I (FLUX.1 1024)	Ours (\(\omega=7.5, \log \beta^*=8.0, B=1\))	–	30.29 (HPSv2)	–

消融实验

论文系统检验了批大小（Batch Size）对在线判据的影响、不同判据统计量的优劣，以及多随机种子下的鲁棒性。

配置维度	具体实验设置	核心指标 (FID / IS / \(\tau\) 分布)	结论与机制说明
批大小敏感性 (SiT-XL/2, 50步)	Baseline (SDE)	FID 5.09 / IS 287.4	全局施加静态引导，基线表现受限
批大小敏感性 (SiT-XL/2, 50步)	Ours (\(B=32\))	FID 4.92 / IS 299.7	大批次统计量平滑，性能提升明显
批大小敏感性 (SiT-XL/2, 50步)	Ours (\(B=16\))	FID 4.89 / IS 296.1	中等批次保持优秀表现，FID 达到最优
批大小敏感性 (SiT-XL/2, 50步)	Ours (\(B=8\))	FID 4.96 / IS 294.6	小批次下依然显著优于 Baseline
批大小敏感性 (SiT-XL/2, 50步)	Ours (\(B=4\))	FID 4.95 / IS 294.9	极端小批次仍具备良好泛化能力
判据统计量消融	Baseline	FID 5.09 / IS 287.4	基线固定激活
判据统计量消融	条件/无条件得分差 MSE	FID 5.14 / IS 287.5	缺乏理论信息量支撑，性能反向劣化
判据统计量消融	Fisher 范数差（本文）	FID 4.92 / IS 299.7	严格贴合互信息梯度，收益最为显著
停止时间集中度分析	\(B=8\)	Mean(\(\tau\)) = 0.68, Std(\(\tau\)) = 0.107	随批次增加，均值稳定在 0.68 左右
停止时间集中度分析	\(B=16\)	Mean(\(\tau\)) = 0.68, Std(\(\tau\)) = 0.086	方差逐步单调减小
停止时间集中度分析	\(B=32\)	Mean(\(\tau\)) = 0.68, Std(\(\tau\)) = 0.054	充分印证统计量向确定性区间收敛的理论断言
三种子稳定性 (3-seeds)	Interval Guidance	FID 5.18 ± 0.08 / IS 284.1 ± 3.3	固定时间步截断在不同种子上震荡略大
三种子稳定性 (3-seeds)	Ours	FID 4.98 ± 0.06 / IS 298.1 ± 2.6	自适应调整提供了更强的一致性与稳定性

关键发现

• Fisher 范数差作为判据的关键性：对比直接测量条件与无条件得分均方误差（Score-discrepancy MSE）的启发式判据（FID 5.14），本文基于 Fisher 信息导出的范数差准则（FID 4.92）能更精准捕捉互信息快速增长的相变点，验证了信息瓶颈理论的指导意义。
• 经验区间引导的理论归宿：在停止时间统计分析中，不同批大小下的平均激活时间高度恒定在 \(\tau \approx 0.68\)，而方差随 \(B\) 从 8 增至 32 由 0.107 单调压缩至 0.054。这充分证实了 Interval Guidance 将截断点手工设定为 \(t_h=0.7\) 的合理性，实际上正是该信息瓶颈判据在大样本下的极限表现。
• 单样本生成的可用性突破：在 FLUX.1 (1024×1024, \(\omega=7.5\)) 测试中，即使在 \(B=1\) 单样本无批次平均的极端严苛条件下，本文方法仍能取得 30.29 的 HPSv2 评分，远超基线 CFG 的 20.13，打破了动态统计判据严重依赖大 Batch 的顾虑。

亮点与洞察

• 理论视角的降维解释：巧妙地通过 Fokker-Planck 方程将扩散微分熵与互信息的时间变化率映射到 Fisher 信息与得分函数模长上，把抽象不可测的信息瓶颈最优化解构为神经网络前向得分的可观测统计量。
• 聪明的重缩放技巧（Rescaling）：没有死磕高方差且数值病态的原始方程，而是通过无量纲比值 \(\eta(t)\) 构造等价的代理超参数 \(\beta^*\)，将复杂的负反馈项吸收，使实际调参曲线由极端平坦变为陡峭稳定。
• 可迁移的方法学价值：该统计量监控思路完全可以迁移至文本引导的扩散隐空间编辑、流匹配常微分方程（ODE）步长自适应求解器设计，以及多模态融合权重的动态退火分配中。

局限与展望

• 理论在确定性耦合模型上的退化限制：作者在定理 2 中坦承，信息瓶颈推导严格依赖终端为独立高斯噪声的随机插值过程；对于二阶及以上的确定性整流（Rectified Flow）由于缺乏独立随机源，互信息存在退化，目前公式只能作为经验启发式拓展。
• 极小批次下的方差敏感度：尽管 \(B=1\) 在文本生图实验上表现出较强韧性，但标量得分差在单样本单步的方差依然不可忽略，在极端复杂提示词或类别上可能存在偶然过早或过晚激活。
• 未来改进方向：构建结合滑动窗口时序滤波（如指数移动平均 EMA）的单样本稳健估计器，并将框架拓展到包含多控制源（如 ControlNet、IP-Adapter 与负向提示词）的异构引导场景。

相关工作与启发

• vs 固定区间引导 (Interval Guidance, Kynkäänniemi et al., 2024)：Interval Guidance 凭借经验性网格搜索发现只需在中间区间 \([t_l, t_h]\) 开启 CFG，但边界为静态手工设定；本文不仅在多项任务上取得了更优效果，更从理论上证明了固定区间边界正是动态信息瓶颈在大批次集中极限下的特殊退化情形。
• vs 分数差异控制 (C^2FG, Gao et al., 2026 / CFG-Ctrl, Wang et al., 2026)：C^2FG 等基于得分差异启发式地对引导强度做缩放或引入控制论滑模调节，属于连续时变增益调制；本文则专注于解决“何时开启”的布尔相变决策，二者在算法维度上呈现高度互补性。
• vs 纯理论扩散信息论分析 (Shen et al., 2025/2026)：既往结合 Rényi 散度或 Fisher 散度的研究主要聚焦于训练期改进得分匹配目标与似然下界；本文将信息论工具开创性地应用于推理期条件信号利用率的动态分析。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次从连续时间信息瓶颈与 Fisher 对偶角度统一解释 CFG 激活机制，建立了优雅的理论桥梁]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 SDE/ODE 采样器、类条件与文本生图基准、SiT/DiT/SD3/FLUX 四大主流骨干架构，含多随机种子与单样本消融]
• 写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，从病态分析到重缩放再到离散算法层层递进，结构清晰流畅]
• 价值: ⭐⭐⭐⭐⭐ [免训练、即插即用，同时对启发式采样工程经验给出了严密坚实的理论闭环]

相关论文

• [NeurIPS 2026] Diffusion Models without Classifier-free Guidance
• [ICLR 2026] Overshoot and Shrinkage in Classifier-Free Guidance: From Theory to Practice
• [CVPR 2026] C\(^2\)FG: Control Classifier-Free Guidance via Score Discrepancy Analysis
• [AAAI 2026] Studying Classifier(-Free) Guidance From A Classifier-Centric Perspective
• [AAAI 2026] DICE: Distilling Classifier-Free Guidance into Text Embeddings