Unified Backbone Refinement for Diffusion Models via Internal-Latent Analysis¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/huggingface/diffusers
领域: 图像生成
关键词: 扩散模型, 免训练精炼, 内部隐空间分析, 异常检测, 伪影抑制
一句话总结¶
通过理论与实证揭示去噪骨干网络深层低噪声隐空间在早期出现的急剧扰动与图像生成伪影紧密相关，提出免训练框架 DUNE，在早期利用 EMA 标准化检测异常激活并在 U-Net h-space 与 Transformer 深层自注意力层实施骨干自适应抑制，在无伪影与保真度之间取得全面提升。
研究背景与动机¶
扩散模型在文本到图像生成、超分辨率及多模态合成中取得了巨大成功，其核心依赖于 U-Net 或 Diffusion Transformer（DiT）等参数化得分函数（Score Function）的骨干去噪网络。为了改善生成图像的视觉感知与结构质量，近期涌现出以 FreeU 为代表的一系列免训练（Training-free）后处理或特征重加权方案。然而，直接调整得分网络的输出特征或无差别的特征缩放，极易导致图像偏离原本的文本语义，诱发过度饱和、边缘虚化失真，甚至加剧肢体异常、面部畸变等严重的视觉伪影（即幻觉问题）。
这种退化的核心矛盾在于：现有方法缺乏对去噪骨干内部各层功能与时间步演化特性的解耦认识。U-Net 的跳跃连接（Skip Connections）与上采样模块（Upsampling Blocks）以及 DiT 的自注意力层在去噪轨迹的不同阶段承担着完全不同的职责。无差别或在不恰当的阶段与网络层级施加特征干预，不仅无法纠正得分函数的局部异常跳变，反而会破坏全局语义结构的稳定性。因此，精准识别生成伪影在网络内部隐空间的孕育节点，并在最安全、最具语义凝聚力的网络纵深处实施微创干预，成为免训练精炼领域亟待攻破的技术痛点。
针对上述瓶颈，本文深入探索了网络层级与去噪时间步的细粒度动态，发现伪影在深层内部隐空间（如 U-Net 的最深层瓶颈 h-space）的急剧抖动主要集中于去噪前期的宏观语义确定阶段。核心 idea：将采样轨迹显式划分为基于 EMA 得分标准化检测与骨干自适应抑制的早期“检测阶段”，以及面向色彩对比度调节的后期可选“细节阶段”，在深层低噪声隐空间内实现精准且保持语义一致性的异常抑制。
方法详解¶
整体框架¶
DUNE 的核心设计哲学是将去噪时间步解耦为两个功能阶段：前 40% 的检测阶段（\(1.0T \sim 0.6T\)）和后 60% 的可选细节阶段（\(0.6T \sim 0.0T\)）。在决定宏观结构的关键早期阶段，DUNE 在深层特征空间内对隐状态进行得分标准化，并利用指数移动平均（EMA）追踪其时序漂移；通过对数比率计算筛选出扰动最大的顶层离群分量（生成二进制掩码 \(M_t\)），进而针对不同网络架构（U-Net 瓶颈层与 Transformer 深层自注意力层）采取自适应的特征抑制与参考态融合，从而在源头平抑得分函数加速度突变。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入去噪时间步特征<br/>t ∈ [1.0T, 0.6T]"] --> LNorm["得分标准化隐变量计算<br/>z_t = -h_t / σ_t"]
LNorm --> EMA["EMA 状态追踪与对数偏差<br/>Δ = |log|z_t / z_bar_{t+1}||"]
EMA --> TopK["分位数阈值筛选掩码<br/>M_t = (Δ > λ)"]
TopK --> BBCheck{"骨干网络类型分支"}
BBCheck -->|U-Net h-space| UNetS["通道感知掩码缩放<br/>S_UNet = κ (n_t ⊙ h_t)"]
BBCheck -->|Transformer DiT| DiTS["掩码 EMA 线性插值融合<br/>S_Tr = κ h_t + (1-κ) h_bar_t"]
UNetS --> GatedMerge["门控融合输出修正隐变量<br/>h_hat_t = (1-M_t) ⊙ h_t + M_t ⊙ S_bb"]
DiTS --> GatedMerge
GatedMerge --> DPhase["可选细节阶段调节<br/>t ∈ [0.6T, 0.0T] 细节与色调微调"]关键设计¶
1. 深层低噪声干预点定位：利用卷积下采样与注意力均值化抑制随机波动
传统特征缩放常在浅层特征或跳跃连接处直接操作，容易引发高频噪声抖动。本文从理论上证明了深层特征是实施特征纠正的最优甜点位。对于 U-Net，命题 1 指出 \(m \times m\) 卷积下采样核使噪声标准差按核二范数 \(\|K\|_2 = \sqrt{\sum \lambda_{i,j}^2}\) 进行收缩（例如在 SDXL 下采样层测得核范数仅为 0.2036 与 0.1509），使最深层的 \(h\)-space 汇聚了极高语义能量而大幅压制了高斯扰动；对于 Diffusion Transformer，命题 2 证明 Softmax 注意力输出 \(y = \sum_{j=1}^N w_j x_j\) 将各向同性噪声标准差以 \(\sqrt{\sum_{j=1}^N w_j^2} \in [1/\sqrt{N}, 1]\) 的数据自适应系数衰减。由于深层自注意力分布更为分散，多层堆叠后深层注意力块（如网络深度 3/4 处的自注意力层）同样具备天然的信噪比凝聚特性，为后续精确检测异常提供无噪语义基底。
2. 得分一致性 EMA 异常检测：对数比率分位数阈值化
在逆向采样时间步 \(t \in [1, T]\) 下，隐状态幅值会随着预设噪声调度 \(\sigma_t\) 发生剧烈时序漂移。为避免将正常的调度衰减误判为结构突变，DUNE 将隐变量映射到与得分函数定义一致的标准化空间：\(z_t = -h_t / \sigma_t\)。模型在检测阶段维护关于标准化特征的指数移动平均（EMA）：
其中超参数在所有骨干中固定为 \(\gamma = 0.7\)。为了消除输入提示词和各图像整体明暗差异对检测尺度的干扰，DUNE 采用对数比率计算空间特征偏离度：
根据设定的分位数阈值 \(p\)（主实验中统一取 \(p = 0.9\)），自动提取前 \((1-p)\%\) 最偏离的特征元素构建异常二值掩码 \(M_t = (\Delta > \lambda)\)，精准锁定了引发布局坍塌与伪影的异常区域。
3. 骨干自适应掩码抑制：通道感知收缩与注意力特征插值
针对检测出的异常区域 \(M_t\)，DUNE 采用门控修正框架：\(\hat{h}_t = (1 - M_t) \odot h_t + M_t \odot \mathcal{S}_{\text{bb}}(h_t, \bar{h}_t; \kappa)\)，但根据骨干架构特征设计了不同的抑制算子 \(\mathcal{S}_{\text{bb}}\)。在 U-Net 结构中，\(h\)-space 具有极低空间分辨率与高度解耦的语义通道属性（例如 SDXL 中为 \(1280 \times 32 \times 32\)），直接平滑融合容易破坏专有通道的语义表达，因此 DUNE 计算各通道均值绝对值统计量 \(n_t \in \mathbb{R}^{C \times 1 \times 1}\)，实施通道感知缩放：\(\mathcal{S}_{\text{UNet}}(h_t, \bar{h}_t; \kappa) = \kappa (n_t \odot h_t)\)；在 Transformer 结构中，图像由 Patch 序列化表征并通过自注意力混合，离散通道缩放会引发严重高频斑块，因此采用 EMA 线性融合：\(\mathcal{S}_{\text{Tr}}(h_t, \bar{h}_t; \kappa) = \kappa h_t + (1 - \kappa) \bar{h}_t\)。定理 3 证明只要噪声集中度满足 \((1-\kappa^2)\eta_t > (1-\kappa)\varepsilon_t\)，该抑制操作就能确保隐变量后验信噪比 \(\text{SNR}(\hat{z}_t) > \text{SNR}(z_t)\) 严格提升。
损失函数 / 训练策略¶
DUNE 属于完全的测试时免训练（Training-free）即插即用算法，无需反向传播更新参数或引入外部预训练网络。其核心超参数高度统一稳定：EMA 动量参数固定为 \(\gamma = 0.7\)，异常筛选分位数在全架构固定为 \(p = 0.9\)，检测周期严格限制在采样轨迹的前 40% 时间步（\(1.0T \sim 0.6T\)）。在 Transformer 模型中，干预目标层固定设置于第 3/4 深度处的自注意力块。针对不同主干模型，抑制系数 \(\kappa \in [0, 1]\) 仅需做一次全局设定，在各个特定 prompt 之间无需任何手工微调。
实验关键数据¶
主实验¶
在 5,000 张基于 MS-COCO prompt 生成的图像上评估 FID，并在 5,000 张人类相关 prompt 图像上评估细粒度人体解剖结构缺陷指标 HADM-L（数值越低代表肢体/手指/面部伪影越少）。同时计算原始生成与精炼图像间的 CLIP 余弦相似度，以量化语义保真度。
| 骨干模型 | 方法 | FID ↓ | HADM-L ↓ | CLIP Sim. ↑ |
|---|---|---|---|---|
| SDXL | Original | 18.86 | 0.227 | 1.000 |
| SDXL | FreeU | 31.22 | 0.351 | 0.781 |
| SDXL | ASCED | 22.07 | 0.227 | 0.945 |
| SDXL | PAG | 21.72 | 0.210 | 0.821 |
| SDXL | DUNE (Ours) | 18.75 | 0.074 | 0.925 |
| LCM | Original | 22.53 | 0.152 | 1.000 |
| LCM | FreeU | 27.57 | 0.237 | 0.756 |
| LCM | ASCED | 27.60 | 0.151 | 0.995 |
| LCM | PAG | 35.87 | 0.123 | 0.362 |
| LCM | DUNE (Ours) | 22.41 | 0.052 | 0.940 |
| Kandinsky 3 | Original | 21.36 | 0.250 | 1.000 |
| Kandinsky 3 | ASCED | 22.44 | 0.252 | 0.924 |
| Kandinsky 3 | DUNE (Ours) | 20.76 | 0.095 | 0.933 |
| PixArt-Σ | Original | 28.75 | 0.316 | 1.000 |
| PixArt-Σ | ASCED | N/A (纯噪声) | N/A | N/A |
| PixArt-Σ | PAG | 32.61 | 0.284 | 0.840 |
| PixArt-Σ | DUNE (Ours) | 27.80 | 0.254 | 0.952 |
| Hunyuan-DiT | Original | 30.82 | 0.294 | 1.000 |
| Hunyuan-DiT | DUNE (Ours) | 30.67 | 0.283 | 0.988 |
消融实验¶
评估不同干预位置、随机掩码对比以及不同特征组件干预对得分加速度和生成质量的影响：
| 配置 / 变体 | 测试基准 | 评估指标 | 结果数值 | 说明 / 结论 |
|---|---|---|---|---|
| DUNE (h-space) | SDXL | EAGR (超额加速度差距消除率) ↑ | 24.9% | 精准压制目标伪影区域异常加速度峰值 |
| DUNE (3/4 depth SA) | PixArt-Σ | EAGR ↑ | 18.1% | Transformer 深层自注意力层同样显著压制加速度突变 |
| 随机掩码控制组 (Rand Mask) | SDXL | EAGR | ~0.0% | 证明收益源于精准定位而非随机抑制 |
| 浅层跳跃连接抑制 | U-Net | 得分偏差变化 | 显著增加 | 浅层特征干预破坏高频分布，反而加剧伪影 |
| 浅层上采样模块抑制 | U-Net | 得分偏差变化 | 显著增加 | 导致亮度与对比度异常漂移 |
| 全模型 (p=0.9, κ=最优) | LCM | FID ↓ | 22.41 | 优于 p=0.3/0.5/0.7 等低分位数截断配置 |
关键发现¶
- 打破伪影消除与生成保真度（FID）的权衡妥协：在 SDXL 上，主流免训练方法（FreeU、ASCED、PAG）全部由于过度饱和或结构扰动导致 FID 发生劣化（FID 分别升至 31.22、22.07、21.72），而 DUNE 在将解剖伪影率 HADM-L 从 0.227 暴降至 0.074（降幅达 67.4%）的同时，FID 仍持续优化至 18.75。
- 跨架构通用性与鲁棒性：在 PixArt-Σ 这类扩散 Transformer 架构上，基于得分轨迹扰动的 ASCED 直接崩溃失效并生成纯噪声，而 DUNE 通过在 3/4 深度自注意力隐状态施加 EMA 插值，顺利将 FID 降低 0.95，HADM-L 改善至 0.254。
- 几乎零额外推理开销：在 SDXL 采样时间对比中，原始推理时间为 9.55 秒，DUNE 仅需 9.71 秒，相比需要额外计算梯度的 PAG（14.38 秒）和反复分析得分轨迹的 ASCED（13.37 秒），计算开销极低。
亮点与洞察¶
- 将扩散伪影本质归结于得分函数内部隐空间的加速度异常：不仅在表层发现伪影，更从底层动力学揭示了深层低噪声隐特征的瞬时剧烈抖动是致错根源，为模型可解释性提供了全新数学视角。
- 提出统一而针对性的双骨干抑制范式：深刻剖析了 CNN 通道独立性与 Transformer Token 全局交互的本质差异，分别给出通道感知尺度收缩和注意力状态平滑插值，兼顾了数学上的信噪比理论证明与工程实践效果。
- 阶段性解耦理念极具复用价值：把“结构矫正”锁死在早期 40% 时间步，把“风格微调”收纳在后期细节阶段，彻底解开了过往方法因早期盲目重加权导致的严重语义漂移问题。
局限与展望¶
- 超参数目前仍需粗粒度经验预设：虽然分位数 \(p=0.9\) 具有跨模型通用性，但抑制系数 \(\kappa\) 在不同骨干之间仍需要经验确定，尚未实现根据输入文本复杂度的完全自适应调节。
- 细节阶段的增强仍偏主观：后 60% 时间步的细节阶段主要借鉴了特征缩放，虽然提供了亮度色调的可控度，但该阶段的自动最优参数选取尚缺乏量化闭环。
相关工作与启发¶
- vs FreeU: FreeU 简单地对全采样周期的主干和跳跃连接做启发式标量重权，极易导致图像过饱和、失真并大幅恶化 FID；DUNE 仅在前期通过时序 EMA 自适应检测异常并进行局部抑制，既消除伪影又保护了真实细节与保真度。
- vs ASCED: ASCED 通过直接修改最终得分网络输出轨迹并注入修正噪声，在 Transformer 骨干上极其脆弱且极易生成纯噪废图；DUNE 下沉至内部深层特征层（h-space / 3/4 depth SA），干预更稳定平滑。
- vs PAG (Perturbed-Attention Guidance): PAG 通过抹除自注意力图构建虚拟分支来引导生成，推理耗时增加超过 50%，且容易导致边缘粗糙生硬；DUNE 为单分支原地特征修正，额外耗时仅 1.6%，推理效率显著占优。
评分¶
- 新颖性: ⭐⭐⭐⭐ [基于深层内部特征加速度分析揭示伪影成因，统一 U-Net 与 DiT 的免训练抑制框架]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 大主流模型、包含主干解剖缺陷检测指标 HADM 与大规模用户盲测]
- 写作质量: ⭐⭐⭐⭐⭐ [理论推导严密、动机阐述层层递进、分析对比极为详实]
- 价值: ⭐⭐⭐⭐⭐ [即插即用且耗时极低，为现代扩散模型的可靠部署提供了极具工业实用性的免训练精炼方案]