D2D: Detector-to-Differentiable Critic for Improved Numeracy in Text-to-Image Generation¶

会议: NeurIPS 2026
arXiv: 2510.19278
领域: 图像生成
关键词: 文生图扩散模型, 数量准确性, 目标检测器, 可微判别器, 初始噪声优化

一句话总结¶

针对文生图扩散模型难以精确生成指定目标数量（Numeracy）的问题，本文提出 D2D 框架，通过高曲率 Sigmoid 激活与 Logit 动态缩放将原本离散枚举的非可微目标检测器转化为可微计数判别器，并在推理阶段通过微型潜在修改网络优化初始噪声先验，在极低计算开销下显著提升各类扩散骨干的计数准确率。

研究背景与动机¶

近年来扩散模型（Diffusion Models）在文生图（T2I）领域的语义对齐与图像逼真度上取得了显著突破，各类基于人类偏好强化学习（如 DPO、RLHF）与免训练推理期引导技术相继涌现。然而，现有先进模型在理解和精确生成提示词中指定的离散目标数量（Numeracy）时仍面临系统性失败。例如在请求生成“4只杯子”或“7只狗”时，模型极易出现“多生成”（Over-generation）或“少生成”（Under-generation）的现象，通用的图文对齐奖励（如 ReNO 使用的 PickScore、ImageReward）完全无法提供精准的离散计数约束。

这一失败的核心矛盾源于监督信号的可微性与检测器计数性能之间的割裂。为了在推理阶段或训练阶段引入外部计数监督，以往的计数修正方法（如 Counting Guidance、TokenOpt）必须依赖于端到端可微的辅助网络。受制于梯度回传的需求，它们只能选用基于回归的计数模型（如 RCC、CLIP-Count）。然而，回归计数模型最初是为密集人群或高密度重复纹理设计的连续标量估计器，在低密度（1-10个目标）日常物体场景下的定位与辨识能力极其有限；相反，基于边界框枚举的现代目标检测器（如 OWLv2、YOLOv9）具有极其敏锐的目标定位和识别精度，却因为硬阈值过滤与离散枚举计数完全不可微，被排斥在反向传播引导机制之外。

本文的切入角度是打破“检测器不可微”的固有瓶颈，将强大的检测模型重新引入生成引导闭环。核心 idea：通过高曲率 Sigmoid 软指示函数与动态 Logit 距离缩放，将目标检测器的离散枚举逻辑重构为强梯度的可微计数损失，并引入推理期轻量潜在修改网络（LMN）优化初始潜变量先验，实现跨架构、高质量且无需重训扩散主干的数量修正。

方法详解¶

整体框架¶

D2D（Detector-to-Differentiable）的核心目标是在冻结预训练文生图扩散模型 $G_\theta$ 的前提下，引导模型生成包含精确数量 $N$ 个目标类别 $C$ 的图像。整个框架由两大部分协同组成：一是检测器转化模块，负责将开词汇表目标检测器（如 OWLv2）或实时检测器（如 YOLOv9）的预测输出转化为能够提供强梯度方向的连续计数判别器 $\mathcal{L}_{\text{D2D}}$；二是潜在修改网络（Latent Modifier Network, LMN $M_\phi$），在初始噪声与扩散模型之间充当可学习的调整介质，通过反向传播梯度寻找最优的初始噪声分布 $\mathbf{x}_T^*$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始高斯噪声 x_T + 文本提示词 p"] --> B["潜在修改网络 LMN 混合<br/>x_T' = w*x_T + (1-w)*M_phi(x_T)"]
    B --> C["冻结扩散生成模型 G_theta<br/>生成图像 I = G_theta(x_T', p)"]
    C --> D["目标检测器 D 前向推理<br/>提取预测框与 Logits z"]
    D --> E["可微判别器 L_D2D<br/>平滑指示器与自适应缩放梯度"]
    E -->|反向传播梯度穿透生成器输入| F["测试期参数优化<br/>更新 LMN 权重 phi (固定 G_theta 与 D)"]
    F -->|迭代校准噪声 x_T'| B

在推理阶段，给定采样噪声 $\mathbf{x}_T$，系统首先经过短时间的校准步，随后执行计数对齐循环：LMN 调整得到新的潜变量 $\mathbf{x}_T'$，经单步或少步扩散模型 $G_\theta$ 生成当前图像 $I$，检测器提取预测框的分类对数几率（logits）计算 $\mathcal{L}_{\text{D2D}}$ 与潜变量高斯正则项 $\mathcal{L}_{\text{reg}}$，所得梯度穿透整个冻结生成模型回传以更新 LMN 参数 $\phi$，直至达到目标物体数量 $N$ 并触发早停。

关键设计¶

1. 可微检测器判别器（Detector-to-Differentiable Critic）：突破离散枚举的梯度瓶颈
传统检测器 $\mathcal{D}$ 预测 $n$ 个候选框 $B_i$ 及其对应类别的 logit 值 $z_i$，通过 Sigmoid 激活 $\sigma(z_i)$ 并施加置信度阈值 $\tau$ 进行二值化硬过滤（即 $z_i \ge \tau_z = \sigma^{-1}(\tau)$），这种阶跃函数导数几乎处处为零，无法用于指导生成。为了构建平滑的计数估计，D2D 首先引入带有陡峭系数 $\beta$ 的连续计数函数 $f_{\beta, \tau_z}(\mathbf{z}) = \sum_{i=1}^n \sigma(\beta \cdot (z_i - \tau_z))$。然而单纯的 $f_{\beta, \tau_z}$ 在远离阈值 $\tau_z$ 的区域存在严重的梯度饱和（Plateauing）现象，无法提供足够强度的推拉力来消除或生成实体。为此，D2D 设计了带有 logit 距离放大的非对称判别损失： $$ \mathcal{L}{\text{D2D}} = \begin{cases} \sum \ \sum_{i=1}^{n} \sigma(\beta \cdot (\tau_z - z_i)) \cdot (\tau_z - z_i), & \text{若 } f_{\beta, \tau_z}(\mathbf{z}) < N \text{（少生成）} \end{cases} $$ 在多生成时，损失对所有高于阈值的预测框施加向下的压制梯度，且置信度越高的框受到的惩罚越大，强制将其 logit 压入阈值以下以消除实体；而在少生成时，损失则挑选接近阈值但未达标的候选框施加向上提拉的梯度，促使潜空间分裂出新的目标结构。}^{n} \sigma(\beta \cdot (z_i - \tau_z)) \cdot (z_i - \tau_z), & \text{若 } f_{\beta, \tau_z}(\mathbf{z}) > N \text{（多生成）

2. 潜在修改网络（Latent Modifier Network, LMN）：基于结构先验的参数化噪声调整
直接在潜变量向量 $\mathbf{x}_T \in \mathbb{R}^d$ 上应用梯度更新很容易引发高频噪声漂移并摧毁全局语义与图像质感。受到初始噪声包含跨架构一致结构先验（Structural Priors）的启发，本文设计了轻量级 3 层多层感知机（MLP）作为潜在修改网络 $M_\phi$。输入与输出维度与潜空间维度 $d$ 保持一致，中间层宽度为 100（总参数量仅约 3.3M）。修改后的潜变量采用加权残差融合： $$ \mathbf{x}_T' = w \cdot \mathbf{x}T + (1 - w) \cdot M\phi(\mathbf{x}_T) $$ 实验证明设置 $w=0.2$ 能够在赋予网络充分调整自由度的同时，保留原始高斯噪声的宏观场景构图。通过优化网络参数 $\phi$ 而非直接漂移潜向量坐标，模型在参数空间内施加更加平滑、连续的低秩拓扑重构，有效规避了点对点优化造成的视觉伪影。

3. 多类别扩展与非极大类抑制（Multi-Object Extension）：联合抑制竞争类别
当提示词涉及 $m > 1$ 个不同类别时，每个候选框会输出 $m$ 个分类 logits $\{z_i^{(1)}, \dots, z_i^{(m)}\}$，其最大值 $z_i^{\max}$ 决定类别归属。如果多类别之间互相争夺预测框，容易导致类别身份错乱。D2D 将未达标或已达标的类别集合定义为 $\mathbb{C}_{\ge}$，并筛选出主导预测属于该集合的框子集 $\mathbb{S}_{\text{bbox}} = \{(i,j) \mid 1 \le i \le n \land j = (\arg\max_{j'} z_i^{j'}) \in \mathbb{C}_{\ge}\}$。由此建立多目标判别损失： $$ \mathcal{L}{\text{D2D}}^{\text{multi}} = \sum{\text{bbox}}} \sigma(\beta \cdot (\tau_z - z_i^j)) \cdot (\tau_z - z_i^j) + \sum \sigma(\beta \cdot (z_i^j - \tau_z)) \cdot (z_i^j - \tau_z) $$ 该公式确保仅增强属于欠生成类别的最大 logit，同时对其余非最大分数以及属于过生成类别的框予以系统性抑制，实现了细粒度多物体计数的解耦调整。}_{\text{bbox}}

一个完整示例¶

假设用户给出提示词：“A realistic photo of a scene with 4 cups”（请求数量 $N=4$）。初始随机采样高斯噪声 $\mathbf{x}_T$ 送入冻结的单步扩散模型 SDXL-Turbo，初始图像渲染出 3 只杯子，此时属于“少生成”场景（Under-generation）。 1. 初始前向：目标检测器 OWLv2 对生成的图像进行检测，计算得到平滑计数估计值 $f_{\beta, \tau_z}(\mathbf{z}) = 2.85 < 4$。 2. 梯度计算：判别器触发少生成分支，在最接近检测阈值 $\tau_z$（对应概率 $\tau=0.2$）的候选框上计算提拉梯度，同时潜变量正则项 $\mathcal{L}_{\text{reg}}$ 监控潜变量偏离高斯球面的程度。 3. 噪声修正：梯度通过冻结的 SDXL-Turbo 生成网络反传至 LMN，更新参数 $\phi$。新生成的潜变量 $\mathbf{x}_T' = 0.2 \mathbf{x}_T + 0.8 M_\phi(\mathbf{x}_T)$ 引导模型在潜空间中原本特征微弱的区域形成杯子的几何边缘。 4. 迭代早停：经过约 15 轮步进优化，图像中平滑生成了第 4 只杯子，此时检测器输出的 $f_{\beta, \tau_z}(\mathbf{z})$ 达到整数 4，算法满足终止条件并即刻退出循环，总计耗时约 1.2 秒。

损失函数 / 训练策略¶

整个优化过程包含离线对齐（Pre-inference Alignment）与在线推理优化两个阶段：

1. 高斯流形保护正则项
为了防止参数更新使潜变量偏离标准正态分布，D2D 采用基于负对数似然的高阶惩罚： $$ \mathcal{L}_{\text{reg}}' = \frac{|\mathbf{x}T'|^2}{2} - (d-1) \cdot \log(|\mathbf{x}T'|) $$ 为了在近高斯区域保持充足的优化灵活性、而在剧烈偏离时施加极端陡峭的惩罚，正规化损失被提升为十次方形式： $$ \mathcal{L}}} = (a \cdot \mathcal{L $$ 其中缩放系数设定为 }}' + c)^{10$a = 0.03$，偏移常数 $c = 2139$（用于精准抵消实践中 $a \mathcal{L}_{\text{reg}}'$ 约 $-2139$ 的极值基线）。

2. 优化流程与关键超参数
- 离线先验对齐：对每个扩散底座仅需执行一次。在 100 个随机高斯潜向量上以学习率 $\eta=10^{-4}$ 训练 LMN 200 个 epoch，使初始权重输出对齐高斯分布。 - 在线两阶段推断： - 阶段 1（校准期）：面对全新未见的 $\mathbf{x}_T$，先利用 $\mathcal{L}_{\text{reg}}'$ 进行最少 $t_{\min}=70$ 步的快速微调（耗时约 0.2 秒，学习率 $\eta_{\text{calib}}=10^{-3}$），确保潜变量进入收敛良好的流形空间； - 阶段 2（计数优化）：联合执行梯度优化 $\phi \Leftarrow \phi - \eta \nabla (\alpha \mathcal{L}_{\text{D2D}} + \lambda \mathcal{L}_{\text{reg}})$，其中权重 $\alpha=5$、$\lambda=10^{-4}$，学习率 $\eta=5 \times 10^{-4}$，最大迭代步数 $K=200$（多目标或大数量任务为 $K=400$）。核心超参数固定为检测阈值 $\tau=0.2$、Sigmoid 陡峭度 $\beta=300$、潜变量混合权重 $w=0.2$。

实验关键数据¶

主实验¶

论文在三个主流单步/少步扩散骨干（SDXL-Turbo、SD-Turbo、Pixart-DMD）以及多步模型（SDXL、SD1.4、SD2.1）上进行了全面评测，涵盖四个评测基准：CoCoCount（200条单目标提示，数量2-10）、D2D-Small（400条低密度提示，数量1-10）、D2D-Multi（400条双目标提示）、D2D-Large（400条高密度提示，数量11-20）。评测统一使用 SOTA 计数模型 CountGD 提取准确率（%）。

底座模型与方法	CoCoCount Acc (%)	D2D-Small Acc (%)	D2D-Multi Acc (%)	D2D-Large Acc (%)
SDXL (Podell et al.)	24.88 ± 1.70	16.06 ± 1.86	2.44 ± 0.59	1.44 ± 0.38
+ Make It Count (CVPR 2025)	46.75 ± 2.10	30.00 ± 1.93	—	—
SDXL-Turbo (Sauer et al.)	27.38 ± 2.69	20.31 ± 1.95	2.12 ± 0.83	2.56 ± 0.55
+ ReNO (NeurIPS 2024)	41.88 ± 1.03	27.50 ± 0.68	5.31 ± 0.38	4.69 ± 1.25
+ TokenOpt (2024)	35.12 ± 0.75	23.31 ± 1.66	—	3.94 ± 0.72
+ D2D w/ YOLOv9 (本文)	52.75 ± 1.55	36.69 ± 2.40	6.25 ± 1.77	7.50 ± 1.06
+ D2D w/ OWLv2 (本文)	55.62 ± 2.72	43.69 ± 2.36	9.81 ± 0.97	9.94 ± 1.57
SD1.4 (Rombach et al.)	27.62 ± 4.11	16.69 ± 2.59	2.81 ± 0.31	2.12 ± 0.32
+ Counting Guidance (WACV 2025)	28.38 ± 1.11	17.12 ± 1.69	3.38 ± 1.16	1.88 ± 0.60
SD-Turbo (Rombach et al.)	20.88 ± 3.07	15.31 ± 0.87	2.56 ± 0.83	3.19 ± 1.18
+ ReNO	43.38 ± 3.47	32.06 ± 0.99	8.94 ± 1.76	4.25 ± 1.14
+ D2D w/ OWLv2 (本文)	48.38 ± 3.09	39.44 ± 2.37	10.75 ± 1.06	11.44 ± 1.98
Pixart-DMD (Chen et al.)	38.12 ± 2.32	27.88 ± 1.51	6.25 ± 0.46	3.19 ± 0.62
+ ReNO	44.75 ± 1.44	37.25 ± 1.70	9.44 ± 0.75	4.75 ± 0.74
+ D2D w/ OWLv2 (本文)	53.25 ± 2.40	41.25 ± 2.81	13.31 ± 1.36	7.62 ± 1.18

消融实验¶

1. 计数判别器形式与回归模型对比（基于 SDXL-Turbo）
下表对比了使用回归模型（RCC、CounTR、CLIP-Count）作为判别器、以及直接使用软计数函数 $f_{\beta, \tau_z}$ 与完整 $\mathcal{L}_{\text{D2D}}$ 损失的表现差异。

判别器方案 / 计数模型	CoCoCount Acc (%)	D2D-Small Acc (%)	D2D-Multi Acc (%)	D2D-Large Acc (%)
回归模型: RCC (Hobley et al.)	37.75	26.38	—	4.25
回归模型: CounTR (Chang et al.)	38.38	25.62	—	5.31
回归模型: CLIP-Count (Jiang et al.)	40.00	25.88	5.19	6.38
原始平滑计数: $f_{\beta, \tau_z}$ (OWLv2)	32.00	20.75	3.06	3.38
D2D 缩放损失: $\mathcal{L}_{\text{D2D}}$ (OWLv2)	55.62	43.69	9.81	9.94

2. 潜在修改网络 LMN 与初始生成修正率分析
下表对比在相同优化目标（$\mathcal{L}_{\text{D2D}} + \mathcal{L}_{\text{reg}}'$）下，采用直接潜向量梯度更新（ReNO 机制）与采用 LMN 参数化更新的各项生成质量与计数表现；右侧同时记录其对初始多生成/少生成样本的纠正率。

模块配置对比	CountGD (CoCoCount / Small)	ImageReward (Small)	PickScore (Small)	多生成修正率 (%)	少生成修正率 (%)	正确保持率 (%)
ReNO 机制（直接潜变量更新）	43.25 / 32.00	0.45	21.98	23.32	25.11	62.19
TokenOpt	35.12 / 23.31	—	—	13.28	25.24	69.92
D2D（引入 LMN 参数化优化）	53.88 / 42.44	0.52	21.99	40.13	41.83	72.57

关键发现¶

判别器梯度的致命瓶颈在于饱和平台：直接使用连续化计数函数 $f_{\beta, \tau_z}$ 作为梯度来源时准确率仅为 32.00%（甚至劣于 CLIP-Count 的 40.00%），证明 Sigmoid 两端的平缓区域几乎无法提供有效推力；而通过 $(z_i - \tau_z)$ 动态缩放构造的 $\mathcal{L}_{\text{D2D}}$ 一举飙升至 55.62%，验证了高曲率距离放大项的必要性。
LMN 结构显著拓展优化解空间：在相同的优化步数与损失函数下，LMN 比纯潜向量更新（ReNO 风格）高出 10.63 个百分点，且对多生成纠正率（40.13% vs 23.32%）与少生成纠正率（41.83% vs 25.11%）均呈现近两倍的提升，同时对初始正确的样本保持率高达 72.57%。
超参数敏感度：阈值 $\tau=0.2$ 和陡峭度 $\beta=300$ 为最佳组合；$\tau$ 过小会纳纳大量误检噪声，过大则截断潜在实体；混合权重 $w=0.2$ 在保持视觉真实感与计数可控性之间达到最佳平衡（$w=0$ 虽计数稍高但会产生明显的图像补丁伪影）。
计算开销与图像质量保持优异：D2D 平均单张推断时间仅 11.39 秒（YOLOv9）至 19.42 秒（OWLv2），相比基于跨注意力掩码重排的多步方法 Make It Count（37.16 秒且在 A100 上需要超 50GB 显存），显存极低且速度快 2-3 倍，ImageReward（0.51 vs 0.30）和 HPSv2 均反超基线。

亮点与洞察¶

将离散检测器升格为强梯度判别器：打破了学术界“外部引导判别器必须原生可微”的思维定势，巧妙地利用连续激活函数与有向距离惩罚，将成熟开词汇表目标检测器转化为梯度友好的计数指导网络。
以 LMN 替代潜变量直接更新：避免在单一样本的潜空间坐标中粗暴平移，而是通过微型 MLP 参数学习实现结构先验空间的低秩变换，兼顾了生成质量的稳定性与大范围拓扑修正能力。
高度互补性与跨架构普适性：D2D 不依赖特定的 UNet 或 DiT 跨注意力机制，可直接适配 SDXL-Turbo 与 Pixart-DMD；此外，将 D2D 优化后的随机种子输入 TokenOpt 或 ReNO，可在基线基础上进一步带来 13.63% 的二次增益。

局限与展望¶

高密度场景准确率仍有物理上限：在高密度基准 D2D-Large（数量 11-20）上，所有模型的准确率均发生断崖式下跌（SDXL-Turbo + D2D 仅为 9.94%），这是由于在拥挤密集遮挡下，不仅检测器自身性能退化，扩散模型潜空间的离散实体容纳能力也达到瓶颈。
缺乏细粒度空间布局控制：D2D 专注于数量修正，并不显式规定目标在画面中的空间排布坐标，无法实现精确的几何防重叠或指定空间关系。
未来方向：探索结合属性绑定（Attribute Binding）与开集检测器的联合可微判别器，同时解决“多物体数量”与“颜色/动作属性错配”的复合生成难题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将非可微目标检测器转化为平滑强梯度判别器，巧妙化解了文生图计数对齐的技术瓶颈。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流单步与多步模型、4 大复杂度基准、41 类常见物体以及详细的超参数/组件消融。
写作质量: ⭐⭐⭐⭐⭐ 动机严密自洽，数学推导直观清晰，实验图表详实且极具洞见。
价值: ⭐⭐⭐⭐⭐ 为扩散模型的可控生成、离散计数对齐及黑盒先验引导提供了极为实用的新范式。