DSH-Bench: A Difficulty- and Scenario-Aware Benchmark with Hierarchical Subject Taxonomy for Subject-Driven Text-to-Image Generation¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/sunriverhzy/DSH-Bench
领域: 图像生成
关键词: 主体驱动生成、文本到图像、评测基准、主体一致性、难度分级

一句话总结¶

DSH-Bench 用三级层级 taxonomy 采出 58 类 459 个主体、按"主体难度三档 × prompt 六场景"双轴切分并配 5,508 条 prompt，再用蒸馏自 GPT-4o 标注的 SICS 指标评主体一致性，从而把主体驱动 T2I 的评测从"一个总分"变成可分维度、分难度、分场景的诊断报告；在 19 个模型上的实测显示没有任何方法在所有类别上都稳，且所有方法在 hard 主体上都明显掉点。

研究背景与动机¶

主体驱动的文本到图像生成要在给定参考图和文字指令的条件下合成新场景，除了画质本身，还必须同时满足两条硬指标：主体保持（生成的图要留住参考主体的细节）和 prompt 跟随（画面要落到指令描述的内容上）。这几年方法侧进展很快——优化类方法（Textual Inversion、DreamBooth、Custom Diffusion、HiPer）为每个主体学一组轻量参数，编码器类方法（IP-Adapter、BLIP-Diffusion、SSR-Encoder、Emu2）用额外的图像编码器把参考图接进扩散过程，基于 Diffusion Transformer 的 OminiControl、UNO 则直接挖掘 transformer 自带的图像参考能力——但评测侧一直没有跟上，社区缺少一套既能对齐人类判断、又能给出细粒度诊断的协议。

现有基准的问题集中在三处。其一是主体多样性不足：DreamBench 只有 6 个类别、30 个主体，CustomConcept101 干脆没有非真实感主体，DreamBench++ 虽扩到 150 个主体，采集范围仍受限——按本文的统计，DSH-Bench 的 58 个类别里有 33% 在 DreamBench++ 的分布中完全缺席。主体分布不代表真实分布，评测结果自然带抽样偏差。其二，也是更关键的一点，既有基准没有把"主体本身有多难保持"和"prompt 场景有多复杂"这两件事拆开：本文的实测显示同一套模型在简单几何体（比如一个网球）上轻松复现、换成一个结构复杂的相机就守不住细节，而这些差异在汇总成一个平均分之后全部被抹平了。DreamBench++ 尝试按"感知难度"给 prompt 分类，但判据含糊、也没有对主体难度做任何刻画。其三是成本与可操作性：DreamBench++ 改用 GPT-4o 评主体一致性，对齐人类的效果确实比 CLIP/DINO 好，但单个模型评一遍要调用 GPT-4o 约 20,000 次、花费超过 400 美元，这个代价让"多基准交叉验证"或"训练中在线评测"都变得不现实。

于是本文的目标很明确：造一个主体分布更贴近真实、能把难度与场景解耦、并且评起来便宜到可以反复跑的基准。核心 idea：用三级层级 taxonomy 决定"采什么主体"、用"主体难度三档 + prompt 六场景"双轴决定"怎么切分案例"、再把 GPT-4o 的主体一致性判断能力蒸馏进一个 7B 的视觉语言模型当指标（SICS），使评测在保持人类对齐度的同时把成本降到可以负担的水平。

方法详解¶

整体框架¶

DSH-Bench 由三块组成。第一块是数据构建：先建立三级层级分类体系，由它派生关键词并从 Unsplash 检索图像，经美学分与 SAM 过滤、居中裁剪后，交给 GPT-4o 判定主体难度档位、由五位标注员复核，再由 GPT-4o 为每张主体图按六个场景各生成两条 prompt。第二块是评测维度：主体保持用本文提出的 SICS、prompt 跟随用 CLIP-T、图像质量用 HPSv2。第三块是排行榜：把三个维度的分数按权重压成一个综合分 \(S_h\)，并按它给 19 个模型排序。最终数据集规模为 58 个细粒度类别、459 张主体图、5,508 条 prompt，以及从层级分类、难度分级到场景划分的完整元数据。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["层级主体分类体系<br/>COCO + ImageNet 标签归并出 58 类"] --> B["关键词检索与图像过滤<br/>400 关键词 → 459 张主体图"]
    B --> C["难度三级分级与客观校验<br/>easy / medium / hard"]
    B --> D["场景化 Prompt 体系<br/>6 场景 × 2 条 = 5,508"]
    C --> E["19 个模型逐样本生成"]
    D --> E
    E --> F["SICS 主体一致性指标<br/>微调 Qwen2.5-VL-7B"]
    E --> G["CLIP-T 与 HPSv2<br/>文本对齐 / 图像质量"]
    F --> H["排行榜 Sh<br/>三维度加权调和平均"]
    G --> H

关键设计¶

1. 层级主体分类体系：用可追溯的三级 taxonomy 决定"采什么主体"，而不是让模型自由发挥关键词

主体不足和分布偏斜是既有基准的通病，而病根在采集环节——DreamBench++ 的关键词靠 GPT-4o 加人工零散给，覆盖面取决于提问者的想象力，本身就带偏。DSH-Bench 换成"先定分类、再派生关键词"的自上而下路线。第一级区分 Photorealistic 与 Non-photorealistic 两个域，并强制两边共享同一套子类，保证跨域可比；第二级把此前基准里笼统的 "Living" 拆成 Human 与 Animal，理由是人的主体对面部保真度的要求和其他类别完全不同，而动物的类内方差又特别大，混在一起会互相污染；第三级从 COCO 与 ImageNet 汇总候选标签、用 GPT-4o 归并成 58 个细粒度类别。这里的两个设计选择值得单拎出来：一是显式排除 CustomConcept101 那种抽象的 "Style" 类别，只做实体定制，避免"风格像不像"和"主体像不像"两种判据混在同一个分数里；二是把 Human 进一步拆成名人、面部特写、全身/半身三档，这样"模型是不是只是在名人脸上过拟合"与"模型能不能重建结构"就能被分开观察，而不是缠在一个分数里。落到数据上，58 个类别经 GPT-4o 扩充加人工补充、去重后得到 400 个关键词（多于 DreamBench++ 的 300 个），检索出的图再经三级分类体系的配额控制，最终得到 459 张主体图——类别数与主体数分别比 DreamBench 高 9 倍与 15 倍。

2. 难度三级分级与客观校验：让"难"有可操作的定义，并且能被与模型无关的指标验证

"这张参考图好不好保持"是一个模型侧的属性，直接按人来拍脑袋定档很容易变成循环定义——用模型表现定难度、再用难度解释模型表现。本文先给出一个基于图像本身复杂度的三档定义，再回头用客观指标验证它确实对应内在的图像复杂度。(1) Easy：表面复杂度极低、纹理同质，典型如颜色均匀的陶瓷马克杯，结构规整到几乎不构成细节保持的挑战；(2) Medium：存在可辨识的高频特征但整体结构仍然连贯，典型如印有清晰排版文字的圆柱形容器，需要中等程度的细节保持能力；(3) Hard：纹理分布不均匀且含多尺度几何细节，典型如带细粒度书法笔画的书籍封面，这类样本会同时暴露模型在结构保真与纹理粒度两方面的短板。分档由 GPT-4o 按上述判据给出，再由五位标注员全量复核以保证一致性。为了让"难"不只是模型依赖的启发式，本文对每一档随机抽 50 张图（独立跑 5 次），计算三个与模型完全无关的图像复杂度指标：Canny 边缘密度、GLCM 对比度、JPEG 比特/像素（质量因子 85）。三者在 Easy→Medium→Hard 上全部单调上升，与难度档的 Spearman 相关也都显著（边缘密度 \(\rho=0.367\)、\(p=3.2\times10^{-6}\)；GLCM 对比度 \(\rho=0.235\)、\(p=2.5\times10^{-3}\)；JPEG 比特/像素 \(\rho=0.260\)、\(p=1.3\times10^{-3}\)，数值见原文 Tab. 1）。这一步的意义在于：难度标签站得住，Tab. 4 里"所有模型在 hard 上掉点"的结论才不是自证。

3. 场景化 Prompt 体系：按应用场景切分 prompt，把"模型不会用"和"模型不知道该用什么"分开

DreamBench++ 按"感知难度"分 prompt，但没给判据，评出来的差异很难归因。本文改按应用场景划分为六类，每一类对应一种真实用户会提的请求：(1) Background change（BC）只改背景环境、主体属性保持不变；(2) Variation in subject viewpoint or size（VS）调整机位与视角，可能连带改变主体大小、光照与阴影；(3) Interaction with other entities（IE）要求主体与其他实体发生复杂交互，可能出现遮挡、并且必须满足物理合理性；(4) Attribute change（AC）修改主体的某些属性如颜色或形状；(5) Style change（SC）改变主体或场景的艺术风格；(6) Imagination（IM）把主体放进想象性的、现实中不存在的场景里。指令模板由 GPT-4o 生成（六个维度各写两条），全部 prompt 经五位标注员审阅以保证无伦理问题与缺陷，最终每张主体图配 12 条 prompt、合计 5,508 条。这套划分的价值在实验里兑现：整体分数上 BC→VS→IE 呈逐级下降的趋势，说明场景难度在这个维度上是可排序的；而 AC、SC、IM 三类在主体保持上的平均分偏低，原因也说得通——这三类场景本来就要求主体相对原图发生部分改变，主体一致性天然更难维持。如果没有场景切分，这两类现象都会被平均成一个看不出所以然的数字。

4. SICS 主体一致性指标：把 GPT-4o 的一致性判断能力蒸馏进一个 7B 视觉语言模型

这是本文在指标侧的贡献。CLIP、DINO、DreamSim 这类基于嵌入的方法算的是全局特征距离，背景和风格的差异会污染分数；DreamBench++ 换成 GPT-4o 判断，人类对齐度上去了，但每个模型要调用约 20,000 次 API、成本超过 400 美元，且 GPT-4o 并没有针对"主体保持"这一件事做过优化。SICS（Subject Identity Consistency Score）的做法是先定一套面向主体一致性的六档打分标准（0 完全不像、1 极低、2 低、3 中等、4 高、5 完全一致），要求评测者只看参考图中的主体、忽略背景与交互物体，并围绕形状结构、颜色纹理、大小比例、显著特征四个方面逐一比对；五位标注员按这套标准标注 5,000 对图文，且每对不只给分数、还要写一段解释——已有工作表明带解释的标注能让模型学到标签背后的推理逻辑，而不只是拟合分数分布。随后在 Qwen2.5-VL-7B 上做细粒度微调，并在微调提示中显式要求模型优先关注主体一致性而非全局语义，从而抑制背景与风格伪影带来的偏置。人类对齐度在 1,600 对与训练集完全不相交的留出集上用 Kendall's τ 与 Spearman 相关系数衡量，保证报出来的相关不是对训练数据的过拟合。这里用到一个量化关系：SICS 与人类判断的一致性比 GPT-4o 高出 KDV 相对 9.37%、SCV 相对 5.31%（在 Tab. 2 的 ALL 行上为 0.677 vs 0.619 与 0.734 vs 0.697）。

一个完整示例¶

以一张书籍封面的主体图（难度档 Hard）走一遍：它在分类体系里的路径是 Photorealistic → Object → Book，属于第三级 58 类中的 Book 类；由该类派生的关键词（novel、hardcover、book cover 等，来自 400 个关键词的全局池）到 Unsplash 检索到若干候选，其中画质不达标或主体区域占比过小的被美学分与 SAM 过滤掉，剩下的裁成主体居中的正方形参考图；GPT-4o 按"纹理分布不均匀 + 多尺度几何细节 + 细粒度笔画"判为 Hard，五位标注员复核后确认；接着 GPT-4o 为这张参考图在六个场景上各写 2 条 prompt（共 12 条，例如 BC 场景把它放到木质书桌上、SC 场景要求转成水彩风格），全部经标注员审阅。评测时模型对同一个参考图生成 12 张图，SICS 逐张与参考图比对给出 0–5 分并附解释，CLIP-T 与 HPSv2 分别给出文本对齐与画质分，三个维度再压成 \(S_h\)。同一张图在 Easy/Medium/Hard 三档上的分数差，正是实验里那条"难度越高掉得越多"曲线的来源；而同一张图在六个场景上的分数差，则暴露出该模型在 IE 与 AC 上的具体短板。

损失函数 / 训练策略¶

SICS 的"训练"是一次监督微调：输入是参考图与生成图组成的图像对，监督信号是五位标注员给出的 0–5 分档加上成段解释文本，底座是 Qwen2.5-VL-7B。提示中固定写入"只看主体、忽略背景与交互物体"以及四个比对维度，使模型把注意力压到主体的形状结构、颜色纹理、大小比例与显著特征上，而不是像 CLIP 那样被全局语义主导。评测协议本身不训练任何东西：主观维度三条（SP 由 SICS、PF 由 CLIP-T、IQ 由 HPSv2），综合分 \(S_h\) 由三者合成。

综合分的形式是加权调和平均：

\[S_h = \frac{\lambda + \gamma + \mu}{\lambda/\text{SP} + \gamma/\text{PF} + \mu/\text{IQ}}\]

其中 SP、PF、IQ 分别是主体保持、prompt 跟随、图像质量三个维度的分数，\(\lambda=1.5\)、\(\gamma=1.5\)、\(\mu=1\)——主体保持与 prompt 跟随各给 1.5 份权重、图像质量给 1 份，因为前两者才是主体驱动生成的核心指标。选调和平均而不是算术平均是刻意的：任一项偏弱都会把总分明显拉低，逼着模型在三个维度上都得站住。⚠️ 缓存 PDF 中 Eq. (1) 的文本层已损坏（抽取为乱码），上式按正文"加权调和平均 + 权重 λ/γ/µ"的描述补写；另外用 Tab. 4 列出的 SP/PF/IQ 按此式重算并不能精确复现表中 \(S_h\)（例如 Nano-Banana 重算约 0.358，表中为 0.272），说明原文公式的实际形式或数值归一化方式与此不同，⚠️ 以原文为准。

实验关键数据¶

主实验¶

实验覆盖 19 个模型，全部使用官方实现：10 个优化类/编码器类方法（Textual Inversion、DreamBooth、Custom Diffusion、HiPer、NeTI、BLIP-Diffusion、IP-Adapter、MS-Diffusion、Emu2、λ-Eclipse）、DiT 与统一生成类方法（OminiControl、UNO、OmniGen、ACE++、DreamO、SSR-Encoder、RealCustom++、FLUX.1 Kontext [dev]），以及闭源的 Nano-Banana。

表 1：DSH-Bench 排行榜（按综合分 \(S_h\) 排序；SP/PF/IQ 均已归一化到 0–1，数值取自原文 Tab. 4）

方法	T2I 底座	主体保持 SP	Prompt 跟随 PF	图像质量 IQ	\(S_h\)↑
Nano-Banana	-	0.439	0.337	0.302	0.272
FLUX.1 Kontext [dev]	FLUX.1 Kontext	0.424	0.319	0.288	0.256
UNO	FLUX.1-dev	0.409	0.323	0.278	0.252
DreamO	FLUX.1-dev	0.391	0.326	0.283	0.251
RealCustom++	SDXL	0.375	0.332	0.294	0.251
MS-Diffusion	SDXL	0.352	0.338	0.294	0.248
Emu2	SDXL	0.341	0.304	0.260	0.228
OminiControl	FLUX.1-schnell	0.258	0.334	0.290	0.218
ACE++	FLUX.1-dev	0.292	0.304	0.252	0.214
IP-Adapter	SDXL	0.256	0.292	0.266	0.199
λ-Eclipse	SDXL	0.229	0.315	0.242	0.198
OmniGen	SD v1.5	0.202	0.295	0.265	0.183
SSR-Encoder	SDXL	0.188	0.322	0.247	0.181
NeTI	SD v1.4	0.192	0.301	0.234	0.176
BLIP-Diffusion	SD v1.5	0.204	0.277	0.223	0.174
DreamBooth	SD v1.5	0.158	0.321	0.245	0.164
HiPer	SD v1.4	0.135	0.318	0.247	0.151
Textual Inversion	SD v1.5	0.109	0.299	0.225	0.129
Custom Diffusion	SD v1.4	0.062	0.323	0.240	0.091

表 2：同一批方法在三个基准上的三维度得分对比（DB: DreamBench，DB++: DreamBench++，HB: DSH-Bench；数值取自原文 Tab. 3，原文以粗体标出每行最小值，此处略去粗体）

方法	SP (DB)	SP (DB++)	SP (HB)	PF (DB)	PF (DB++)	PF (HB)	IQ (DB)	IQ (DB++)	IQ (HB)
BLIP-Diffusion	0.229	0.216	0.204	0.291	0.278	0.277	0.267	0.254	0.223
IP-Adapter	0.230	0.244	0.229	0.321	0.318	0.315	0.291	0.296	0.266
MS-Diffusion	0.316	0.346	0.352	0.332	0.339	0.338	0.311	0.314	0.294
OminiControl	0.279	0.268	0.258	0.325	0.337	0.334	0.312	0.308	0.290
DreamO	0.412	0.396	0.391	0.324	0.339	0.326	0.314	0.308	0.283
FLUX.1 Kontext [dev]	0.445	0.432	0.424	0.321	0.324	0.319	0.273	0.270	0.288
UNO	0.409	0.410	0.409	0.317	0.322	0.323	0.304	0.297	0.278
RealCustom++	0.377	0.380	0.375	0.325	0.329	0.332	0.316	0.314	0.298

消融实验¶

本文没有传统意义上的模块消融，替代它的是两组验证性分析：一是 SICS 与人类判断的对齐度验证（指标侧的核心证据，表 3），二是难度标签与模型无关图像复杂度指标的一致性验证（见"关键发现"）。

表 3：SICS 与人类判断的对齐度（KDV: Kendall's τ，SCV: Spearman 相关系数；H: Human，G: GPT-4o 评测，S: SICS；数值取自原文 Tab. 2）

方法	KDV H-G	KDV H-S	SCV H-G	SCV H-S
BLIP-Diffusion	0.354	0.531	0.383	0.554
IP-Adapter	0.419	0.622	0.459	0.657
MS-Diffusion	0.119	0.178	0.131	0.189
OminiControl	0.650	0.713	0.729	0.764
DreamBooth	0.647	0.692	0.705	0.740
NeTI	0.617	0.728	0.682	0.778
ALL	0.619	0.677	0.697	0.734

作为对照，CLIP/DINO 系列在同一批数据上的对齐度明显更低：ALL 行上 H-CLIP-B 的 KDV 仅 0.416、H-CLIP-L 0.411、H-DINO 0.350、H-DINOv2 0.376，均远低于 GPT-4o 的 0.619 与 SICS 的 0.677。

关键发现¶

SICS 是本表最强的主体一致性代理指标，但并非处处第一。 在 ALL 行上它把与人类判断的 Kendall τ 从 GPT-4o 的 0.619 提到 0.677（相对 +9.37%）、Spearman 从 0.697 提到 0.734（相对 +5.31%）；在几乎全部方法上都优于 CLIP、DINO 与 GPT-4o。但正如原文说明的，在 MS-Diffusion 与 OmniGen 上 SICS 只排到第二，说明它不是一个可以无脑套用的万能指标。另一个值得注意的对照是 GPT-4o 本身：它的一致性明显高于 CLIP 与 DINO（0.619 vs 0.416/0.411/0.350），这与 DreamBench++ 的结论一致——正因为 GPT-4o 足够强，把它蒸馏成 7B 模型才有意义。
DSH-Bench 确实更难，但"更难"体现在主体保持和画质上，不一定在 prompt 跟随上。 表 2 中绝大多数方法在 SP 与 IQ 上都是 DB > DB++ > HB，说明层级 taxonomy 采样后的分布更接近真实分布、也更难。PF 则出现例外：对某些方法 DreamBench 反而略低。原文给出的解释是 prompt 构成差异——DreamBench 中 attribute change 类占 22.7%，高于 DSH-Bench 的 16.7%，而所有方法在 AC 场景上的平均表现都偏差，所以 DreamBench 的 PF 被这个类别拉低了。这也提醒读者：跨基准比较 PF 分数时要先对齐 prompt 的场景构成。
主体难度直接决定主体保持水平，但对 prompt 跟随几乎无影响。 按难度分档看，SP 随 Easy→Medium→Hard 明显下降（Fig. 8a），这既验证了难度分档的有效性，也说明细节重建仍是当前模型的硬伤。PF 却在三档之间基本持平，原文归因于 CLIP-T 主要看整体语义：只要生成图把类别和大致形状画对，即使细节没抓住，分数也不会明显掉。这个解释同时暴露了一个隐含问题——CLIP-T 作为 prompt 跟随指标对细节不敏感，它答对的是"画的是不是这类东西"，不是"有没有按指令改对"。
难度的客观校验通过。 每档随机 50 张图（独立 5 次）上，Canny 边缘密度（0.024→0.048→0.053）、GLCM 对比度（3.71→4.07→5.28）、JPEG 比特/像素（0.71→0.91→0.96）三项与模型无关的指标都随难度单调上升，且 Spearman 相关全部显著（p < 0.01）。这说明难度标签反映的是图像内在复杂度，而不是用模型表现反推出来的循环定义。
没有一个方法在所有类别上都稳。 按 58 个第三级类别细分后（Fig. 8c），各方法在不同类别上的表现差异很大，Book 类（真实感与非真实感两边）普遍偏低。原文的解释是类别间主体复杂度不同，推论则是：如果某个基准的类别构成碰巧避开了这些"硬骨头"，它的排名就会系统性偏乐观，这正是需要层级 taxonomy 采样的理由。
场景难度的排序是 BC < VS < IE。 六个场景的平均分显示，BC、VS、IE 三个场景在所有三个评测维度上都呈递减趋势，IE 比 BC 更难——这与直觉一致（IE 要求主体与其他实体交互、需要处理遮挡与物理合理性）。AC、SC、IM 则在主体保持上整体偏低，因为这三类场景本身就要求主体发生部分改变。原文据此建议：后续工作应重点加强 IE 场景的能力，例如针对这类上下文增加训练数据。
主体保持与 prompt 跟随之间存在此消彼长。 表 1 里 SP 最高的 Nano-Banana（0.439）其 PF 并非最高，而 PF 较高的一批 SDXL 系方法 SP 普遍偏低；原文用表 1 数据画了 Pareto 前沿来观察这一权衡。综合分用调和平均也是出于这个考虑——它要求两者同时站住，而不是让某一项的高分掩盖另一项的塌陷。
闭源模型并未解决问题。 Nano-Banana 综合分最高（0.272），但在具有挑战性的类别上仍有明显提升空间，说明 DSH-Bench 对当前最强模型依然构成挑战。

亮点与洞察¶

把"难"从一个形容词变成可验证的标签，是这个基准最扎实的一步。 难度分档最容易被质疑的点就是循环论证，本文用三个与模型完全无关的图像复杂度指标（Canny 边缘密度、GLCM 对比度、JPEG 比特/像素）回头检验分档的单调性与统计显著性，把一个主观判断锚到了客观测量上。这套"先按人为判据分档、再用无关指标验证"的做法可以迁移到任何需要给数据分难度的基准构建里，比如视频生成的任务复杂度分级、长文档理解的难度分层。
"拆分轴"比"堆数据量"更能产出洞见。 DSH-Bench 的主体数（459）并不比一些大基准高出一个量级，但因为它把难度与场景做成了两条正交的切分轴，才能得出"SP 受难度影响大、PF 基本不受影响"这种单一平均分永远得不到的结论——而这条结论直接指向 CLIP-T 作为 prompt 跟随指标对细节不敏感这一度量缺陷。评测基准的价值不在于分数表有多长，而在于它能解释分数从哪来。
SICS 展示了"评测能力蒸馏"这一范式的性价比。 用五位标注员的 5,000 对带解释标注 + 微调一个 7B 视觉语言模型，就把 GPT-4o 的判断能力（KDV 0.619 → 0.677，相对 +9.37%）以可反复调用的形式固化下来，替代了每模型约 20,000 次 API 调用、超过 400 美元的评测开销。带解释的标注（而不只是分数）是关键——它让模型学到判据而非分布，这个技巧换到任何"用大模型当裁判"的场景都适用。
显式排除 Style 类别、把 Human 拆成三档，是两个容易被忽略但很值的设计。 前者避免了"风格像不像"污染"主体像不像"的判据；后者把名人过拟合与结构重建能力解耦，让"模型是不是只记住了名人脸"这类问题第一次可被单独观测。

局限与展望¶

只做单主体。 原文明确把范围限定在单主体设定，理由是单主体是主体驱动生成的基石、且模型在单主体上尚未饱和，多主体留作后续。但多主体在实际使用中同样常见，主体间的交互、遮挡与属性串扰是单主体评测完全覆盖不到的失效模式，这个缺口需要后续补齐。
混合了优化类与零样本类方法，公平性需要 caveat。 表 1 里 Textual Inversion、DreamBooth、Custom Diffusion 等方法是为每个主体做测试时微调的，而 IP-Adapter、UNO、FLUX.1 Kontext 等是免微调的前馈方法；两类方法在推理成本、可扩展性上的差异很大，单看 \(S_h\) 排名容易把"愿意为每个主体付多少代价"这个变量忽略掉。原文用官方实现保证了实现层面的一致，但没有按方法类型分组呈现。
SICS 的泛化边界没有被检验。 微调数据是 5,000 对、留出集是 1,600 对，两者来自同一批标注员、同一套判据、同一批生成模型分布。当被评模型换成与训练数据分布差异较大的生成器（例如输出风格迥异的自回归图像模型）时，SICS 是否还能维持这个对齐度是未知的；而且 SICS 输出的是 0–5 的离散档位，对"轻微差异"的分辨率受档位粗细限制。
难度的三档定义仍依赖文本判据 + GPT-4o 打标。 客观指标验证的是"分档与图像复杂度单调相关"，但没有回答档间边界是否唯一确定——同一张图由不同判断者按"高频特征是否可辨识"来分，仍可能落到相邻档位。原文用五位标注员全量复核缓解了这一点，但没有报告标注一致性（如 Cohen's κ），读者无法判断边界稳健程度。
缺失的消融。 论文没有做 SICS 的组件消融（比如去掉解释文本、换更小底座、减少标注量分别掉多少），也没有报告 \(S_h\) 权重 λ/γ/µ 的敏感性。对以"指标设计"为核心贡献之一的工作来说，这部分的缺席让 SICS 的有效性来源（是解释标注、还是 7B 底座、还是提示设计）无法归因。
可改进方向。 一是补一个难度分档的标注一致性报告与边界敏感性分析；二是做 SICS 的组件消融，明确带解释标注的增益；三是按"测试时微调 / 免微调"分组重排榜表，把部署成本作为一列显式列出；四是把难度与场景两条轴扩到多主体设定上，此时"难度"恐怕要从主体的复杂度扩展到主体间关系的复杂度。

评分¶

新颖性: ⭐⭐⭐⭐ 三轴设计（taxonomy / 难度 / 场景）与 SICS 蒸馏都是对既有基准的实质性补强，而非简单扩数据；单看任何一项都有先例，组合起来的诊断能力是新的。
实验充分度: ⭐⭐⭐⭐ 19 个模型、覆盖优化类到闭源模型，人类对齐用留出集严格验证；但没有 SICS 的组件消融，也没有权重敏感性分析。
写作质量: ⭐⭐⭐⭐ 设计动机讲得清楚、每个切分轴都给了判据与对应结论，难度标签的外部校验尤其加分；部分图表（如 Fig. 8c 的雷达图）在原文中可读性一般。
价值: ⭐⭐⭐⭐⭐ 对做主体驱动生成的团队是可直接上手的诊断工具，SICS 与"难度分档 + 客观校验"的方法论价值超出本任务本身。