PIPBench: A Profile-Inclusive Framework for Personalized Image Generation Evaluation¶

会议: ECCV2026
论文: ECCV 原文
项目: PIPBench
领域: 图像生成
关键词: 个性化生成、用户画像、合成用户、偏好评测、条件融合

一句话总结¶

PIPBench 将心理与生活画像纳入偏好数据构建和评测，以 1,369 个测试样例比较个性化图像生成方法，发现强 VLM 的文本条件融合优于所测直接参考图方案，但偏好对齐仍会牺牲指令忠实度。

研究背景与动机¶

常规文本到图像模型能够响应“画什么”，却不一定知道“这个用户喜欢怎样画”。短提示通常只包含主体或场景，色彩、构图、情绪与风格则由模型自行补全。即使用户给出了几张喜欢的图片，直接复制某张参考图的风格或内容，也不等于理解跨图片稳定存在的审美倾向；这种倾向还可能随情境变化，而非对应一个固定风格标签。

已有研究尝试逐用户微调、参考图条件注入或基于历史提示的改写，但评测常依赖孤立图片、评论或特定领域交互。缺失完整用户背景时，很难判断模型学到的是用户偏好，还是参考图中的偶然物体。心理特征和生活经历提供了另一类线索，不过它们与视觉偏好的关系应视为关联先验，而不是决定个人审美的硬规则。

本文据此构建真实用户与合成用户互补的数据：前者提供人工确认的喜好，后者扩展画像分布并产生训练样本。核心 idea：用画像组织多样而连贯的偏好图像集合，再用画像感知评测判断生成结果是否贴近特定用户，而不只比较它与某张图片有多相似。

方法详解¶

整体框架¶

PIPBench 的主要贡献是基准与数据构建协议，而不是一个新的图像生成主干。流程先定义画像，收集真实用户并采样合成用户，再生成画像条件候选图像，最后形成参考图、短提示与留出目标图组成的测试样例。

数据构建会使用画像，画像感知裁判也会看到画像；但标准生成任务的输入是短提示 \(X\) 和至多 \(K\leq5\) 张偏好参考图 \(\{I_k\}_{k=1}^{K}\)，不是完整问卷。待测模型需要生成同时满足提示内容和隐含审美的图像 \(Y\)。区分这两个信息入口，才能准确理解“profile-inclusive”的含义。

评测覆盖逐用户测试时微调、直接联合条件、VLM 条件融合和分离条件四类方法。作者还利用合成数据训练提示改写器与偏好压缩器，检查该数据构建方式能否改善真实用户上的表现。

关键设计¶

1. 画像定义与采样：将隐含偏好的来源纳入数据空间

画像同时覆盖心理测量和个人情境。心理部分包括 Big Five 中与审美相关的开放性、用于估计开放性的 TIPI、Schwartz 价值观、描述颜色经验关联的 EVT，以及描述效价和唤醒度的 CMA；个人情境包含学科背景、居住与生活方式、数字内容接触、兴趣和服饰偏好。这些字段为生成候选图像提供关联线索，而不是要求模型仅按“暖色”“油画”之类显式标签取样。

真实画像通过 19 项在线问卷收集，其中包含上传喜好图片的项目，筛选后得到 134 份有效响应。合成画像则从统一 schema 随机采样，并通过硬、软两类规则检查：硬冲突立即拒绝，软冲突累积惩罚。检查涉及评分一致性、价值观对立、跨领域行为一致性，以及 AI 使用与视觉消费行为的相容性。

为避免不断生成近重复人物，算法 1 比较候选画像签名与最近 200 个已接受画像签名的 Jaccard 相似度。接受条件可按原算法写为：

\[ \operatorname{penalty}(x)\leq\tau_{\mathrm{conf}},\qquad \max_{s\in\operatorname{Sig}(D_{\mathrm{agents}})_{\mathrm{last}\,200}} \frac{|\operatorname{Sig}(x)\cap s|}{|\operatorname{Sig}(x)\cup s|} \leq\tau_{\mathrm{jac}}. \]

这里签名是用于比较画像属性的集合表示，不是图像特征。图 2 标注相似度过滤为 42%，但主文没有完整展开签名编码和全部阈值设置；实现时仍需查补充材料，不能仅凭这条公式复现整个生成器。

2. 画像条件偏好集：先产生候选，再区分人工与自动选择

LLM 采用三阶段推导：先把人口与生活属性组织成个人叙事，再借心理框架推测认知和情绪倾向，最后生成符合画像的图像提示空间。输出经解析、去重后，每位用户最多保留 20 条风格连贯的扩展提示，交由 Qwen-Image 等扩散模型生成候选图像。这样，同一用户的喜好可以覆盖多个主题，而不必在一张参考图上反复变体。

真实用户从候选中选择 6–8 张喜欢的图片，也可额外上传图片，质量控制后形成 76 条校准用户记录。合成用户则按美学分数自动排序并选图。二者不能混称为真实人类偏好：合成部分的个性化首先来自画像条件候选空间，后续自动美学排序不等同于该人物亲自作出的选择。

每个测试样例从偏好池抽取至多 5 张参考图，并另留一张目标图 \(Y_{\mathrm{gt}}\)；VLM 为目标图生成只描述主要视觉内容的短提示 \(X\)。短提示刻意不直接写出全部审美条件，迫使模型从参考图中提炼喜好。目标图用于构造样例，不能误认为主结果中的 CLS-R 等指标都只与这张目标图比较。

最终数据包含 251 个用户或合成用户、1,876 张图片和 1,369 个测试样例。合成部分为 175 个用户、1,231 张图、719 个样例；真实部分为 76 个用户、645 张图、650 个样例。样例数与图片数不同，不能把测试样例数量当成独立用户数量。

3. 混合评测：把提示忠实度、参考图对齐和人物偏好分开测量

CLS-T 是生成图与短提示的 CLIP 相似度，用来检查“画什么”是否仍正确。CLS-R、DIS-R 分别报告生成图与参考集合的平均 CLIP、DINO 相似度，LPIPS-R 则报告对应平均感知距离。CLS 和 DIS 乘以 100 展示，越高越好；LPIPS 越低越好。这些指标能检测视觉条件是否被利用，但不能单独证明用户会喜欢结果。

真实用户子集额外采用画像感知 Elo：裁判拿到完整画像，以该用户身份比较两张生成图，并判断哪张更符合其审美。图像顺序随机交换以缓解位置偏差，GPT-5、Gemini 2.5 Pro、Qwen3-VL 分别给出判决；每位裁判的判决单独进入成对比较记录，不先多数投票丢弃分歧。

作者报告抽样判决与人工标注约 91% 一致，又对表 1 中前四个模型抽取 100 个案例让人选择最佳输出，得到大致一致的排序。这里的 91% 是裁判一致性，不是生成成功率；100 案例用户研究也不是覆盖全部 650 个真实用户测试样例。

4. 偏好编码比较：区分文字改写与直接视觉条件注入

无偏好基线直接用 Qwen-Image 生成；DreamBooth 在每位用户参考集上测试时微调。联合条件方案用 Qwen-Image-Edit，分别随机取 1 张或 2 张参考图。VLM 条件融合则让 GPT-5、Gemini 或不同规模的 Qwen VLM 同时理解短提示与多张参考图，将偏好写入扩展文本，再交给同一个 Qwen-Image。GPT-5 在此充当改写器，而不是直接生成图片。

分离条件方案以 Fabric 为代表，但它使用较弱图像主干，作者明确提醒不能把该行低分解释成整个分离条件范式失效。针对可训练方案，指令微调直接学习从参考图和短提示恢复原始扩展提示；另一条偏好压缩路线先由 VLM 提取紧凑偏好 token，再通过轻量交叉注意力压缩多图特征，经块内适配器注入 DiT。为了控制 VLM 使用成本，压缩路线不再叠加文本扩写。

损失函数 / 训练策略¶

指令微调采用 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，监督信号是生成目标图片时使用的原始扩展提示 \(E\)，输入则是短提示 \(X\) 与参考图。训练数据完全来自合成用户，真实用户结果因此用于检验跨数据来源的迁移，而非在真实用户上训练后再报告拟合效果。

偏好压缩比较冻结 VLM、仅训练投影侧，以及解冻 VLM 的可学习配置。主文给出了结构与训练目标的文字说明，但学习率、训练步数、优化器、训练集具体规模和压缩器精确结构均转交补充材料 D、E；当前全文缓存不含这些附录，不补写未经核实的参数或损失公式。

实验关键数据¶

主实验¶

下表摘录原论文表 1 的真实用户子集；除另有说明的 Fabric 外，条件融合与主要基线围绕 Qwen-Image 比较。所有指标的方向与原表一致。

方法	CLS-T ↑	LPIPS-R ↓	CLS-R ↑	DIS-R ↑	Elo ↑
no-preference	32.677	0.7448	62.761	12.099	1427
DreamBooth	31.756	0.7265	63.751	12.720	1452
Qwen-Image-Edit (1-Ref)	31.048	0.7209	65.802	18.459	1521
Qwen-Image-Edit (2-Ref)	30.559	0.7511	65.023	16.821	1354
GPT-5 条件融合	30.550	0.6867	69.574	22.160	1765
Gemini2.5-Pro 条件融合	30.403	0.6910	69.174	20.090	1615
QwenVL2.5-70B 条件融合	29.797	0.7092	66.835	20.282	1531

GPT-5 条件融合相对无偏好基线提升 338 Elo，但 CLS-T 从 32.677 降到 30.550。多给一张参考图也未必有益：Qwen-Image-Edit 的 Elo 从 1521 降到 1354，说明当前模型并不能稳定综合多张参考图。

消融实验¶

原论文表 3 的真实用户结果展示了训练与冻结策略的影响；下表只选代表配置，不把不同参数量混作同一消融。

配置	CLS-T ↑	LPIPS-R ↓	CLS-R ↑	DIS-R ↑	Elo ↑
QwenVL2.5-7B，未微调	30.510	0.7320	65.460	17.275	1492
Qwen2.5VL-7B-finetuned	31.588	0.6901	66.350	17.013	1597
Learnable Compressor	31.994	0.7270	65.264	14.528	1534
Frozen Compressor	29.254	0.7248	63.612	11.883	1318

微调 7B 模型提高 Elo 和 CLS-R，但 DIS-R 从 17.275 小幅降到 17.013；解冻压缩路线提高多项得分，LPIPS-R 却从 0.7248 变为 0.7270。因此不能把“整体改善”写成“所有指标都改善”。

原论文表 4 控制生成数据的规模和复杂度，以同一 Qwen2.5-VL-7B 比较两种训练数据来源，测试均在真实用户集上。

训练数据构建方式	CLS-T ↑	LPIPS-R ↓	CLS-R ↑	DIS-R ↑	胜率 ↑
profile-free，仅显式审美标签	32.251	0.7192	64.596	13.574	47.6%
profile-inclusive，完整画像	31.588	0.6901	66.350	17.013	52.4%

画像数据训练的 DIS-R 提高 3.439，胜率为 52.4%，但 CLS-T 仍较低。这个优势支持画像数据有用，却不足以说明它完全替代了真实用户数据。

关键发现¶

表 2 固定 GPT-5 改写器后，Qwen-Image、Flux、SDXL 的真实用户 Elo 分别为 1603、1503、1394；由于参赛方法集合变化，不与表 1 的 1765 直接相减。
第 4.5 节的偏好集质量人工评分采用 1–5 分量表，画像方案为 3.61，纯标签方案为 3.28；这是数据质量评分，不是生成模型 Elo。
真实用户通常比合成用户更易对齐是作者对当前样本分布的观察，不能外推成所有人类偏好都比合成人物简单。

亮点与洞察¶

画像让“同一用户喜欢多种画面”成为可设计的数据属性，而非被当成噪声剔除。这为同时保留用户内部多样性和用户之间差异提供了可检验路径。
生成器与裁判获得的信息不同，是本基准的关键设计。生成器从历史图像推断喜好，裁判借画像检查这种推断是否合理。
把 CLS-T 留作忠实度诊断比仅追求一个偏好总分更有价值。未来方法应明确区分稳定审美线索与参考图中偶然出现的主体。

局限与展望¶

作者承认真实用户分布偏斜且后续参与成本高。第 3.2 节记载 134 人中有 68 人拒绝后续选择，第 3.3 节却报告最终 76 人；主文未交代两阶段统计差异，不能自行补出招募或回流解释。
参考图主要由 Qwen-Image 生成，对同主干的自动相似度指标存在优势；作者也在第 4.3 节承认这一点。画像 Elo 有助于补充判断，但并未证明完全消除生成来源偏差。
合成画像依赖心理关联规则，自动选图又依赖美学评分器。笔记判断：两者可能固化刻板关联，应以跨群体真实反馈和不确定性评估验证，不能将合成用户覆盖度等同于真实代表性。
图 4 显示单参考编辑可能近似复制参考图，GPT-5 融合也可能引入参考中仅出现一次的机器人而违背提示。偏好抽象与内容保持仍未解决。
缓存缺少附录训练细节，约 91% 裁判一致性也不能直接证明每种用户画像上的可靠性；复现及群体差异分析需要补充材料和分层人工验证。

评分¶

新颖性: 4/5，画像参与的数据协议比单一显式风格标签更丰富，主要创新在评测与数据构建。
实验充分度: 4/5，覆盖四类条件范式、可训练路线和画像消融，但真实用户规模与来源偏差仍限制结论。
写作质量: 4/5，任务和对比组织清楚，参与人数统计及跨表 Elo 解释需要读者谨慎核对。
价值: 4/5，为个性化生成提供了兼顾偏好、忠实度和数据来源的诊断框架。