Zero-Shot Image Personalization from Personas¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成 / 用户偏好个性化
关键词: 零样本个性化、自然语言画像、图注意力网络、提示词改写、多元偏好对齐

一句话总结¶

ZIPP 将自然语言用户画像作为可解释的偏好条件，让大语言模型通过角色扮演改写图像提示词，并用视觉对齐的社交图编码器挖掘画像；它无需逐用户微调即可改善个性化生成，但“零样本”指画像给定后的生成接口，不代表画像构建完全不需要用户数据。

研究背景与动机¶

通用文生图模型能画出符合提示词、整体审美不错的图像，却不一定符合具体用户的期待。同样是街景，有人想要饱和色彩与热闹构图，有人更喜欢颗粒感、自然光与胶片气质。这里的个性化也不同于 DreamBooth 一类“把某个人或物体画得像”的主体定制：论文关心的是跨主题、跨场景的审美倾向，而不是某个固定身份或视觉概念的复现。

现有用户级方法通常从历史提示词、喜欢与不喜欢的图像、细致反馈中学习偏好。Tailored Visions（TV）检索少量历史提示词，DrUM 为用户训练适配器，ViPer 提取视觉偏好属性；这些方式都要求先积累反馈，而且容易把“此用户曾经喜欢的某种风格”当成所有场景通用的规则。实际上，一个人喜欢低饱和人像，不等于也喜欢低饱和街头摄影。冷启动缺少历史与同一用户的偏好随语境变化，是本文同时关注的两个问题。

自然语言画像提供了一种中间表达：不把用户压缩成单一风格向量，而是描述其兴趣、文化背景、视觉倾向与情绪气质，再让语言模型结合当前场景选择相关部分。画像可以来自现成描述或问卷，也可以由本文的社交图挖掘管线获得。核心 idea：先用行为与视觉信号筛出有代表性的用户画像，再让语言模型“站在这个用户的视角”改写提示词，而不是把画像中的身份属性直接塞进画面。

方法详解¶

整体框架¶

论文将整体范式称为 ZIPP，将实验中的提示词改写实现称为 ZIPPY，二者不是两套独立算法。完整管线依次经过视觉对齐图编码、注意力引导画像和角色扮演改写：前两步从用户—社区交互中构建自然语言画像，最后一步输入画像与原始提示词，输出供下游文生图模型使用的个性化提示词。

这包含两个不同的使用边界。规模化挖掘阶段要训练共享图编码器，也需要用户的帖子、评论及部分配图；在线生成阶段只需已有画像与当前提示词，不更新用户专属模型权重。如果用户直接提供画像，可以绕过前两步。因此，“零样本生成”是对生成阶段所需偏好样例与逐用户训练的约束，而不是对整个数据管线宣称零历史、零训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["社区交互<br/>帖子、评论与配图"] --> B["视觉对齐图编码"]
    B --> C["注意力引导画像"]
    C -->|自然语言画像| D["角色扮演改写"]
    P["原始提示词<br/>可直接提供画像"] --> D
    D --> E["改写提示词<br/>文生图模型生成图像"]

关键设计¶

1. 视觉对齐图编码：同时学习用户参与哪些社区、分享什么视觉内容

社交行为数量不等于偏好信息量：大型社区、重度用户可能占据大量交互，但不一定最能解释审美。因此，论文把 Reddit 用户和 subreddit 建成二部图，以发帖及评论次数构成边特征，对活动量做对数压缩与用户、社区度数归一化，降低流行度影响，并过滤贡献极少活动的尾部社区。社区节点用描述文本的 text-embedding-3-large 向量初始化，用户节点以小幅高斯噪声初始化；节点与边投影到隐空间后，经两层 GATv2、每层四个注意力头，把邻居社区信息聚合到用户表示。社区文本使表示不仅依赖用户 ID，也带有可迁移的兴趣语义；作者据此将其作为面向新用户的归纳式编码器，而非为每位用户重新训练一套参数。

仅学习用户与社区之间的连边，可能得到“讨论什么”的表示，却未必抓住“喜欢看什么”。论文因此使用双重对比监督：用户—社区项把真实交互配对拉近，并以其他社区作为负例；ImageAlign 项进一步把用户向量与其发布图像的 CLIP 表示对齐，仅在有相应视觉数据的用户上计算。注意力块前使用 LayerNorm，输出向量做 L2 归一化，以余弦几何服务对比学习。这里的视觉信号是历史行为的代理监督，并不是直接观察用户对最终生成图像的满意程度；它能加强审美关联，但不能保证发过的每张图都代表用户稳定偏好。

2. 注意力引导画像：把有限文本预算留给有代表性的行为证据

图编码器不是直接给扩散模型输入一个隐向量。它提供用户邻域中各社区的注意力权重，论文将其聚合、归一化后，用作社区重要性的分布。画像构建有固定的 4,096 token 内容预算，按归一化权重给高权重社区分配份额；各社区内再按得分选取用户的帖子与评论，去重并过滤删除内容。于是，画像的证据来源既受全图学到的相关性约束，也有用户实际表达作为依据，而不是简单挑交互次数最多的社区。这个预算约束针对送给画像生成器的行为文本，不是最终画像必须达到的长度。

采样内容交给多模态大语言模型，通过结构化提示生成简洁、连贯的自然语言描述，概括兴趣、审美与交流习惯。图的作用主要是决定“读哪些证据、分配多少上下文”，语言模型的作用是把零散证据归纳成人可读的偏好先验。例如，在胶片摄影社区活跃、反复赞赏颗粒和自然光的用户，可以被描述为偏好黑白胶片、自然照明与复古色调的摄影爱好者。注意力本身不是用户偏好的因果解释，推断出的身份属性也不应被视作核实过的事实；自然语言形式的价值在于用户可以检查、纠正或删除这些内容。

3. 角色扮演改写：把画像解释成审美视角，而不是场景中的实体

得到画像后，论文不将“你是某地的历史学者、喜欢古典艺术”直接拼接到扩散模型的场景提示词里，而是先把它作为角色设定交给语言模型。以 GPT-4o 为例，模型接收“你是一位偏好……的人”的条件，从这个人的视角重写基础提示词，再让文生图模型执行改写结果。差别在于，用户的职业或文化兴趣应影响材质、光线、构图和语义细节，而不一定要求画面里出现该职业的人物。原文称直接拼接在四个基准上都弱于无画像基线，但对应附录数表不在当前缓存中，因此这里不补写具体差值。

角色扮演也让同一画像可以随当前提示词启用不同偏好侧面，而不是给所有场景套同一套色调词。这是作者解释“用户内多元偏好”改善的机制：自然语言画像保存多方面先验，改写器负责依据语境选择。输出仍是普通文本提示词，不需要修改下游生成模型的参数；但这也意味着最终效果依赖语言模型是否理解画像、是否保留原始主题，以及文生图模型是否能忠实实现新增细节。论文发现某些模型会过度个性化，说明添加更多偏好元素不必然更好。

一个完整示例¶

原文用佛罗伦萨历史学者的画像说明了生成端的工作方式。输入基础提示词是“一张舒适的木桌，上面放着一本打开的书”，画像强调古典艺术、历史氛围与叙事感。

角色扮演改写不会机械地增加“桌旁必须有一位历史学者”，而是将这些兴趣转换成风化材质、柔和低饱和色调、具有年代感的环境等视觉细节，再把改写文本交给文生图模型。这里的目标是改变用户会在意的呈现方式，而不是替换“桌子和书”这一主题。

若画像来自社交数据，则它先经过社区加权取样与语言归纳；若用户已直接给出同样的描述，生成端可以从改写这一步开始。这个例子说明管线如何串联，不是额外的定量实验，也不能证明推断出的历史学者画像一定符合真实用户。

损失函数 / 训练策略¶

共享图编码器采用用户—社区与用户—图像两个对比目标，后者权重设为 1.0：

\[ \mathcal{L}=\mathcal{L}_{u,s}+\lambda\mathcal{L}_{u,\mathrm{img}},\qquad \lambda=1.0. \]

用户—社区项采用 InfoNCE 式批内交叉熵，将对应社区作为正例、批内其他社区作为负例；用户—图像项沿用配对对齐思路。两项分别约束社交结构和视觉行为，使后续取样所依赖的注意力不只解释文本兴趣。原文同时提到邻近负例采样，但更细的采样流程在未收录的附录中，不能据当前正文完整还原。

训练侧明确给出社区初始化向量为 3,072 维、LeakyReLU 斜率为 0.2；未能从缓存核实训练轮数、学习率及完整生成采样设置。缓存中的公式排版有损坏，因此这里只保留正文可以明确确认的总损失，不猜补 GAT 展开式或边权中稳定项的精确位置。

少样本版本在改写阶段加入上下文样例，而不是增加逐用户梯度更新。主表比较了 3-shot、5-shot；具体样例组织与解码模板被正文指向附录，本缓存未包含这些细节。对于外部数据集，画像来源也不统一：PIP 用用户历史提示词的 CLIP 文本表示检索画像，余弦阈值为 0.7，覆盖 89% 的用户；RapidData 与 MovieLens 直接使用人口属性和职业。因此，PIP 的“零样本”行不能被理解成完全没有访问用户历史。

实验关键数据¶

主实验¶

ZIP-Bench 将约 1,500 位 Civitai 用户与其 Reddit 行为关联，包含约 40,000 张历史生成图像及提示词；用于这些用户画像构建的行为资料为约 15,000 篇帖子和 183,000 条评论。论文还评测 PIP、RapidData、MovieLens；其中 MovieLens 本身没有直接对应文生图输出的图像，使用电影元数据转换出的提示词作评测，不应与真实图像偏好数据视作完全相同的监督来源。

CLIPScore（CS）衡量生成图像与用户目标文本或偏好参照之间的 CLIP 余弦对齐；PIGReward（PIG）是面向用户偏好的学习式奖励，用来补充 CLIP 对细粒度风格、构图偏好的不足。下面保持原表分值尺度，两个指标都是越高越好，不把其差值称为准确率百分点。CMMD 是参考图像与生成图像在 CLIP 嵌入分布上的高斯 RBF 核平方 MMD，越低表示分布越接近；它衡量的是参考分布匹配，不能简单等同于“图像越多样越好”。

下表摘自原文表 1，每个数据集单元格均为“CS / PIG”。无画像 GPT-4o 使用相同改写管线，是隔离画像作用的直接对照；少样本、微调方法的数据预算不同，不能据横向排名声称严格等成本。

方法与设定	ZIP-Bench	PIP	MovieLens	RapidData	CMMD ↓
GPT-4o，无画像，0-shot	59.1 / 65.3	57.7 / 61.4	73.7 / 58.5	67.3 / 56.0	0.49
ZIPPY，0-shot	61.8 / 73.4	60.2 / 67.3	76.4 / 64.2	73.9 / 61.5	0.42
TV，3-shot	62.4 / 72.0	63.1 / 66.5	80.1 / 68.7	77.4 / 65.3	0.25
ZIPPY，3-shot	66.7 / 77.5	65.2 / 69.9	80.4 / 71.4	77.9 / 68.2	0.19
ZIPPY，5-shot	68.5 / 82.8	66.3 / 72.1	80.9 / 77.9	78.3 / 74.0	0.16
DrUM，逐用户微调	65.6 / 74.4	66.9 / 68.0	72.8 / 66.2	70.3 / 63.5	0.31
ViPer，微调基线	—	—	76.1 / 70.5	74.1 / 63.1	0.55

在 ZIP-Bench 上，加入画像但仍保持 0-shot，CS 从 59.1 到 61.8，增加 2.7 分；PIG 从 65.3 到 73.4，增加 8.1 分。同为 3-shot 时，ZIPPY 相对 TV 的 CS/PIG 分别高 4.3/5.5 分，说明画像与少量上下文结合的优势并非只来自更多样例。

需要校准原文的两处概括：正文称零样本超过 DrUM 的基准数量、以及 5-shot 在所有基准的两个指标都最高，与表 1 并不完全一致。以表中数值为准，0-shot ZIPPY 的 CS 只在 MovieLens、RapidData 高于 DrUM，PIG 则在这四个基准都低于 DrUM；5-shot ZIPPY 的 PIP CS 为 66.3，仍低于 DrUM 的 66.9。CMMD 最佳的 0.16 也属于 5-shot，而非零样本版本的 0.42。

消融实验¶

表 2 比较画像挖掘器，所有改写统一使用 GPT-4o。Posting Accuracy 表示画像能否正确预测用户留出的发布图像；ZIP Lift 定义为相对无个性化基线的 CLIPScore 提升比例，即“个性化 CS 减基线 CS，再除以基线 CS”。正文没有提供完整的发布图像候选集与划分细节，因此该准确率只能按原文设定解读。

画像挖掘配置	Posting Accuracy ↑（%）	ZIP Lift ↑（%）
TF-IDF	55	5.1
TF-IDF + NMI	57	5.3
LightGCN	59	6.2
LightGCN + ImageAlign	62	9.1
GraphSAGE	63	8.5
GraphSAGE + ImageAlign	67	10.2
GAT	62	11.8
GAT + ImageAlign	73	17.7

最直接的消融是 GAT 对比 GAT + ImageAlign：发布图像预测准确率从 62% 到 73%，增加 11 个百分点；ZIP Lift 从 11.8% 到 17.7%，增加 5.9 个百分点。LightGCN 与 GraphSAGE 加入视觉对齐也都有提升，但幅度不同，说明视觉监督并非只对某一种编码器有效。表中的 NMI 名称按原文保留，正文没有充分说明其具体实现。

不能把消融表的 17.7% ZIP Lift 直接当作主表零样本 61.8 相对 59.1 的提升率：后者由表中数值计算约为 4.6%，两表不能按同一组观测值互换。当前正文缺少足够设置细节来解释其口径差异，笔记保留两者而不强行合并。

关键发现¶

画像先验改善偏好奖励，不代表全面击败微调。 零样本画像相对无画像在四个基准上都提升 CS 和 PIG，但与 DrUM 的比较依赖指标与数据集；少样本收益更突出。
分布匹配随样例增加而改善。 ZIPPY 的 CMMD 从 0-shot 的 0.42，降至 3-shot 的 0.19、5-shot 的 0.16；TV 为 0.25，DrUM 为 0.31，ViPer 为 0.55。结果支持画像加上下文可减少固定风格造成的偏好分布偏移，但不足以单独证明每个用户的所有语境都被覆盖。
人口重加权揭示总体分数掩盖的差异。 IPF 按人口属性边际分布迭代调整用户权重，再重算聚合分数。RapidData 上，DrUM 的 CS 从原始 70.3 降至 64.7，PIG 从 63.5 降至 56.8；ZIPPY 5-shot 从 78.3/74.0 变为 77.4/73.0。较小降幅是有利证据，但重加权不能创造样本中不存在的人群，也不能据此宣称已消除群体偏差。
人评支持正确画像有用。 论文报告招募 50 位参与者，使用 20 个基础提示词，共 1,000 条标注；画像来自问卷而非直接取图挖掘结果。相对无画像基线的胜率为 79%，相对 DrUM 为 58%，相对 ViPer 为 65%；原文还报告自身画像对其他人画像的对照，但本缓存没有完整分项数表。

亮点与洞察¶

图表示通过取样而非隐向量注入影响生成。 注意力决定哪些历史证据进入画像，语言模型再做可读的总结与解释。这让图学习与现成文生图模型之间不必建立专用适配器，也更容易让用户检查中间结果。
将身份信息与画面内容分开处理。 角色设定作用于提示词改写器，而不是直接要求扩散模型呈现身份标签。这个区别能解释为什么“加了更多用户文字”不一定等于更好的个性化。
同时看平均对齐和偏好分布。 CS、PIG 关注单次结果的对齐，CMMD 关注用户参考集合的分布匹配，两者互补；IPF 又检验用户群体组成是否改变结论，避免只用一个总体均值概括个性化能力。

局限与展望¶

冷启动的成立条件需要写清。 已有画像时可以不提供偏好样例，但图挖掘本身依赖历史行为，PIP 的画像检索也使用提示词历史。对既无可用画像、又无行为数据的用户，本文没有展示凭空恢复个人审美的能力。
文本画像会引入推断偏差与隐私问题。 社区兴趣、人口属性并不决定审美，模型可能根据身份标签作刻板补全。作者声明使用公开内容并做匿名化，但跨平台账号关联、画像准确性与用户纠错仍需要独立审查，不能把公开可见等同于已获得用途授权。
评测群体与代理指标限制外推。 ZIP-Bench 来自与 AI 艺术社区有关联的 Civitai 用户，不代表所有人；MovieLens 以电影文本代理视觉偏好。IPF 只能调整已有数据的权重，无法修复缺失群体或错误画像。
当前缓存的复现信息不完整。 可读取的是正文与参考文献，未含文中引用的附录；具体扩散模型设置、少样本模板、部分评测划分无法核实。图规模描述也有疑点：正文先给出约 40K 社区，再称去掉底部 12K 后得到 32K，统计不能直接相减自洽，因此不据此推导精确筛选量。
部分结论强于主表支持。 需区分零样本与少样本结果，并保留 PIP CS 未超 DrUM 的例外。后续更有说服力的验证应报告逐用户置信区间、画像错误时的表现及长期偏好变化，而不是仅进一步增加画像描述长度。

评分¶

新颖性：4/5。把视觉对齐社交图、自然语言画像与角色扮演改写接成用户审美个性化管线，问题定位清晰，但各基础组件并非新提出。
实验充分度：3/5。覆盖多个基准、图编码器消融、分布指标与人评；主表和文字概括存在不一致，若干关键设置仅见未收录附录。
写作质量：3/5。整体动机与流程容易理解，但零样本边界、统计口径和方法命名需要读者自行校准。
价值：4/5。提供无需逐用户微调且可编辑的个性化接口，并提醒评测同时考虑用户内偏好多样性与群体分布。