Personalized Reward Modeling for Text-to-Image Generation¶

会议: ECCV2026
论文: ECCV 原文
作者: Jeongeun Lee, Ryang Heo, Dongha Lee
领域: 图像生成
关键词: 个性化奖励建模、视觉思维链、用户上下文、动态评价维度、提示词优化

一句话总结¶

PIGReward 先解释用户过去的图像选择，再据此生成个性化评价维度并逐维比较新图像，在 PIGBench 上取得 85.85% 的 acc w/o tie，还把该偏好信号用于提示词优化。

研究背景与动机¶

文本到图像模型已经能生成符合提示词、总体质量不错的图像，但“多数人觉得好”不等于“这个用户喜欢”。 PickScore、ImageReward 等奖励模型主要从总体人类偏好中学习一个统一判断方向。 MPS、VisionReward 将评价拆成多个维度，却仍然对不同用户使用预先固定的属性空间。例如，两个人都喜欢同一幅雪山图，一个可能看重构图与色彩，另一个更在意真实感和光照。只记下相同的最终选择，会把这些不同的判断依据压成一个标签。如果继续沿统一标准优化生成，系统可能提高通用美感，却偏离某位用户真正重视的细节。

已有个性化生成研究常用生成图与历史喜欢图的相似度衡量效果，但相似度容易记住题材而非偏好。过去喜欢金属、车辆或太空图像，并不意味着用户对任何新提示词都希望看到相同的大型光滑结构。图像嵌入中的相近外观可能只是偶然共现，背后稳定的偏好也许是精细纹理、空间组织或象征表达。直接把历史图像塞给视觉语言模型同样不够：有限的二选一记录没有解释原因，模型容易给出泛化的套话。逐用户微调则要求更多反馈，难以服务只有少量历史的新用户。因此，本文要解决的不是复现历史图像，而是从稀疏选择中提出可迁移、可用于新图像比较的判断标准。

作者把语言作为历史记录与奖励判断之间的中间表示：先逐条解释已知选择，再让评价器根据这些解释决定该看哪些维度。这样，用户之间的差别既可以体现在维度集合上，也可以体现在对具体视觉证据的推理上。这个设计不要求为每位用户存一套模型参数，但仍需要先训练共享的偏好解释器和奖励模型。 核心 idea：将稀疏的图像偏好转换为用户语言上下文，再动态生成评价维度并逐维推理，使奖励标准随用户而变，而不是只让用户进入一个固定评分器。

方法详解¶

整体框架¶

输入包括用户历史中的提示词、喜欢图像、不喜欢图像，以及当前待比较的提示词和两张候选图。偏好解释器 \(\pi\) 通过“偏好解释自举”逐条读取历史，输出解释该次选择的自然语言理由，并汇集为用户上下文。奖励模型 \(\phi\) 再进行“动态维度评价”，以用户上下文为条件生成评价维度、理由和逐维分数，最后输出成对偏好。这两个组件共享 Qwen2-VL-7B 这一骨干类型，但承担不同任务并分别训练。 “个性化提示词优化”是下游扩展：把评价器对生成图像的偏好反向配给产生它们的候选提示词，用于训练提示词模型。基础评价推理只需历史上下文和目标图像，不需要在每次遇到新用户时更新模型权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        History["用户历史偏好"] --> Reasoner["偏好解释自举"]
        Reasoner -->|用户语言上下文| Judge["动态维度评价"]
        Target["提示词与候选图像对"] --> Judge
        Judge --> Output["逐维理由、分数<br/>与成对偏好"]
        Output -.->|仅下游训练：偏好标签| Optimizer["个性化提示词优化"]
        Optimizer --> PromptModel["DPO 训练提示词模型"]

关键设计¶

1. 偏好解释自举：把选择标签展开为可迁移的用户上下文

用户历史不是一个笼统的风格标签，而是一组同提示词下的喜欢图与不喜欢图。解释器每次处理一条这样的记录，说明为什么用户选择前者，而不是一次性把全部历史图像拼进同一个多图输入。负例很重要：只有喜欢图时，模型难以判断某个属性是偏好原因，还是两张图本来就共同具有的内容。成对对照为解释提供了差异依据，例如同样满足提示词时，哪张图在细节、情绪或构图上更符合此次选择。生成的理由随后汇集成一个文本上下文，交给奖励模型读取。该上下文是模型对选择原因的推断，不是用户亲口确认的心理画像。

为了减少通用视觉语言模型反复输出相似理由的问题，作者用提示驱动采样构造相反的解释。对通用偏好数据中的同一图像对，一次提示模型为真实优选图辩护，另一次让它为非优选图辩护。训练时把前一种理由作为正例、后一种作为负例，通过直接偏好优化（DPO）提升正确理由的相对似然。比较以冻结的参考模型为基准，因此优化对象是解释输出的相对偏好，而不是直接拟合用户专属参数。这里“自举”指从稀疏选择扩展出语言信息，并不意味着产生了额外人工确认的偏好标签。作者期待训练后的解释更细致、更有区分度，从而避免不同用户的上下文最后都变成“清晰、美观、符合提示词”。逐条视觉处理、随后汇集文本的安排，也缓解了把大量参考图同时输入奖励模型的多图处理限制。

2. 动态维度评价：先决定该看什么，再给出可追溯的成对判断

奖励模型接收用户上下文、当前提示词和两张候选图，不直接套用一个所有人共用的维度清单。它先从上下文中诱导与当前评价有关的维度，然后对两张图在各维度上的表现给出自然语言理由和分数。在一个用户那里，构图、光照和纹理可能是重要因素；另一个用户可能更看重情绪、叙事或象征性。这些维度是评价输出的一部分，而不是另外训练出来的固定类别预测头。逐维理由使最终选择可以回溯到具体比较依据，区别于仅输出一个总体奖励或一句“第一张更好”。模型随后汇总各维度分数，得到最终图像偏好；论文图 2 展示的是逐维加总，而非一个另行学习的权重向量。

用以下记号概括正文的加总规则，其中 \(s_{k,1}\)、\(s_{k,2}\) 是维度 \(k\) 上两张图的分数，\(K\) 是生成的维度数：

\[ \Delta = \sum_{k=1}^{K}(s_{k,1}-s_{k,2}). \]

正差值对应第一张图的总分更高，负差值对应第二张图；这是机制的简写，不是对缓存损坏训练公式的复原。正文的问题定义以 \(+1\) 和 \(-1\) 表示两种偏好，但当前可读方法没有充分说明同分时如何决策。因此，不应从这条求和规则自行推导表 2 中两种 tie 口径的精确实现。

训练奖励模型时，作者先准备用户上下文和带有人类偏好标签的目标图像对。 GPT-4o 生成包含维度、逐维理由、分数汇总和最终选择的思维链（CoT）轨迹。规则过滤会剔除格式不合要求、最终选择与人类标签不符、维度少于 3 个、或分数加总不一致的输出。最终形成 5K 条结构化训练样本，再以监督微调（SFT）把这种评价形式蒸馏进 \(\phi\)。这一步筛选保证的是标签与格式一致性，不足以保证每段理由都忠实反映用户真实思考。从读者角度看，动态维度负责避免固定标准遗漏偏好，逐维 CoT 负责把这些标准落实到当前图像，两者承担不同功能。

3. 个性化提示词优化：把图像偏好转成提示词训练信号

下游提示词模型从初始提示词生成两个扩写候选，图像生成器分别渲染出两张图。 PIGReward 读取该用户的历史上下文，对这些图像进行个性化比较。获胜图像对应的提示词被标为 chosen，另一条被标为 rejected，随后用这类提示词对进行 DPO。提示词模型的条件包含初始提示词与用户特征，因此相同的初始需求可以朝不同用户的视觉倾向扩写。这个奖励不要求候选图像与历史喜欢图最相似，而要求新图像符合由历史推断出的评价标准。实验使用 SDXL 生成图像；这里训练的直接对象是提示词语言模型，不是通过该流程微调 SDXL 权重。

一个完整示例¶

论文图 6 给出一种容易误判的情况：某用户的历史喜欢图包含金属近景、车辆和太空视觉元素。相似度指标偏向第二张候选图，因为其中大型、高对比、光滑结构与历史外观更接近。偏好解释自举则先尝试从每条喜欢与不喜欢的对照里提取原因，而不是直接记住“金属”这一题材。动态维度评价据此关注细节、构图和象征性，并在该案例中正确选择第一张图。关键变化是历史记录从“应当复制哪些视觉元素”变成“应当用哪些标准评价新内容”。图 6 没有在当前文本中给出完整逐维分数，因此这里不补造案例分数或推理原话。若用于提示词优化，这个成对选择还可变成提示词训练标签，但该后续步骤只是上述机制的延伸，不是图 6 已报告的实验。

损失函数 / 训练策略¶

偏好解释器使用 DPO 学习正确解释相对于反向解释的优势，奖励模型使用自回归监督目标学习完整 CoT 输出。两者的区别是：前者比较两种理由的相对概率，后者模仿经过筛选的结构化答案序列。下游提示词模型另用 DPO 学习优选扩写，相同的优化框架作用于不同的输出对象。论文明确说明解释器训练、奖励模型训练和评价所用 Pick-a-Pic 划分严格分离。当前正文没有充分交代该分离具体覆盖样本、提示词还是用户身份，不能据此宣称已证明用户级完全无重叠。原文式 (3)、(4)、(6) 的文本抽取损坏，因此不将猜补的标准 DPO 或 SFT 公式伪装成作者的精确公式。可读正文也未完整提供训练轮数、学习率及推理开销，不能仅凭 7B 骨干与 5K 轨迹宣称成本低廉。

实验关键数据¶

主实验¶

表 2（第 10 页）的指标为偏好预测准确率，以下保留原文 acc w/ tie 与 acc w/o tie 两列，单位均为 %。每个数据集单元按“w/ tie / w/o tie”排列；两种口径不混算，当前正文未完整定义 tie 处理规则。

方法	使用用户参考	Pick-a-Pic	PIP	PASTA	PIGBench
UnifiedReward-Think	否	59.92 / 59.92	35.28 / 35.21	65.71 / 65.71	66.04 / 66.04
Qwen2.5-VL-7B	是	61.52 / 61.52	49.95 / 49.95	50.34 / 50.34	54.72 / 54.72
GPT-4o	是	46.90 / 46.70	76.23 / 76.54	68.80 / 68.80	64.15 / 68.29
PIGReward	是	63.76 / 62.14	77.84 / 78.59	75.43 / 74.43	84.91 / 85.85

表 1（第 9 页）报告 Pick-a-Pic、PIP、PASTA 的参考数量分别为 8、5、4，用户数分别为 10,000、1,002、5,143。 PIGBench 来自 12 类抽象提示词，GPT-4o 扩写 4 个版本后由 SDXL 渲染，经人工筛选保留 100 组、75 条用户记录。每位标注者获得 5–15 组图像并排序，评价时从每组 4 张图中取最高与最低排名构造成对比较。 PIGBench 的 85.85 对比 GPT-4o 的 68.29，按相同 w/o tie 口径提高 17.56 个百分点，但这不是随机两张图或完整排序的准确率。

消融实验¶

下表摘自表 4（第 12 页），数值为作者报告的准确率（%）；完整模型数值与表 2 的 w/ tie 一致，但表 4 本身未标注 tie 口径。

CoT	DPO 训练解释器	SFT 训练奖励模型	Pick-a-Pic	PIGBench
无	是	否	44.43	39.62
有	否	否	48.94	56.94
有	是	否	45.63	70.83
有	否	是	49.98	58.49
有	是	是	63.76	84.91

固定已训练解释器且使用 CoT 时，加入奖励模型 SFT 后 Pick-a-Pic 从 45.63 升至 63.76，提升 18.13 个百分点。但仅加入解释器 DPO 时，Pick-a-Pic 从 48.94 降至 45.63，而 PIGBench 从 56.94 升至 70.83，不能写成每项训练都在所有数据集上单调增益。表 3（第 12 页）另在奖励模型 SFT 前比较无维度、固定维度和生成维度；作者报告生成维度结合 CoT 最好，说明收益不只来自蒸馏。

关键发现¶

第 13 页报告 Pick-a-Pic 上生成 671 种维度、2,609 种维度组合，PIGBench 上为 23 种和 42 种；词汇多样性不自动等于语义独立性。
作者将解释对齐度定义为生成评价维度中有用户书面解释支撑的比例，报告 83.34%；它不是最终图像选择准确率。
第 14 页图 10 同时采用 PIGReward 自动评价与原 PIGBench 标注者人工评价提示词优化；文本未保留可读胜率，因此只记录作者报告优于基线，不补数值。

亮点与洞察¶

个性化发生在“选择评价标准”这一层，而不仅是固定标准的最终打分。它为理解相同选择背后的不同理由提供了显式表示。
历史图像逐条转为文本后再汇集，分离了视觉比较与长历史处理。该结构可以减少多图同时输入的压力，但论文未给出完整延迟基准。
奖励输出既能解释当前判断，又能为提示词选择提供监督。可迁移的是“历史解释驱动候选比较”的思路，而不是某份固定美学维度清单。

局限与展望¶

PIGBench 仅含 75 条用户记录且筛选掉不易产生个性化分歧的图像组，最高对最低的比较也偏向区分明显偏好；对相近候选、更多生成器和长期用户变化仍需验证。
提示词优化的自动裁判就是提供训练偏好信号的 PIGReward，存在自评价偏差；人工评价是独立信号来源，但使用了同一批 PIGBench 标注者，并非全新用户测试。
语言理由可能是事后合理化，过滤只验证答案、格式和加总，没有逐句证明视觉或心理归因真实；读者建议加入用户纠错与理由干预实验。
表 2 的参考基线写 Qwen2.5-VL-7B，设置部分写 Qwen2-VL-7B；本文模型按方法部分记录，表内保留原名，不擅自统一两个版本。
缓存项目链接缺少可信完整域名，未据此补代码或 arXiv 链接；训练公式、图 10 胜率及 tie 实现细节均保留上述不确定性。
作者展望使用这些理由作为自然语言反馈，支持更交互式的生成；这属于后续方向，不是本文已验证的多轮系统。

评分¶

新颖性: 4/5，动态评价维度与历史解释结合有明确针对性，组件本身采用已有 DPO、SFT 和 CoT。
实验充分度: 4/5，涵盖 4 个数据集、组件消融和人工评价，但新基准规模及评价口径仍有限。
写作质量: 3/5，主线清晰，模型命名与部分协议说明不够一致；公式抽取损坏另属当前阅读材料限制。
价值: 4/5，为个性化生成补上可解释奖励接口，实际部署还需成本、鲁棒性和用户纠错验证。