EditHF-1M: A Million-Scale Rich Human Preference Feedback for Image Editing¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/IntMeGroup/EditHF
领域: 图像生成
关键词: 图像编辑、人类偏好、多维质量评估、奖励模型、直接偏好优化

一句话总结¶

EditHF-1M 用 1.01M 张编辑图像上的三维人工排序和评分训练统一评估器 EditHF，再以其筛选偏好对优化 Qwen-Image-Edit，使后者在本数据集上的人工综合评分从 75.39 提升至 84.26。

研究背景与动机¶

图像编辑的成功不能只靠“生成结果好不好看”判断，还需要知道用户要求改什么、实际改了什么，以及哪些内容本来不该改变。一个结果可以画面精美却没有执行指令，也可以完成对象替换却破坏原有身份、结构和背景。传统图像质量指标主要识别失真，文本到图像指标主要衡量文字与结果的对应关系，都难以独立处理这种带条件的变化。通用多模态模型能理解图像和指令，但零样本回答不等于稳定的人类偏好评估。

已有编辑基准开始引入人工意见分和成对偏好，却往往只覆盖有限的源图像、编辑任务或生成模型。如果评估器只见过少数模型产生的错误，它可能学到某种生成风格，而非可迁移的编辑质量判断。监督形式也有差别：同一输入下比较两个结果通常比直接打分可靠，但这种相对关系并不天然提供跨输入的统一分数。反过来，绝对评分可以横向比较，却可能弱化同一组近似结果之间的细微差异。因此，本文希望同时扩展数据覆盖范围和反馈形式，而不只是再做一个小规模排行榜。

作者把数据集、评估器和编辑模型优化连成一条路线：先收集多模型输出上的人工反馈，再学习可打分、可排序的模型，最后检验这些判断能否真正改善编辑结果。数据集覆盖 43 种任务和 23 个编辑模型，并分别标注视觉质量、编辑对齐、属性保留。这使得“评价图像”与“指导生成”可以共享监督，但两者仍需分别验收，评估相关性高并不自动保证后训练有效。 核心 idea：用大规模组内偏好确定相对优劣，用较小规模绝对评分校准分值，再把三维统一评估器转成编辑模型的偏好数据筛选器。

方法详解¶

整体框架¶

本文包含三个不同对象：EditHF-1M 是人工反馈数据集，EditHF 是学习得到的评估器，EditHF-Reward 是利用评估器构造偏好数据的优化策略。流程先经“多源双反馈”构造监督，再建立“三输入评分器”，通过“分级联合训练”学会三维打分，最后进入“奖励引导编辑”。评估器每次读取源图像、编辑结果和编辑提示，输出三个分数；它本身不负责生成编辑图像。用于编辑优化时，多个候选先被评估器排序，再形成 chosen/rejected 样本对，训练另一个图像编辑模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Inputs["源图像、提示<br/>多模型编辑结果"] --> Data["多源双反馈"]
        Data -->|人工评分与偏好监督| Scorer["三输入评分器"]
        Scorer --> Training["分级联合训练"]
        Training -->|训练完成的 EditHF| Reward["奖励引导编辑"]
        Candidates["新候选组<br/>源图像与提示"] -->|推理时评分| Reward
        Reward -->|偏好对与 DPO| Output["优化后的编辑模型"]

关键设计¶

1. 多源双反馈：让相对偏好与绝对评分各自承担合适的监督角色

数据覆盖全局编辑、对象级编辑、人物相关编辑和低层编辑，避免只测试常见的添加、删除或风格迁移。对于摄影网站图像，InternVL3.5 根据内容和任务生成提示，再由人工检查修改。来自 Pico-Banana-400K 的指令式提示还补充了描述式版本，使不同接口的编辑模型能参与比较。低层任务的源图像和提示取自 EBench-18K；正文最终报告 44.3K 张源图像和 1.01M 张编辑图像。作者过滤黑图、噪声图等异常输出，并说明测试集在任务和模型之间保持可比的图像集合。因此，该规模描述的是经过构建与过滤的数据，而不是把所有模型失败也完整保留的原始调用日志。正文列出的初始来源数量不能直接相加复原最终数量，笔记保留最终统计，不猜测中间去重过程。

排序以相同源图像、相同提示的编辑结果为一组，三个维度分别排序，不要求一个总排序掩盖不同错误。视觉质量看真实感、伪影、结构和细节；编辑对齐看要求的修改是否准确完成；属性保留看预期修改之外的身份、关键特征和上下文是否保持。每组由 3 名专业标注员评判，低一致性组交给另外 3 人重新标注，最终用平均名次生成组内偏好对。因此，29.1M 对偏好是由组排序展开得到的三维标注总量，不代表独立执行了同等数量的两两人工选择。评分部分选择 49.4K 张编辑图像，训练集每项评分来自 5 人，测试集来自 15 人，三维合计约 148K 个汇总分数。连续评分先排除超过均值 2 个标准差的离群值，并移除离群评分占比超过 5% 的参与者，再做按人标准化和区间缩放。作者还拒绝评分与偏好关系不一致的标注，使两种监督尽量相容；这也可能削弱真实存在的意见分歧。缓存中的式 (1) 排版损坏，不能可靠恢复完整评分聚合公式，这里只保留正文可确认的处理步骤。

2. 三输入评分器：同时判断图像内容、编辑变化与指令约束

只给模型编辑后的图像，它无法知道哪些变化是允许的；只给图像和目标描述，也容易遗漏应该保留的原图属性。 EditHF 因此同时编码源图像与编辑结果，用基于 InternViT 的视觉编码器提取特征，经可训练投影器转成语言空间的视觉 token。编辑提示另外转成文本 token，与两组视觉 token 一同交给 InternVL3.5 融合。模型的最后隐藏状态承载的是“这次编辑是否合适”的上下文表征，而非单张图像的美学嵌入。输出端既有文本解码器，也有用于连续分值预测的 MLP 评分头，分别服务于文字等级学习和精细回归。三维分数来自同一套输入表示，但保留独立的评价含义，不先把所有监督压成一个标量。

论文把这一安排称为自适应解码：先让文字输出稳定，再用隐藏状态预测分数。按正文和图 4，可以确认文字等级学习先于精细打分，但未给出可复现的推理时“稳定性检测”算法。因此不应将其解读成每次评估都必须自我检查、反复生成文字的额外循环。测试时，对各个候选分别输出三维分数即可据此比较优劣，不需要再次调用人工标注员。多候选比较共享同一个源图像和提示，这保持了偏好所依赖的编辑上下文。绝对分数预测与组内排序虽然共用模型，仍应通过不同指标检验，不能把其中一种能力当作另一种的替代品。

3. 分级联合训练：先理解质量等级，再兼顾分值校准与组内顺序

训练首先把观测分数的最小值到最大值均匀划分为 5 个区间，对应 bad、poor、fair、good、excellent。这个文字学习阶段使用交叉熵，使原本擅长语言的多模态模型先掌握粗粒度质量语义。它不是最终的五分类评价器，后续还要借助连续分数恢复细粒度区别。点式学习使用有人工分数的样本，以均方误差训练评分头，促使预测接近绝对质量值。这一步给不同源图像和提示下的结果提供共同的数值尺度，而非只知道某组中的第一名是谁。但若只优化回归，分值接近的结果仍可能排序错误，因此还需要来自排序展开的偏好监督。

成对学习让优选样本得分高于劣选样本，并优先使用名次差较大的样本对，之后再处理名次接近的细微差异。这种由粗到细的安排减少了模型一开始就面对难以区分的候选关系的负担。缓存式 (5) 的指数损失出现符号缺失，故不把推测的表达式当作作者精确公式。可确认的机制是惩罚偏好次序错误，而非让模型直接生成“选择左图”之类的离散答案。完整训练同时利用点式与成对监督：前者约束分数的绝对位置，后者提高相同编辑条件下的相对辨别力。表 4 支持两者互补，但正文没有清楚给出联合损失权重和所有阶段的切换条件，复现时仍需进一步核实。

4. 奖励引导编辑：把评估结果转成可训练的 chosen/rejected 对

给定源图像与编辑提示，先生成候选组，再用 EditHF 分别预测视觉质量、编辑对齐和属性保留分数。三维分数按原文第 7 页式 (2) 合成为加权几何平均；指令是否完成获得稍高权重。这里的 \(s_v\)、\(s_e\)、\(s_p\) 分别代表上述三个维度，\(s_{all}\) 用于组内候选排序。

\[ s_{all}=s_v^{0.3}s_e^{0.4}s_p^{0.3}. \]

每组选综合分最高的图像作为 chosen、最低的作为 rejected，但若最高分本身仍低，就不保留该对。这样可以避免把“一组失败里相对不差的结果”当作应该学习的正样本。第 6.5 节进一步说明按任务保留评分前半部分的样本对，以控制偏好数据质量。 Self-DPO 让 Qwen-Image-Edit 对每个输入使用 20 个不同随机种子产生候选，最终得到 18K 个偏好对。 Global-DPO 则从 EditHF-1M 的多模型输出形成候选，得到 22K 个偏好对，允许模型学习自身采样难以产生的编辑结果。两种方案改变的是偏好候选来源，并非定义了两套新的评估器。

优化编辑器采用直接偏好优化（DPO），冻结 VAE，更新 Transformer，并以原始预训练编辑器作为参考模型。训练在 chosen 与 rejected 的带噪潜变量上比较流预测误差，使模型相对参考模型更偏向优选结果。缓存式 (6) 的对数、符号和项连接不完整，因此这里不重构精确的 flow-DPO 目标。这种“奖励”主要用于离线构造偏好对，不能仅凭论文使用强化学习措辞就理解为在线策略梯度训练。得到编辑器后，普通编辑推理仍接收源图像和提示，不要求随每一次生成附带人工排序。论文用额外人工评分检查后训练收益，因而证据不局限于“优化自己的评估器后，该评估器得分上涨”。

损失函数 / 训练策略¶

评估器训练集、验证集和测试集按 5:1:1 划分，测试图像同时具有排序和评分标注。正文没有在这一处明确交代是否以源图像组为单位划分，不能自行宣称已排除所有同源泄漏。视觉模型和语言模型都使用 LoRA，投影器与评分头承担跨模态连接和数值输出。实现采用 PyTorch，并报告使用 2 张 NVIDIA RTX A6000 训练；这里说的是 EditHF 的实验设置。评估器监督与编辑器 DPO 是两次不同的学习过程，后者的 18K/22K 偏好对不能混作前者全部训练数据。项目链接来自论文摘要，其措辞为将发布数据和代码；本文未据此确认发布状态或补写未提供的超参数。

实验关键数据¶

主实验¶

原文表 2（第 11 页）在 EditHF-1M 测试集报告四类指标，数值越大越好。 SRCCglobal 是预测分数与人工分数的全局秩相关，PLCCglobal 是线性相关；SRCCgroup 是同源同提示组内的平均秩相关，Acc 是成对比较准确率。下表将 EditHF 与表中同样经过微调的 InternVL3 对照，避免把零样本基线误写成等监督条件。

方法	评价维度	SRCCglobal	PLCCglobal	SRCCgroup	Acc
InternVL3，微调	视觉质量	0.8044	0.7852	0.8284	0.8817
EditHF	视觉质量	0.8548	0.8422	0.9223	0.9152
InternVL3，微调	编辑对齐	0.8248	0.8156	0.8540	0.8498
EditHF	编辑对齐	0.8488	0.8348	0.9319	0.9298
InternVL3，微调	属性保留	0.8120	0.8297	0.9137	0.8883
EditHF	属性保留	0.8475	0.8442	0.9251	0.9197

消融实验¶

原文表 4（第 13 页）固定 InternVL3.5 和 MLP 头，下表摘录编辑对齐维度，隔离点式/成对训练的影响。这些是同一消融表中的配置，不能与表 2 中另一套微调基线直接视为同一训练配方。

配置	SRCCglobal	SRCCgroup	Acc
仅点式训练	0.7806	0.7964	0.7825
仅成对训练	0.8213	0.8894	0.8762
点式与成对训练结合	0.8488	0.9319	0.9298

联合配置相对仅成对训练的编辑对齐 Acc 增加 0.0536，即 5.36 个百分点；不是相对提高 5.36%。成对训练在组内排序上有效，而再加入点式监督仍提升排序与全局相关，说明绝对评分不只是输出格式上的附属功能。

关键发现¶

原文表 6（第 14 页）比较原始 Qwen-Image-Edit 与两种后训练方案；下表只摘录人工综合评分，不混入同表的 EditHF 自动评分。各数据集使用第 3.3 节的人工评分流程，最后一列为论文报告的 Global-DPO 相对原模型提升。

基准	原始模型	Self-DPO	Global-DPO	Global-DPO 相对提升
EditHF-1M	75.39	78.36	84.26	+11.77%
AROURA-Bench（原表拼写）	83.21	84.28	85.46	+2.70%
ImagenHub	75.64	76.55	79.12	+4.60%
EBench-18K	73.25	73.80	74.18	+1.27%
EditScore-Bench	70.17	72.18	75.23	+7.21%
EditReward-Bench	80.15	81.17	82.60	+3.06%

EditHF-1M 上 75.39 到 84.26 是增加 8.87 分，对应论文的 +11.77% 相对提升，不能写成增加 11.77 分。 Global-DPO 在这些人工评分上均优于 Self-DPO，但两者分别用了 22K 与 18K 对数据，不能把全部增益都归因于跨模型多样性。表 5（第 13 页）的跨基准结果还给出 GenAI-Bench 准确率 0.6792 和 ImagenHub SRCC 0.4526；它们是不同指标，不能合并成统一胜率。同表按多维度取平均，并排除某些在目标基准上训练过的模型；这支持迁移能力，但数据来源重叠仍需单独核查。

亮点与洞察¶

同时保留“是否好看”“是否照做”“是否保留”的分数，使错误来源可区分。只汇总一项总分会掩盖编辑成功但身份破坏的情况。
组排序可以展开大量偏好监督，少量绝对评分再提供全局尺度。价值来自两类信息互补，而不是把展开后的每个偏好对都当作独立人类劳动。
多模型候选让编辑器接触自身随机采样之外的高质量结果。人工评测的改善比单纯奖励分数上涨更能支撑优化有效，但尚不足以排除奖励偏差。

局限与展望¶

正文第 6.1 节只报告划分比例，没有充分说明源图像组隔离方式；第 3.2 节又使用 EBench-18K 数据。跨数据集结果不能自动等同于源图像完全无重叠的泛化实验。
Global-DPO 同时改变候选来源和偏好对数量，缺少等数量、等质量筛选条件的对照。这是读者对因果解释的限制，而非作者已证明的结论。
排序展开的偏好对相互相关，清除不一致标注也可能压低主观意见的多样性。未来可保留分歧分布，并报告不同任务或人群的评分校准。
缓存式 (1)、(5)、(6) 存在抽取损坏，正文也未充分列出损失权重和筛选阈值。精确复现需核对清晰原稿、补充材料与实现，本笔记不猜补。

评分¶

新颖性: 4/5。主要增量是大规模双反馈数据与统一评估训练，而非全新的偏好优化算法。
实验充分度: 4/5。包含相关性、训练消融、跨基准评估和人工后训练验证，但数据隔离与等规模对照仍不充分。
写作质量: 3/5。整体路线清楚，部分实现细节不足，且当前缓存的损失公式损坏限制了精确复现理解。
价值: 4/5。对编辑评测与偏好数据构造有直接参考意义，实际复用仍取决于数据和实现的可获得性。