RealGen: Photorealistic Text-to-Image Generation via Detector-Guided Rewards¶

会议: ECCV2026，Poster ID 3927
论文: ECCV 原文
领域: 图像生成
关键词: 文本到图像、照片级真实感、检测器奖励、提示词改写、GRPO

一句话总结¶

RealGen 把合成图检测器变成写实度奖励，先优化 Qwen3 的提示词改写，再优化 FLUX 的图像生成，使完整系统在 RealBench 的模型裁判对真实照片比较中达到 50.15% 胜率，但这不等于所有人类观察者都无法辨别真伪。

研究背景与动机¶

文本到图像模型已经能够完成复杂属性控制和文字生成，然而“符合提示词”与“像真实照片”仍是不同目标。一幅图可以准确画出指定对象，却在皮肤纹理、局部高光和背景虚化上暴露合成痕迹。论文关注的正是这种整体内容合理、局部材质却过于光滑或油亮的差距，而不是提高文字识别率或物体计数准确率。既有后训练方法使用 PickScore、HPS 等人类偏好奖励，让生成结果更符合评审者喜好，但偏好并不必然意味着写实。普通抓拍可能很真实，却因为构图、色彩不够讨喜而得分较低；奖励优化因此可能把模型推向更艺术化的风格。

另一条路线是人工筛选大量高质量照片再做对齐，但筛选成本和审美偏差限制了其扩展性。 RealGen 转而利用合成图检测领域已有的模型：如果某个检测器能识别不自然的皮肤或异常图像统计，它的输出也可能提供纠正这些缺陷的反馈。这里存在一个必须检验的假设，即检测器更难判假，是否真的对应人眼感知的写实度提高，而不只是利用分类器弱点。作者因而同时引入语义级与特征级检测器，并在评测中加入未参与奖励的检测器、模型裁判和小规模人工验证。这些设计能提供交叉证据，但检测器分数依然是写实度的代理指标，不能被当作照片真实性证明。

提示词也是生成质量的瓶颈：简短输入往往没有指定材质、光线和场景细节，模型便容易返回训练中高频、较程式化的外观。论文并非只为扩散模型换一个奖励，而是让语言模型先补足具体的摄影描述，再让生成器学习更自然的视觉表现。两个阶段都通过最终生成图像得到反馈，所以改写文本的价值取决于它是否真正改善图像，而非单纯变长或文风更丰富。 核心 idea：将语义伪影、特征伪影和文本对齐组成图像奖励，用分阶段 GRPO 同时改善“如何描述照片”与“如何生成照片”。

方法详解¶

整体框架¶

系统接收用户文本，先由 Qwen3-4B-Instruct 改写为更具体的描述，再交给带微调 LoRA 层的 FLUX.1-dev 完成去噪和解码。最终输出仍是一张图像，没有新增面向用户的检测报告，也不是生成后逐区域修补的方案。训练顺序是两个组件的监督微调冷启动、固定生成器训练改写器、固定改写器训练生成器。多目标检测奖励为两个强化学习阶段提供反馈，独立写实度评测用于检查收益是否超出训练奖励本身。下面实线表示训练阶段的推进，虚线区分图像奖励反馈与训练后的推理路径。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Reward["多目标检测奖励"] -.->|图像评分| Rewrite["图像反馈改写"]
        Cold["两个组件 SFT 冷启动"] --> Rewrite
        Rewrite -->|固定改写器| Diffusion["局部探索完整评估"]
        Reward -.->|图像评分| Diffusion
        Diffusion --> Evaluation["独立写实度评测"]
        Diffusion -.->|训练后的权重| Inference["推理：文本改写<br/>再去噪解码"]
        Inference --> Image["生成图像"]

关键设计¶

1. 多目标检测奖励：把可见伪影与深层统计异常分开约束

语义分支使用 Forensic-Chat，这是基于 Qwen2.5-VL-7B 优化的可解释合成图检测器。它关注图像内容层面的不自然之处，例如过分光滑的皮肤、面部和手部伪影，以及不合理的背景虚化。作者将其输出中归一化的“real”词元概率作为语义奖励，而不是把检测器生成的一整段解释直接作为优化目标。特征分支使用 OmniAID，补充约束频率伪影和异常噪声模式等不易用自然语言描述的合成痕迹。该分支奖励的定义在原文第 6 页文字中清晰给出：

\[ R_{\mathrm{feature}}(I)=1-P_{\mathrm{OmniAID}}(\mathrm{fake}\mid I). \]

第三个分支是 Long-CLIP 图文对齐奖励，用来防止模型仅追求真实感而忽略文本条件。三个分数不能直接相加，因为各自的尺度和分布不同，较大尺度的分支可能压过其他信号。作者先对同批候选图像的每个奖励维度分别减均值、除以标准差，再把归一化值相加作为优势。这让 GRPO 使用相对表现更新策略，而不是把某个检测器的原始概率当成唯一标准。需要注意，缓存中的式 (1) 至式 (5) 有明显排版抽取损坏；这里依据可读文字解释融合方式，不猜补精确的 softmax、裁剪项或 KL 系数。 “检测更难”到“视觉更真实”的联系是方法假设，不能仅凭这个奖励定义便宣称已排除奖励投机。

2. 图像反馈改写：让改写器对最终成像负责

第一阶段固定图像生成模型，只更新语言模型，避免同时改变两端后难以判断奖励变化来自哪里。监督微调先教会语言模型遵循系统要求，进行思考、规划，再输出用于生成的描述。强化学习时，同一个输入采样出 \(N\) 个改写文本，每个文本都由冻结的生成器生成图像。检测与对齐分支对这些图像打分，融合后的优势再回传为文本策略的训练信号。这里的一条策略轨迹是完整的改写词元序列，而不是图像去噪轨迹，语言模型不需要通过生成器取得像素梯度。 GRPO 依据新旧文本策略的概率比和候选间相对奖励，增加更有效描述被生成的机会。

改写器学到的内容包括具体场景细节、自然的不完美之处，以及有助于摄影风格的描述词。这些补充旨在把模型从“默认的完美外观”引向真实拍摄中常见的局部变化，并非简单在所有提示末尾附加同一段写实关键词。不过，自动补足场景也可能增加用户未指定的背景或衣着，因此“丰富描述”与“保留用户意图”需要一起考虑。原文第 7 页把阶段一奖励写作生成图像与改写文本的函数；这本身不足以证明所有原始要求都严格保留。 Long-CLIP 是对齐保护，但不是逐属性或逐约束的语义一致性证明。

3. 局部探索完整评估：避免让检测器给未完成图像打分

第二阶段固定语言模型，转而通过 Flow-GRPO 框架优化扩散生成策略。此时一条轨迹对应潜变量的连续去噪转移，策略概率比比较的是新旧模型的条件转移概率，而非语言词元概率。论文指出，步数受限的生成或全轨迹随机探索容易产生噪声和模糊，这类中间结果不在检测器熟悉的数据分布中。如果直接用这些结果评估真实感，检测器可能给出误导反馈，把采样过程的未完成状态误当成生成器的真实性缺陷。作者因此执行完整去噪以获得最终评价图像，但仅选取其中连续的 \(\Delta t\) 步进行随机探索并形成 \(N\) 条轨迹。 SDE 采样提供探索所需的随机性，完整生成则让奖励看到与实际推理更接近的成品。

这一修改的重点不是增加新的去噪网络，而是让探索范围与奖励评估范围承担不同职责。局部随机变化提供可比较的策略候选，完整评估减少“在模糊中间态上学会讨好检测器”的风险。原文没有在可读正文中给出 \(\Delta t\) 的具体数值，因此不能据此复现探索窗口长度或声称某个固定窗口最优。训练时只有一部分短文本经过改写器，其余文本直接进入生成器，使图像模型接触不同长度的条件。这也解释了为什么实验同时报告不启用改写的 Ours 和启用改写的 Ours*，两者不应混为一个配置。正常推理不需要执行 GRPO 或调用检测奖励；启用完整系统时，路径就是文本改写后进行图像生成。

4. 独立写实度评测：检查模型是否只迎合训练奖励

RealBench 收集 1000 张真实图像及对应描述，覆盖 7 类内容，并提高人像所占比例。它以真实照片为参照，目标是衡量照片级真实感，而非替代 GenEval 等指令遵循评测。 Detector-Scoring 使用图像被判为真实的概率，既保留训练中的 Forensic-Chat 和 OmniAID，也增加未参与奖励的 SIDA 与 Effort。前者检查可见语义伪影，后者检查特征级异常，使评估不完全依赖被优化过的同一组模型。 Arena-Scoring 则由 GPT-5 对相同文本对应的两张图像强制二选一，判断哪张更真实。每个模型至少参加 3000 次随机配对，可与其他生成模型或真实照片比较，胜率就是获胜次数占比较次数的比例。

这种相对比较避免要求模型对单张图像给出稳定的绝对真实感分数，但会受到对手池和裁判偏好的影响。作者报告 GPT-5 与 Gemini 3.0 的判断一致性超过 80%，这属于模型间核验，不等于人类一致性。另有 15 位非专业评审者，针对 4 个模型各抽取 100 张生成图像，分别完成单图真伪判断与真假成对比较。同一评审者的两项任务不使用重叠数据，OmniAID 与 GPT-5 对人工判断的一致性分别为 75% 和 87%。这些结果支持自动指标的相对排序，但参与者、模型与图像覆盖仍有限，不能据此证明所有分布下都不存在奖励投机。

一个完整示例¶

原文第 14 页图 8 从一条描述人物发色和眼睛颜色的简短文本出发，展示改写器如何补入服装、室外环境与玻璃背景。它还加入自然光、轻微皮肤纹理等描述，让生成器不再只依赖笼统的人像先验。训练阶段一中，同类输入会形成多个改写候选，最终图像的奖励决定哪些改写更值得保留，而不是由人工挑选最长的文本。阶段二保持文本条件相对稳定，把学习目标转向人物材质和背景反射等视觉呈现。这个例子来自论文的机制展示，不是单独的量化实验，也不能给某项细节虚构提升幅度。

损失函数 / 训练策略¶

两个阶段均使用 GRPO，文本阶段按词元序列更新，图像阶段按去噪转移更新；归一化后的多维奖励构成共同优势信号。训练图像主要来自 HPD v3 的真实图像子集，两个组件先完成监督微调冷启动，再进行强化学习。实验使用 8 张 H200，第一阶段 batch size 为 32，第二阶段为 12，整个强化学习过程约 230 步。这些数字是硬件与训练配置，不是吞吐量、训练时长或每张图像的推理成本。可读正文未完整披露冷启动数据构建、LoRA 配置及探索窗口超参数，故笔记不把方法概述当作完整复现配方。

实验关键数据¶

主实验¶

下表摘自原文第 10 页表 1，评估集为 RealBench；检测分数沿用原表刻度，Arena 两列为胜率百分比，均越高越好。 Effort 与 SIDA 未参与训练奖励；VS Real 是与真实照片比较，VS Others 是与其他模型比较，不能互相替代。 Ours* 使用语言模型提示词改写，Ours 不使用这一推理组件。

模型 / 配置	Effort	SIDA	VS Real (%)	VS Others (%)	HPSv2.1	HPSv3
FLUX.1-Dev	14.85	26.03	12.61	43.60	31.21	13.58
Qwen-Image	17.10	30.93	18.25	47.35	25.50	8.15
SRPO	24.73	50.62	40.70	64.30	29.66	12.43
FLUX-Krea	18.42	37.46	37.60	66.40	30.75	12.50
Ours	31.71	67.43	43.41	74.80	31.87	13.61
Ours*	38.35	73.10	50.15	84.85	28.24	11.11

完整系统的 VS Real 比 FLUX-Krea 高 12.55 个百分点，但这是模型裁判在指定配对协议下的选择结果，不是人类真假识别准确率。改写将 VS Others 从 74.80% 提高到 84.85%，与此同时 HPSv3 从 13.61 降至 11.11。因此主表不支持“加入改写后所有审美与偏好指标都更好”，它反而显示写实度与通用偏好指标可能分离。跨数据集证据见第 12 页表 2：HPDv2 的 Photo 子集上，Ours 的 OmniAID 为 56.93、HPSv3 为 13.10，FLUX-Krea 对应为 44.96、11.39。

消融实验¶

下表摘自原文第 14 页表 4，比较基线使用不同后训练奖励的结果，数值沿用原表。其中 Effort、SIDA 和 VS Real 提供奖励外评估；CLIP 用于观察文本对齐，不能把它称为完全独立的写实度裁判。

奖励配置	Effort	SIDA	VS Real (%)	CLIP
Base (FLUX.1)	14.85	26.03	12.61	86.33
+ PickScore	12.75	29.30	22.96	86.17
+ HPSv2.1	11.46	28.82	19.12	86.24
+ Detector-Score	31.71	67.43	43.41	86.80

检测奖励相对 PickScore 的 Effort 高 18.96 分，VS Real 高 20.45 个百分点，支持“偏好奖励不等于写实奖励”的动机。但这里比较的是整个 Detector-Score，与逐项删除 Forensic-Chat、OmniAID 或 Long-CLIP 的消融不同，无法确定三个分支各自的因果贡献。

关键发现¶

第 14 页图 7 的阶段消融中，VS Real 依次为基线 12.16%、仅优化改写器 27.28%、继续优化生成器 50.15%，说明两个阶段都提供增益。
图 7 的基线 12.16% 与表 1、表 4 的 12.61% 不一致；笔记保留各自出处，不自行更正或将两组数混算。
奖励外检测器与模型裁判均有改善，比只报告训练奖励更有说服力；仍需更广泛的人类实验才能检验普适的感知收益。

亮点与洞察¶

将合成图检测从事后筛查变成训练反馈，直接服务于生成器后训练。可迁移的想法是用针对具体缺陷训练的评价器，补充过于宽泛的偏好奖励。
改写器通过图像结果获得反馈，使文本增强与实际成像联系起来。相比只监督语言表述，训练目标更贴近用户最后看到的结果。
局部探索与完整评估分别处理探索成本和评价可靠性。这一点提醒读者，奖励模型的输入分布同样是强化学习稳定性的一部分。

局限与展望¶

检测器是代理指标：未见检测器的提升减轻了过拟合疑虑，但有限模型之间可能共享偏差。更有力的检验应加入独立的人群、拍摄场景和分布外图像。
Arena 使用模型裁判且强制二选一，接近 50% 的对真实图胜率只能解释为该协议下的竞争力。论文未在这些主表中提供置信区间，不能把微小差距当成统计显著结论。
自动改写会引入未指定细节，原始指令保真仍需细粒度检查。表 1 的偏好分数下降也说明写实度提升不是无代价的全面质量提升。
三个奖励分支缺少逐项消融，无法断言哪一种检测器不可替代。可读全文也不足以还原全部训练超参数和受损公式。
以下是读者的应用层判断：更逼真的合成内容应配套来源标识与负责任发布，检测器难以识别不能成为宣称内容真实的依据。

评分¶

以下为笔记作者的主观评价，采用 5 分制，不是会议评分。 - 新颖性: 4/5。检测器奖励与两阶段优化构成清晰方案，基础优化算法仍来自既有工作。 - 实验充分度: 4/5。有奖励外检测、跨集评估和人工核验，但缺少奖励分支级消融及不确定性估计。 - 写作质量: 3/5。流程说明清楚，部分复现细节不足，阶段图与主表基线数值存在未解释差异。 - 价值: 4/5。提供了可复用的写实度后训练方向，并提醒生成研究区分真实性、语义一致性与审美偏好。