FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation¶

会议: NeurIPS 2026
arXiv: 2604.13491
代码: https://ku-agi.github.io/FiRe/
领域: 图像生成
关键词: 统一多模态大模型, 文本到图像生成, 细粒度多模态推理, 闭环自反思纠错, 强化学习GRPO

一句话总结¶

针对统一多模态大语言模型在文本生成图像时缺乏细粒度自反思与精确纠错的问题，FiRe 提出了涵盖提示词事实摘要、语义元组解构、元组级视觉问答、精准反馈生成与局部保留重绘的六步闭环推理机制，并配套引入基于步级奖励与步级优势估计的强化学习算法 FiRe-GRPO，在 GenEval、GenEval++ 与 DPGBench 等复杂组合生成基准上显著超越同类扩散与自回归基线。

研究背景与动机¶

近年来，统一多模态大语言模型（Unified MLLMs，如 Janus-Pro、Show-o 等）在将视觉理解与视觉生成整合进单一架构方面取得了突破性进展。在纯多模态理解领域，思维链（Chain-of-Thought）、自反思（Self-reflection）与自精炼（Self-refinement）等推理机制已被广泛证实能够通过测试时计算（Inference-time Compute）显著提升复杂问答与逻辑推理的严谨性；然而，这类内生推理能力在文本到图像（T2I）生成任务中仍未得到充分发掘。生成模型往往直接依赖单次前向采样生成图像，面对包含多实体、丰富属性绑定、特定数值计数与复杂空间关系的组合型提示词时，极易发生属性错位、实体缺失或数量失真。

现有多模态推理生成方法（如 T2I-R1、Janus-Pro-R1）尝试引入推理或迭代修正，但普遍存在两项关键瓶颈：其一是粗粒度的全局判断，基线方法往往依赖整体图文相似度评分或全局 VQA 二值判断，缺乏对提示词中每个原子级视觉约束的逐项核实，容易漏判局部细微错误；其二是粗放的重绘策略，一旦判定不匹配便倾向于对全图进行整体重采样，不仅破坏了原本已正确生成的视觉结构与风格，还极易引发错误累积与生成质量退化。

面对上述困境，本文的核心切入点是将多模态模型的内省审校过程拆解为可离散验证的原子单元，在单模型内实现“原子核查-靶向反馈-局部微调”的自闭环。核心 idea：将多模态图像生成推理形式化为涵盖提示词摘要、语义元组分解、元组级VQA核验、针对性反馈生成与局部保留重绘的六步闭环轨迹，并提出步级决策强化学习算法 FiRe-GRPO，通过设计角色特定的步级奖励与局部归一化优势估计，实现对中间推理节点与编辑动作的细粒度信用分配。

方法详解¶

整体框架¶

FiRe 完全由单一统一多模态大模型（以 Janus-Pro-7B 为基础骨干）自主执行全部六个推理步骤，在推理阶段不依赖任何外部图像生成器、局部图像编辑器或评测判断模型。整个生成工作流包含一次初始文生图生成与至多 $H$ 轮迭代优化闭环：模型首先依据用户提示词生成初始图像；随后对提示词进行视觉事实摘要并拆解为可独立判定的原子语义元组；接着针对当前图像逐一执行元组级视觉问答；若所有元组均满足要求则终止循环，否则将未满足的元组汇总生成明确的修改指令，并执行施加背景保留约束的局部修正，进入下一轮迭代验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户提示词 p"] --> B["初始文生图生成<br/>生成初始图像 I"]
    B --> C["提示词事实摘要<br/>保留具象事实，剔除主观虚词"]
    C --> D["语义元组解构<br/>拆解为实体/属性/数量原子元组"]
    D --> E["元组级视觉问答<br/>逐元组输出图像依据与yes/no判定"]
    E --> F{"全部元组满足？"}
    F -->|是 F = no-edit| G["输出最终对齐图像"]
    F -->|否 存在未满足元组| H["细粒度反馈生成<br/>合并未满足元组为靶向指令"]
    H --> I["局部保留图像修正<br/>保留背景结构并精准修改局部"]
    I -->|更新图像 I ← I'| C

关键设计¶

1. 闭环六步细粒度多模态推理与局部重绘机制：从全局粗判转向原子解构

传统自反思生成方法直接输入全图与整段提示词询问“图像是否符合描述”，由于长提示词信息密度高，大模型极易产生认知漂移并给出盲目肯定的虚假判断。FiRe 将生成与检验过程系统化拆解为六个显式步骤： - 步骤 1（初始文生图，Initial T2I Generation）：模型输入提示词 $p$，自回归生成初始图像 $I$。 - 步骤 2（提示词事实摘要，Prompt Summarization）：模型将提示词 $p$ 精炼为具象摘要 $S$。该步骤的核心机制是严格保留图像中可客观核查的物理事实（如物体、颜色属性、计数、空间方位、文本文字），主动剔除“美丽、生动、震撼”等主观形容词或不可判定的抽象修饰，防止主观词汇干扰下游校验。 - 步骤 3（语义元组解构，Tuple Decomposition）：将摘要 $S$ 进一步拆解为语义元组集合 $D = \{\tau_i\}_{i=1}^Q$。每个元组对应一个不可分割的原子视觉事实，例如针对“a pink oven”，解构为 whole-entity(oven) 与 attribute-color(oven, pink)；针对数量与方位则解构成对应的计数与相对空间元组。 - 步骤 4（元组级视觉问答，Tuple VQA）：模型以图像 $I$ 为上下文，针对每个元组 $\tau_i$ 进行独立提问，输出包含视觉依据的解释 $r_i$ 与二值判定 $y_i \in \{\text{yes}, \text{no}\}$，即 $v_i = (r_i, y_i)$。例如面对白色烤箱，模型生成解释“烤箱是白色而非粉色”并判定为 no。 - 步骤 5（细粒度反馈生成，Fine-grained Feedback Generation）：汇总所有判定结果。若全部为 yes，输出终止标记 $F = \text{no-edit}$；若存在未满足项，模型将所有判定为 no 的元组组合转化为连贯且操作明确的靶向编辑提示词 $\tilde{F}$（如“将白色烤箱改为粉色，并补充一个盘子以达到三个”）。 - 步骤 6（局部保留图像修正，Localized Image Correction）：模型在输入编辑指令 $\tilde{F}$ 的同时，显式注入结构与背景保留指令（“保留原图的背景、物体、风格和空间构图，仅执行反馈要求的修改”），输出修正后的图像 $I'$，并更新 $I \leftarrow I'$ 启动下一轮核验。该设计避免了全图破坏重构，最大限度保护了已满足要求的图文对齐部分。

2. 步级强化学习目标与角色特定奖励函数（FiRe-GRPO）：针对性奖励与格式门控

常规群组相对策略优化（GRPO）将整条长轨迹视为单一动作，仅根据最终生成图像的图文对齐度赋予标量奖励。在包含六步交互的长推理链条中，这种结局奖励会导致极其严重的反馈稀疏性，既无法奖励正确的中间判断，也无法精准惩罚虚假的 VQA 幻觉或偏离指令的过度重绘。FiRe-GRPO 将推理过程重新建模为步级序贯决策过程，针对每个步骤的角色定位量身定制专用奖励函数 $R_k$： - 步骤 1 与步骤 6 的细粒度图文对齐奖励（Fine-grained Image Alignment Reward）：由外置 VLM 评测器将提示词同样解构为检验问题集 $\{q_i^\star\}_{i=1}^Q$，对生成图像逐题核验，采用满意率比例分数而非二值评分： $$z_{\text{img}}(I, p) = \frac{1}{Q_p} \sum_{i=1}^{Q_p} \mathbf{1}[\mathcal{E}_{\text{vlm}}(I, q_i^\star) = \text{yes}]$$ - 步骤 2–5 的文本推理质量奖励与格式门控（Format Gating）：分别检验摘要的实体保真度、元组的覆盖度与无幻觉性、VQA 推理的图像依据扎实度，以及反馈指令的靶向性与精准度（得分区间归一化至 $[0, 1]$）。同时设置严格的二值格式门控 $g_k \in \{0, 1\}$，一旦输出格式不符合结构化解析规范（例如步骤 3 无法解析为元组、步骤 4 缺失判定标签），奖励直接归零，强制模型学习规范的结构化思维链。 - 步骤 6 的指令遵循保真奖励（Instruction-Following Reward）：为防编辑步骤产生无关变形，引入保真评分 $z_{\text{if}}(I, F, I')$，评估从原图 $I$ 到修正图 $I'$ 的过渡是否忠实于反馈指令 $F$ 并保留未修改区域。最终步骤 6 的奖励取图文对齐分数与指令遵循分数的几何平均值： $$R_6(s_h, a_h) = \left(z_{\text{img}}(I', p) \cdot z_{\text{if}}(I, F, I')\right)^{1/2}$$

3. 步级优势估计与细粒度信用分配：消除中间步骤方差抵消

若将各步骤奖励简单求和作为整条轨迹的单一标量优势，不仅会模糊各个步骤的具体贡献，还会导致某一步的极佳表现被另一步的失误完全抹杀。FiRe-GRPO 提出步级优势估计策略，在采样的一组 $M$ 条候选轨迹中，针对各步骤生成位置 $h$ 独立进行组内均值与方差归一化： $$A_h^{(i)} = \frac{r_h^{(i)} - \operatorname{mean}\left(\{r_h^{(j)}\}_{j=1}^M\right)}{\operatorname{std}\left(\{r_h^{(j)}\}_{j=1}^M\right)}$$ 在反向传播计算 token 级别裁剪目标时，动作 $a_h^{(i)}$ 内部生成的每个 token $z_t^{(i)}$ 均直接绑定其所在步骤的局部优势 $\widehat{A}_t^{(i)} = A_h^{(i)}$。通过对摘要、元组分解、视觉自审、反馈规划及图像编辑 token 分配专属性质的梯度权重，彻底解决了长链多模态推理生成中的信用分配难题。

一个完整示例¶

假设用户提示词为："A vintage kitchen with a pink oven, two blue mugs on the wooden counter, and three white ceramic plates." 1. 步骤 1（初始生成）：模型生成一张复古厨房图像，但画面中烤箱呈现白色，台面上仅有 2 只盘子。 2. 步骤 2（事实摘要）：提取具象事实，过滤风格化虚词，保留：vintage kitchen, pink oven, wooden counter, 2 blue mugs on wooden counter, 3 white ceramic plates。 3. 步骤 3（元组解构）：解构为原子元组集： - $\tau_1$: whole-entity(kitchen, vintage) - $\tau_2$: attribute-color(oven, pink) - $\tau_3$: spatial-relation(blue mugs, on, wooden counter) - $\tau_4$: count(blue mug, 2) - $\tau_5$: count(white ceramic plate, 3) 4. 步骤 4（元组 VQA 验证）： - $\tau_2 \rightarrow$ 理由: "The oven in the image is off-white, not pink."，判定: no - $\tau_5 \rightarrow$ 理由: "There are only 2 white plates visible on the counter."，判定: no - 其余元组均判定: yes 5. 步骤 5（反馈生成）：由于存在未通过项，模型综合生成反馈："Change the oven color from white to pink, and add one more white ceramic plate to make exactly three plates on the counter." 6. 步骤 6（局部重绘）：模型注入局部保持提示词，将烤箱色调精准替换为粉红色，并在台面上增补 1 只盘子，木质柜台与蓝色杯子保持原状。经第二轮复核后全部元组判定为 yes，输出 $F = \text{no-edit}$ 终止迭代。

损失函数 / 训练策略¶

FiRe 的训练采用“监督微调（SFT）奠定推理基础 + 强化学习（FiRe-GRPO）激发探索能力”的两阶段训练范式： - 阶段一：监督微调（SFT）
构建包含 200K 图文对的微调数据集 $\mathcal{D}_{\text{SFT}}$（140K 样本来自 FocusDiff 编辑数据，60K 样本由 Qwen-Image / Qwen-Image-Edit 针对性合成）。轨迹同时覆盖对齐图像（直接输出 $F = \text{no-edit}$）与未对齐图像（经历步骤 2–6 完整修正）。使用标准自回归交叉熵损失训练： $$\mathcal{L}_{\text{SFT}}(\theta) = -\frac{1}{T} \sum_{\ell=1}^T \log \pi_\theta(y_\ell \mid X, y_{<\ell})$$ 骨干网络采用 Janus-Pro-7B，在 8 张 A100 GPU 上利用 DeepSpeed ZeRO-2 全参数微调 Aligner、LLM Backbone 与 Image Head 共 14K 步（全局 Batch Size 128，学习率 $2 \times 10^{-5}$）。 - 阶段二：强化学习（FiRe-GRPO）
以 SFT 模型为初始化策略 $\pi_{\theta_{\text{old}}}$ 和 KL 散度参考模型 $\pi_{\text{ref}}$，在 24 张 A100 GPU 上执行步级 GRPO 训练。训练目标结合了裁剪后的重要性采样比率与 KL 散度惩罚： $$\mathcal{J}_{\text{FiRe-GRPO}}(\theta) = \mathbb{E}_{p, \{\xi^{(i)}\}} \left[ \frac{1}{M} \sum_{i=1}^M \frac{1}{T_i} \sum_{t=1}^{T_i} \left( \min\left( \rho_t^{(i)}(\theta) \widehat{A}_t^{(i)}, \operatorname{clip}(\rho_t^{(i)}(\theta), 1-\epsilon, 1+\epsilon) \widehat{A}_t^{(i)} \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right) \right]$$ 采用 Qwen3.5-35B-A3B 作为外部评估器计算步级奖励，标准评估采用 300 步检查点，延伸训练版本（FiRe-2500 Steps）进一步优化 2,500 步。

实验关键数据¶

主实验¶

论文在三个公认最具挑战性的组合文生图基准上进行系统评测：GenEval（聚焦物体、属性与方位）、GenEval++（更高复杂度的多条件与属性绑定，更防指标饱和）以及 DPGBench（长提示词密集语义对齐）。所有基线均在相同硬件与评测脚本下复现，(1st)、(2nd)、(3rd) 分别代表初始生成、第一轮修正与第二轮修正。

方法类型	模型 / 方法	GenEval Overall ↑	GenEval++ Overall ↑	DPGBench Overall ↑
扩散模型	SD3.5 Large	0.74	-	84.08
扩散模型	Flux.1 Dev	0.66	0.314	83.79
统一多模态	Show-o2	0.76	-	86.14
统一多模态	BAGEL	0.82	0.371	85.07
统一多模态	Janus-Pro-7B (Backbone)	0.80	0.246	83.78
多模态推理	T2I-R1*	0.79	0.311	85.06
多模态推理	Janus-R1* (1st)	0.80	0.290	83.58
多模态推理	Janus-R1* (2nd)	0.82	0.294	84.03
多模态推理	Janus-R1* (3rd)	0.83	0.285	84.13
本文方法	FiRe (1st)	0.84	0.379	84.88
本文方法	FiRe (2nd)	0.86	0.464	85.26
本文方法	FiRe (3rd)	0.87	0.491	85.28
长期训练	FiRe-2500 Steps (1st)	0.89	0.591	85.40
长期训练	FiRe-2500 Steps (2nd)	0.90	0.684	85.97
长期训练	FiRe-2500 Steps (3rd)	0.90	0.686	86.01

消融实验¶

1. 推理步骤粒度与原子组件消融（在 GenEval++ 上的三轮迭代分数） 论文对比了细粒度六步推理（w/ FG）与将摘要、元组和 VQA 压缩为单步全局反思的粗粒度基线（w/ Coarse），并独立剔除元组解构（Step 3）与 VQA 验证（Step 4）：

实验配置	1st 轮得分	2nd 轮得分	3rd 轮得分	核心结论与说明
FiRe-SFT 完整细粒度 (w/ FG)	0.348	0.409	0.440	细粒度原子化推理使模型多轮迭代持续提升
粗粒度单步全局判断 (w/ Coarse)	0.300	0.400	0.410	缺乏原子核查，第3轮提升停滞且易漏判
剔除元组解构 (w/o Tuple)	0.361	0.403	0.433	缺乏元组显式约束，多轮修正准确性明显受损
剔除元组级问答 (w/o VQA)	0.353	0.401	0.428	缺少以图为依据的具体判决，降低指令可靠度
同时剔除元组与问答 (w/o Tuple+VQA)	0.337	0.387	0.407	性能大幅下滑，证明细粒度感知闭环是核心动能

2. FiRe-GRPO 优势估计策略消融（GenEval++ Overall）

优势计算策略	1st 轮得分	2nd 轮得分	3rd 轮得分	机制说明
步级独立优势 (w/ Stepwise)	0.38	0.46	0.49	各步骤独立归一化优势，提供细粒度直接梯度信号
轨迹级聚合优势 (w/ Aggregated)	0.37	0.39	0.44	计算步级奖励但整条轨迹广播单一平均优势，混淆步骤贡献
仅最终图像对齐奖励 (w/ Terminal)	0.35	0.42	0.44	忽略全部中间推理步，陷入常规稀疏奖励瓶颈

关键发现¶

迭代精炼的持续单调提升：基线 Janus-Pro-R1 在进行全图粗粒度自精炼时，第 3 轮得分往往发生回退（GenEval++ 从第 2 轮的 0.294 降至 0.285），暴露出全局重采样导致的错误累积；而 FiRe 凭借元组级自审与局部保留编辑，三轮迭代实现持续单调递增（0.379 $\rightarrow$ 0.464 $\rightarrow$ 0.491）。
细粒度信用分配的必要性：Table 4 证明，单纯引入步级奖励是不够的（w/ Aggregated 第 3 轮仅 0.44），必须配合步级的独立优势估计归一化（w/ Stepwise 达到 0.49），才能有效指导中间推理 token 避开低效或虚假的生成路径。
视觉理解与审美质量无损：在 MME-P 多模态理解基准上，FiRe 微调后理解得分由 1502 提升至 1541，人类偏好评分 HPSv3 从基线 Janus-Pro 的 6.36 提升至 8.71，打破了传统强化学习微调在单模型中易引起多模态理解退化与视觉伪影的难题。

亮点与洞察¶

将视觉生成重塑为严谨的符号化认知闭环：FiRe 不盲信大模型生成单幅图像的直觉概率分布，而是通过“摘要 $\rightarrow$ 原子元组 $\rightarrow$ VQA $\rightarrow$ 针对性反馈 $\rightarrow$ 局部重绘”将模糊的生成过程转化为类似于代码单元测试的离散判定回环。
格式门控结合的步级 GRPO 机制：在中间推理步骤施加结构化二值格式门控，一旦输出偏离严格语法（非可解析元组或缺少 yes/no 理由）奖励即强制清零，优雅地解决了强化学习训练长链思维模型时容易产生格式塌缩的问题。
可迁移的自校正范式：该套“元组分解-VQA核查-局部保留重绘”框架完全脱离对特定外部工具的依赖，其核心思想可直接迁移至视频生成的一致性校验或 3D 场景合成的物理约束审计中。

局限与展望¶

推理延迟与计算开销增加：相比单次直接采样，六步细粒度推理在多轮循环中带来了不可忽视的自回归解码与序列长度开销；虽然 GPU 显存峰值增加可控，但端到端延迟显著上升。
难以显式量化视觉未充分说明（Visually Under-specified）的抽象意图：对于偏向艺术化、意境化等缺乏客观物理边界的提示词，元组拆解可能遗漏不可言传的全局氛围信息。
强化学习奖励评测器的单点依赖：目前 FiRe-GRPO 的中间奖励重度依赖单一外部评测模型（Qwen3.5-35B-A3B），评测器本身的视觉偏差可能向微调策略传递系统性偏置，未来可探索集成式评审或蒙特卡洛多路径轨迹采样（如 GiGPO）。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次将原子元组解构与步级 GRPO 引入统一 MLLM 的闭环文本到图像自纠错生成）
实验充分度: ⭐⭐⭐⭐⭐（在三大组合评测集上对齐主流扩散模型与统一模型，提供了详尽的步骤粒度与优势估计消融分析）
写作质量: ⭐⭐⭐⭐⭐（框架清晰严谨，数学公式与算法伪代码推导完整规范）
价值: ⭐⭐⭐⭐⭐（为下一代多模态统一大模型如何有效利用“测试时计算”提升图像生成精度树立了极具参考价值的范例）