Think in Strokes, Not Pixels: Process-Driven Image Generation via Interleaved Reasoning¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 交错推理、过程监督、统一多模态模型、场景图、自我批评

一句话总结¶

STIR 用场景图构造渐进绘图轨迹，并通过文字冲突与图文不对齐两类批评监督，让 BAGEL-7B 学会交替计划、绘制、检查和修正，将 GenEval 总分从 0.79 提升到 0.83、WISE 从 0.70 提升到 0.76。

研究背景与动机¶

文生图模型能画出逼真的物体，却不一定画对物体之间的关系：例如“熊悬在勺子上方”可能变成“熊站在勺子旁边”。单次生成需要同时决定布局、对象数量和属性绑定，即使事先写一段文本思维链，推理也看不到随后真正生成的画面。外部模型在成图后提出修改意见有所帮助，但这不等于生成模型已经学会在场景尚未完成时判断下一步。

难点在于，中间画面不能直接按最终提示词判错。如果目标是“猫站在长凳上，凳子左侧有鼠标”，第一步只画出长凳可以是合理进度；把鼠标画在凳面左端则可能已经违反空间关系。模型既要记住哪些内容还没画，又要检查当前已经画出的内容是否正确，因此需要的是带局部目标、全局约束和视觉反馈的过程监督，而不只是更多最终图像。

论文将这种监督落实到可辨识的语义状态，而不是去噪过程中模糊的潜变量。核心 idea：先教模型按对象和关系逐步构造场景，再让它从自身生成轨迹中学习区分“尚未完成”和“已经出错”，把文字推理与视觉修正内化为同一个模型的生成过程。

方法详解¶

整体框架¶

STIR 建立在具有理解与生成能力的 BAGEL-7B 上，输入是文本提示词，也可附带待编辑图像；输出不仅包括最终图像，还包括交错的计划、草稿、检查意见和修正结果。它不是笔画坐标预测器，也不输出矢量绘画程序，标题中的“strokes”指语义上逐步推进的图像构造。

训练侧先完成“场景图轨迹构造”，再收集“双路批评监督”，共同训练“统一交错生成”。推理侧只有一个模型：每轮先描述打算修改什么及修改后的整体场景，生成草稿后检查一致性，必要时修正，再决定是否继续；GPT 与 Flux-Kontext 是数据构造工具，不是在线推理必需组件。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练提示词"] --> B["场景图轨迹构造"]
    B --> C["双路批评监督"]
    B -.->|训练轨迹| D["统一交错生成"]
    C -.->|训练批评| D
    E["推理提示词<br/>可选输入图像"] --> D
    D -->|计划、绘制、检查、修正| D
    D -->|完成| F["最终图像"]

关键设计¶

1. 场景图轨迹构造：给不完整画面一个合法的阶段目标

数据构造先把完整提示词表示为场景图，用对象节点、属性节点和关系边记录最终需要满足的条件，再通过子图采样得到逐渐扩大的局部目标。这样，“当前只出现长凳”不再天然意味着漏画猫，而是对应一个明确的中间子图；后续步骤增加对象或关系时，应尽量保持既有场景的空间和语义一致性。作者用 Flux-Kontext 合成各步目标图像，再通过 GPT 过滤轨迹，使训练样本同时给出该步做什么、结果应该是什么样。

单纯扩展子图容易把生成过程限制为“不断添加东西”，但真正纠错往往需要修改属性、交换或删除对象。论文因此让 GPT 重写一部分步骤指令，在保持目标语义的前提下引入这些编辑操作，扩展模型能够执行的状态变化，而非只让语言表达更多样。表 1 的多轮生成子集包含 32,012 条样本，每条平均 3.51 张图像、最多 5 张；这些是训练轨迹统计，不是固定的推理轮数。

2. 双路批评监督：分清计划走偏与画面执行失败

第一路检查“文字中间状态是否违背完整提示词”。作者先用多轮生成数据微调模型，再从该模型采样实际生成轨迹，让 GPT 判断阶段性场景描述与原始提示词是否一致；发现冲突时，补充分析与纠正指令。这种自采样让训练看到模型自己容易犯的错误，也让它学习保留正确的已有信息，而不是把所有未完成对象都当成缺陷。该子集有 15,201 条样本，其中正例 6,905 条、负例 8,296 条。

第二路检查“实际图像是否执行了当前绘图指令”。作者扩展并整理 Gen-Ref 数据，对正确图文对给出一致性解释，对不匹配样本给出错误分析和修正指令。这里即使计划正确，草稿也可能画错数量、位置或属性，因此不能用文字一致性检查替代视觉检查。该子集共 15,000 条，正例 5,000 条、负例 10,000 条；原文称其为均衡样本，但表 1 明确给出 1:2 的比例，本笔记保留表中计数。

3. 统一交错生成：让检查结果真正改变后续图像

每轮 Plan 生成两类文本：<ins>...</ins> 表示这一步要增加或修改什么，<des>...</des> 描述期望的整体场景。Sketch 根据这些文本和此前图文历史生成中间图像。Inspect 同时比较阶段计划与原始提示词、草稿与当前指令；若存在偏差，输出带 <refine>...</refine> 的修正信息，Refine 再生成更符合目标的图像。这里“草稿”是可以被理解和评价的部分场景，不是必须低分辨率或模糊的去噪状态。

文字和图像共享一条交错上下文，后续决策能够读取先前的计划、草稿和修改结果。模型用特殊视觉边界 token 切换模态，文字部分自回归生成，图像部分沿用 BAGEL 的 Rectified Flow。因此，“自回归交错序列”并不意味着所有图像像素都按离散 token 逐个预测。过程长度可以随任务变化，模型完成最终图像后终止，不要求每条提示词都执行相同数量的修改。

一个完整示例¶

以图 1 的“猫站在长凳上，低头看凳子左侧的黑色电脑鼠标”为例，先形成长凳，再添加鼠标和猫，可以把对象与关系逐步落实。此时画面中暂时没有猫不应立即触发“漏画猫”的惩罚，因为模型尚未执行那一步。

假设添加鼠标后，阶段描述变成“鼠标放在凳面左端”，Inspect 要把这个描述与完整要求中的“长凳左侧”对照，发现关系已经走偏。对应修正是移除凳面上的鼠标，将鼠标放到长凳左侧地面，再以修正后的画面继续构造场景；这也说明只有添加操作为什么不足以完成纠错。

另一种错误是文字计划完全正确，但图像画出了两只本应只有一只的鸟。此时不需要重新解释用户目标，而需要图文对齐检查指出数量错误并删除多余对象。两例分别展示了两路监督的职责，并不代表论文为所有提示词规定了固定执行顺序或轮数。

损失函数 / 训练策略¶

文本段使用下一 token 交叉熵训练，并对 <|vision_start|>、<|vision_end|> 等视觉边界 token 施加监督，使模型学会何时从推理切换到绘图。视觉段采用 Rectified Flow 的均方误差目标，条件包含原始提示词及此前完整图文轨迹；总目标是文本与视觉损失的加权组合，属于监督微调，而非本文新引入的强化学习目标。

缓存中的式 (1) 至式 (6) 存在明显排版抽取损坏，尤其潜变量插值、期望符号和总损失下标不完整，因此这里不重构作者的精确公式。可确认的是，文本损失负责推理内容与模态切换，视觉损失负责按照历史上下文生成中间及最终画面；权重的具体取值在所读正文中没有明确给出。

训练使用 8 张 NVIDIA H100，对全部参数端到端微调 10,000 步，打包序列长度为 33,000 tokens，学习率为 \(2\times10^{-5}\)，采用余弦衰减。三个子集样本数合计 62,213，过程基线表将其约写为 62K；“条样本”和“中间图像张数”不是同一个计数口径。

终止描述也需谨慎：第 3.3 节说最终图像后由序列结束 token 标记停止，第 4.1 节又以视觉结束标记后不再接视觉开始标记描述停止。可以确定模型自主结束交错轨迹，但仅凭此缓存不能确认完整实现级 token 协议。

实验关键数据¶

主实验¶

下表摘取原文表 2 的 GenEval 结果，分数均越高越好。GenEval 评估对象、数量、颜色、空间位置和颜色属性绑定；总分沿用原表，不由展示列重新计算。

模型	单对象	双对象	计数	颜色	位置	颜色属性	总分
FLUX.1-dev (12B)	0.98	0.93	0.75	0.93	0.68	0.65	0.82
Janus-Pro-7B	0.99	0.89	0.59	0.90	0.79	0.66	0.80
BAGEL-7B，作者复现	0.99	0.95	0.76	0.87	0.51	0.60	0.79
STIR	0.99	0.95	0.75	0.87	0.72	0.69	0.83

STIR 相对 BAGEL 的总分增加 0.04，主要变化是位置增加 0.21、颜色属性增加 0.09，而计数下降 0.01，单对象、双对象和颜色保持不变。它在该表中统一多模态模型的总分最高，但位置分数仍低于 Janus-Pro-7B 的 0.79，不能据此宣称所有细分能力都领先。

下表摘取原文表 3 的 WISE 结果，该基准检验世界知识能否落实到生成图像中。

模型	Culture	Time	Space	Biology	Physics	Chemistry	总分
FLUX.1-dev	0.48	0.58	0.62	0.42	0.51	0.35	0.50
BAGEL	0.76	0.69	0.75	0.64	0.75	0.58	0.70
STIR	0.74	0.82	0.73	0.70	0.76	0.78	0.76

Time 增加 0.13，Chemistry 增加 0.20；Culture 与 Space 各下降 0.02。因此原文“近 15%”的概括不适合直接套到这两项上，应使用表中的绝对分数变化。总分提升说明过程监督有帮助，但并不证明世界知识本身全面增长。

消融实验¶

原文表 7 分别加入两类一致性监督，显示它们针对不同错误；这里的 Multi-turn SFT 是该消融的基线，不与其他消融中的不同配置混用。

配置	计数	颜色	位置	颜色属性
Multi-turn SFT	0.61	0.84	0.66	0.62
加入文字中间状态冲突监督	0.62	0.85	0.71	0.65
加入图像与指令对齐监督	0.73	0.86	0.69	0.65
两类监督同时加入	0.75	0.87	0.72	0.69

文字冲突监督使位置从 0.66 提升到 0.71，图文对齐监督使计数从 0.61 提升到 0.73；同时加入时，各展示指标均优于单路监督。这支持“计划是否合理”和“画面是否执行正确”不能互相替代。

关键发现¶

原文表 5 中，只加入多样编辑指令便使位置从 0.58 提升到 0.67、颜色属性从 0.50 提升到 0.62；再加入自我批评后达到 0.72 和 0.69。修改、交换、删除不是装饰性数据增强，而是纠错所需的动作空间。
原文表 6 中，场景图纠正与自采样纠正的位置分数为 0.70 和 0.72，颜色属性为 0.67 和 0.69。自采样更好，但这些展示列不支持把“比符号纠正高 6%”当成统一结论。
原文表 4 中，外接 GPT Planner 的 GenEval 为 0.60，GPT Inspector 为 0.80，STIR 为 0.83。相对 BAGEL 的 0.79，Planner 实际下降 0.19，不能直接把正文“下降 23%”解释为 23 个百分点。
同一表中 PARM (RL+TTS) 使用 688K 训练样本、1,000 个累计采样步，得分 0.77；STIR 为 62K、131 步、0.83。两种成本约为前者的 1/11.1 和 1/7.6，并非都减少 8 倍；采样步也不等于同硬件实测延迟。

亮点与洞察¶

中间监督的关键不是让画面“更接近最终图”，而是让它符合当前合法子任务。这为过程评价提供了语义锚点，能减少对未完成内容的误判。
把计划错误与执行错误分开，能让纠正指令更有针对性。前者需要修改阶段目标，后者可能只需重画局部，表 7 提供了两类监督互补的证据。
从自身错误分布采样，比只构造方便控制的符号错误更贴近实际推理需求。这个思路可用于其他生成模型，但需要另行验证迁移效果。

局限与展望¶

数据生成依赖 Flux-Kontext、GPT 过滤与批评，正文没有完整量化其成本或标注可靠性。推理不依赖外部模型，并不意味着整条训练流程没有外部依赖。
过程生成增加计算：131 是累计图像采样步，不能据此证明交互实时性。正文报告平均 2.62 个推理步骤，但未给出充分的墙钟延迟、长轨迹稳定性或失败重试分析。
主要定量证据来自 GenEval 和 WISE，尚不足以证明审美质量、复杂开放场景或编辑任务的普适收益；消融表没有展示重复实验方差。
缓存公式损坏，以及原文样本均衡、百分比、终止 token 描述不一致，限制了仅凭正文精确复现。本文以表格为主要数字依据，不自行统一这些冲突。
作者提出扩展至视频、3D 和实时人机协同；更直接的下一步是检验批评误报率、局部修正是否破坏既有对象，以及长度可控的推理预算。

评分¶

新颖性: 4/5。把语义中间状态、双路批评和统一生成串成可监督过程，贡献主要在训练范式和数据设计。
实验充分度: 4/5。有两个基准、过程基线及多组消融，但延迟、方差和开放场景评价仍不足。
写作质量: 3/5。核心流程直观，若干文字结论与表格不一致，缓存公式还影响精确阅读。
价值: 4/5。为可解释、可纠错的统一图像生成提供了具体路径，但尚不能视为通用实时绘图方案。