RePlan: Reasoning-Guided Region Planning for Complex Instruction-Based Image Editing¶

会议: ECCV2026
论文: ECCV 原文
官方编号: 3410
引用数: 12（任务提供，2026-09-17；未独立联网核验）
领域: 视觉语言推理 / 图像生成
关键词: 指令图像编辑、区域规划、思维链、注意力区域注入、GRPO

一句话总结¶

RePlan 让视觉语言模型先推理出“改哪个区域、具体怎样改”，再以无需训练编辑器的注意力区域注入并行执行修改，在 IV-Edit 上将 Flux.2-Klein-9B 的 Overall 从 3.45 提升至 3.92，主要改善区域一致性。

研究背景与动机¶

指令图像编辑不仅要生成好看的结果，还要在多个相似对象中找对目标。例如“把桌上用过并放下的杯子换成盆栽”，要求模型结合杯中是否有水、物体状态与语言含义判断目标，而不是把所有杯子都替换。本文把复杂画面、复杂指令及二者相互作用带来的困难称为指令视觉复杂性（Instruction-Visual Complexity，IV-Complexity）。

InstructPix2Pix 一类方法直接学习指令到编辑结果的映射；Qwen-Image、Bagel 等方法进一步引入视觉语言能力，但理解正确并不保证生成器改对位置。将整句需求编码成全局语义条件，仍可能让同类对象接收到相同编辑意图。逐区域图像修补可以加强定位，却需要多轮执行，前一轮的误差和画质损失会传给后一轮。

本文因此关注理解模型与编辑模型之间的接口：不仅传递“生成什么”，还要显式传递“这一条提示属于哪个区域”，同时保留全图视觉交互以维持连续性。核心 idea：把推理结果表示为可检查的区域框与编辑提示对，再用注意力可见性规则把各条提示送到对应区域，而不是让扩散模型自行从全局文本中重新猜目标。

方法详解¶

整体框架¶

输入是一张图像和自然语言编辑指令，输出是完成修改的图像。区域对齐规划器先生成思维链、全局提示以及区域框与局部提示；注意力区域注入把这些提示分别编码，并按区域限制它们与图像 token 的交互；规则组注意力则让这种受限注意力高效运行。所有区域在同一次编辑过程中共同生成，不是把每个区域依次修补。

默认规划器是 Qwen2.5-VL 7B，训练时的编辑骨干为 Flux.1-Kontext-dev。GRPO 训练的是规划器，注意力注入本身不要求重新训练扩散编辑器；因此不能把整个 RePlan 描述为“完全免训练”。论文也把同一框架接入 Qwen-Image-Edit 和 Flux.2-Klein-9B。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["图像与编辑指令"] --> Planner["区域对齐规划器"]
        Planner --> Injection["注意力区域注入"]
        Injection --> Acceleration["规则组注意力"]
        Acceleration --> Output["联合去噪后的编辑图像"]

这里的“单次”指一次联合编辑过程，不是只有一个扩散去噪步。框架仍使用预训练编辑器的生成过程，只是不再随区域数增加而重复整套编辑流程。

关键设计¶

1. 区域对齐规划器：先消除指代歧义，再输出可执行计划

规划器先结合图像理解指令中的隐含条件，再把抽象要求改写为具体视觉变化。它输出由 <think>、<global> 和 <region> 分隔的结构化文本：前者放推理过程，中间是全图提示，最后是 JSON 列表，每项包含 bbox_2d 与 hint。这些字段不仅便于解释，也能让后续模块直接提取区域坐标和编辑动作。

全局提示覆盖整张图，可以要求修改背景或保持其余区域不变；局部提示只描述对应目标的变化。局部提示也可以明确要求“不改这个对象”。这不是传统意义上降低某些词权重的扩散负面提示，而是把保持要求绑定到一个具体区域，以保护容易与目标混淆的邻近对象。

显式计划使失败位置更容易判断：如果框选错了，应检查规划器；如果框和提示正确但结果不对，则应检查执行器。用户还可手动修改框或提示。GRPO 进一步训练这种计划的可解析性和实际编辑效果，具体奖励见下方训练策略。

2. 注意力区域注入：隔离局部语言条件，保留全图视觉联系

编辑器基于 MMDiT，将文本、原图特征和带噪目标潜变量放入统一注意力序列。RePlan 不把所有提示先混成一个文本表示，而是分别编码全局提示与各区域提示，再拼接其 token；原图经 VAE 编码成 patch 网格，区域框映射到网格，形成局部图像 token 组，所有未落入局部组的 patch 构成背景组。

注意力可见性遵循五条规则：组内完全交互；不同文本提示组互不可见；图像与潜变量 token 之间保留全局交互；每个局部图像组只能接收本区域提示和全局提示；背景组只能接收全局提示。关键不是把画面切成彼此独立的小图，而是切断错误的语言条件连接，同时保留视觉信息流。

这一区别解释了它为何能够兼顾局部控制和整体风格：一个区域不会直接接收另一区域的改色提示，但各区域仍能通过图像与潜变量交互协调光照、边界和风格。框也不是“框外像素绝不变化”的硬约束，原文明确允许必要的影响延伸到框外。对重叠框和互相冲突的提示，当前正文没有给出完整的冲突消解细则。

3. 规则组注意力：把稠密遮罩换成即时可见性判断

直接构造 token 两两之间的稠密遮罩虽然容易实现，却会妨碍高效注意力内核并增加显存访问。这里的可见性只取决于少数规则组，通常少于 10 个，而不是每一对 token 都有独特规则，因此没有必要存储完整的两两关系矩阵。

实现中，每个 token 保存两个位集合：它属于哪些组，以及它允许关注哪些组。计算注意力时，查询 token 的允许集合与键 token 的所属集合做按位与，交集非空即可交互；FlexAttention 将这个判定融合进内核。这样保留了区域注入的语义约束，却不必物化稠密遮罩。

原文给出的额外存储复杂度从 \(O(n^2)\) 降为 \(O(n\lceil k/W\rceil)\) 个机器字，其中 \(n\) 是 token 数、\(k\) 是规则组数、\(W\) 是机器字的位宽。这是遮罩相关存储的改进，不能据此声称整个注意力计算变成线性复杂度。收益在多区域时尤其明显，因为联合编辑只增加提示长度，不需要为每个区域重新生成整张图。

一个完整示例¶

原文图 3 的桌面示例同时出现红色咖啡杯和装水的玻璃杯。面对“把用过并放下的杯子换成小盆栽”，规划器根据红杯看起来空置、玻璃杯仍装水，选择红杯作为修改对象；这属于模型对场景的推断，不是来自已知物体使用历史。

计划给出红杯区域 [224, 372, 263, 431]，提示将其替换为盆栽；另给玻璃杯区域 [175, 329, 220, 388]，提示保持不变；全局提示要求其余部分不变。编辑器分别编码这些提示后，红杯 patch 接收替换要求，玻璃杯 patch 接收保护要求，背景接收全局保持要求。

联合去噪时，不同提示彼此隔离，但视觉 token 仍全局通信，因此盆栽可以与桌面保持视觉协调。若结果误改玻璃杯，可先检查规划器是否正确生成保护区域，再检查区域提示的可见性规则，而不必只通过反复重写整句指令来试错。

损失函数 / 训练策略¶

论文使用约 1k 条复杂编辑的图像与指令样本，不需要配对的目标编辑图像；正文还提到这些样本先用于监督对齐。GRPO 对同一指令采样得到的多个候选计划及其结果进行相对比较，更新 Qwen2.5-VL 7B 规划器，而不是用这些样本训练新的扩散生成骨干。

第一阶段先让计划可被执行：标签格式奖励检查标记结构，区域格式奖励检查 JSON 列表及字典能否正确解析，所谓“推理质量奖励”则按 <think> 中的文本长度增长并设置上限。长度奖励只是推理行为的代理信号，并不直接验证推理是否正确，这一点不能被名称掩盖。

第二阶段把计划交给编辑器生成图像，由 Qwen2.5-VL 72B 评价目标是否改对（Target）、变化是否符合指令（Effect），以及无关区域和全局风格是否保留（Consistency）。为防止“完全不编辑也能获得高一致性”的取巧，原文将一致性奖励乘以效果奖励：

\[ R'_C = R_C \cdot R_E. \]

第二阶段综合目标奖励、效果奖励、加权一致性奖励，并用一个较小权重保留第一阶段格式奖励。缓存中的部分排版公式失真，正文未明确给出该权重和各奖励归一化的数值，故不补写不可核验的超参数。训练评价器 Qwen2.5-VL 72B 与测试评价器 Gemini-2.5-Pro 也应区分。

实验关键数据¶

主实验¶

IV-Edit 含约 800 对图像与指令，覆盖 7 类指代、16 类任务，平均指令长度为 21 个词，其中 182 个样本涉及多个目标区域。Gemini-2.5-Pro 按 1 至 5 分评价 Quality、Target、Effect 和 Consistency，Overall 为四项的简单平均；Target 和 Consistency 是评分维度，不是标准检测召回率与精确率。

下表摘录原文表 1，所有指标越高越好。Weighted 旨在以 Effect 调节 Consistency，但正文给出的乘积公式未清楚说明尺度处理，不能直接用表中四列均值重算；这里只保留原表报告值，不自行补公式。

模型	Quality	Target	Effect	Consistency	Overall	Weighted
Gemini-Flash-Image	3.89	4.11	3.93	2.89	3.71	3.44
Flux.1-Kontext-dev	3.93	3.34	2.73	2.88	3.22	2.49
Flux.1-Kontext-dev + RePlan	4.16	3.47	2.59	3.64	3.46	2.55
Qwen-Image-Edit	3.47	3.72	3.24	1.79	3.05	2.62
Qwen-Image-Edit + RePlan	3.86	3.77	3.16	3.24	3.51	2.91
Flux.2-Klein-9B	4.05	3.81	3.31	2.61	3.45	2.95
Flux.2-Klein-9B + RePlan	4.28	4.04	3.41	3.96	3.92	3.33

消融实验¶

原文表 2 使用 Flux.1-Kontext-dev 执行编辑，完整方法的 Overall/Weighted 为 3.46/2.55。以下都是原表绝对值，不将零样本规划器的结果误写成不同编辑骨干的性能。

配置	Overall	Weighted	说明
Gemini2.5-Pro 零样本规划器	2.95	1.93	作者观察到区域框错误
Qwen2.5-VL 7B 零样本规划器	2.60	1.63	提示分解与格式遵从较弱
去掉推理	3.31	2.49	直接输出区域计划
单阶段 RL	3.42	2.51	跳过第一阶段格式学习
RePlan 完整模型	3.46	2.55	推理与两阶段 RL

关键发现¶

一致性收益最稳定：三个骨干分别从 2.88、1.79、2.61 提升至 3.64、3.24、3.96；但前两个骨干的 Effect 分别从 2.73、3.24 降至 2.59、3.16，不能声称所有编辑能力全面提升。
Flux.2-Klein-9B + RePlan 的 Overall 为 3.92，高于 Gemini-Flash-Image 的 3.71，但 Weighted 为 3.33，低于后者的 3.44；“超过闭源模型”的说法必须限定指标。
原文表 3 的五区域端到端延迟为：多轮 Kontext 221.0 秒、朴素遮罩 RePlan 113.8 秒、规则组注意力 RePlan 54.1 秒；单区域加速版与基线均为 44.2 秒。这些是原文设置下的结果，不代表任意设备的固定耗时。
100 个样本、12 位专家的盲评中，RePlan 胜出 35%，Kontext 胜出 15%，平局 50%；排除平局后才是 70% 的胜率，不能把它描述为全部样本的胜率。

亮点与洞察¶

显式计划是可调试的中间表示。框与提示把“理解错目标”和“生成器执行错”分开，也允许用户只修正局部计划。
区域控制不等于完全隔离图像区域。隔离文本条件、保留视觉通信，使局部约束与全图风格协调可以同时存在。
算法约束与内核实现相互配合。只有将组规则直接融入注意力计算，免训练遮罩才不会带来过大的执行开销。

局限与展望¶

本文正文没有独立的局限小节。以下是基于方法与结果的阅读判断，不冒充作者明确承认的结论。
规划器会犯框定位、隐含语义判断和格式错误；长度奖励不能验证思维链真实性。可研究区域验证或结果反馈，但本文没有展示完整的自动纠错闭环。
框外像素并不保证严格不变，部分骨干的 Effect 还下降。对密集重叠对象、冲突局部提示和严格像素保真任务，仍需专门评测。
Weighted 的尺度与聚合细节不清楚，自动评分又依赖外部 VLM；100 个样本的人类比较只覆盖 Kontext 组合，不能验证所有骨干及所有指标。
当前缓存提供主文与参考文献，未包含主文提及的附录；完整数据来源、奖励超参数及更详细训练配置无法据此核验。约 1k 样本仅指规划器适配数据，不能忽略基础模型的预训练成本。

评分¶

新颖性：4/5。区域计划与受限注意力的接口清晰，规则组加速也具有实际价值。
实验充分度：4/5。包含多骨干、规划器和训练消融、延迟与人类比较，但指标口径及复现细节仍有限。
写作质量：4/5。任务动机与执行规则易理解，部分评价尺度和实现边界需要更明确说明。
价值：4/5。对复杂指令和多区域编辑有参考意义，但不应解读为全面替代通用图像编辑模型。