Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing¶

会议: NeurIPS 2026
arXiv: 2606.05950
OpenReview: https://openreview.net/forum?id=kbEhNKUbYG
代码: https://github.com/yuxiaooye/Edit-R2
领域: 图像生成
关键词: 多轮图像编辑、情境感知强化学习、IC-CoT、轨迹过滤、MICE-Bench

一句话总结¶

针对多轮交织图像编辑中长上下文意图稀释与误差状态污染难题，Edit-R2 提出情境思维链重构会话意图，并联合离散文本与连续潜空间流匹配进行轨迹级强化学习与前缀有效优势修正。

研究背景与动机¶

基于扩散模型和统一多模态大模型的文本引导图像编辑近年来取得了显著进展，但在绝大多数现有研究中，任务设定仍被局限于「单张参考图 + 单条指令生成单张编辑图」的隔离范式。而在真实的交互式创作场景中，用户往往需要通过多轮会话逐步精细化调整图像——例如先添加主体、再变更其材质与位置、最后根据前序偏好微调光影或全局色调。在这种多轮情境编辑（multi-turn in-context image editing）中，模型不仅需要响应当前轮次的具体改动，还必须跨越不断增长的多轮图文交织历史，严格保持累积的全局会话约束，并准确消解跨轮次代词指代与省略。

然而，现有多轮编辑范式在长程依赖下面临两个紧密耦合的核心瓶颈：其一是长上下文意图稀释（Long-Context Intent Dilution），随着编辑轮次推进，高分辨率图像生成引入庞大的视觉 token 预算，使得早期关键而稀疏的文本约束在 RoPE 旋转位置编码衰减与注意力分散下被迅速稀释，生成器难以维持对历史约束的注意；其二是编辑状态污染（State Contamination），前序轮次出现的任何细微伪影、指代偏差或未完全执行的指令都会作为后续轮次的初始输入状态传递下去，使得后续编辑陷入级联崩溃，进而在强化学习探索中产生充斥噪声虚假奖励的退化轨迹。

现有的多轮编辑基准与训练方法大多本质上仍是「历史无关」的，仅依赖前一轮图像与当前指令即可执行局部编辑，既缺乏全局约束评估，也无法有效支撑长视距会话优化。本文的核心 idea 是：将多轮情境编辑形式化为会话级有限步马尔可夫决策过程（MDP），通过情境思维链（IC-CoT）显式重构当前轮次的操作意图，并借助离散文本与连续流匹配联合的统一 GRPO 算法进行策略优化，配合前缀有效优势修正阻断误差级联。

方法详解¶

整体框架¶

Edit-R2 将多轮情境图像编辑形式化为有限视距马尔可夫决策过程 $\mathcal{M}=(\mathcal{S}, \mathcal{A}, R, K)$，其中 $K$ 表示编辑会话的总轮数。在每一轮 $t \in \{0, 1, \dots, K-1\}$，状态 $s_t = (Y_0, T_0, Y_1, T_1, \dots, Y_t, T_t)$ 包含初始参考图 $Y_0$ 以及此前所有轮次生成图与用户指令的图文交织序列。

整个框架基于多模态统一基座模型 BAGEL 构建，通过其原生的键值缓存（KV-Cache）增量维护历史图文上下文，无需每轮从头重复编码。每一轮编辑被分解为两个协同步骤：首先由多模态理解专家基于完整历史 $s_t$ 与结构化提示 $Q_{\text{CoT}}$ 生成情境思维链 $\mathbf{w}_t$，提炼出显式融合全局约束与指代消解的增强指令 $\tilde{T}_t$；随后，将更新后的状态 $\tilde{s}_t = s_{t-1} \oplus (Y_t, \tilde{T}_t)$ 交付流匹配生成专家，在连续潜空间中生成编辑图像 $Y_{t+1}$。在整个轨迹展开后，通过复合奖励函数与前缀过滤机制，对理解专家的文本生成和生成专家的流匹配采样轨迹执行统一强化学习反向传播更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 初始图像 Y0 + 多轮交织历史 st"] --> B["基于 IC-CoT 的会话状态重构<br/>理解专家消解代词并注入全局约束"]
    B --> C["增强指令 T~t 与精炼状态 s~t"]
    C --> D["连续潜空间流匹配图像生成<br/>生成专家基于 s~t 预测速度场轨迹 zt"]
    D --> E["编辑图像输出 Yt+1"]
    E --> F["会话级复合奖励评估<br/>IF 指令遵循 + CC 内容一致性 + GA 全局感知"]
    F --> G["前缀有效优势修正<br/>过滤低于阈值 δ 的破损轨迹"]
    G --> H["统一多轮策略优化<br/>Text-GRPO 与 Flow-GRPO 联合反向传播"]

关键设计¶

1. 基于 IC-CoT 的会话状态重构：压缩历史跨度并激活跨轮语义锚定 多轮交织历史中大量图像编码视觉 token 占据了上下文窗口的大部分预算，直接将原始长序列输入给流匹配生成器会导致严重的 RoPE 距离衰减，生成器对前序轮次中关键文本约束的注意力幅度大幅萎缩。为此，Edit-R2 引入情境思维链（In-Context Chain-of-Thought, IC-CoT）。理解专家 $\pi_\theta^{\text{und}}$ 接收完整交织历史 $s_t$ 与定制的问题提示 $Q_{\text{CoT}}$，自主进行两项核心推理：一是跨轮指代消解，将用户指令中模糊的代词（如“it”、“them”、“its”）还原为当前图像 $Y_t$ 中具体可见的目标实体；二是全局会话约束注入，若早期轮次定义了持续有效的全局限制（如“后续所有添加或修改元素必须是紫色/蓬松材质”），显式将其补充到当前指令中。

理解专家输出包含推理过程的文本标记序列 $\mathbf{w}_t$ 以及增强指令 $\tilde{T}_t$，其离散生成概率为 $\log \pi_\theta(\mathbf{w}_t)$： $$(\tilde{T}_t, \mathbf{w}_t, \log \pi_\theta(\mathbf{w}_t)) = \pi_\theta^{\text{und}}(s_t, Q_{\text{CoT}})$$ 随后，以 $\tilde{T}_t$ 替代原始指令 $T_t$ 构建精炼状态 $\tilde{s}_t = s_{t-1} \oplus (Y_t, \tilde{T}_t)$，流匹配生成专家 $\pi_\theta^{\text{gen}}$ 接收 $\tilde{s}_t$ 执行速度场轨迹采样： $$(Y_{t+1}, \mathbf{z}_t, \log \pi_\theta(\mathbf{z}_t)) = \pi_\theta^{\text{gen}}(\tilde{s}_t)$$ 由于增强指令紧邻当前生成动作，IC-CoT 极大地缩短了关键上下文与生成模块之间的注意力距离，消除了多轮注意力弥散。

2. 统一多轮策略优化：跨越离散文本与连续潜空间的端到端强化 IC-CoT 生成的推理文本不能割裂地单独做监督学习优化，因为一个看似通顺的重构指令只有在能引导下游流匹配生成器成功输出高质量、符合约束的编辑图像时才具备真实价值；同时，生成专家也需要适应理解专家的文本表征风格。Edit-R2 将离散文本空间与连续潜空间流匹配的决策过程联合建模，在多轮轨迹上采用统一群组相对策略优化（Unified-GRPO）。

在每一轮 $t$，模型接收复合标量奖励 $r_t$，综合衡量指令遵循度（IF）、非编辑区域内容一致性（CC）以及长程会话约束遵循度（GA）： $$r_t = w_{\text{IF}} \cdot \text{IF}(Y_t, T_t, Y_{t+1}) + w_{\text{CC}} \cdot \text{CC}(Y_0, Y_{t+1}) + w_{\text{GA}} \cdot \text{GA}(s_t, Y_{t+1})$$ 其中权重设为 $w_{\text{IF}} = w_{\text{CC}} = w_{\text{GA}} = 0.33$。整个策略优化目标通过共享优势函数将文本与图像更新损失相加： $$\mathcal{L}_{\text{unified}}(\theta) = \mathcal{L}_{\text{Flow-GRPO}}(\theta; \mathbf{z}_t, A_t) + \lambda \mathcal{L}_{\text{Text-GRPO}}(\theta; \mathbf{w}_t, A_t)$$ 流匹配损失 $\mathcal{L}_{\text{Flow-GRPO}}$ 与文本推理损失 $\mathcal{L}_{\text{Text-GRPO}}$ 均基于重要性采样比率配合 PPO 风格的截断范围 $[1-\epsilon, 1+\epsilon]$，共享轨迹级优势估计 $A_t$。该机制使得编辑图像获得的终端奖励能够无损地回传至前端的思维链生成器，实现思维与生成的深度协同。

3. 前缀有效优势修正：剔除污染轮次与稳定基准归一化 在多轮强化学习训练初期，IC-CoT 极易产生幻觉或错误的指令改写，导致生成的图像严重偏离用户意图。若允许错误的编辑状态继续演进，不仅后续生成毫无有效训练信号，而且基于视觉大语言模型（VLM）的奖励模型极易对高度退化的异常图像给出虚假正例评分（False-Positive），从而产生破坏性的梯度噪声。

为此，Edit-R2 引入了前缀有效（Prefix-Valid）过滤机制。对采样的 $G$ 条轨迹，若某条轨迹 $i$ 在轮次 $t$ 的即时奖励低于截断阈值 $\delta$（实验中设为 0.5），则立即终止该轨迹，丢弃其后续所有轮次。定义在轮次 $t$ 仍处于存活状态的有效轨迹集合为： $$\Omega_t = \{\,i \in \{1, \dots, G\} \mid r_{t'}^{(i)} \ge \delta, \ \forall t' \le t\,\}$$ 在计算 GRPO 群组优势时，仅在活跃集合 $\Omega_t$ 内进行均值和标准差归一化： $$A_t^{(i)} = \frac{r_t^{(i)} - \text{mean}_{j \in \Omega_t}(r_t^{(j)})}{\text{std}_{j \in \Omega_t}(r_t^{(j)})}, \quad i \in \Omega_t$$ 该设计防止了早期失败轨迹拉低均值基线导致原本劣质的生成反被赋予正优势，同时大幅节省了发散轨迹在后续轮次的不必要计算开销。

损失函数 / 训练策略¶

Edit-R2 基于预训练多模态统一模型 BAGEL 进行 LoRA 微调，LoRA rank 设为 64，alpha 设为 128，适配器同时挂载在理解专家与生成专家的注意力投影层及 MLP 层以支持端到端梯度回传。优化器采用 AdamW，学习率为 $1 \times 10^{-4}$。强化学习阶段每个提示采样 $G=6$ 条轨迹，每批次 48 个样本，分布于 $4 \times 6$ 张 NVIDIA H200 GPU 上，其中每个节点保留 2 张 GPU 专门部署奖励模型。为抑制训练中奖励模型的评分方差，在线训练采用轻量级 Qwen3-VL-32B-Instruct 配合温度 0.6 的 4 次采样自集成（Avg@4）策略计算 IF 与 GA；评测时则使用更大参数量的 Qwen3-VL-235B-A22B-Instruct 保证评估精度。为防止策略崩溃，引入相对于参考策略的 KL 散度约束，系数 $\beta=0.01$，策略截断阈值 $\epsilon=10^{-5}$。

实验关键数据¶

主实验¶

评估主要在作者构建的大规模多轮情境编辑基准 MICE-Bench（720 个三轮编辑序列，包含内容记忆与内容理解两大子任务）上展开，指标包括指令遵循（IF）、内容一致性（CC）、全局感知（GA）及三者均值（Avg）。各轮次评测结果如下表所示：

模型分类	方法	Turn 1 IF	Turn 1 CC	Turn 1 GA	Turn 1 Avg	Turn 2 IF	Turn 2 CC	Turn 2 GA	Turn 2 Avg	Turn 3 IF	Turn 3 CC	Turn 3 GA	Turn 3 Avg
闭源商业模型	GPT-Image-1 [high]	66.31	75.22	61.29	67.61	60.42	68.10	59.93	62.82	62.06	60.55	52.76	58.46
闭源商业模型	Nano-Banana-2	62.65	87.38	59.97	70.00	49.53	82.55	46.31	59.46	57.98	76.37	52.43	62.26
开源模型	Qwen-Image-Edit [2511]	58.62	81.20	52.84	64.22	46.47	77.58	46.50	56.85	25.04	72.46	20.76	39.42
开源模型	Flux.1-Kontext [dev]	43.21	73.25	38.28	51.58	32.56	71.51	32.63	45.57	33.90	68.53	31.87	44.77
开源模型	OmniGen	44.44	56.84	38.11	46.46	37.51	50.44	32.69	40.21	40.97	47.41	36.76	41.71
开源模型	VINCIE	34.77	71.51	31.67	45.98	34.68	63.37	31.92	43.32	43.78	58.02	26.90	42.90
开源模型	BAGEL (Base)	51.38	89.12	44.72	61.74	42.12	85.34	39.56	55.67	50.18	79.90	43.59	57.89
开源模型	BAGEL (w/ think)	45.90	88.39	42.37	58.89	43.66	83.58	40.03	55.76	47.80	77.88	48.14	57.94
开源模型	BAGEL (w/ IC-CoT)	51.88	87.80	46.30	62.00	46.84	83.82	46.07	58.91	50.82	78.21	46.79	58.61
开源模型	Edit-R2 (本文)	54.82	88.62	50.73	64.72	60.77	84.33	58.17	67.76	58.63	78.51	58.96	65.37

消融实验¶

在 MICE-Bench 上的模块消融研究验证了情境思维链（IC-CoT）、文本策略强化学习（TG, Text-GRPO）及前缀有效优势修正（PV）的渐进式收益：

配置	Turn 1 Avg	Turn 2 IF	Turn 2 GA	Turn 2 Avg	Turn 3 IF	Turn 3 GA	Turn 3 Avg	说明
Edit-R2 (w/o IC-CoT, TG, PV)	64.11	49.32	46.28	59.35	55.20	52.01	59.82	仅使用 Flow-GRPO 优化流匹配生成器，后期轮次增益严重衰减
Edit-R2 (w/o TG, PV)	62.85	51.53	51.37	62.54	56.50	55.76	63.75	引入 IC-CoT 推理重构指令，减轻生成模块记忆负担
Edit-R2 (w/o PV)	64.61	55.31	53.42	64.36	58.08	57.09	64.71	加入 Text-GRPO 联合优化推理策略，但缺乏劣质轨迹截断
Edit-R2 (完整模型)	64.72	60.77	58.17	67.76	58.63	58.96	65.37	具备全部模块，阻断误差级联，实现最佳长程编辑保持

关键发现¶

长程保持优势极其显著：在单轮 Turn 1 时，Qwen-Image-Edit 凭借单轮微调优势取得了较高单项表现，但在需要长程记忆的 Turn 2 和 Turn 3 中，缺乏多轮原生机制的模型迅速崩溃（如 Qwen-Image-Edit 在 Turn 3 的 IF 暴跌至 25.04，GA 暴跌至 20.76）。Edit-R2 相较基座 BAGEL 在 Turn 2 实现了 IF +18.65%、GA +18.61% 的跃升，在 Turn 3 实现了 IF +8.45%、GA +15.37% 的提升，全面超越所有开源模型，并在 Turn 2 和 Turn 3 均值上超越了 GPT-Image-1 和 Nano-Banana-2。
注意力图直观解释意图挽回：注意力可视化分析显示，BAGEL 在经历 2-3 轮历史后，受 RoPE 衰减影响对关键目标词（如“bench”）的文本注意力极度微弱，导致最终层视觉注意力发散迷失；Edit-R2 在第 2 轮和第 3 轮对核心目标词的注意力强度分别达到 BAGEL 的 5 倍和 10 倍，能够精确引导空间编辑区域。
自集成奖励是稳定 RL 的关键：消融表明，如果直接使用贪心采样的 VLM 作为奖励判别器，IF 训练曲线在第 1 轮就呈现单调崩溃；而采用温度 0.6 的 Avg@4 自集成策略则能有效平滑评分噪声，带来稳定持续的策略提升。

亮点与洞察¶

离散推理与连续生成的统一强化学习：将理解专家的思维链 token 生成与生成专家的扩散/流匹配速度场预测解耦建模为共享优势的统一 GRPO，使语言推理模块能直接接收终端图像视觉质量的奖励回流，形成了真正的“思考指导生成、生成反馈思考”。
前缀有效过滤击中多轮 RL 核心痛点：多轮会话 RL 最忌讳早期一步走错导致后续整条轨迹变成垃圾数据还产生虚假正向奖励。Edit-R2 在每轮低于阈值时截断并在优势归一化中动态排除，不仅稳定了基线方差，还直接节省了发散样本的推理算力。
可复用的跨轮指代与约束范式：提出的 MICE-Bench 构建机制（基于对象池动态演进生成指令、非平凡约束提示语注入、跨轮代词重写）为未来多轮多模态评测提供了高质量的自动化基准模板。

局限与展望¶

任务场景的覆盖范围仍有局限：目前 MICE-Bench 与算法验证主要集中在内容记忆（全局属性约束）与内容理解（代词指代消解）两类经典的长程情境中，尚未完整覆盖更复杂的交互模式（如否定撤销、条件假设编辑、自由创意发散等）。
多轮错误累积的不可逆性：尽管前缀过滤稳定了训练，但在实际无监督推理部署时，若中间轮次发生严重的几何结构破坏或误删关键物体，模型依然缺乏主动回滚或自我纠错的元控制能力。
计算与显存开销较高：训练中需同时维护多轮图像与思维链的历史，且在线强化学习依赖群组轨迹采样与多张 GPU 部署的大参数量 VLM 奖励模型，对算力资源要求较高。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次建立多轮情境编辑的会话级 MDP 与离散-连续联合 RL 架构，提出 IC-CoT 与前缀有效过滤机制）
实验充分度: ⭐⭐⭐⭐⭐（构建 720 序列的 MICE-Bench 自动化评测基准，全面涵盖主流闭源/开源基线，消融实验与注意力机理解释翔实）
写作质量: ⭐⭐⭐⭐⭐（问题建模严谨，形式化清晰，图表表达信息密度高且逻辑链完整）
价值: ⭐⭐⭐⭐⭐（为多模态统一模型迈向真实交互式多轮图像创作提供了极具参考价值的训练范式与基准体系）