VisionCreator-R1: A Reflection-Enhanced Native Visual-Generation Agentic Model¶

会议: NeurIPS 2026
arXiv: 2603.08812
OpenReview: https://openreview.net/forum?id=zGiLxdshrQ
领域: LLM Agent
关键词: 视觉生成智能体, 反思机制, 规划协同优化, 强化学习, 结构方差非对称性

一句话总结¶

针对长程多图生成工作流中早期微小视觉偏差逐级累积扩散的缺陷，本文提出显式引入反思能力的端到端原生视觉生成智能体 VisionCreator-R1，基于规划奖励与反思奖励优化非对称性理论提出 RPCO 训练范式，全面超越 Gemini 2.5 Pro。

研究背景与动机¶

AI 辅助视觉生成正在迅速从单图生成向复杂的多图叙事与视频工作流演进。现有面向多步骤图像生成的工作主要分为两类路径：一类是针对特定窄领域手工搭建流水线的领域专用智能体，当任务结构或底层工具发生变动时极难自适应；另一类则是依赖预设提示词编排外部节点（如 ComfyUI 流程图）的流程指引型智能体，其硬编码的控制流割裂了对用户意图理解、任务规划与图像生成的端到端可微分联合优化。近期提出的原生视觉生成智能体（如 VisionCreator）虽然统一了理解、思考、规划与创作（UTPC），显著优于简单的“VLM + 工具”串联系统，但本质上依然是纯粹由规划驱动的开环执行模式。

现有系统提示词与训练信号高度偏向监督任务规划与工具调用的形式合理性，缺乏针对阶段性图像生成的自省与回溯纠错机制。在单图编辑任务中轻微的瑕疵尚可通过短程重试掩盖，但在长程多图工作流（如连环画、分镜脚本、角色连贯性生成）中，前序步骤产生的微小主体错配、风格偏移或属性遗漏会被无条件继承并逐级放大，导致后续整条生成轨迹彻底崩溃。更为关键的是，直接将单图编辑中验证有效的反思微调策略通过强化学习迁移至多图任务时，不仅反思质量严重下滑，还会引发规划与反思目标的相互冲突。

深入剖析该现象的数学根源，可以发现强化学习在长程视觉生成中存在不可忽视的结构方差非对称性：规划奖励由确定性评估器针对离散动作直接打分，轨迹方差极低；而反思奖励必须根据后验图像的最终呈现来判定，受扩散模型固有的高度随机性与长链路工具执行噪声污染，导致信噪比急剧坍塌。本文的核心 idea 是：遵循“先解耦后融合”的优势互补协同优化范式（RPCO），在低方差单图环境下训练高阶视觉诊断反思能力，与规划强轨迹构建平衡初始分布，再通过多任务强化学习实现规划与反思的双向协同。

方法详解¶

整体框架¶

VisionCreator-R1 构建了动态闭环的“行动–反思–思考–行动”（Act–Reflect–Think–Act）架构，将传统单向 UTPC 范式扩展为具备自主纠错能力的 UTPCR 循环。智能体接收到复杂生成指令后，首先进行全局任务拆解与工具规划，在每次生成工具调用返回中间视觉结果后，主动触发反思路径对图像进行多维度核验；若发现缺陷则重新审视规划并调用局部修复或重新生成工具，直至中间状态满足质检要求再推进至下一子目标。

在训练阶段，为克服规划与反思在强化学习中的方差失衡问题，RPCO 范式划分为三个渐进阶段：第一阶段在单图任务上利用细粒度检查点奖励训练强反思模型；第二阶段将强反思轨迹与强规划专家轨迹混合进行优势互补监督微调（SFT）；第三阶段在平衡先验基础上执行多任务联合强化学习（RL），实现全局协调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户复合视觉生成指令"] --> B["理解与全局规划<br/>任务拆解 / 工具选择"]
    B --> C["执行生成与编辑工具<br/>Qwen-Image-Edit-Fast 调用"]
    C --> D["显式视觉反思机制<br/>逐项检查点细粒度质量核验"]
    D -->|存在偏差需修正| E["动态规划重审与自纠错<br/>定向调用编辑工具补救"]
    E --> C
    D -->|核验通过进入下一步| F["推进后续图像生成步骤<br/>维护跨图像主体与风格一致性"]
    F -->|未完工| B
    F -->|全部步骤达成| G["输出满足多项约束的图像集"]

关键设计¶

1. 结构方差非对称性理论分析：揭示多图反思强化学习坍塌根因

为厘清为何单图反思策略无法通过强化学习直接外推到长程多图生成，本文从组相对策略优化（GRPO）的目标函数出发，对单步 token 生成梯度估计器 $\hat{g}$ 的总方差进行全方差公式正交分解： $$\Sigma := \text{Var}(\hat{g}) = \mathbb{E}_{s,a}[\text{Var}_{\tau \mid s,a}(\hat{g})] + \mathbb{E}_{s}[\text{Var}_{a \mid s}(\mathbb{E}_{\tau \mid s,a}[\hat{g}])] = \Sigma_{\tau} + \Sigma_{a}$$ 其中 $\Sigma_{\tau}$ 代表环境动力学与奖励随机性引入的条件轨迹方差，$\Sigma_{a}$ 代表策略动作采样的本征方差。对于规划奖励 $R_{\text{plan}}$，外部评测器可直接确定性地评估规划逻辑与工具匹配度，因此 $\text{Var}_{\tau \mid s,a}(\hat{A}_{i,t}) \approx 0$，使得 $\Sigma_{\tau} \approx 0$，梯度完全由探索方差 $\Sigma_{a}$ 主导，优化稳定可靠。

相反，多图反思动作的奖励信号 $R_{\text{reflect}}$ 依赖于后续所有扩散模型输出的最终图像，下游生成过程固有的随机扩散采样噪声与工具执行误差全部反向注入到轨迹条件方差中，导致 $\Sigma_{\tau} \gg \Sigma_{a}$。这种极端的方差失衡使得信噪比（SNR）严重坍塌，策略梯度无法准确归因反思动作本身的有效性，导致直接对多图任务做端到端反思强化学习时反思能力退化。

2. 优势互补监督微调（Advantage-Complementary SFT）：构建平衡初始先验

基于方差非对称性结论，直接在多图上进行冷启动强化学习必然导致次优解，因此必须通过高质量的离线先验完成规划与反思能力的解耦初始化。团队自主构建了 VCR-SFT 数据集，采用“双源互补蒸馏”策略构造 UTPCR 标准轨迹：第一部分为单图强反思子集，利用在低方差单图任务上经强化学习充分淬炼的 Strong-Reflection 模型收集轨迹，该模型在单图上具备远超通用专有模型的精准视觉质检与缺陷诊断能力；第二部分为多图强规划子集，由在全局长程规划上展现极高连贯性的 Gemini 2.5 Pro 生成。通过仅保留满足规划完整、标签合规、工具成功双满分（$R_{\text{plan}}=1, R_{\text{format}}=1, R_{\text{tool}}=1$）的黄金轨迹，SFT 模型在保留单图精准反思直觉的同时习得稳健的长程规划先验，为后续协同学习筑牢地基。

3. 多维度协同奖励强化学习（Multi-Task RL & Co-Optimization）：稳健联合驱动

在 SFT 获得的平衡先验基础上，VisionCreator-R1 采用多任务 GRPO 算法在 VCR-RL 数据集上推进多任务微调，通过加权聚合的综合奖励函数实现全局协同： $$R_{\text{total}} = \frac{1}{|\mathcal{W}|} \sum_{i \in \mathcal{W}} w_{i} \cdot R_{i}, \quad \mathcal{W} = \{\text{reflection}, \text{plan}, \text{format}, \text{tool}, \text{result}\}$$ 核心驱动项由规划奖励 $R_{\text{plan}}$ 与反思奖励 $R_{\text{reflect}}$ 构成。规划奖励通过外部大语言模型从需求完备性、子任务逻辑连贯性、工具适配性三维度评估，归一化为 $R_{\text{plan}} = f_{\text{eval}}(Q, P) / N$（其中 $N=6$）；反思奖励则将用户需求细化为 $K$ 个关键原子检查点（如主体正确性、风格一致性、属性精准度、动作还原度等），利用视觉语言模型（Qwen3-VL-32B）对最终接纳图像逐一判定是否达标： $$R_{\text{reflect}} = \frac{1}{K} \sum_{k=1}^{K} \mathbb{1}_{(c_k = \text{accept})}$$ 辅以标签语法合规奖励 $R_{\text{format}}$、阶段工具执行状态阶梯奖励 $R_{\text{tool}} \in \{0, 0.1, 0.8, 1.0\}$ 以及图像生成数量匹配的硬约束奖励 $R_{\text{result}} \in \{0, 1\}$，有效压制了探索过程中的非法调用与冗余循环。

实验关键数据¶

主实验¶

实验采用 Qwen3-VL-32B 作为基座智能体模型，外挂图像编辑底座工具 Qwen-Image-Edit-Fast（4 步扩散蒸馏模型），在涵盖单图生成、多图工作流与图生图的 VCR-Bench 基准及图像编辑基准 GEdit-Bench 上展开评测。

基准 / 任务	评估方式 / 指标	VisionCreator-R1	Gemini 2.5 Pro	相对提升 / 胜率
VCR-Bench (Single-Img)	Gemini-2.5-Pro 判分	0.532	0.515	+3.30% (人类偏好净胜 +14.8%)
VCR-Bench (Multi-Img)	Gemini-2.5-Pro 判分	0.700	0.649	+7.86% (人类偏好净胜 +9.3%)
VCR-Bench (Img2Img)	Gemini-2.5-Pro 判分	0.836	0.816	+2.45% (人类偏好净胜 +5.8%)
GEdit-Bench	语义一致性 ($G_{\text{SC}}$)	7.60	6.73 (Gemini 2.0)	+0.87 分
GEdit-Bench	感知质量 ($G_{\text{PQ}}$)	7.33	6.61 (Gemini 2.0)	+0.72 分
GEdit-Bench	综合得分 ($G_{\text{O}}$)	7.23	6.32 (Gemini 2.0)	+0.91 分 (优于底层工具 7.03)

消融实验¶

为系统分析反思与规划在多图任务中的协同演进，Tab. 5 对轨迹级指标进行了深度拆解，包含多图任务下的反思质量分布（欠反思 Under / 良好反思 Good / 过度反思 Over）以及规划得分（Plan Score）：

训练配置 / 模型阶段	Single-Img	Multi-Img	反思质量分布 (U / G / O)	规划得分 (Plan Score)	说明
Qwen-Image-Fast (纯底座工具)	0.505	0.480	—	—	无智能体规划与反思层
Qwen3-VL-32B (Zero-shot Agent)	0.500	0.601	75.4% / 21.4% / 3.3%	0.8125	严重偏向欠反思
Gemini 2.5 Pro (强规划基线)	0.515	0.649	61.6% / 31.8% / 6.6%	0.9667	规划能力出众但反思有限
Strong-Reflection (单图强化学习)	0.543	0.565	68.6% / 21.6% / 9.8%	0.8285	单图最强，但多图规划匮乏
Reflection-Plan Conflict (直接多图 RL)	0.539	0.617	73.9% / 16.5% / 9.7%	0.8431	高噪声致使反思质量大幅溃败
Reflection-Plan SFT (优势互补初筛)	0.523	0.647	64.0% / 32.4% / 3.6%	0.9452	成功兼顾良好反思与高规划分
VisionCreator-R1 (完整 RPCO)	0.532	0.700	63.5% / 31.0% / 5.5%	0.9746	规划分最高且反思保持均衡

关键发现¶

直接多图强化学习导致反思退化：从 Strong-Reflection 直接进行多图 RL 训练（Reflection-Plan Conflict）时，虽然由于长期规划的微调使多图得分勉强升至 0.617，但良好反思比例从 21.6% 骤降至 16.5%，欠反思比例上升至 73.9%。这印证了定理 3.1 的预测：缺乏高质规划先验时，劣质中间图频繁触发无效反思与重复调用，扩散采样噪声淹没了反思信号。
优势互补 SFT 是协同优化的关键转折点：通过融合强反思单图数据与强规划多图轨迹，Reflection-Plan SFT 模型的规划得分从 0.8431 跃升至 0.9452，多图性能达到 0.647，同时恢复了 32.4% 的健康反思率。
协同后强化学习释放长程威力：在具备良好初始化的前提下进行多任务 RL，VisionCreator-R1 的规划分进一步推至 0.9746，多图总分突破至 0.700，在保持较低过度反思率（5.5%）的同时实现了长程多图与单图生成任务的全面均衡提升。

亮点与洞察¶

从数学理论揭示方差失衡本质：首次严谨证明并量化了智能体强化学习中离散规划奖励（$\Sigma_{\tau} \approx 0$）与跨生成模型下游视觉反思奖励（$\Sigma_{\tau} \gg \Sigma_{a}$）之间的结构方差非对称性，为多模态智能体训练中的信噪比坍塌提供了清晰理论指导。
“先解耦后融合”的 RPCO 范式：巧妙地将反思能力的习得约束在单图低噪环境下，通过先验蒸馏形成具备反思与规划双重能力的初始基座，避开了长程 RL 直接端到端冷启动无法收敛的难题。
多维度细粒度奖励规范：将视觉反思拆解为基于原子质检点满意率的连续奖励，结合格式与执行容错的分段阶梯机制，有效兼顾了智能体行为的合法性与内容高保真。

局限与展望¶

反思开销引入时延与推理算力成本：引入显式的 UTPCR 循环与多轮检查点视觉核验意味着更多的 VLM 推理轮次及潜在重生成调用，在实时交互场景下的响应延迟显著高于传统开环模型。
对评测大模型能力的偏置依赖：强化学习中的 $R_{\text{plan}}$ 与 $R_{\text{reflect}}$ 依赖外部裁判模型（如 Qwen3-VL-32B 与 Gemini 2.5 Pro），若裁判模型本身存在幻觉或视觉盲区，可能向生成智能体传递虚假的偏好信号。
未来方向：探索测试时计算（Test-Time Compute）中反思预算的自适应动态伸缩，以及将底层扩散生成的采样噪声纳入反思评估的方差缩减（Variance Reduction）算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论与实验双重角度解析多模态智能体规划与反思强化学习的结构方差非对称性，提出全新的 RPCO 范式。
实验充分度: ⭐⭐⭐⭐⭐ 包含 VCR-Bench 三大任务组与 GEdit-Bench，兼具自动化判分、轨迹级指标消融与细致的人类偏好对齐评估。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨规范，问题意识突出，逻辑主线清晰流畅。
价值: ⭐⭐⭐⭐⭐ 为解决长程复杂视觉生成中的连贯性、错误累积与智能体强化学习不稳定性提供了里程碑式的工程与理论指引。