VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning¶

会议: NeurIPS 2026
arXiv: 2610.10782
OpenReview: https://openreview.net/forum?id=bWQSO81TTf
领域: VLM 推理
关键词: 视觉语言模型, 协同演化, 强化学习, 可验证奖励, 视觉推理

一句话总结¶

针对现有视觉语言模型后训练在静态视觉环境下模型提升后任务难度脱节、学习信号塌缩的问题，VICO 提出了 Actor 与环境重写器（EnvRewriter）的双向协同演化框架，通过对图像结构化底层（场景图、数据表、掩码）进行编辑与确定性重新渲染，以模型实证通过率反馈将任务难度动态校准至学习前沿（$\hat{p} \approx 0.5$），在无需额外人工标注的前提下显著提升了多模态推理能力与分布外泛化性。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1、OpenVLThinker）已成为大语言模型与多模态大模型（VLM）后训练的标准范式，使模型能够摆脱昂贵的人工 CoT 标注，通过自演化（Self-Evolution）探索并利用自动化规则奖励不断迭代。然而，现有的多模态自演化管线存在一个根本性的结构缺陷：模型自身（Actor）在策略梯度更新下持续进化，但模型所处的视觉训练环境却始终保持静态。

随着 Actor 推理能力的不断增强，固定的静态任务集合迅速偏离其动态学习前沿（Learning Frontier）——原本具有挑战性的任务逐步沦为平凡简单题（通过率 $\hat{p} \to 1$），而剩余不可解的极端难题仍然无法突破（$\hat{p} \to 0$）。在这两种极端情况下，GRPO 等组相对策略优化的单组 Rollout 方差迅速塌缩（梯度范数正比于 $\hat{p}(1-\hat{p}) \to 0$），导致对比学习信号枯竭，模型恰在亟待进阶的关键时刻陷入停滞。尽管每个任务的实证通过率 $\hat{p}$ 本身就是刻画当前 Actor 能力边界最精准的度量指标，现有方法却仅将其用于优势归一化或静态筛选，完全浪费了这一能够直接反哺环境生成的监督信号。

要让视觉环境自适应 Actor 的能力，关键阻碍在于如何在编辑图像的同时兼顾「监督可验证性」与「能力对齐性」：随意使用无约束扩散模型生成新图往往导致问题语义漂移或答案歧义，进而破坏 RLVR 赖以生存的自动化规则校验体系；而离线静态数据增强则无法跟随 Actor 的短板动态演进。本文的切入视角是：环境重写器应当针对可解析的结构化图像表征执行受约束的微观编辑，并通过程序执行或几何保全实现全自动标签校验。核心 idea：将多模态推理后训练构建为 Actor 与环境重写器（EnvRewriter）的双向协同演化博弈，利用基于执行的确定性结构编辑保证标签可验证性，并将 Actor 在新任务上的实证通过率转化为难度校准奖励，使视觉环境持续对齐 Actor 的动态学习前沿（$\alpha=0.5$）。

方法详解¶

整体框架¶

VICO 将视觉推理训练抽象为 Actor 策略 $\pi_a$ 与环境重写器策略 $\pi_R$ 之间的自适应课程演化。系统从少量种子多模态样本 $\mathcal{D}_{\text{seed}} = \{(x_i, q_i, a_i, \sigma_i)\}$ 出发，其中 $\sigma_i$ 为可解析的图像侧结构（如 CLEVR 场景图、ChartQA 底层数据表、ZwZ 目标掩码）。在每个演化轮次 $t$ 中，EnvRewriter 针对 $\sigma$ 生成结构化编辑指令，经由确定性渲染器生成新图像 $x'$，并通过程序化推导或保全约束自动确定新真实答案 $a'$。随后，Actor 在生成任务上进行 $K$ 次采样，产出的正确性反馈同时解耦分发：一方面用于更新 Actor 的多步视觉推理能力，另一方面汇总为实证通过率 $\hat{p}$，驱动 EnvRewriter 聚焦向最佳难度区间靠拢。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["种子多模态输入<br/>(图像 x, 问题 q, 答案 a, 结构 σ)"] --> B["结构化环境编辑<br/>生成结构修改指令 u ~ π_R"]
    B --> C["确定性标签推导与保护<br/>渲染 x' 并程序化更新或保全答案 a'"]
    C --> D["Actor 推理采样与执行评估<br/>采样 K 条轨迹计算实证通过率 p^"]
    D --> E["难度校准奖励与共享 Rollout 优化<br/>Actor 执行 GRPO 提升推理能力<br/>EnvRewriter 执行 RWR 对齐学习前沿"]
    E -->|持续扩充样本池与迭代演化| A

关键设计¶

1. 结构化环境编辑：解耦像素生成与可验证控制
针对无约束像素级扩散模型容易导致几何伪影、视觉幻觉以及语义漂移的痛点，VICO 放弃直接在像素空间随机改图，而是将编辑接口收敛至图像背后的可解析结构化载体 $\sigma$。在组合推理域（CLEVR）中，$\sigma$ 为场景图（Scene Graph），EnvRewriter 输出包含物体属性变更（颜色/大小/材质）、类别替换（球体/立方体/圆柱体）、实体增删及空间拓扑关系微调的四类结构操作，并交由 Blender 物理渲染管线重新生成图像；在图表推理域（ChartQA）中，$\sigma$ 为底层 CSV 数据表，EnvRewriter 调整数值、增添近邻干扰行（Near-miss distractors）或改变数据密度，并通过 Matplotlib 渲染出新图表；在自然图像 VQA 域（ZwZ）中，模型使用 SAM3 提取实例掩码，划分出与原问题紧密相关的目标保留区 $\sigma^+$ 以及补集区域 $\sigma^-$，EnvRewriter 仅被允许在背景或非目标干扰物上进行扰动。这种结构化解耦机制确保了新图像在视觉真实感、几何合理性与语义确定性上的严格可控。

2. 确定性标签推导与保护机制：双范式保障真实监督
针对 RLVR 训练无法承受标签噪声、且传统人工重标注或大模型打分成本极高且易受奖励黑客（Reward Hacking）侵扰的矛盾，VICO 提出了无需任何人工标注的双范式标签有效性规则： - 确定性重新计算（Deterministic Recomputation）：在符号结构完备的任务中，真实答案随结构编辑动态更新。在 CLEVR 中，直接在编辑后的场景图上重新执行原问题的符号逻辑执行程序（Question Program），精确得出新答案 $a'$；在 ChartQA Tier 1（答案与单一单元格严格绑定的实体检索类问题）中，系统锁定原始答案所在的行实体锚点 $e^\star$ 与列索引 $j^\star$，编辑后通过实体锚点查表 $a' = \text{table}'[\text{entity}=e^\star, j^\star]$ 直接提取新答案，完全规避了行增删重排导致的索引错位。 - 约束性答案保全（Constrained Answer Preservation）：在复杂衍生计算或自然图像任务中，系统施加严格的不变性约束以原样继承原始答案（$q'=q, a'=a$）。在 ChartQA Tier 2（涉及比率、差值等多单元格复合计算的问题）中，EnvRewriter 强制保持 CSV 数值绝对恒定，仅调整图表渲染风格、坐标轴字体、配色及图例排列；在 ZwZ 自然图像中，系统严格禁止对目标保护区 $\sigma^+$ 实施遮挡或语义变更，仅通过在背景区域增加无关干扰物调整视觉复杂度。任何破坏数据模式、引起歧义或渲染失败的样本均被前置过滤器直接剔除。

3. 难度校准奖励与共享 Rollout 优化：打通协同演化闭环
针对静态数据集训练导致的奖励方差塌缩（$p(1-p) \to 0$）与学习信号衰竭问题，VICO 设计了双向共用的 Rollout 评估机制。对于编辑生成的每个三元组 $(x'_i, q'_i, a'_i)$，Actor 策略 $\pi_a$ 采样 $K=8$ 条解题轨迹，输出严格遵循 <think>...</think><answer>...</answer> 格式，正确性与格式均合规者赋予 $+1$，否则为 $-1$： $$R_{\text{actor}}(q', o) = \begin{cases} +1, & \text{FormatCorrect}(o) \wedge \text{AnswerCorrect}(o) \\ -1, & \text{otherwise} \end{cases}$$ Actor 基于组内优势归一化执行 GRPO 策略梯度优化。与此同时，$K$ 条轨迹聚合得到实证通过率 $\hat{p}_i = k_i / K$。理论推导表明，在策略梯度更新中，梯度范数平方期望满足 $\mathbb{E}[\|g(x', r)\|^2] \propto p(1-p)$，在 $p=0.5$ 处取得极大值，说明处于中等难度（一半成功一半失败）的任务能够为 Actor 提供最丰富的对比梯度。据此，EnvRewriter $\pi_R$ 被赋予高斯形态的难度校准奖励： $$R_{\text{rewriter}}(\hat{p}) = \exp(-\beta (\hat{p} - \alpha)^2)$$ 其中目标通过率设为 $\alpha = 0.5$，锐度系数 $\beta = 4.0$。此外，VICO 引入阈值为 $k_{\min} = 0.15$ 的难度过滤器，仅保留落在甜区区间 $[0.35, 0.65]$ 的有效编辑轨迹，采用奖励加权回归（RWR）更新 EnvRewriter 的 LoRA 权重，权重项 $w_i \propto \exp(\lambda R_{\text{rewriter}}(\hat{p}_i))$。这一闭环促使 EnvRewriter 在面对强者时主动加难度、面对弱者时主动降难度，持续将任务推向当前 Actor 的最近发展区。

损失函数 / 训练策略¶

Actor 训练：基于 verl 分布式 RL 框架，采用标准 GRPO 算法。无监督 SFT 热身，KL 惩罚系数设为 0 以免干扰推理梯度。每次采样 $K=8$ 个 Rollout，采样温度 0.7，学习率 $1 \times 10^{-6}$，余弦退火，最大生成长度 3,824 tokens。
EnvRewriter 训练：分为两阶段。第一阶段使用由前序强模型（如 GPT-5）生成的验证编辑轨迹进行指令微调（SFT），使模型掌握结构化工具调用与 JSON 输出格式；第二阶段在协同演化中执行 RWR，对落在难度区间内的编辑样本按 $\lfloor 5 \cdot w(\hat{p}) \rfloor$ 倍数复现并施加微调，学习率 $5 \times 10^{-6}$，LoRA rank 64，alpha 128。
轮次与防饱和调度：演化周期为 $T=5$ 轮。理论分析指出，若计入图像分布漂移惩罚 $\lambda \kappa_t (p - \hat{p}_{\text{orig}, t})^2$，后期最优目标 $p_t^*$ 会逐渐向未编辑通过率偏离。实验证明，演化至第 4 轮时收益达到峰值，第 5 轮进入平稳饱和期。

实验关键数据¶

主实验¶

在涵盖数学推理（MathVista、MathVision、ChartQA、MathVerse、WeMath、LogicVista）与通用视觉感知（MMMU、MMVP、BLINK）共 9 个权威多模态基准上，VICO 与同体量开源模型、RL 推理基线、自演化模型以及商业模型进行了全面评测（均采用零样本 Greed/Strict 设置）。

模型类别 / 模型名称	参数量	训练数据源 / 种子量	数学推理均分 (6项)	视觉感知均分 (3项)	全任务总均分 (All Avg)
商业闭源模型 (参考)
GPT-4o	-	闭源海量数据	51.4	70.5	61.0
Gemini-2.5-Pro	-	闭源海量数据	61.9	69.5	65.7
GPT-5	-	闭源海量数据	64.9	76.0	70.4
开源 VLM 基座
InternVL3-8B	8B	预训练基座	46.6	60.3	53.5
Qwen2.5-VL-7B	7B	预训练基座	53.0	62.2	57.6
Qwen3-VL-8B (Base)	8B	预训练基座	59.0	67.5	63.2
RLVR 推理微调基线
OpenVLThinker-7B	7B	~50k 教师数据 CoT	47.4	50.0	48.7
MM-Eureka-Qwen-7B	7B	15k 人工精选题目	47.9	51.7	49.8
R1-OneVision-7B	7B	10k 规则可验证数据	52.4	52.3	52.3
自演化 / 协同演化基线
V-Zero (Qwen2.5-VL-7B)	7B	纯文本扰动演化	47.0	62.8	54.9
MM-Zero (Qwen3-VL-8B)	8B	静态图自博弈演化	60.3	67.8	64.1
VisionZero-Qwen7B (Chart)	7B	1k 静态图自博弈	56.0	58.1	57.0
VICO (本文方案)
VICO-Qwen3-VL-8B (CLEVR)	8B	2k 场景图种子	65.1	71.7	68.4 (+5.2)
VICO-Qwen3-VL-8B (Real VQA)	8B	1k 自然图种子	65.0	70.8	67.9 (+4.7)
VICO-Qwen3-VL-8B (Chart)	8B	2k 图表数据种子	65.5	71.8	68.6 (+5.4)

消融实验¶

表 1：协同演化闭环 vs 静态数据增强 vs 纯文本扰动消融（ChartQA 指标）

实验配置	迭代闭环 (Loop)	视觉编辑 (Image Edit)	监督数据来源	ChartQA 准确率 (%)	相比 Base 提升
Qwen3-VL-8B (Base)	✗	✗	无	76.90	基线
静态离线增强 (Self-Gen)	✗	✓	模型自身单次扩增	78.64	+1.74
静态离线增强 (GPT-5 离线生成)	✗	✓	GPT-5 强教师静态生成	80.10	+3.20
静态离线增强 (Nano Banana 扩散图)	✗	✓	强扩散模型离线改图	81.91	+5.01
纯 RLVR 微调 (Supervised GRPO)	✗	✗	静态图表真值微调	79.40	+2.50
纯 RLVR 微调 (Direct GRPO)	✗	✗	静态图表直接 RL	83.80	+6.90
VICO (仅文本端扰动，锁定图像)	✓	✗	2k 种子 + 文本提问重写	77.20	+0.30
VICO (图表视觉协同演化完整版)	✓	✓	2k 种子 + 结构编辑动态闭环	89.12	+12.22

表 2：多轮演化动力学与甜区命中率递变（ChartQA 逐轮数据）

演化阶段	ChartQA 准确率 (%)	单轮增益 $\Delta$ (%)	甜区命中率 $[0.35, 0.65]$ (%)	Actor 平均生成长度 (tokens)
初始基座 (Base)	76.90	-	-	1,420
Round 1	85.24	+8.34	53.4	1,650
Round 2	87.50	+2.26	29.5	1,890
Round 3	88.47	+0.97	21.2	2,050
Round 4 (性能顶峰)	89.12	+0.65	20.5	2,120 (+49%)
Round 5 (饱和微退)	88.94	-0.18	11.1	2,110

关键发现¶

动态协同演化显著优于强教师静态离线扩增：即便使用 GPT-5 或 Nano Banana 离线生成高质量图表，静态数据集上的微调最终均在 82% 左右遭遇瓶颈；而 VICO 凭借基于 Actor 当前能力的实时动态演化，仅用 2,000 个种子样本便达到了 89.12%（领先静态强基准 +7.2% 以上），证明适应模型短板的动态数据流比静态的高质量数据池更具杠杆效应。
图像侧结构编辑是破局关键：在完全相同的协同演化架构下，若仅扰动文本提问（如 V-Zero 范式），模型收益仅有 +0.3%（ChartQA）与 +2.4%（CLEVR 种子总体均分）；一旦放开视觉侧结构编辑，总体增益立刻跃升至 +6.1% 与 +12.2%，表明多模态推理能力的核心演进依赖视觉接地元件复杂度的动态伸缩。
双向难度校准与能力涌现：EnvRewriter 展现出惊人的双向调优能力：在 Actor 初始较强的图表任务中，主动引入高混淆干扰项将通过率由 85% 压向 50%；在 Actor 初始偏弱的自然图像定位中，主动剥离无关背景噪声将通过率由 21% 提升至 50%。在此过程中，Actor 解题长度自发增长 49%，尤其在高难度复合推理题（比例/百分比运算提升 +29.8%、差值计算提升 +11.9%）上产生显著质跃。

亮点与洞察¶

将通过率从「筛选指标」转变为「生成监督」：传统方法只用 $\hat{p}$ 做样本过滤，VICO 发掘出策略梯度方差 $\mathbb{E}[\|g\|^2] \propto p(1-p)$ 的理论极值点，将 $\hat{p} \approx 0.5$ 转化为高斯势能函数，构建出无需人工评判的自适应环境控制器。
解耦结构符号编辑与底层物理渲染：巧妙绕过端到端生成模型不可靠的缺陷，利用场景图、数据表与语义掩码构建轻量编辑中间层，让图形学渲染器承担真实成像，以极低算力保障了 100% 的监督准确性。
极高的数据与算力性价比：相比 Chart-R1（需 33k 标注）、Bespoke-MiniChart（需 91k 标注）以及 ECD（需 320k 标注），VICO 仅需 2,000 个无标注种子即可达到 89.12% 的顶尖水准，数据需求量减少 16 至 160 倍。

局限与展望¶

依赖预定义的可解析结构先验：当前方案对底层的结构化先验（如数据表、场景图或高质量实例分割掩码）存在强依赖，对于缺乏显式元数据的无约束真实场景（如复杂艺术插画、非刚体流体交互），难以直接构造确定性重写逻辑。
多轮 Rollout 带来的额外在线推理开销：每一轮演化均需对候选样本执行 $K=8$ 次前向采样以评估通过率，虽与 Actor 训练共享轨迹，但计算量仍显著高于一次性离线标注。
未来方向：探索端到端隐式结构解耦，使 EnvRewriter 能基于 VLM 自带的视觉注意力或局部重绘机制自动锁定无关上下文；同时研究非对称动态目标调度（将固定的 $\alpha=0.5$ 升级为随演化轮次自适应外推的动态调度策略）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出视觉环境与模型双向演化的 RLVR 范式，以通过率闭环引导结构化图像生成，视角极具颠覆性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大基准评测，覆盖图表、数学、几何、自然图等多领域，提供了详尽的理论推导、饱和动力学曲线与 20% 噪声鲁棒性压测。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，理论分析与实验曲线完美印证，动机剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为大模型后训练摆脱昂贵人工标注、迈向自动化多模态环境模拟（World Model）提供了极具实用价值的工程路线。