Visual-ERM: Reward Modeling for Visual Equivalence¶
会议: NeurIPS 2026
arXiv: 2603.13224
OpenReview: https://openreview.net/forum?id=eAUzimU47c
代码: https://github.com/InternLM/Visual-ERM
领域: 对齐/RLHF
关键词: 视觉等价性、多模态奖励模型、强化学习、视觉到代码、测试时缩放
一句话总结¶
提出了多模态生成式视觉等价奖励模型 Visual-ERM，直接在渲染图像空间提供细粒度、可解释且跨任务通用的判别与反馈，使 Qwen3-VL-8B 在图表到代码任务上提升 8.4 分，并显著增强测试时反思修正能力。
研究背景与动机¶
视觉到代码（Vision-to-Code）是多模态大语言模型（LVLM）的核心基础能力，涵盖将图表解析为 Python 绘图代码、将表格解析为 Markdown/HTML 以及将矢量图形解析为 SVG 源码等任务。尽管监督微调（SFT）在该领域取得了初步成功，但严重受制于高昂的数据标注成本与分布外泛化瓶颈，强化学习（RL）因而成为进一步突破模型能力上限的关键路径。然而，强化学习能否有效提升视觉代码生成质量，根本上取决于环境给予的奖励信号是否可信。
现有视觉代码生成的奖励机制深陷两极分化的困境：一类是基于源码字符串的规则指标（如文本编辑距离、树编辑距离 TEDS），它们仅比对标记序列而完全无视最终视觉渲染效果，既对代码等价格式变体误杀，又无法捕捉布局坍塌、网格错位等渲染致命缺陷；另一类是基于预训练视觉编码器（如 DINO、CLIP）的特征相似度，其预训练目标偏向全局语义不变性，对坐标轴数字、气泡位置与微小几何位移极不敏感，且将复杂判断坍缩为单一不透明标量。在策略优化过程中，这两类代理奖励均迅速饱和并引发严重的奖励作弊（Reward Hacking），导致策略在代理指标上升的同时视觉渲染质量反而停滞甚至退化。
面对上述根本矛盾，一个真正可靠的视觉代码奖励模型必须同时兼备视觉感知、细粒度判别、可解释反馈与跨任务通用四大特性。核心 idea：构建多模态生成式奖励模型 Visual-ERM，直接输入原始参考图与渲染预测图，以统一多任务生成框架输出结构化的细粒度差异定位与严重度评估，既可映射为规整化的标量奖励驱动 GRPO 强化学习，又可直接充当自然语言反馈引导测试时反思与自迭代修正。
方法详解¶
整体框架¶
Visual-ERM 的整体流程围绕“渲染视觉空间的差异判别与双重应用”展开。系统首先接收图表、表格或 SVG 等结构化输入，经由策略模型生成预测代码后调用任务对应的渲染器生成候选图像；随后将参考图像与渲染预测图像输入多模态生成式奖励模型 Visual-ERM 中，输出结构化的显式差异清单（包括错误类别、严重度、坐标位置与自然语言描述）。该输出在强化学习训练中与执行成功信号结合转化为连续标量奖励指导策略更新，在推理阶段则作为审校意见直接驱动策略模型的多轮反思自纠错。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多任务视觉代码输入<br/>(图表 / 表格 / SVG)"] --> B["多源多任务差异数据构建<br/>靶向编辑与自然推断配对"]
B --> C["多模态生成式奖励建模<br/>生成结构化差异与规整化奖励"]
C -->|策略优化训练| D["GRPO 强化学习对齐<br/>结合渲染成功奖与视觉等价奖"]
C -->|推理阶段自校准| E["测试时细粒度反思与修正<br/>基于显式文字反馈多轮迭代"]
D --> F["高保真视觉代码生成产物"]
E --> F关键设计¶
1. 多源多任务差异数据构建：覆盖真实分布与细粒度层级标注 针对视觉代码生成中错误模式多样且难以由单一数据源全面覆盖的问题，构建了覆盖图表（104K）、表格（125K）和 SVG（111K）三大多任务、总计约 340K 的差异标注数据集 \(\mathcal{D}_{\text{reward}}\)。为了兼顾系统性与真实性，负样本生成采用互补的双轨策略：一方面通过高能力模型在真值代码上进行“靶向编辑”，系统性注入结构、数据、文本和样式四大维度的预定义扰动；另一方面收集低能力模型（如 Qwen3-VL-8B）对真实输入的“自然推断”错误代码，精准覆盖强化学习 rollout 期间可能遇见的实际缺陷。随后，利用前沿大模型针对渲染差异生成结构化的标注序列 \(a = \{(\text{类别}, \text{严重度}, \text{位置}, \text{描述})_k\}_{k=1}^K\)，并通过严格的渲染一致性校验和代码结构对齐规则进行过滤，确保监督信号的精确度。
2. 多模态生成式奖励建模：从离散错误严重度到连续规整化奖励 以 Qwen3-VL-8B-Instruct 为基础模型，将其微调为一个全任务通用的条件生成式评判器 \(f_{\theta_{\text{ERM}}}(a \mid x, \hat{y}_{\text{img}})\)，使用标准的自回归因果语言建模负对数似然损失进行训练： $\(\mathcal{L}(\theta_{\text{ERM}}) = \mathbb{E}_{(m, x, \hat{y}_{\text{img}}, a) \sim \mathcal{D}_{\text{reward}}} \left[ -\sum_{t=1}^T \log f_{\theta_{\text{ERM}}}(a_t \mid x, \hat{y}_{\text{img}}, a_{<t}) \right]\)$ 在将生成结果部署于强化学习时，设计了兼顾代码可执行性与视觉保真度的复合奖励函数。首先计算渲染成功奖励 \(r_{\text{rsr}}\)（可渲染为 1，报错崩溃为 0）；对于成功渲染的图像，汇总所有预测错误的严重度 \(\mathrm{S}_{\textsc{verm}} = \sum_{k=1}^K s_k\)，并在任务批次 \(\mathcal{T}\) 内部进行动态规整化，映射至 \([0, 1]\) 范围： $\(r_{\textsc{verm}} = \mathrm{clip}\left(1 - \frac{\mathrm{S}_{\textsc{verm}}}{\max_{j \in \mathcal{T}} \mathrm{S}_{\textsc{verm}}^{(j)} + \epsilon}, \, 0, \, 1\right)\)$ 复合奖励 \(r = r_{\text{rsr}} + r_{\textsc{verm}}\) 随后直接集成至基于 GRPO 的策略梯度更新目标中，施加 KL 散度约束，从而彻底杜绝了传统 DINO 奖励仅匹配补丁级全局轮廓带来的作弊漏洞。
3. 测试时细粒度反思与修正：利用显式文字反馈打破强化学习推理瓶颈 标量奖励虽然能为强化学习提供标量梯度，但在推理部署时无法告知生成模型“究竟哪里出错了”。Visual-ERM 的多模态生成架构在推理期能同时输出标量分数与自然语言形式的细粒度差异列表 \(f^{(t)}\)。当第一轮预测代码 \(y^{(0)}\) 的奖励未达标时，策略模型无需更新参数，而是以原始图像 \(x\)、上一轮代码 \(y^{(t)}\) 及差异反馈 \(f^{(t)}\) 为条件展开自回归重写： $\(y^{(t+1)} \sim \pi_{\theta}\left(\cdot \mid x, \, y^{(t)}, \, f^{(t)}\right)\)$ 这种将判别式批评转化为生成式引导的机制，克服了模型自我反思（Self-reflection）容易产生的幻觉与盲目确认偏差，使得测试时缩放能够精准定点修复数值标签、轴线刻度与图元颜色等细节瑕疵。
损失函数 / 训练策略¶
策略模型训练采用 GRPO 算法，针对同一参考图 \(x\) 采样 8 条 rollout 轨迹，采用批次大小 256、学习率 \(1 \times 10^{-6}\) 进行优化。Visual-ERM 奖励模型自身在 LLaMA-Factory 框架下以批大小 32、学习率 \(1 \times 10^{-5}\) 微调 3 个 epoch。在训练计算延迟上，尽管 Visual-ERM 拥有 8B 参数，但由于其原生多模态结构直接处理全图，单步耗时仅 0.17 小时，优于需要切片计算高分辨率 patch 的 0.3B DINOv2-large 方案（0.24 小时/步）。
实验关键数据¶
主实验¶
主实验在图表代码生成（ChartMimic Direct/Customized）、表格 Markdown 解析（OmniDocBench、OmniDocBench-v1.5、olmOCRBench）以及矢量图生成（UniSVG）三大多任务上全面验证。
| 任务 / 基准 | 评估指标 | Qwen3-VL-8B 基线 | ++ RL (DINO) | ++ RL (Visual-ERM) | 相对基线提升 |
|---|---|---|---|---|---|
| ChartMimic (Direct) | Overall 评分 | 67.7 | 76.5 | 79.5 | +11.8 |
| ChartMimic (Direct) | 代码执行率 (%) | 82.2 | 90.8 | 92.5 | +10.3 |
| ChartMimic (Customized) | Overall 评分 | 71.6 | 75.8 | 76.5 | +4.9 |
| ChartMimic (综合平均) | Avg 评分 | 69.6 | 76.1 | 78.0 | +8.4 |
| OmniDocBench 表格 | TEDS 结构文本 | 78.9 | 62.2 | 81.4 | +2.5 |
| OmniDocBench 表格 | 编辑距离 (↓) | 23.2 | 37.0 | 20.7 | -2.5 |
| OmniDocBench-v1.5 | TEDS 结构文本 | 72.7 | 61.1 | 75.4 | +2.7 |
| olmOCRBench 表格 | TA 准确率 | 75.3 | 71.7 | 78.1 | +2.8 |
| UniSVG (ISVGEN 矢量图) | 综合得分 Score | 87.9 (VinciCoder) | 86.3 | 91.6 | +3.7 |
消融实验¶
为了单独衡量奖励模型在跨模态图像对细粒度差异判断上的判别力，提出了包含 1,335 个专家核验实例的 VC-RewardBench 诊断基准，评估模型对严格匹配（\(F1_{\text{hard}}\)）、软匹配（\(F1_{\text{soft}}\)）与严重度相关系数（\(S_c\)）的判别表现：
| 评估模型 | 模型规模 | 图表 \(F1_h / F1_s / S_c\) | 表格 \(F1_h / F1_s / S_c\) | SVG \(F1_h / F1_s / S_c\) | 全任务全平均 (AVG) |
|---|---|---|---|---|---|
| GPT-4o (闭源) | - | 22.8 / 28.3 / 48.5 | 32.9 / 35.7 / 49.5 | 13.0 / 19.3 / 50.3 | 25.0 / 29.5 / 56.5 |
| GPT-5.2 (闭源) | - | 30.1 / 32.6 / 64.8 | 39.3 / 40.6 / 54.6 | 28.5 / 32.2 / 61.1 | 32.7 / 35.0 / 58.9 |
| Gemini-2.5-Pro (闭源) | - | 33.7 / 37.5 / 61.8 | 46.4 / 48.0 / 49.9 | 29.3 / 34.3 / 63.3 | 37.8 / 40.9 / 59.1 |
| Qwen2.5-VL-7B | 7B | 3.9 / 5.4 / 11.2 | 2.3 / 3.1 / 12.6 | 1.9 / 7.5 / 37.9 | 2.8 / 5.1 / 15.2 |
| Qwen3-VL-8B-Instruct | 8B | 3.3 / 3.5 / 3.8 | 7.0 / 7.8 / 21.4 | 6.1 / 9.4 / 27.1 | 5.3 / 6.5 / 17.5 |
| Qwen3-VL-235B-Instruct | 235B | 28.0 / 31.8 / 47.2 | 35.7 / 37.4 / 56.2 | 19.4 / 22.8 / 51.5 | 29.5 / 32.4 / 56.2 |
| Visual-ERM (本文) | 8B | 39.9 / 42.8 / 61.2 | 56.4 / 57.6 / 74.8 | 28.3 / 32.6 / 59.6 | 42.1 / 44.7 / 58.4 |
此外，在测试时缩放（TTS）的消融中，在 ChartMimic 任务上探索了反思轮次的影响： - Qwen3-VL-8B 基线无反思得分为 69.6，引入模型自身反思（Self-reflection）由于误判反而降至 65.7； - 引入 Visual-ERM 外部反馈反思 1 轮达到 75.6，2 轮达到 79.2，3 轮达到峰值 81.1（相比基线累计净增 +11.5），第 4 轮略微饱和至 80.7。
关键发现¶
- 纯文本/视觉代理奖励诱发剧烈奖励作弊：以表格任务为例，使用 DINO 奖励进行 RL 时模型在 OmniDocBench 上从 78.9 暴跌至 62.2，这是因为 DINO 忽略了密集的字符与边框排布；而纯文本 TEDS 奖励提升极其微弱（78.9 → 79.2）且编辑距离反而恶化，验证了在真实渲染空间进行细粒度判别的不可替代性。
- 任务专用奖励微调优于盲目扩大通用模型参数：Visual-ERM 以 8B 体量在 VC-RewardBench 上取得 42.1 \(F1_h\)，不仅以巨大优势击败了 235B 参数的 Qwen3-VL-235B（29.5），更全面超越了 GPT-4o（25.0）与 GPT-5.2（32.7），展现出判别专门化的高效性。
- 通用多模态问答能力未受损害：在 ChartQA、DocVQA、InfoVQA 等外部通用视觉问答评测中，经 Visual-ERM 强化学习微调后的策略模型均保持或微幅提升了基线水准，未出现分布漂移与灾难性遗忘。
亮点与洞察¶
- 多任务统一奖励建模解耦通用表征：打破了图表用 Python、表格用 HTML、矢量图用 XML 的模态壁垒，将各类异构代码统合到统一的渲染图像空间中，以一套自回归奖励模型实现通用打分与批评。
- “可解释差异生成”与“连续标量映射”的双重兼容：巧妙将包含类别、坐标、程度的结构化离散文本序列，通过批次归一化与裁剪映射为标量奖励，兼顾了强化学习所需的紧凑标量信号与测试时自反思所需的丰富语义线索。
- 测试时反思从“盲人摸象”转向“定点靶向修正”：传统自我反思缺乏外部真值校验极易陷入认知闭环，而由 Visual-ERM 充当“独立视觉审计员”，为生成模型提供了确定性极强的修改依据。
局限与展望¶
- 依赖外部渲染器与执行环境：强化学习训练过程中每一步均需要执行 Python 代码或渲染 SVG/HTML，对沙箱环境的并发稳定性、执行超时与安全性有一定依赖。
- 细粒度位置回归精度仍有提升空间：当前模型对稠密表格小文字块的定位依赖离散文本描述与粗粒度坐标，在超密集表格中偶有漏检或误判。
- 未来方向：探索无需真机执行的隐式光栅化中间神经渲染器，进一步加速大规模在线强化学习；将该奖励框架迁移至复杂 UI/前端网页代码自动合成（Design-to-Code）领域。
相关工作与启发¶
- vs. 基于视觉编码器的相似度奖励 (如 DINOv2 / VinciCoder)：传统方案采用冻结特征余弦相似度，对局部字符错位或翻转极度钝感，且只能提供标量反馈；Visual-ERM 基于自回归生成模型，具备多模态跨模态细粒度感知与显式文本纠错能力。
- vs. 纯规则文本评测机制 (如 TEDS / Table2LaTeX-RL)：规则方法仅计算代码编辑距离，忽略代码渲染后的等价排版；Visual-ERM 始终立足最终渲染图像，确保视觉真实等价。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将多任务视觉代码生成的奖励建模统一到渲染图像空间，设计了兼顾 RL 标量与 TTS 反思的生成式奖励机制]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖图表、表格、SVG 三大核心领域，横跨多种开源与前沿闭源基线，构建了 1,335 例的细粒度评测基准]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对比清晰，系统性剖析了传统奖励在强化学习中的作弊机理]
- 价值: ⭐⭐⭐⭐⭐ [为多模态代码生成与视觉对齐领域提供了高质量的判别基准与开源奖励模型]