SyncLoop: A Multimodal Dual-Loop Framework for Self-Improving Mathematical Reasoning

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
领域: 多模态推理（vlm_reasoning）
关键词: 多模态数学推理、图文共同演化、难度对齐、自我改进、GRPO

一句话总结

SyncLoop 先同步生成更复杂的数学图像与问题，再依据当前模型的答题错误率筛选训练样本，通过数据与模型双循环，在三轮演化后将 Qwen2-VL-7B 的 Geo-Sub-Aux 准确率从 40.4% 提高到 52.4%（表 2，第 10 页）。

研究背景与动机

视觉语言模型解决几何题时，困难不只在于推导是否足够长，还在于推导有没有对应到图中正确的点、边和关系。 只扩写文本题目，可能让问题引用原图中不存在的辅助线；只增加图像元素，又可能让训练目标仍停留在简单识别。 因此，视觉复杂度和推理难度不是两个可以独立增加的数据属性。 原文将这一问题与 OpenVLThinker 的迭代训练、R-CoT 和 MAVIS 的视觉数据生成放在同一背景下讨论，但 SyncLoop 的重点是让两种模态共同变化。

即便生成了图文一致的难题，它们也未必适合当前模型。 固定数据可能在模型变强后过于简单，而不断挑选模型完全不会的题，也可能使训练缺少可利用的成功轨迹。 SyncLoop 因而同时关注两个接口：生成问题必须用到新增视觉结构，训练数据的选取必须重新参考模型能力。 这里的“自我改进”并不意味着完全摆脱外部监督，因为出题、解题和质量筛选仍依赖 GPT-4o。

核心 idea：让图像与问题在数据循环中共同演化，再把模型的错误反馈接回训练样本选择，使下一轮学习内容随模型能力更新。

方法详解

整体框架

输入是预训练多模态模型以及图像、问题、答案三元组，几何实验以 Geometry3k 为种子数据。 数据循环先做“视觉动作与推理生成”，再做“约束驱动的问题合成”，最后进行“一致性校验”；模型循环通过“错误率驱动的模型更新”选择样本并学习。 输出既包括能力更新后的模型，也包括可以继续演化的图文数据，而不只是为某道题增加一次推理计算。 下图对应原文图 2 和算法 1；训练更新节点是概念流程，后续轮次是否重复 SFT 需结合消融结果理解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["种子图文题与模型"] --> B["视觉动作与推理生成"]
        B --> C["约束驱动的问题合成"]
        C --> D["一致性校验"]
        D --> E["错误率驱动的模型更新"]
        E --> F["更新模型与演化数据"]
        F -->|下一轮图文演化| B
        F -->|更新难度评估器| E

关键设计

1. 视觉动作与推理生成：让新图像具有可供出题的数学结构

对于几何图，系统先用 OCR 和视觉方法提取关键点坐标，为后续绘图建立明确的空间参照。 GPT-4o 根据这些坐标和原图判断是否需要增加辅助结构，并产生相应动作、Python 代码及自然语言推理轨迹。 执行代码后可以得到带有连接线、平行线或垂线的新图，而不是让语言模型只在文本中声称某条线已经存在。 坐标表示的作用是减少图像编辑中的定位不一致，并非替代全部几何语义理解。 同时保留下来的推理轨迹会告诉下一阶段：原题解答经过哪些定理、哪些中间条件值得转化为新问题。

函数任务采用相近思路，由 GPT-4o 判断绘制函数图像是否有助于求解，再继续图文演化流程。 原文第 8 页明确说明，后续使用的形式化图像描述专门用于几何图，不能把这套细节不加区分地套到所有函数问题上。 在数据生成阶段，辅助线最初可以帮助解题，但新的训练问题会围绕新增结构重新构造。 因此，该操作不等价于测试时替原题补一条提示线；它改变的是下一轮题目的可用条件和推理空间。

2. 约束驱动的问题合成：从新增图形关系构造多步任务

GPT-4o 将演化后的几何图整理成形式化描述，包含点、线、形状及位置关系。 出题时同时使用这一描述和上一阶段的推理轨迹，遵循数学约束、新定理与概念、逆向推理三类原则。 数学约束原则从图中提取垂直、相等或子图关系；新定理原则把这些条件连接到勾股定理等相关知识。 逆向推理则利用原解题轨迹中的中间结论或定理，重新安排已知条件和需要求出的量。 三个原则提供互补的题目来源，而不是分别对应三个独立训练模型。

每幅图通常生成 4 至 10 个子问题，数量随图像复杂度变化。 系统参考 R1-OneVision 的角色扮演策略，分析子问题的共同点与差异，并把它们对应到各自的子图元素。 随后根据主题及上下文联系组合问题，例如让最终求解同时依赖两个子图中的关系。 这样增加的是跨条件的推理依赖，而不只是把题干写得更长。 原文图 3 用推理长度随轮次变化支持难度增长，但实际的能力对齐仍依靠答题错误率，而非直接按 token 数筛选。

3. 一致性校验：先确认样本可信，再评估它是否困难

每个新问题连同形式化描述交给 GPT-4o 独立求解三次，每次生成推理过程和最终答案。 只有三个最终答案相同的样本才会保留；随后再让模型排除违反原图约束的题目。 第一道检查关注答案稳定性，第二道检查关注题干与视觉内容是否相容。 两者处理的是数据质量，不是学生模型的学习难度，因此不能与后续 32 次采样混为一谈。

三次答案一致并不构成数学证明，同一个教师可能重复同一种错误。 形式化描述若漏掉视觉条件，也可能让多次解答在错误前提下保持一致。 这套过滤可以降低明显噪声，但其可靠性上限仍受教师及图像描述质量限制。 原文没有给出独立符号求解器对所有生成样本进行验证的证据。

4. 错误率驱动的模型更新：用当前能力决定下一轮学什么

对通过质量校验的每道题，当前模型生成 32 次答案，以错误次数占比定义难度。 下面的式子是对第 3.3 节文字定义的符号化整理，不是另一个新损失函数：

\[ e(I,Q,G)=\frac{1}{32}\sum_{j=1}^{32}\mathbf{1}[\hat A_j\ne G]. \]

其中 \(G\) 是参考答案，\(\hat A_j\) 是第 \(j\) 次生成并按答案校验规则处理后的回答。 第 3.3 节写保留 \(e>0.3\)，第 4.2 节将最终设置表述为 \(e\geq0.3\)。 由于错误率只能取 \(1/32\) 的整数倍，32 次采样下两种写法均意味着至少错 10 次。 它并不是一个围绕 0.3 的窄区间，也没有在默认规则中明确排除 32 次全错的题。 因此，“选适当难度”应理解为经验性阈值筛选，不能解读成严格保证样本总在模型能力边界附近。

筛出的题目用于模型更新，更新后的模型再评估后续数据，形成反馈闭环。 论文描述 SFT 用于建立输出结构，GRPO 用于通过奖励提升答题能力，但二者的实际调度有重要消融差异。 表 3 显示，从上一轮模型继续训练时，第二轮重复 SFT 加 GRPO 的 Geo-Sub-Aux 为 40.7%，仅继续 GRPO 则为 48.0%。 第三轮对应结果为 42.9% 和 52.4%，所以不能把主表增益简单归因于每轮都重新做 SFT。 算法 1 的概括流程与最佳消融设置需要分开阅读；仅凭正文尚不足以无歧义地还原所有检查点的训练日程。

一个完整示例

原文图 2 使用割线与切线构成的圆几何题：从圆外点 \(A\) 引割线 \(AEB\) 和切线 \(AD\)，目标是证明 \(AD^2=AE\cdot AB\)。 视觉动作阶段提出增加连接线 \(DE\) 和 \(DB\)，并通过代码将其实际画到图中。 推理轨迹利用角关系与相似三角形说明切割线关系，为出题阶段提供可复用的中间概念。 形式化描述记录新增线段以及切线与半径垂直等关系，约束驱动的问题合成再据此组合子问题。 新题通过三次答案一致性和图像约束检查后，才进入学生模型的 32 次采样评估。 若错误次数达到阈值，它就可以进入训练集，否则这一轮会把学习预算留给更具挑战性的样本。 图 2 没有给出该具体样本的完整新题和采样错误数，因此这里不虚构一个被论文验证过的最终样本。

损失函数 / 训练策略

SFT 使用包含推理与答案的统一输出格式 <think></think><answer></answer>，让后续奖励检查有稳定的结构。 原文式 (1) 对推理轨迹做条件负对数似然训练，整理括号后的写法为：

\[ \mathcal{L}_{\mathrm{SFT}}=-\mathbb{E}_{(I,Q,R)\sim D}[\log\pi_\theta(R\mid I,Q)]. \]

这里 \(R\) 表示监督输出轨迹；关键在于学习可供后续 RL 使用的推理与答案组织方式，而不是添加新的视觉编码器。 GRPO 奖励包含最终答案正确性和格式合规性，前者通过正则表达式提取答案并与参考答案校验。 原文还要求推理步骤按顺序组织，违反顺序会受惩罚，但这并不等于逐步验证数学论证正确性。 缓存中的式 (2) 提取损坏，无法可靠恢复完整 GRPO 目标及各奖励权重，本笔记不代填标准公式冒充原文。

SFT 采用 LLaMA-Factory，batch size 为 128，学习率为 \(10^{-5}\)；GRPO 使用 VLM-R1。 GRPO 首轮每题 32 个 rollout，后续轮次降为 8，温度为 0.9，KL 系数 \(\beta=0\)。 训练 rollout 数与用于难度测量的每题 32 次采样是不同用途，后续训练只采 8 次不意味着筛选也改成 8 次。 实验使用 32 张 NVIDIA V100-32GB GPU，因而少量入选题目不能直接解释为低总算力成本。

实验关键数据

主实验

Geometry3k 共 3,002 题，训练、验证、测试划分为 2,101、300、601。 作者从测试集中选择需要辅助线的 274 幅图，原图评估记为 Geo-Sub，对应添加辅助线后的评估记为 Geo-Sub-Aux。 两列不是两个独立采集的数据集，也不能直接拿它们之间的差值当作训练收益。 下表选取原文表 2（第 10 页）的准确率，单位为 %；训练量是各行对应设置报告的规模，而非总生成成本。

模型 / 轮次	报告训练量	Geo-Sub	Geo-Sub-Aux	MathVista ALL
Qwen2-VL-2B	未列	28.0	29.1	43.0†
SyncLoop-2B，第 3 轮	0.4k	38.2	42.2	50.2
Qwen2-VL-7B	未列	40.4	40.4	60.0
SyncLoop-7B，第 1 轮	0.6k	45.5	46.9	62.1
SyncLoop-7B，第 2 轮	0.6k	46.9	48.0	62.4
SyncLoop-7B，第 3 轮	0.4k	50.9	52.4	63.2

† 表 2 将部分数字标记为来自既有论文；此处 2B 的 MathVista 基线也带该标记，不应描述为全部同条件复现。 7B 在 Geo-Sub-Aux 上提高 12.0 个百分点，在原图 Geo-Sub 上提高 10.5 个百分点，说明收益不只出现在加辅助线的测试输入上。 MathVista ALL 从 60.0% 到 63.2%，提高 3.2 个百分点；这比专门几何子集的增幅小。 2B 的 Geo-Sub-Aux 从 29.1% 到 42.2%，提高 13.1 个百分点，但不同模型规模不能只按增幅排序。

消融实验

原文表 5（第 12 页）比较第二轮错误率筛选；每个单元格斜线前后分别对应仅当前轮数据 \(D_t\) 和包含历史数据 \(D_{1\sim t}\)。 两种数据设置必须分开比较，不能取其中最好的值拼成同一训练配置。

筛选设置	数据量：当前 / 累积	Geo-Sub-Aux：当前 / 累积（%）
Fullset	0.83k / 1.48k	48.4 / 46.6
错误率阈值 0.3	0.48k / 0.64k	49.1 / 48.0
错误率阈值 0.6	0.44k / 0.54k	50.9 / 47.3
错误率阈值 0.9	0.38k / 0.44k	48.4 / 47.3
错误率设置 1.0	0.34k / 0.35k	46.2 / 46.5

只用当前轮数据时，0.6 的 50.9% 高于 0.3 的 49.1%；包含历史数据时，0.3 的 48.0% 更好。 因此，表 5 支持“难度阈值与数据混合方式共同影响效果”，而不是“0.3 在所有条件下最优”。 作者最终采用 0.3，并提到附录中的泛化实验；当前缓存不含该附录，不能进一步核对其结论。

原文表 8（第 13 页）将“原图配复杂文本”与“复杂图配复杂文本”比较；结合第 4.2 节上下文，这里报告 7B 的 Geo-Sub-Aux 结果，表头本身未另列指标名。

轮次	原图 + 复杂文本（%）	复杂图 + 复杂文本（%）
第 1 轮	47.27	46.9
第 2 轮	45.82	48.0
第 3 轮	51.27	52.4

共同演化在第二、三轮更好，但第一轮并非如此，因此该消融不能支持“图像复杂化每轮必然获益”。

关键发现

• 表 10（第 14 页）的第二轮单原则实验为约束 47.2%、新定理 46.9%、逆向推理 47.3%，联合设置为 48.0%；不过各单原则数据量不同，不能完全隔离原则本身的贡献。
• 表 11（第 14 页）去掉推理数据后，第二轮为 46.6%，低于主表的 48.0%，说明保留推理轨迹有帮助，但不是全部收益来源。
• 表 6（第 13 页）的第二轮增加函数数据设置，在 FunctionQA / Function-Plot 上达到 72.0% / 71.0%，基线均为 58.0%；这是另一个 0.7k 训练量设置，不应并入几何主表。

亮点与洞察

• 数据生成与数据选择解决不同的问题：前者维持图文条件一致，后者让模型接触尚未掌握的内容。把两层过滤分开后，更容易定位坏标签和难度错配。
• 新视觉结构只有被新问题真正使用，才构成有意义的数据演化。该思路可启发其他结构化图表任务，但本文没有验证对自然图像场景的直接迁移。
• 表 5 显示难度不是与模型、历史数据无关的固定标签。课程策略应连同训练集混合方式一起设计，而不是单独调一个阈值。

局限与展望

• 外部教师依赖明显：GPT-4o 同时出题、给答案和参与筛选，三次一致可能保留相关性错误。可考虑引入独立几何或代数验证器，但这不是本文已实现的结果。
• 默认阈值没有明确上界，仍可能保留完全不可解或标签错误的样本。表 5 中最极端错误率设置的退化支持进一步研究可学习性筛选。
• 数据量小不等于流程便宜：教师多次调用、图像生成、32 次难度评估和 32 张 GPU 的训练都应纳入成本。正文未给出足以核算端到端成本的完整账目。
• 训练流程存在表述张力：算法 1 写每轮 SFT 后 GRPO，表 3 却支持后续轮次直接延续 GRPO。复现时应确认各检查点对应日程，不能只照算法框执行。
• 当前缓存仅含正文和参考文献，缺少所引用附录，式 (2) 也无法完整读取。本文未据此补写 MathVerse 数字、完整提示词或未核实的奖励细节。

相关工作与启发

• vs OpenVLThinker：两者都讨论迭代自我改进，SyncLoop 增加图文共同生成与模型错误率筛选。表 9 的比较还涉及 5k 与 0.6k 等不同数据规模，不能据此宣称总成本等价。
• vs R-CoT / MAVIS：原文将它们作为视觉数据演化的相关工作；SyncLoop 强调新增视觉条件与文本问题共同变化，并把结果接入模型反馈循环。
• vs STaR / ReST：共同点是生成、过滤和再训练。本文进一步改变视觉输入与问题本身，而不只是为固定输入筛选更好的回答。
• vs MM-EUREKA：原文将其描述为过滤平凡与不可解样本的相关路线；SyncLoop 的默认下限阈值并不严格排除全错题，因此两者筛选规则不能视为同义。

评分

• 新颖性: 4/5。图文共同演化与模型反馈结合具有清晰针对性，组件本身多建立在已有生成与 RL 工具上。
• 实验充分度: 3/5。覆盖两种模型规模和多个分析，但成本、独立标签验证与训练日程仍有待澄清。
• 写作质量: 3/5。双循环思路明确，但阈值和训练调度的表述需要结合消融谨慎阅读。
• 价值: 4/5。对视觉数学数据构造和能力驱动课程有参考意义，外推到其他视觉任务仍需验证。

相关论文

• [ECCV 2026] HART: High-Resolution Annotation-Free Reasoning Technique through a Closed-loop Framework
• [ICML 2026] Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training
• [ICML 2026] Breaking Dual Bottlenecks: Evolving Unified Multimodal Models into Self-Adaptive Interleaved Visual Reasoners
• [CVPR 2026] Consensus Entropy: Harnessing Multi-VLM Agreement for Self-Verifying and Self-Improving OCR
• [ICLR 2026] Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs