HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning¶

会议: NeurIPS 2026
arXiv: 2603.17024
领域: VLM Reasoning
关键词: 视觉语言推理, 多跳数据合成, 可验证奖励强化学习, 长思维链, 视觉重定位

一句话总结¶

本文提出 HopChain，一个针对视觉语言模型强化学习的可扩展多跳数据合成框架，通过将单目标属性与跨目标关系严密串联成依赖链并输出确定数值，迫使长思维链推理在每一步持续进行视觉重定位，在 24 个跨领域基准上全面提升泛化能力。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR）在推动视觉语言模型（VLM）开展长思维链（CoT）推理方面取得了巨大进展，使模型能够在复杂数学与逻辑问题上展开多步演绎。然而，深入分析当前模型在长思维链推理中的表现可以发现，现存的视觉语言模型在精细化视觉推理场景下极易崩溃。当推理轨迹变长时，模型常出现感知误读、推理脱节、先验知识偏差以及虚假幻觉等多种错误模式；一旦长链路中间环节出现任何细微的非真实验证假设，错误便会像滚雪球一样在后续推导中层层放大，导致最终答案严重偏离。

这种失败的核心矛盾在于：当前用于多模态 RLVR 训练的数据集大多数并不需要贯穿始终的复杂视觉推理链。许多现有样本仅需初始单次视觉识别，随后便蜕化为纯语言符号空间的逻辑运算；或其视觉依赖松散，允许模型利用文本快捷方式绕过对画面的细粒度审视。这导致长思维链推理中由弱视觉定位引发的多重复合错误在训练阶段未曾暴露，更未受到有效梯度惩罚。简单通过扩大现有数学或常规 VQA 数据规模，根本无法倒逼模型学会在每一步推理中持续回头检验图像细节。

为了突破这一瓶颈，必须从训练数据结构本身入手，构建一种在逻辑上层层嵌套、每一步推演都严格依赖前序视觉发现、且必须进行全新视觉回溯定位的数据范式。核心 idea：提出 HopChain 框架，构建由感知级跳跃与实例链跳跃紧密交织的多跳视觉推理数据，通过前置跳确立后置跳的实例、集合或筛选条件，并将终点收敛至唯一确定数值以实现 RLVR，强迫模型在长思维链中保持全程视觉重定位。

方法详解¶

整体框架¶

HopChain 的整体目标是从自然图像中可扩展地合成具有严格逻辑依赖的多跳视觉推理样本，专供基于可验证奖励的强化学习（RLVR）训练。整个数据构造流程由四个有序衔接的阶段组成：首先通过大尺寸视觉语言模型枚举图像中的语义类别；接着使用强泛化分割模型将类别实例化为带空间包围框与掩码的具体目标；随后组合 3 至 6 个实例生成每一步均改变感知层级或目标实体的链式查询；最后结合独立多人标注与模型难度标定过滤无效或简单样本，保留高质量训练集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    RawImg["原始图像输入"] --> Stage1["语义类别识别<br/>Qwen3-VL 抽取全景实体标签"]
    Stage1 --> Stage2["实例精确分割<br/>SAM3 定位候选目标掩码与包围框"]
    Stage2 --> Stage3["多跳复合查询生成<br/>交织感知级与实例链跳跃，收敛至数值答案"]
    Stage3 --> Stage4["真值标注与难度标定<br/>4人独立一致性校验 + 弱模型筛选去冗余"]
    Stage4 --> RLVR["RLVR 强化学习训练<br/>采用 SAPO 算法在混合数据集上优化 VLM 策略"]

关键设计¶

1. 多跳推理结构规范：双跳跃类型交织与确定性数值终点

现有视觉问答经常存在解题捷径，例如模型仅凭常识猜测或识别局部背景即可得出正确选项。为了彻底杜绝此类浅层作弊，HopChain 在定义多跳查询时确立了严格的三级推理分类体系：Level 1 为单目标属性感知（如颜色、形状、文本、方位），Level 2 为多目标关系推理（如大小比较、条件计数、相对空间排列），Level 3 则是将多个前序步骤逻辑串联的多跳推理。

在此基础上，合成查询必须同时交织两种跳跃类型：感知级跳跃（perception-level hop）要求当前步骤必须在单目标感知与跨目标关系之间发生范式切换，例如从找到某个红球切换到判断其左侧所有物体的相对大小；实例链跳跃（instance-chain hop）则规定推理路径必须遵循显式实体依赖（如 \(A \rightarrow B \rightarrow C\)），即第 \(k\) 步所要考察的目标必须完全由前 \(k-1\) 步输出的属性或集合条件唯一定位。更关键的是，查询必须最终收敛到一个客观、唯一的整数数值。这种设定使得中间步骤的任何感知或逻辑偏差都会直接使最终计数或计算错误，完美契合可验证奖励强化学习的反馈机制。

2. 层次化过滤驱动的数据合成流水线

为确保数据生成的吞吐量与视觉挑战性兼备，HopChain 构建了一套多模型协同筛选机制。在输入端，由于均匀采样自然图像往往包含过多平庸样本，系统设计了双阶段筛选器：首先使用参数量更大的视觉模型（Qwen3-VL-235B-A22B-Thinking）对少量图片进行精细审美与感知复杂度初筛，将其作为监督微调数据训练轻量级的 Qwen3-VL-30B-A3B-Thinking；随后由轻量模型在海量图像池中运行粗筛，再将留存样本交由大模型进行二轮精筛，专门筛选具有遮挡、高密度物体、特殊姿态或精细纹理的高质量视觉场景。

在生成阶段，合成模型在设计时可观察选定 3-6 个实例的裁剪补丁以确保细节辨识，但在输出 Prompt 时受到强约束：严禁包含任何坐标框、掩码或标注泄露词汇，必须纯粹借助场景语义与相对视觉关系引导推演。在验证阶段，每个生成问题由 4 名专业标注员独立作答，只有 4 人给出完全一致数值答案的样本才被保留；随后使用轻量弱模型进行 8 次采样推理，将弱模型能够 100% 答对的低难度题目直接剔除，最终为每种模型规约出 6k 至 8k 条难度适中、阶梯分布合理的精选多跳样本。

3. 基于软自适应策略优化的强化学习训练

合成的多跳数据与同等规模的传统数学 RLVR 数据混合，用于执行策略模型的后训练强化学习。在多模态 RLVR 场景中，策略优化的目标是最大化可验证期望奖励：

\[J(\pi) = \mathbb{E}_{(\boldsymbol{I}, \boldsymbol{q}, \boldsymbol{a}) \sim \mathcal{D}, \boldsymbol{o} \sim \pi(\cdot \mid \boldsymbol{I}, \boldsymbol{q})}[R(\boldsymbol{o}, \boldsymbol{a})], \quad R(\boldsymbol{o}, \boldsymbol{a}) = \begin{cases} 1.0 & \text{if } \texttt{is\_equivalent}(\boldsymbol{o}, \boldsymbol{a}), \\ 0.0 & \text{otherwise.} \end{cases}\]

为了避免传统 GRPO 或 GSPO 中硬截断（hard clipping）导致的梯度更新生硬与训练震荡，模型采用软自适应策略优化（SAPO）算法。SAPO 通过平滑的 Sigmoid 门控函数替代硬阈值截断，针对优势为正或为负的 Token 分配不同的温度超参数，使策略在长推理序列的每一个生成步均能获得稳定而平滑的自适应梯度更新：

\[\mathcal{J}(\theta) = \mathbb{E}_{(\boldsymbol{I},\boldsymbol{q},\boldsymbol{a})\sim\mathcal{D},\{\boldsymbol{o}_i\}_{i=1}^G\sim\pi_{\text{old}}}\left[\frac{1}{G}\sum_{i=1}^G\frac{1}{|\boldsymbol{o}_i|}\sum_{t=1}^{|\boldsymbol{o}_i|} f_{i,t}\left(r_{i,t}(\theta)\right)\hat{A}_{i,t}\right]\]

其中重要性采样比率为 \(r_{i,t}(\theta) = \frac{\pi_\theta(\boldsymbol{o}_{i,t} \mid \boldsymbol{I}, \boldsymbol{q}, \boldsymbol{o}_{i,<t})}{\pi_{\theta_{\text{old}}}(\boldsymbol{o}_{i,t} \mid \boldsymbol{I}, \boldsymbol{q}, \boldsymbol{o}_{i,<t})}\)，软门控函数定义为 \(f_{i,t}(x) = \sigma(\tau_{i,t}(x-1)) \cdot \frac{4}{\tau_{i,t}}\)，根据归一化组优势 \(\hat{A}_{i,t}\) 的正负符号自适应切换为 \(\tau_{\text{pos}}\) 或 \(\tau_{\text{neg}}\)。

一个完整示例¶

以一幅复杂的厨房场景图像为例，HopChain 构建的查询如下： 1. Hop 1（Level 1 单目标识别）：在中心岛台区域，找到位于砧板右侧第一只颜色为绿色的玻璃杯； 2. Hop 2（Level 2 跨目标关系推理）：观察该绿色玻璃杯杯口朝向的正前方，统计在此视线直线上且距离杯子比微波炉更近的所有调味瓶数量； 3. Hop 3（Level 1 目标属性识别）：在上述筛选出的调味瓶中，确认瓶身带有黄色标签的那一只，观察其瓶盖顶部的凸起刻痕数； 4. Hop 4（终点数值运算）：将该刻痕数乘以整个操作台上不锈钢刀具的总数，最终计算结果是多少？

整个问题从局部单目标跳转到空间几何关系筛选，再收束到细粒度局部纹理属性，最终以具体算术数值收尾。模型无法通过任何语言捷径跳跃步骤，每一步都必须在当前视觉线索指导下对图像进行重新定位（re-grounding）。

实验关键数据¶

主实验¶

在 Qwen3.5-35B-A3B 与 Qwen3.5-397B-A17B 两个规模的模型上，论文系统评测了 STEM 与逻辑谜题、通用 VQA、文本识别与文档理解、视频理解共 4 大类 24 个基准。实验对比了 SFT 之后 Baseline（Before RLVR）、仅用原始 RLVR 数据训练（RLVR w/o Multi-Hop）、以及加入 HopChain 合成数据共同训练（RLVR w/ Multi-Hop）。

模型规模	评测基准	Before RLVR	RLVR w/o Multi-Hop	RLVR w/ Multi-Hop	相对 Baseline 净提升
Qwen3.5-35B-A3B	MathVision	61.97	73.71	76.05	+2.34
	MMMU Pro	66.07	69.25	70.64	+1.39
	BabyVision	14.95	21.91	22.68	+0.77
	EMMA (mini)	41.88	53.00	58.00	+5.00
	LogicVista	63.85	74.66	75.56	+0.90
	RealWorldQA	75.42	78.17	79.35	+1.18
	CharXiv	61.30	69.00	73.10	+4.10
	InfoVQA_VAL	86.81	87.44	90.17	+2.73
	VideoMMMU	70.67	73.33	74.78	+1.45
	MMVU (COT)	63.70	65.80	68.90	+3.10
Qwen3.5-397B-A17B	MathVision	77.38	81.68	83.71	+2.03
	MMMU Pro	73.03	75.06	76.47	+1.41
	BabyVision	17.01	28.61	32.22	+3.61
	ZeroBench	3.00	4.00	8.00	+4.00
	EMMA (mini)	58.13	66.25	69.00	+2.75
	RealWorldQA	79.87	79.87	81.70	+1.83
	CharXiv	70.00	74.60	77.20	+2.60
	InfoVQA_VAL	90.42	90.83	92.20	+1.37
	Video-MME (w/o sub)	76.56	78.30	80.41	+2.11
	VideoMMMU	76.67	78.89	80.00	+1.11

消融实验¶

为了验证完整的长链多跳依赖是否不可替代，作者在 Qwen3.5-35B-A3B 上设计了训练查询链条长度的消融实验，选取 MathVision、MMMU Pro、RealWorldQA、ERQA、VideoMMMU 五个代表性基准对比了完整多跳、截断前半段的半程多跳（Half-Multi-Hop）以及退化为最后一步的单跳（Single Hop）。

训练查询设置	5个代表性基准平均分	MathVision	MMMU Pro	RealWorldQA	ERQA	VideoMMMU	结构有效性说明
RLVR w/ Multi-Hop (完整链)	70.4	76.05	70.64	79.35	51.38	74.78	完整依赖链，每步均需重定位
RLVR w/ Half-Multi-Hop (减半链)	66.7	74.32	68.10	77.80	44.50	68.80	依赖链截断削弱了长程上下文依赖
RLVR w/ Single Hop (单跳基准)	64.3	73.50	66.80	76.50	38.20	66.50	退化为普通单步视觉定位，长链增益丧失

关键发现¶

跳链完整性至关重要：消融实验显示，将多跳查询精简或截断会导致 5 项基准平均分从 70.4 骤降至 66.7 和 64.3，证明模型获得的泛化能力并非来自特定视觉知识或单一提问格式，而是完全依赖于长程推理链条中连续视觉证据检验的约束。
跨模态跨任务强泛化：尽管 HopChain 数据完全合成自静态图像中的空间与属性关系，但训练后的模型在视频理解（如 Video-MME、MMVU）与图表理解（CharXiv）上展现出惊人的跨域迁移能力，24 个评测任务中有 20 个取得了显著提升。
超长思维链增益尤为显著：按推理生成 Token 长度进行分桶统计显示，RLVR w/ Multi-Hop 的性能提升随着 CoT 序列拉长而逐步放大；在超长推理区间（Ultra-long CoT），加入多跳数据的模型相比 Baseline 优势突破 50 个准确率点，充分印证了该方法有效阻断了中间错误累积扩散的现象。

亮点与洞察¶

将复杂的链式结构收敛至极简的数值终点：通过巧妙地将多实体条件筛选收缩至唯一定量答案，HopChain 在不牺牲推理深度的前提下完全兼容了 RLVR 的零容忍客观验证标准，避免了基于模型打分（LLM-as-a-judge）的主观噪声。
合成代理任务具备强大的跨域迁移潜力：这篇论文最引人入胜的洞察在于证明了用于 RL 训练的数据无需与评测任务同分布；只要合成数据在结构上迫使模型掌握了“按图索骥、步步验真”的元认知行为，该能力就能无缝平移到高难度物理、数学或视频推理场景中。
多层级过滤体系实现可控的样本难度曲线：利用弱模型的全对过滤机制排除过于简单的样本，确保留存的训练样本始终处于模型的能力边界（Partially Correct 区间占半数以上），极大提高了强化学习策略采样的信息熵和梯度利用效率。

局限与展望¶

强依赖底层实例分割模型的可解析度：作者在文中指出，整个合成流水线必须依赖 SAM3 成功定位目标，这导致对于缺乏明确物理离散实体的抽象视觉画面（如流动烟雾、纯色渐变、极度抽象的艺术画作或显微流体）无法生成有效查询。
多模型协作的合成与人工验证成本较高：流水线中既需要 235B 级别的 Thinking 大模型进行多轮精细过滤与生成，又需要 4 人独立审核达成完全一致，对于更大规模的工业级数据集扩展存在一定算力与人力成本门槛。
未来方向：探索无需离散边界掩码的连续场域多跳生成机制（例如基于密集点云追踪、连续动作轨迹或抽象几何原语），将多跳视觉重定位的范式进一步推广到具身交互和连续物理推演领域。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从数据逻辑依赖结构入手，将感知切换与实体依赖结合为可验证数值 RLVR 任务，设计极为巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 24 个跨域权威基准、包含 35B 与 397B 两个主力大模型，提供了极具说服力的长度分桶消融与错误归因分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，从失败案例归因到多跳形式化定义、再到流水线与实验验证，逻辑闭环浑然一体。
价值: ⭐⭐⭐⭐⭐ 为解决长思维链视觉大模型幻觉与错误复合问题指明了全新数据驱动路径，具备极高的工业落地与学术启发意义。