Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4913
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7989.pdf
代码: https://github.com/SEE-AI-Lab/crystal
领域: 多模态推理
关键词: 推理过程评测、参考步骤共识、语义匹配、顺序一致性、课程强化学习

一句话总结¶

CRYSTAL 为 6,372 道视觉问答题补充可检查的参考推理链，通过内容覆盖与相对顺序评测暴露“答对但过程不完整”的问题，并以 CPR-Curriculum 将 Qwen2.5-VL-3B 的 Match F1 从 0.480 提高到 0.633、准确率从 39.85% 提高到 47.52%。

研究背景与动机¶

视觉问答中的正确答案并不能证明模型正确理解了图像。尤其面对选择题，模型可能依靠选项分布、语言先验或少量视觉线索得到正确结果，却在解释中写出与结论相反的判断。本文开篇的例子正是如此：LLaVA-v1.6-7B 选中了最小的中间游戏机，却在推理中声称它比其他游戏机更大。答案指标给满分，过程 Match F1 却只有 0.15。

给模型加一句“逐步思考”并没有自动解决评测问题：长解释既可能包含必要的视觉证据，也可能只是重复题意或增加貌似合理的描述。已有多模态思维链和过程评测工作提供了重要基础，但仍需要一种可重复执行的办法，把“模型说的步骤是否对得上证据”“必要步骤是否遗漏”“顺序是否一致”拆开观察。CRYSTAL 选择在已有视觉任务上补充参考链，而不是另造一组仅以最终答案评分的新题。

难点随之转移到参考链本身：单一模型给出的解释可能带有风格偏好或错误，而且有效解法未必唯一。作者因此先让不同模型独立提出步骤，再聚合、审核，并把评测信号延伸到强化学习。核心 idea：用经过多模型共识与人工质检的参考步骤，同时衡量输出过程的内容覆盖和相对顺序，再让答题奖励受步骤对齐质量约束，减少只靠答案得分的训练捷径。

方法详解¶

整体框架¶

CRYSTAL 包含两个相连但用途不同的流程：离线构造参考推理链，以及在线比较待测模型的输出与参考链。构造阶段已知图像、问题和正确答案；评测阶段则要求模型生成自己的步骤与答案，参考答案不能被当作模型输入。参考链还可用于训练，但评测数据和另行生成的训练数据需要明确区分。

数据来自 MathVision、ScienceQA-IMG、RealWorldQA、MMVP 和 PlotQA，分别有 3,039、2,017、765、299 和 252 道题，平均每题 11.6 个步骤，范围为 3–42。步骤数量与题目长度、语言标记共同用于难度划分；它们描述的是基准的任务复杂度，并不直接证明某一步具有因果必要性。下图展示参考构建、评分和可选训练之间的连接，训练后的模型仍回到相同的过程评测接口。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像、问题<br/>与正确答案"] --> B["多模型共识参考"]
    B --> C["双重质量门"]
    C -->|未通过| B
    C -->|通过| D["内容与顺序评分"]
    P["待测模型<br/>步骤与答案"] --> D
    D --> O["诊断报告"]
    D -->|用于训练| E["因果过程奖励与课程"]

关键设计¶

1. 多模型共识参考：避免把单一模型的措辞直接当作推理标准

构造参考时，Qwen2.5-VL-72B、InternVL3-76B、Gemma3-27B 和 Llama-4-Maverick 各自读取图像、问题、正确答案，并使用不同随机种子生成候选步骤。将正确答案提供给生成器，是为了构造通向已知答案的解释，不是测量这些生成器的独立答题能力。多模型来源的作用是增加候选解释的多样性，而非保证其错误相互独立。

接下来把候选步骤编码为句向量，用余弦相似度超过阈值的步骤建立无向边，将连通分量作为语义簇。每簇选出与簇内其他步骤平均不相似度最小的真实候选作为代表，避免直接拼接多条链造成重复。代表步骤在首轮按问题逻辑排序；后续轮次则通过尽量减小与上一轮序列的编辑距离稳定顺序。这是步骤级的共识汇聚，不是按最终答案进行多数投票；连通分量也不意味着簇内每一对步骤都达到相似度阈值。

2. 双重质量门：共识之后仍要检查视觉依据与逻辑过渡

第五个模型 Molmo-72B 审核步骤是否逻辑成立、顺序连贯、得到图像支持且与正确答案一致。未通过的样本重新进入独立生成阶段，更换种子后再聚类和检查，而不是只把措辞润色到验证器接受为止。自动验证通过后，训练过的人工标注员再次核查感知描述是否确实可见、步骤转换是否合理，以及沿链执行能否导出答案；人工拒绝同样触发重新生成，原文报告不足 5% 的样本需要这轮返工。

这一安排把两种常被混淆的可靠性问题分开：多模型重复说同一句话只提供一致性证据，人类对照图像才进一步检查其事实基础。不过，人工质量门不等于每一步由人从零编写，因此论文的“无人工步骤标注”更准确地理解为不依赖人工逐步撰写参考链，而不是整个数据流程无人参与。

3. 内容与顺序评分：把省略步骤和打乱步骤分开诊断

评分器以 all-distilroberta-v1 编码预测步骤与参考步骤，计算两两余弦相似度，在相似度不低于 \(\tau=0.35\) 的候选对上进行贪心一对一匹配。一个预测步骤最多贡献一次匹配，一个参考步骤也不能被多个近义重复句反复领取分数。匹配数量就是真阳性数；未匹配预测步骤是假阳性，未覆盖参考步骤是假阴性。precision 表示输出中有多少步骤对齐参考，recall 则表示参考链有多少被覆盖，两者的调和平均构成单题 F1，最终 Match F1 是逐题 F1 的宏平均，而不是先汇总所有步骤再计算。

高 precision、低 recall 因而对应“只写少量容易对齐的步骤”；增加无关解释则可能压低 precision。这里的正误是相对于参考链的语义对齐，不能直接等同于形式逻辑的真伪。原文规定预测和参考都为空时单题 F1 为 1，双方非空但没有匹配时为 0；这些边界说明指标考察的是结构化步骤输出，而非自由文本整体观感。

Match F1 本身不看顺序。Ordered Match F1 先将匹配对按参考步骤序号排列，再提取对应预测序号，计算最长递增子序列所占比例，即 LIS ratio；一对一匹配使这些序号不会重复。LIS 高表示匹配步骤中存在较大的保序子集，但短链只命中少数步骤也容易得到高值，因此作者将其作为 F1 的顺序惩罚，设置 \(\alpha=0.3\)；\(\alpha=0\) 时退化为普通 Match F1。缓存中的式 (6) 运算符缺损，本笔记不补写无法确认的完整表达式，也不从表中宏平均结果反推单题公式。

答案准确率另行计算：数值使用容差比较，类别答案精确匹配，自由文本采用模型裁判。因而过程内容评分的可重复性不能直接推广为整套评测都不使用模型裁判。内容、顺序与答案必须联合报告，才能区别“链完整但答错”“链很短但答对”以及“步骤对齐但排列不当”。

4. 因果过程奖励与课程：正确答案不能独占过程学习的奖励

普通 Composite 奖励把格式、答案和步骤项相加，各项可以独立提供回报。CPR 改为根据答案正确性调节过程奖励：答对得到答案奖金 \(a_w\) 加步骤 F1 奖金 \(s_w\)；答错只得到乘以折扣 \(\lambda=0.3\) 的步骤奖金。这里“步骤奖金”是步骤权重与实际步骤 F1 的乘积，所以只有答案正确、步骤也对齐时才能拿足奖励；猜对却没有可匹配过程仍能得到 \(a_w\)，并不是完全零奖励。默认权重为 \(a_w=0.65\)、\(s_w=0.35\)。缓存的式 (7) 排版损坏，以上定义依据紧邻公式的文字说明，不补写损坏的分段公式。

CPR-Curriculum 进一步改变学习顺序：第一阶段只用格式与准确率奖励稳定答案生成，第二阶段从该检查点出发，用更低学习率引入完整 CPR，并先训练参考步骤较少的题，再逐渐加入长链题。作者还报告 CPR 与课程版本均使用 PCGrad 投影冲突梯度，缓解答案和过程目标相互干扰。课程并不显式教授步骤的因果依赖，也不直接优化 Ordered Match F1；它主要降低在模型尚不能稳定输出结构化答案时施加强过程要求的难度。

损失函数 / 训练策略¶

训练采用 GRPO，分别验证 Qwen2.5-VL-3B-Instruct 和 InternVL3.5-4B，资源为 4 张 A100 与 DeepSpeed ZeRO-3。另行构造的训练池包含 30,312 个样本：ScienceQA-IMG 为 6,218，TextVQA 为 24,094；权重敏感性实验使用其中 15% 的留出验证集，共 4,546 个样本。训练池规模不是 CRYSTAL 测试题数量。

本文正文称两种架构采用一致的奖励权重和协议，但具体提示、完整训练超参数与实现细节指向补充材料；当前缓存只有正文和参考文献，因此不能补报学习率数值、阶段切换点或 PCGrad 的具体实现。奖励策略对比表还明确使用 CRYSTAL 测试集上的各策略最佳检查点，解读泛化收益时应保留这一模型选择口径。

实验关键数据¶

主实验¶

原文表 2 共评估 20 个模型，下面节选能体现答案、覆盖和顺序分离的模型。除准确率外各评分为 0–1，步骤数为平均输出长度；未参与参考构建的商业模型也取得高过程分，支持跨模型使用，但不能据此证明参考完全无偏。

模型	准确率 (%)	Match F1	Precision	Recall	步骤数	LIS	Ordered F1
GPT-5	57.99	0.612	0.925	0.479	5.29	0.636	0.539
GPT-5-mini	55.59	0.773	0.978	0.669	7.57	0.560	0.670
Gemini 2.5 Flash	53.95	0.673	0.701	0.765	17.10	0.584	0.579
Qwen3-VL-8B	57.66	0.659	0.827	0.590	7.37	0.624	0.572
Qwen3-VL-32B	49.22	0.718	0.819	0.704	10.56	0.581	0.617
MiniCPM-v2.6-8B	25.54	0.215	0.709	0.134	1.31	0.854	0.186

19/20 个模型 precision 高于 recall，Gemini 是例外，所以摘要所说的“普遍挑选容易步骤”不能改写成所有模型无例外。GPT-5 的答案准确率最高，但过程 F1 不如 GPT-5-mini；MiniCPM 的 LIS 很高却几乎不覆盖参考链，也说明保序率不能单独作为推理能力排名。

消融实验¶

原文表 5 的奖励策略对比基于 Qwen2.5-VL-3B；表末两行来自表 4，用于检验另一架构，不能混为同一骨干的消融。

骨干 / 奖励策略	准确率 (%)	Match F1	Recall	LIS	Ordered F1
Qwen / Baseline	39.85	0.480	0.347	0.723	0.434
Qwen / Composite	44.92	0.426	0.284	0.743	0.392
Qwen / Answer-Only	44.30	0.429	0.308	0.700	0.380
Qwen / CPR	41.40	0.633	0.489	0.631	0.560
Qwen / CPR-Curriculum	47.52	0.633	0.493	0.626	0.560
InternVL3.5-4B / Baseline	37.61	0.432	0.325	0.775	0.387
InternVL3.5-4B / CPR-Curriculum	45.76	0.833	0.811	0.562	0.719

课程相对于 CPR 的主要收益是准确率由 41.40% 升至 47.52%，不是再次提高已经同为 0.633 的 Match F1。相对未训练基线，Qwen 的 F1 增加 0.153，即约 32% 的相对增幅，而非增加 32 个百分点；InternVL 的准确率提高 8.15 个百分点，F1 增加 0.401。两者 LIS 均下降，不能声称课程同时改善了原始保序率。

评测器自身也需要验证。原文表 3 的盲测结果如下，样本来自 3 个模型，并刻意增加边界相似度样本的比例。

余弦相似度区间	步骤对数	与人工判断一致率
< 0.20	33	100.0%
[0.20, 0.35)	14	100.0%
[0.35, 0.50)	19	68.4%
[0.50, 0.70)	25	64.0%
≥ 0.70	9	88.9%
总体	100	84.0%

关键发现¶

编码器消融覆盖 4 个编码器、5 个阈值和 5 个基线，共 100 次实验。DistilRoBERTa-v1 的平均 F1 为 0.520，其他编码器为 0.471–0.479；原文报告 20 种编码器与阈值组合下模型排序稳定，但分数更高本身不等于更准确地判断语义。
人工核验的总体一致率为 84.0%，Cohen's \(\kappa=0.534\)；16 个分歧全部是假阳性。阈值以下的 47 对全部一致只支持这些负判定正确，不支持“整个匹配器没有假匹配”的更强结论。
权重消融中，\(a_w=0.65\)、\(s_w=0.35\) 在验证集达到 82.70% 准确率、0.728 F1，最大 KL 为 0.372；这是训练分布留出验证集结果，不能与 CRYSTAL 测试准确率 47.52% 混用。

亮点与洞察¶

把内容、覆盖与顺序拆开看。 一句解释能匹配参考不代表链完整，链完整也不代表顺序正确。这种分解能让开发者知道模型是倾向省略、扩写还是打乱过程，而不是只看到一个总准确率。
过程基准可以反向指导训练。 同一套参考步骤既是诊断材料，也是过程奖励来源；课程结果进一步说明，何时引入步骤监督会影响答案性能，不能只比较奖励是否含有过程项。
保留精度与召回率比只看 F1 更有信息。 Gemini 的长链高召回与多数模型的短链高精度形成不同的错误画像，为输出长度控制、参考覆盖分析和人类审阅提供了直接线索。

局限与展望¶

参考不穷尽有效解法。 作者承认参考链可能遗漏其他正确路径；给生成器正确答案也可能产生事后合理化。未匹配步骤不必然错误，未来可保留多条有效路径或允许部分顺序约束。
语义相近不等于逻辑等价。 人工核验中存在 16 个假阳性且只有一名标注员、100 对样本；否定、数量差异和图像事实是否成立，需要更直接的验证。作者推测正常分布一致率更高，但这里没有相应实测值。
顺序代理不等于因果依赖。 LIS 相对固定参考次序惩罚重排，可能误伤可以交换的独立步骤；CPR 的名称也不代表完成了因果识别或证明输出解释忠实反映模型内部计算。
训练证据仍有限。 CPR 只在 3–4B 的两个模型上验证；不同奖励配置中的 PCGrad、课程、学习率变化缺少逐项隔离消融，且策略对比采用测试集最佳检查点。需要独立验证集选点、多随机种子和跨基准测试后再推广稳定性结论。

评分¶

新颖性: 4/5。把共识参考、过程覆盖、顺序诊断和课程奖励串联起来有实用价值，但各组成思想已有先例。
实验充分度: 3/5。20 模型、评测器消融和双骨干训练较完整，但人工验证规模、测试集选点及组件归因仍有限。
写作质量: 4/5。动机与失败示例清楚；“普遍挑选”、无偏和因果等措辞需要结合表格与指标定义谨慎理解。
价值: 4/5。适合诊断多模态解释的覆盖问题及构建过程奖励，不能替代视觉事实核验或因果忠实性评测。