Reactivating Test-Time Scaling for Plane Geometry Problem Solving¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Jason8Kang/ReTTS-PGPS
领域: LLM推理
关键词: 平面几何求解, 测试时缩放, 多轨迹合成, 感知增强训练, 共识引导集成
一句话总结¶
本文剖析了平面几何问题中测试时缩放(TTS)因符号程序刚性导致多样性不足与感知误差放大的失效机理,提出多轨迹合成(MTS)、感知增强(PA)训练以及共识引导多轨迹集成(CG-MTE),在显著提升准确率的同时将采样成本降低高达8倍。
研究背景与动机¶
平面几何问题求解(Plane Geometry Problem Solving, PGP)要求模型同时具备精准的细粒度图示感知能力与严格的多步符号几何定理演绎能力,是检验多模态大语言模型(MLLM)复杂推理水平的关键基准。近年来,测试时缩放(Test-Time Scaling, TTS)技术,特别是基于自洽性(Self-Consistency, SC)的多路径采样与多数投票,在通用数学符号推理与代码生成领域取得了突破性进展。然而,当将标准自洽性范式直接迁移到平面几何求解时,其扩展收益却严重受限,反复重采样往往无法形成有效多数共识,甚至难以超越单次贪婪解码。
作者深入探究了这一失效现象背后的核心机理,发现几何问题的受限推理主要源于两个关键瓶颈。首先,现有几何数据集(如 PGPS9K、Geometry3K)高度依赖高度压缩且语法固化的专用领域符号程序(DSL)。这种紧凑的形式化程序缺乏自然语言链式思维(CoT)所具备的中间沉思与反思能力,导致解空间极为狭窄;在刚性程序生成中,正确的符号程序往往具有唯一性,多次采样只能产生高度一致的单一正解或杂乱无章的错误程序,难以展现有效的解空间探索多样性。其次,视觉图示与形式化演绎之间存在明显的感知断层。模型在直接预测符号程序时极易读错图示细节(例如将 \(101^\circ\) 误读为 \(104^\circ\)、混淆平行或垂直线段),底层感知错误进而导致后续定理套用全盘皆输。
针对上述瓶颈,单纯扩增模型参数或机械盲目堆叠采样样本量并不能根本性解决问题。真正的突破口在于解开符号形式主义的束缚,通过语义对齐的异构推理轨迹扩展解空间,同时在符号推演前建立显式的视觉图示结构化语义锚定。核心 idea:将刚性符号程序系统性解耦并扩增为包含可执行 Python 脚本与 CoT 沉思的多异构推理轨迹(MTS),结合显式解析图示几何从句的感知增强训练(PA),并在推理阶段采用自适应的共识引导多轨迹集成(CG-MTE),实现低采样开销下测试时缩放的高效复苏。
方法详解¶
整体框架¶
整体方法涵盖三个紧密协同的阶段:首先是在离线数据构建阶段执行的多轨迹合成(MTS),将仅包含单一刚性符号程序的数据集转换为兼具符号程序、可执行代码与自然语言推理的四类异构轨迹;其次是感知增强训练(PA),通过两阶段联合建模强制模型先从几何图示中解析出显式结构化语义从句,再以此为条件展开推理;最后是推理阶段的共识引导多轨迹集成(CG-MTE),以深度自适应机制动态平衡计算开销与求解准确率。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["几何问题输入<br/>图示图像 D + 文本问题 Q"] --> B["感知增强训练<br/>先显式解析结构化几何从句 S"]
B --> C["多轨迹合成<br/>四类异构轨迹协同生成"]
C --> D["共识引导多轨迹集成<br/>从浅到深逐层扩展并快速退出"]
D --> E["数值答案输出 A"]
关键设计¶
1. 多轨迹合成:刚性符号程序向异构可执行与沉思轨迹扩展
针对刚性符号语言表达空间受限、缺乏中间自然语言沉思以及测试时自洽采样多样性匮乏的问题,多轨迹合成(Multi-Trace Synthesis, MTS)框架在不虚构新几何问题的前提下,将每个经过变量实例化的形式化求解程序解构并映射为四个维度互补的推理轨迹:原始程序(Program)、程序辅助语言脚本(PAL)、带思维链的程序(CoT-Program)和带思维链的脚本(CoT-PAL)。
具体而言,系统首先将依赖辅助数值映射表的抽象符号程序转换为自包含的实例化程序(例如将带有变量占位符的 Geo_Mean N0 N1 N4 替换为真实数值与目标符号组成的 Geo_Mean 3\sqrt{2} z \sqrt{2})。接着,通过规则转换管线将实例化程序转换为基于 SymPy 的可执行 Python 脚本(PAL),包括环境导入、方程构建、代数求解与非负几何约束根过滤四个步骤。所有生成的 PAL 脚本均在严格沙盒环境中执行,只有无运行时错误且输出数值与真值相对误差小于 \(\epsilon = 10^{-3}\) 的脚本才予以保留(过滤掉诸如负线段长或退化几何拓扑的矛盾样本)。
随后,利用 MLLM 对经过验证的轨迹进行思维链沉思注入:CoT-PAL 在每条代数方程前添加自然语言几何定理依据与逻辑推导,并通过多轮报错重试修复机制保证代码执行完全正确;CoT-Program 则将符号算子重写为对齐定理依据的逐步说明。由此构建的异构轨迹兼具代码执行的严谨性与自然语言的探索弹性,彻底激活了解空间的多样性。
2. 感知增强训练:显式图示语义从句解析弥合图示-符号跨模态断层
针对模型直接跨模态生成符号程序时易受图示识别幻觉与视觉歧义干扰的痛点,感知增强训练(Perception-Augmented Training, PA)将几何推理形式化为一个顺序级联的感知-推理统一过程。模型首先被要求将输入的几何图示 \(D\) 与文本问题 \(Q\) 显式解析为一组结构化的几何语义从句 \(S = (S_1, \dots, S_{|S|})\)(如明确写出 \(AC \perp DB\)、\(AB = 3\sqrt{2}\)、\(BC = z\) 等拓扑与度量约束),然后再以这些语义从句为上下文条件,自回归生成最终的解题推理轨迹 \(T = (T_1, \dots, T_{|T|})\)。 在训练目标上,该过程通过端到端联合对数似然损失进行监督优化: $\(\mathcal{L} = -\log P_\theta(S, T \mid D, Q) = -\log P_\theta(S \mid D, Q) - \log P_\theta(T \mid S, D, Q) = \mathcal{L}_{\text{perc}} + \mathcal{L}_{\text{reason}}\)$ 其中感知损失 \(\mathcal{L}_{\text{perc}}\) 惩罚图示语义解析偏差,推理损失 \(\mathcal{L}_{\text{reason}}\) 促使模型在显式视觉证据支撑下执行演绎。该机制从根本上杜绝了无凭据的定理妄测,使复杂多步几何推理牢固锚定在可靠的结构化视觉表征之上。
3. 共识引导多轨迹集成:基于跨轨迹浅层共识的高效自适应推理
针对标准多轨迹集成(Standard MTE)与大预算自洽性在所有样本上均盲目采样最大预算(如 \(V \times D = 4 \times 10 = 40\))造成严重算力浪费的问题,共识引导多轨迹集成(Consensus-Guided Multi-Trace Ensemble, CG-MTE)提出了一种无需人工预设共识置信度阈值的自适应早停解码机制。 对于每个测试样本 \(x = (D, Q)\),模型通过四类专用提示词并行生成 \(V=4\) 类异构轨迹,并按束搜索(Beam Search)候选得分从浅到深逐层展开搜索深度 \(d \in \{1, \dots, D\}\)。在每个深度 \(d\),系统汇总所有轨迹类型的前 \(d\) 个执行数值答案池 \(S_d(x) = \bigcup_{j=1}^V \{a_{j,1}(x), \dots, a_{j,d}(x)\}\),并计算其唯一的众数 \(v^*_d(x) = \text{mode}(S_d(x))\)。一旦在当前浅层深度 \(d\) 出现唯一的多数共识答案,推理立即截断并输出该共识解作为最终答案;若各候选出现平票或无众数,则仅递增扩展至深度 \(d+1\) 重新判定。当达到最大深度 \(D\) 仍无法达成唯一共识时,算法优雅回退(Fallback)至执行正确率最高的 CoT-PAL 顶层预测候选。由于绝大多数简单与中等难度样本在 \(d=1\) 即可达成异构共识,该策略在保留深度探索精度的同时,将整体平均采样数(ASN)从固定的 40 压缩至 5 左右。
形式化定义与评估协议¶
几何问题实例形式化定义为五元组 \(I = (D, Q, S, P, A)\),其中 \(D\) 为图示图像,\(Q\) 为文本问题描述,\(S\) 为结构化语义从句,\(P = \langle s_1, \dots, s_T \rangle\) 为由 34 种几何定理公理算子 \(opt \in \mathcal{O}\) 构成的解题符号程序,\(A\) 为最终数值答案。 模型评估统一采用 Top-1 数值匹配准确率(Answer Accuracy, %)。对于每个预测答案 \(\hat{a}\) 与真实标准答案 \(a\),当且仅当满足相对误差阈值约束: $\(\frac{|\hat{a} - a|}{\max(|a|, 10^{-4})} \le 10^{-3}\)$ 时判定为求解成功。测试时推理效率通过平均采样数(Average Sampling Number, ASN)进行量化统计,以精确衡量准确率与计算开销之间的 Pareto 前沿权衡。
实验关键数据¶
主实验¶
论文在三个广泛使用的权威几何基准数据集上对通用多模态大模型、专用几何求解器以及微调模型进行了系统评测。在贪婪解码(Top-1)设置下,所提方法全面大幅超越所有基准:
| 模型分类 | 代表模型 / 方法 | PGPS9K (%) | Geometry3K (%) | GeoQA (%) |
|---|---|---|---|---|
| 通用多模态模型 | GPT-4V | 33.3 | 34.8 | 43.4 |
| 通用多模态模型 | Claude 3.5 Sonnet | 27.6 | 32.0 | 49.2 |
| 通用多模态模型 | Qwen2.5-VL-72B | 53.3 | 50.5 | 55.5 |
| 神经几何求解器 | PGPSNet | 60.3 | 65.0 | – |
| 神经几何求解器 | LANS | 66.7 | 72.1 | – |
| 神经符号几何求解器 | InterGPS (Diagram GT) | 59.8 | 64.2 | – |
| 神经符号几何求解器 | GeoDRL | 55.6 | 70.6 | – |
| 基础微调基线 (Direct Program) | Qwen2-VL-2B | 43.4 | 41.4 | 47.1 |
| 基础微调基线 (Direct Program) | Qwen2.5-VL-3B | 46.7 | 53.1 | 53.4 |
| 基础微调基线 (Direct Program) | Qwen3-VL-8B | 58.6 | 65.4 | 60.9 |
| 本文方法 (PA on MTS-All) | Qwen2-VL-2B | 50.8 (+7.4) | 52.0 (+10.6) | 53.5 (+6.4) |
| 本文方法 (PA on MTS-All) | Qwen2.5-VL-3B | 58.3 (+11.6) | 64.7 (+11.6) | 58.7 (+5.3) |
| 本文方法 (PA on MTS-All) | Qwen3-VL-8B | 71.2 (+12.6) | 74.5 (+9.1) | 67.2 (+6.3) |
消融实验与测试时缩放对比¶
针对核心组件贡献以及测试时缩放效率,论文在 PGPS9K 上进行了精细的模块消融与推理机制对比:
| 实验配置 | 数据集规模 / 候选样本 | 2B 准确率 (%) | 3B 准确率 (%) | 8B 准确率 (%) | 平均采样数 ASN |
|---|---|---|---|---|---|
| PA Training on PGPS9K-All (完整) | 32K | 50.8 | 58.3 | 71.2 | 1.00 |
| 去除 PA 训练 (w/o PA Training) | 32K | 45.5 (-5.3) | 51.8 (-6.5) | 65.4 (-5.8) | 1.00 |
| 去除 MTS 多轨迹合成 (w/o PGPS9K-MTS) | 32K (纯程序过采样) | 46.7 (-4.1) | 54.4 (-3.9) | 67.6 (-3.6) | 1.00 |
| 单一轨迹: Program | 8K | 46.2 | 54.2 | 67.5 | 1.00 |
| 单一轨迹: PAL | 8K | 46.7 | 54.4 | 67.4 | 1.00 |
| 单一轨迹: CoT-Program | 8K | 46.0 | 54.5 | 67.9 | 1.00 |
| 单一轨迹: CoT-PAL | 8K | 47.2 | 55.4 | 68.3 | 1.00 |
| 统一模型自洽性 SC@40 (Beam Search) | K=40 | – | 62.0 | 76.7 | 40.00 |
| 自适应束搜索基线: 秩切分 (Rank-Split) | 最大 40 | – | 61.1 | 75.2 | 4.68 |
| 自适应束搜索基线: 模式切分 (Pattern-Split) | 最大 40 | – | 62.6 | 75.8 | 12.72 |
| 共识引导多轨迹集成 (CG-MTE) | 最大 40 | – | 62.1 | 76.0 | 4.89 |
关键发现¶
- 感知增强是稳固符号推理的前提:消融实验显示,剥离 PA 训练直接导致 2B、3B、8B 模型在 PGPS9K 上分别骤降 5.3%、6.5% 和 5.8%,证明显式解析图示语义从句有效弥合了视觉表征与符号推演之间的认知断层。
- 异构轨迹互补性显著强于同质扩展:在严格对齐 32K 训练样本量的情况下,使用纯程序复本训练的模型落后 MTS-All 约 4 个百分点;且在单一轨迹中,CoT-PAL 凭借可执行沙盒验证取得了高达 98.5% 的人类评测推理正确率(远超 CoT-Program 的 93.0%),且提示词长度由 5.1K 剧减至 0.9K。
- CG-MTE 展现出极优的 Pareto 效率:在 Qwen3-VL-8B 上,CG-MTE 仅需 4.89 次平均采样即可取得 76.0% 的高准确率,不仅逼近高预算 SC@40(76.7%)的性能天花板,且相比于消耗 40 个样本的完全采样实现了高达 8 倍的计算量节省;终止深度统计表明超过 80% 的样本在 \(d=1\) 即可通过浅层共识快速收敛。
亮点与洞察¶
- 多模态推理轨迹的解耦与重构:将原本无法执行验证的自然语言思维链与可执行代码(PAL)有机整合,并通过代码执行反馈驱动的自纠错循环保证数据合成的极高忠实度。
- 测试时缩放的冷启动与算力分配哲学:指出了刚性 DSL 在自洽性采样中的多样性塌陷瓶颈,并通过异构提示激发模型的互补解空间;在推理端则通过深度渐进共识机制,将算力动态聚焦于真正存在分歧的长尾难题。
- 可迁移的神经符号泛化范式:将几何语义从句作为视觉与代码之间的强中介表示,这种“感知解构 \(\rightarrow\) 跨模态符号锚定 \(\rightarrow\) 代码/逻辑混合求解”的框架对于图表推理、CAD/物理引擎交互等领域具有通用指导意义。
局限与展望¶
- 对结构化标注依赖较高:MTS 依赖高质量的种子符号程序,而 PA 训练在监督阶段依赖显式几何从句;对于缺乏此类细粒度形式化标注的野外数据集,迁移构建需要额外的人工标注或先验逆向解析模型。
- 局限于 2D 平面几何体系:目前实验仅在 2D 平面欧氏几何基准上完成验证,尚未拓展至立体几何(3D Geometry)、物理图示推理或涉及动点轨迹的高阶几何场景。
- 自然语言沉思的语义漂移风险:执行验证沙盒仅能检验代码的最终输出正确性,尚无法自动化严格审计 CoT-PAL 中每一句自然语言注释的几何公理忠实度,极少数样本仍可能存在注释与代码推导局部的非致命脱节。
相关工作与启发¶
- vs LANS / PGPSNet: 传统的专用神经几何求解器依赖端到端黑盒生成单一程序,对图示感知扰动脆弱且无法扩展测试时算力;本文将几何求解提升为 MLLM 驱动的多轨迹生成范式,兼顾了生成灵活性与推理自适应性。
- vs AlphaGeometry: AlphaGeometry 结合神经语言模型做辅助线搜索并配合外部符号证明器,主要针对奥数级纯形式化命题;本文聚焦于包含图示、文本问答与数值计算的通用标准几何评测,提出了更轻量实用的 MLLM 内生异构验证与自适应采样管线。
- vs GeoThought / TR-CoT: 现有的几何数据增强工作多尝试由教师模型直接合成新题目,易引入难以检验的幻觉命题;本文坚守“程序为种、忠实重写、沙盒验真”的原则,确保了数据合成的数学严谨性与确定性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示平面几何中测试时缩放失效的机理,并提出兼具异构解构与感知增强的完整解决方案。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大基准、多种参数量模型与通用/专用对比,结合了细致的消融实验、ASN 算力消耗分析及人工质检。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照清晰,公式与算法定义精确规范。
- 价值: ⭐⭐⭐⭐⭐ 对激活多模态符号推理任务中的测试时计算扩展(TTS)具有重要的理论与工程借鉴价值。