GeoSym127K: Scalable Symbolically-Verifiable Synthesis for Multimodal Geometric Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.16371
代码: https://github.com/Tomie56/GeoSym127K
领域: VLM Reasoning
关键词: 多模态几何推理, 神经符号合成, 形式化验证, 强化学习, 视觉语言模型

一句话总结¶

本文提出神经符号几何合成引擎 GeoSym，通过任意精度符号流形、连通域分析视觉对齐与解析求解器构建了 127K 符号可验证的几何数据集 GeoSym127K 及评测基准 GeoSym-Bench，结合 SFT 与确定性奖励 GRPO 强化学习，显著解决了多模态大模型在复杂几何推理中的视觉幻觉与长程逻辑断裂问题。

研究背景与动机¶

多模态几何推理要求视觉语言模型（LMM）在非结构化像素与严格的数学定理之间建立精确对应，不仅需要准确定位几何拓扑基元，还需无缝绑定数学公理并执行零数值误差的多跳逻辑演绎。然而，现有几何数据构建方案严重依赖启发式规则模板或未经形式化检验的 LLM 伪标签生成，不仅合成多样性匮乏，而且充斥着潜在的逻辑谬误与浮点累积误差。前沿多模态模型在几何基准测试中普遍暴露出三大瓶颈：视觉基元定位时的结构幻觉、因依赖数值近似而非严格代数符号导致的精度偏差，以及在多步深层推导中急剧衰减的逻辑崩溃。

这种性能崩溃的核心矛盾在于，传统的概率性自回归文本生成范式在面对几何推理这种“零容错”的高阶数学任务时，无法依靠单纯扩大基于 LLM 自举生成的数据规模来消解幻觉。相反，合成过程中的微小几何扰动与逻辑跳步会随推理步数级联放大，导致模型学习到错误的快捷推导路径。在强化学习层面，缺乏确定性判别信号而依赖不稳定的神经奖励模型，更容易引发严重的奖励黑客（reward hacking）现象，使策略模型退化为不可靠的启发式猜测。

针对这一根本痛点，本文提出了“符号可验证合成”（Symbolically-Verifiable Synthesis）的核心设计理念：放弃不可靠的神经伪标签与启发式规则，转而构建基于几何代数闭包的闭环系统，将图像拓扑渲染、严格解析真值推导与 CoT 步骤验证完全锚定在统一的高精度符号流形上。核心 idea：构建集类型条件语法拓扑演化、CCA 闭环视觉对齐、广义符号鞋带求解与代数等价验证于一体的 GeoSym 神经符号引擎，合成 127K 题目并筛选出 55K 经严格验证的 CoT 轨迹，同时依托确定性精确匹配奖励信号实现无作弊风险的 GRPO 几何策略自校正优化。

方法详解¶

整体框架¶

GeoSym 的核心工作流包含四个紧密咬合的阶段，形成从符号约束到像素渲染、再到解析真值求解与 CoT 答案验证的完整闭环： 1. 拓扑演化（Builder）：在以 SymPy 解析表达式树构建的任意精度流形上，按照类型条件概率语法递归生成几何基元，并通过代数求交严格维护流形闭包与推导深度； 2. 视觉对齐与阴影生成（Drawer & Shader）：将符号图光栅化为无标注二值线稿，利用连通分支分析（CCA）提取闭合色块，经逆向几何闭合校验后将像素色块实例化为符号区域实体，实现高保真阴影渲染； 3. 解析真值求解（SymGT Solver）：采用尾部偏置采样选取深层派生基元作为提问对象以倒逼多跳推理，利用集成非线性弧段拓扑补偿的广义符号鞋带算法精确求解复杂阴影面积与几何度量； 4. 指令合成与形式化验证（Generator）：利用强教师多模态模型将生成轨迹翻译为结构化题干描述并生成解题思维链（CoT），借助符号求解器实施严格的代数化简等价校验 $\text{Simplify}(A_{pred} - A_{GT}) \equiv 0$，剔除所有幻觉样本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始化公理图元<br/>定义任意精度流形 G"] --> B["阶段1：类型条件拓扑演化<br/>语法驱动扩展与代数求交"]
    B --> C["阶段2：视觉优先对齐与阴影着色<br/>光栅化线稿与 CCA 闭环提取"]
    C --> D["阶段3：解析真值求解与任务构建<br/>广义符号鞋带与尾部偏置查询"]
    D --> E["阶段4：指令合成与代数等价验证<br/>教师 MLLM 生成与 SymPy 严格过滤"]
    E -->|通过校验| F["高质量 GeoSym-Instruct 训练集<br/>与确定性奖励强化学习"]

关键设计¶

1. 类型条件拓扑演化：基于任意精度流形的几何构建 传统几何数据合成常因浮点近似计算导致交点漂移和拓扑奇异退化。GeoSym 提出原子性原则，将整个几何空间表征为五元组 $\mathcal{G}=\langle\mathcal{P},\mathcal{E},\Phi,\mathcal{L},\mathcal{T}\rangle$。其中点集 $\mathcal{P}$ 作为唯一的原子基元，其坐标系统 $\Phi$ 挂载在 SymPy 的解析表达式树上，彻底杜绝浮点舍入误差；线段、圆弧等高阶实体 $\mathcal{E}$ 仅保留对原子点的拓扑引用。演化过程中采用类型条件概率语法（Type-Conditional Grammar），算子采样严格受父实体类型约束（如以圆为基底优先进行同心缩放或扇形切分，三角形基底触发外接圆与高线投影）。模块同步调用代数方程求解器计算新旧实体间的所有交点，将有效交点扩充为新原子，并在演化轨迹 $\mathcal{T}$ 中显式标记逻辑深度 $\mathcal{L} = \max(\mathcal{L}_{parents}) + 1$，为后续诱导长链推理提供结构依据。

2. 视觉优先对齐与阴影着色：像素与符号闭环映射 复杂阴影交叠区域的求解在传统几何系统中极易出错，符号几何语言往往难以显式描述被多条相交曲线分割后的局部闭合区域。为破解这一难题，系统引入基于连通分支分析（CCA）的逆向对齐机制。首先将符号拓扑图脱敏光栅化为无文字标注的纯二值线画图，通过 CCA 自动分割出所有连通闭合色块（Blobs）；随后沿色块边界轮廓遍历像素点，通过最近邻距离阈值逆向投影匹配回流形中的符号线段与圆弧实体序列；最后对重构出的符号环路进行几何封闭性判定，唯有能构成数学自洽封闭环的区域才被正式实例化为“阴影色块（Shaded Block）”。该设计保证了渲染图中每一个视觉像素阴影在代数底层都具备精准无歧义的符号方程定义。

3. 广义符号鞋带求解：解析真值推导与尾部偏置提问 常规多边形鞋带定理仅能处理直线段构成的区域。面对直线与圆弧混合构成的复杂阴影区域 $\Omega$，SymGT 求解器提出了广义符号鞋带算法（Generalized Symbolic Shoelace Algorithm），将面积精确分解为多边形基底与非线性圆弧拓扑补偿项之和： $$A_{\text{total}} = \frac{1}{2}\left|\sum_{i=1}^{k}(x_i y_{i+1} - x_{i+1} y_i)\right| + \sum_{c_i \in C_{\text{arcs}}} \text{sgn}(c_i) \cdot \frac{1}{2}r_i^2 (\theta_i - \sin\theta_i)$$ 其中 $\text{sgn}(c_i) \in \{+1, -1\}$ 表示圆弧相对于区域内部的拓扑缠绕极性（外凸为正补偿，内凹为负补偿），使面积计算完全摆脱数值网格积分，输出绝对解析解。在此基础上，任务构建器采用尾部偏置采样策略（Tail-Biased Querying），优先选择派生深度较深的高阶实体作为提问目标，迫使模型在解题时必须沿着演化轨迹反向追溯多层几何依赖关系，从数据源头强化深度推理需求。

4. 确定性代数等价验证：拒识采样与防奖励作弊 RLVR 在生成题干描述和解题 CoT 阶段，若单纯信任教师模型的推理输出，必然会引入逻辑隐患。GeoSym 采用两阶段生成与验证架构：教师模型 Qwen3-VL-235B 首先将演化轨迹 $\mathcal{T}$ 转译为结构化几何题干，随后结合图像与题干以较低采样温度（0.3）生成逐步推导。针对输出的最终答案，系统利用正则表达式提取 $\text{\boxed{}}$ 中的解析表达式 $A_{pred}$，并调用 SymPy 进行严格的符号代数化简： $$\text{Simplify}(A_{pred} - A_{GT}) \equiv 0$$ 只有化简结果恒等于 0 的样本才被接收入库，从而实现 100% 答案可验证性。更重要的是，在随后的强化学习阶段（GRPO），该符号代数等价判定被直接转化为二值确定性奖励（匹配为 $+1.0$，否则为 $0.0$），彻底摆脱对神经奖励模型的依赖，从机制上根除了 RL 训练中的奖励黑客行为，安全引导策略模型探索复杂逻辑轨迹。

损失函数 / 训练策略¶

训练采用两阶段递进式优化架构： 1. SFT 阶段：基于 DeepSpeed ZeRO-3 在 8 卡 GPU 上执行，冻结视觉编码器与多模态投影层，仅对 LLM 主干参数进行微调，最大序列长度设为 12,288 token 以承载高分辨率视觉嵌入与详尽思维链；优化器为 AdamW，学习率 $1\times 10^{-5}$，采用余弦退火调度，实验表明训练 3–5 个 epoch 能取得最佳泛化能力。 2. RLVR 阶段：采用 veRL 框架部署 GRPO 算法，利用 vLLM 异步采样。对于每个输入 prompt，策略模型采样 $G=8$ 条推导候选轨迹，最大响应长度放宽至 8,192 token 以支持长程推演；以 SymPy 代数等价性输出 $+1.0$ 或 $0.0$ 的确定性奖励，Actor 学习率设为 $1\times 10^{-6}$，优化步数以 100 步为最佳平衡点。

实验关键数据¶

主实验¶

在代表性多模态几何推理基准上，将经过 GeoSym 微调的模型与前沿闭源商业模型、大规模开源模型以及同类几何合成方案进行评测对比：

模型架构	训练配置 / 数据	综合平均 (Overall)	MathVerse (Vision-only)	WeMath (Strict)	MathVista (Geometry)
Gemini-3-Pro (闭源)	API 评测	79.51	83.36	73.81	88.50
GPT-5 (闭源)	API 评测	76.55	72.00	71.10	81.90
Doubao-Seed-1.8 (闭源)	API 评测	73.42	69.61	58.29	86.30
Qwen3-VL-235B (开源)	Base 开源大模型	77.34	75.00	75.71	84.90
Qwen3-VL-8B-Instruct	Base 基线	55.94	38.32	55.33	75.80
Qwen3-VL-8B-Instruct	+ TR-GeoMM	38.50	24.11	30.38	61.80
Qwen3-VL-8B-Instruct	+ GeoTrust-train	40.31	26.25	32.19	63.20
Qwen3-VL-8B-Instruct	+ GeoSym Entry (本文)	62.49	60.53	59.33	76.60
Qwen3-VL-8B-Instruct	+ GeoSym Hard (本文)	63.18	60.41	61.52	76.60
Qwen2.5-VL-7B-Instruct	Base 基线	39.19	23.36	27.43	67.90
Qwen2.5-VL-7B-Instruct	+ GeoSym Hard (本文)	43.50	25.66	37.33	69.40

消融实验¶

针对 GRPO 强化学习阶段的策略初始化、奖励数据分级与优化步数消融（以 Qwen2.5-VL-7B 为底座，Table 6 & Table 17）：

初始化策略	GRPO 配置	综合平均 (Overall)	MathVerse (Vision-only)	WeMath (Strict)	说明
Zero-shot (无 SFT)	Base 基线 (Step 0)	39.19	23.36	27.43	无专门几何微调
Zero-shot (无 SFT)	+ GRPO Entry (Step 100)	40.63	24.61	33.14	步数适中，显著缓解长程退化
Zero-shot (无 SFT)	+ GRPO Entry (Step 200)	42.60	25.49	34.67	零样本 RL 提升空间可观
GeoSym Entry SFT	SFT Checkpoint (Epoch 5)	42.77	25.66	36.29	SFT 奠定基础符号能力
GeoSym Entry SFT	+ GRPO Entry (Step 100)	44.51	25.69	40.00	强化后 WeMath 突破 40%
GeoSym Hard SFT	SFT Checkpoint (Epoch 5)	43.81	25.63	38.48	困难集 SFT 提供更深逻辑链
GeoSym Hard SFT	+ GRPO Entry (Step 100)	44.99	28.45	39.62	整体最优配置，协同效果最强
GeoSym Hard SFT	+ GRPO Hard (Step 100)	44.58	26.41	39.81	困难奖励易收窄探索空间
GeoSym Hard SFT	+ GRPO Entry (Step 200)	44.08	26.15	38.00	步数过多出现轻微回退

关键发现¶

纯视觉图表理解出现质的飞跃：在严格消除文本上下文线索的 MathVerse Vision-only 子集上，Qwen3-VL-8B 接入 GeoSym 后得分从 38.32% 跃升至 60.53%（绝对提升 +22.21%），充分证明高精度光栅化与 CCA 闭环映射有效清除了视觉伪影与基元错位引起的幻觉。
多步深层推导韧性大幅增强：在考验长程推理的 WeMath 测试中，推理步数越深提升越明显，Qwen2.5-VL-7B 在三步推导（Three-step / S3）任务上的准确率提升达到 +10.91%，且 GeoSym Hard 模型在 WeMath 上以 61.52% 的成绩超越了闭源商业大模型 Doubao-Seed-1.8（58.29%）。
SFT 与 RLVR 展现出高度互补性：零样本直接运行 GRPO 容易在复杂几何上摸索困难，而以 GeoSym Hard SFT 作为冷启动基座、搭配 Entry 级别的确定性精确匹配奖励训练 100 步时，模型达到了最高的 44.99 综合得分；这表明困难数据 SFT 构建了稳固的解题拓扑认知，而基础可验证奖励则高效施加了逻辑正则化。

亮点与洞察¶

神经符号闭环消解幻觉：将视觉光栅化图像与解析代数流形紧密绑定，用 CCA 反向闭环校验确保每个阴影视觉图元具备严格代数表达，打破了传统几何数据依靠 LLM 自举臆测的多模态瓶颈。
广义鞋带定理拓展计算边界：推导了融合曲线拓扑补偿项的广义符号鞋带公式，使解析求解器可以直接精确求出任意相交直线与圆弧包围的阴影面积，消除了传统算法依赖网格近似的数值误差。
确定性奖励根除 RL 作弊：通过 SymPy 代数等价性判定直接为 GRPO 强化学习提供客观、严格的二值奖励，构建了完全免受奖励黑客干扰的高保真数学推理强化学习环境。

局限与展望¶

空间几何维度的缺失：当前流形拓扑与解析求解器严格受限于二维平面几何，尚未覆盖立体三维几何、透视投影与空间体素拓扑推断，未来需扩展 3D 渲染与多元代数求解支持。
步骤级验证尚未完全自动化：代数等价校验目前作用于最终答案层面，推导过程中间的 CoT 步骤仍存在少数逻辑跳步需依赖专家人工抽验，未来有待结合形式化交互式定理证明器（如 Lean 或 Isabelle）实现步级验证。
测试期缺乏外部求解器集成：目前模型在推理部署时完全依赖参数内隐记忆，尚未在推导阶段接入代码解释器或 SymPy 外部工具，未来可向具身几何 Agent 模式演进。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将任意精度符号流形、CCA 反向视觉对齐与广义鞋带解析求解深度整合的神经符号几何生成与 RL 框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大数学几何基准，不仅对比了众多前沿闭源和开源大模型，还详尽给出了从 3B 到 8B、从 SFT 到 GRPO 的深度消融与失败案例剖析。
写作质量: ⭐⭐⭐⭐⭐ 论文框架层次严谨，数学公式与算法伪代码完备，对模型在长程推理和视觉幻觉上的核心机理剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为多模态数学推理开辟了完全可信、无奖励作弊的数据合成与强化学习新范式，具备重要的学术与工程参考价值。