Axiomatic World Modeling for Physics Reasoning¶

会议: NeurIPS2026
arXiv: 2610.24519
论文: https://arxiv.org/abs/2610.24519
代码: https://github.com/lei-nlp-lab/physics_reasoning_neurips_2026
领域: Reasoning
关键词: 物理推理、公理化世界模型、建模漂移、分层强化学习、可执行物理检验

一句话总结¶

本文针对大模型在物理推理中常出现的“前提级篡改与建模漂移”痛点，提出公理化世界模型强化学习（RLAWM），通过显式解耦“公理世界建模”与“实例化推理求解”，利用结构化模式基序保真度奖励（\(R_M\)）与物理不变量可执行检验器奖励（\(R_S\)）联合优化策略，无需推理期额外开销即可大幅提升推理精度与泛化边界。

研究背景与动机¶

近期在 CMT-Benchmark、PhysReason 等高难度物理推理基准上的评测暴露出前沿大模型的一类根本性失效：模型往往并非缺乏物理知识或算术推导能力，而是在最初就无法为问题构建出正确的物理世界表征。模型在处理非标准或复杂物理情境时，经常静默篡改题设已知量、臆造守恒律、或擅自引入未给出的假设，以此将陌生问题强行削足适履地套入熟悉的课本模板中，随后在这样一个被扭曲的内部假想世界里展开自洽但完全错误的代数演绎。

与数学推理具有完备的形式化公理和明确目标不同，现实的物理问题往往存在形式上的欠规约性（underspecified）。解题者必须首先建立物理模型：判断哪些物理规律适用、哪些次要效应可被忽略、哪些极端状态允许可求解极限，以及最终解必须满足何种对称性与守恒不变量。我们在这一“公理世界建模（Axiomatic World Modeling, AWM）”阶段犯下的错误并非普通的代数逻辑错误，而是根本上偏离了真实待解的物理情境。作者将这种前提级的背离形式化定义为建模漂移（modeling drift）。现有的 RLVR（仅依据最终答案正误打分）与过程奖励模型 PRM（主要关注自然语言步骤的局部推导流畅度）均无法有效约束这一高阶建模层，甚至会诱发模型“为了自圆其说而强行改写物理前提”的伪推理现象。

解决建模漂移的关键切入点在于公理域独有的不对称性：在物理学中，验证一个命题（如校验动量守恒、能量守恒或量纲齐次性）往往远比从零推导它要简单快捷。本文将这一验证-推导不对称性转化为可微分训练信号，核心思想是将静态的推理轨迹转化为可交互执行的公理世界模型，进而实施自动化的物理性质探测。核心 idea：将物理问题求解显式解耦为“公理建模”与“推理求解”双层结构，分别设计基于知识图式基序匹配的建模保真度奖励（\(R_M\)）和基于可执行程序沙盒探测的求解一致性奖励（\(R_S\)），在纯训练阶段通过 GRPO 强化模型构建真实物理公理世界的能力。

方法详解¶

整体框架¶

RLAWM 并不引入额外的神经网络作为显式世界模型预测器，而是将大模型自身的内部信念状态（Belief State）外显化。为此，系统引导策略模型 \(\pi_\theta\) 在生成输出时显式划分为两个结构化块： 1. [modeling] 块：外显化模型所理解的公理世界模型 \(\hat{m}\)，涵盖对象、约束、表示选择、定律映射与子题求解规划 5 个结构化字段； 2. [solving] 块：以结构化伪代码（Pseudocode）表述推导逻辑与可验证的中间变量发射。

在训练阶段，建模奖励 \(R_M\) 将 \(\hat{m}\) 与真实参考公理世界 \(m^*\) 进行图式受限的物理基序（Motif）比对；求解奖励 \(R_S\) 则通过冻结的轻量代码翻译器将伪代码编译为沙盒 Python 实例，并调用由 147 个通用物理定理模板自动绑定的物理检验器进行不变量、执行轨迹和扰动响应测试。整个框架仅在训练期介入，推理阶段模型保持端到端文本生成，零额外计算开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["物理问题输入（含图文题设）"] --> B["策略模型 π_θ 推理生成"]
    B --> C["外显化公理建模块 [modeling]"]
    B --> D["结构化伪代码求解块 [solving]"]
    C --> E["物理建模保真度（PMF）评分<br/>抽取 QEL / VCL / AEB 三类基序并算 F1"]
    E --> F["建模奖励 R_M"]
    D --> G["冻结代码翻译器 f<br/>伪代码编译为可执行 Python 实例"]
    G --> H["物理检验器 PhysicsChecker<br/>守恒律 / 轨迹一致性 / 参量微扰测试"]
    H --> I["求解奖励 R_S"]
    F --> J["联合优化目标 R_joint<br/>R_joint = 0.4 R_M + 0.4 R_S + 0.2 R_A"]
    I --> J
    K["最终答案正确性判定 R_A"] --> J
    J --> L["GRPO 策略梯度反向传播更新 π_θ"]

关键设计¶

1. 物理建模保真度奖励（PMF）：通过基序抽取度量公理世界偏差

为彻底避免 LLM-as-a-Judge 常见的整体主观偏见与推理噪声传播，建模奖励 \(R_M\) 引入物理建模保真度（Physics Modeling Fidelity, PMF）机制。该机制将打分拆解为“受控信息抽取 + 确定性规则聚合”两阶段：首先利用轻量冻结的大模型作为结构化信息提取器，从候选建模块 \(\hat{m}\) 与真实基准 \(m^*\) 中严格依据预设 Schema 提取三类正交互补的物理图式基序（Motif）： - QEL（Quantity-Equation-Law）：元组形式为 (quantity, law, context)，检测在特定物理阶段或对象上，模型是否选用了正确的物理定律并包含核心物理量； - VCL（Variable Coupling Link）：元组形式为 ((law_a, ctx_a), shared_var, (law_b, ctx_b))，检测多个物理方程之间是否通过正确的共享变量实现链式耦合，用于捕捉长链推导中变量脱节与局部公式孤立问题； - AEB（Assumption-Equation Binding）：元组形式为 (assumption, law, context)，检测物理方程所依赖的简化前提（如光滑无摩擦、小角度近似、非相对论极限等）是否被显式声明，防止模型在不适用的物理边界下滥用公式。

提取出的基序集经过精确匹配与基于语义等价的软匹配（处理变量更名与单位转换）后，分别计算各自的 \(\text{F1}\) 值，最终建模奖励取三者的算术平均：

\[R_M^{\text{PMF}} = \frac{1}{3} \left( \text{F1}_{\text{QEL}} + \text{F1}_{\text{VCL}} + \text{F1}_{\text{AEB}} \right)\]

2. 可执行求解奖励（\(R_S\)）：利用程序断言与微扰探测检验物理一致性

仅约束抽象公理依然不够，因为即使模型声明了完备的物理公理，其在具体求解推导中仍可能出现计算断层或遗漏某项做功。求解奖励 \(R_S\) 充当物理推导的实例化过滤器。首先，系统使用冻结的代码模型 Qwen2.5-Coder-1.5B-Instruct 作为翻译器 \(f\)，将模型生成的结构化伪代码 \(c\) 编译为沙盒可执行实例 \(\hat{w} = f(c)\)。随后，调用从包含 147 个通用物理定理模板库中自动绑定派生的单元测试类 PhysicsChecker，对实例展开一系列程序化检验： - 物理不变量测试（Invariants）：在数值容差内验证守恒定律（能量、动量）、受力平衡方程与运动学约束； - 轨迹一致性测试（Trace Consistency）：检验中间状态变量、时间演化步长与最终输出之间的内部逻辑自洽； - 微扰响应测试（Response under Perturbations）：在物理有效范围内对输入参量施加微小扰动（例如将圆弧半径 \(R\) 增大 \(10\%\)），重新在沙盒中执行该解题程序，验证核心物理量（如出口速度 \(v_O\)）的输出变化是否严格符合理论物理标度律（例如速度是否随 \(\sqrt{R}\) 单调增大）。

若检验集 \(T\) 中共有 \(|T|\) 个独立断言测试，每个测试通过记为 \(p_t = 1\)（未通过或异常记为 \(0\)），则求解奖励直接定义为通过率：

\[R_S = \frac{1}{|T|} \sum_{t \in T} p_t\]

3. 跨层次联合优化：解决稀疏奖励并对抗多样性坍缩

为了兼顾建模正确性、计算过程一致性与最终计算简化结果，RLAWM 采用联合奖励函数：

\[R_{\text{joint}} = \lambda_M R_M + \lambda_S R_S + \lambda_A R_A\]

其中权重设定为 \(\lambda_M = 0.4\)，\(\lambda_S = 0.4\)，\(\lambda_A = 0.2\)。权重设计的核心考量在于：物理推理中仅看最终答案正误的 \(R_A\) 信号极度稀疏，在复杂多步问题中，同一个 GRPO 采样组（通常为 8 个 rollout）常常全部答错，导致组内方差为零，无法产生有效的策略梯度。引入 \(R_S\) 后，平均每个问题运行 7.34 个细粒度断言，使得全部答错的采样中仍有 64.1% 能够获得非零的递进式过程奖励，大幅恢复了策略学习信号。同时，与单纯基于结果或单一文本判别的奖励不同，\(R_M\) 锁定了抽象物理边界，而 \(R_S\) 仅作为物理法则的合法性过滤器，并不强求推导路径的文字表述形式，因此允许模型自由探索不同的解题表征结构（如时间线模式或相互作用图），从而在强化学习中彻底避免了多样性坍缩（Diversity Collapse）。

损失函数 / 训练策略¶

所有模型均采用两阶段训练机制： 1. 冷启动阶段（SFT）：采用全参数微调，将预训练基座的多模态投影层与语言主干解冻（视觉编码器冻结），在利用 GPT-4o-mini 重构的规范化 [modeling] / [solving] 数据集上微调 4 个 Epoch，使其熟练掌握结构化表征与伪代码发射格式； 2. 强化学习阶段（GRPO）：在组相对策略优化（GRPO）框架下，每个 Prompt 采样 8 个 rollout，设置低方差 KL 散度系数为 0.001，PPO 裁剪比率为 0.2，利用上述 \(R_{\text{joint}}\) 计算组内标准化优势值更新策略网络。全流程中检验器与评分模型均被冻结，且均在离线构建完成，平均单题生成检验器的 API 成本仅约 0.005 美元。

实验关键数据¶

主实验¶

论文在两大核心评测基准 PhysReason（包含多模态复杂物理题）与 PHYSICS-text_only（大学至研究生级六大纯文本物理子领域）上评估了三类规模的多模态模型（Qwen3-VL-8B、Qwen3-VL-4B、Gemma-3-12B-IT）。评价指标采用支持部分得分的子题准确率 SubPass@1（%）。

模型基座	方法	PhysReason (Overall)	PhysReason (Easy/Med/Diff)	PHYSICS (Overall)	PHYSICS (E&M / Mech / Optics)
Qwen3-VL-8B-Instruct	Vanilla LLM	30.0	39.5 / 15.5 / 13.3	18.5	33.8 / 18.0 / 16.7
	RLVR	32.8	39.1 / 22.5 / 17.5	19.2	25.0 / 16.0 / 36.1
	Direct-Likert	37.1	43.8 / 25.7 / 20.6	23.8	33.8 / 19.7 / 31.6
	Reference-Likert	33.2	31.0 / 20.1 / 20.3	22.2	31.6 / 18.2 / 34.2
	Rubrics as Rewards	34.4	38.7 / 24.4 / 19.5	21.9	30.7 / 18.0 / 32.3
	RLAWM (本文)	47.9	57.6 / 39.6 / 23.9	29.0	42.7 / 20.5 / 38.9
Qwen3-VL-4B-Instruct	Vanilla LLM	28.6	22.4 / 19.6 / 13.3	13.1	25.5 / 3.9 / 23.1
	RLVR	30.4	27.1 / 22.0 / 14.2	17.7	23.0 / 16.0 / 30.9
	Direct-Likert	32.6	31.4 / 20.2 / 9.7	17.9	31.8 / 12.8 / 27.8
	Reference-Likert	32.0	29.8 / 26.0 / 15.8	17.8	28.1 / 17.4 / 23.3
	Rubrics as Rewards	28.4	25.7 / 23.1 / 13.6	16.7	19.8 / 19.4 / 25.0
	RLAWM (本文)	44.8	51.5 / 37.0 / 23.1	22.2	31.3 / 24.3 / 32.2
Gemma-3-12B-IT	Vanilla LLM	19.3	11.4 / 16.1 / 11.1	13.2	25.1 / 5.6 / 22.2
	RLVR	22.5	15.9 / 17.1 / 14.1	14.8	21.1 / 9.5 / 19.1
	Direct-Likert	23.0	18.5 / 15.5 / 17.4	16.7	26.0 / 11.3 / 25.9
	Reference-Likert	21.5	17.7 / 14.2 / 16.3	16.1	22.9 / 12.4 / 21.4
	Rubrics as Rewards	20.4	15.6 / 17.0 / 13.9	14.7	22.6 / 8.9 / 21.7
	RLAWM (本文)	30.6	35.6 / 19.4 / 17.8	18.3	24.5 / 14.9 / 30.6

消融实验¶

针对双层奖励分工的必要性，在不同基座上对比单用建模奖励、单用求解奖励以及全联合奖励的表现（基于 PhysReason 与 PHYSICS 数据集）：

配置 (Qwen3-VL-8B)	PhysReason (Easy)	PhysReason (Difficult)	PhysReason (Overall)	PHYSICS (Stat. Mech.)	PHYSICS (Overall)	说明
\(R_M + R_A\) (仅建模+答案)	48.3	17.6	44.0	28.2	25.1	擅长公理定律选取，但在长链推导易失真
\(R_S + R_A\) (仅求解+答案)	47.6	24.2	45.3	25.4	25.7	擅长校验代数推导与方程约束，高难题占优
Full Joint (\(R_M+R_S+R_A\))	57.6	23.9	47.9	26.4	29.0	双层协同达到最优总体效果与鲁棒性
配置 (Qwen3-VL-4B)
\(R_M + R_A\) (仅建模+答案)	40.2	19.8	43.0	18.9	18.9	在知识密集型子集（Knowledge: 68.0%）领先
\(R_S + R_A\) (仅求解+答案)	51.4	20.6	42.5	14.9	19.0	偏重推导检验，简单题提升明显
Full Joint (\(R_M+R_S+R_A\))	51.5	23.1	44.8	20.2	22.2	全面超越基线，兼顾定理表征与执行

零样本跨分布泛化表现（在 PhysReason 训练，零样本迁移至竞赛级、跨数据源和跨领域数学测试）：

方法 (Qwen3-VL-8B)	OlympiadBench-Phys (跨难度物理奥赛)	PHYBench (跨数据源物理题)	AIME 2026 (跨学科数学竞赛 Zero-RL)
RLVR	6.2	5.8	46.7
Reference-Likert	4.4	8.7	43.3
RLAWM (本文)	15.2 (+9.0 / 2.45×)	10.5 (+1.8)	56.7 (+10.0)

关键发现¶

建模漂移是中低难度题的核心瓶颈：在 Easy 与 Medium 题目上，RLAWM 相比强基线取得了 11~20 个百分点的巨大增益，表明当基础推导算力充足时，只要纠正模型的前提假设与公理选择，就能瞬间释放其原有解题能力；而在极难题目上，由于受限于纯计算和高阶数学求解上限，差距有所收窄。
破解强化学习的多样性坍缩（Diversity Collapse）：在 SubPass@k 采样曲线（\(k \in \{1, 5, 10, 20, 50, 100\}\)）中，传统 RLVR 与 Reference-Likert 在 \(k\) 增大时性能甚至回落并跌穿 Base 模型水平，表明其策略向狭窄的解题模板坍缩；而 RLAWM 随着 \(k\) 的增加单调稳定上升，在 \(k=100\) 时显著拉大领先优势，有效扩大了模型的推理探索边界。
密集化训练梯度：在 GRPO 训练中，单纯基于答案正确性的分组中约有 29.9% 存在组内零方差（无法更新参数），而引入可执行检验器后该比例锐降至 9.3%，并为 64.1% 的“全错”采样赋予了非零反馈，使高难题目重新具备可学习性。
基序抽取对弱评判模型的高容忍度：相比于直接端到端打分的 LLM-as-a-Judge，PMF 将大模型限制在结构化元组提取上，即使用轻量的 Qwen3-VL-4B 作为评分抽取器，总体性能仅轻微下降 2.1 个点，依然全面超越所有非 RLAWM 基线。

亮点与洞察¶

巧用验证与推导的不对称性：将难以直接评测的自由文本 Chain-of-Thought 推理，通过结构化伪代码与代码编译器映射为沙盒 Python 脚本，用客观物理定理和量纲、极值微扰断言替代了主观的大模型评审，既客观又几乎杜绝了奖励作弊（Reward Hacking）。
解耦“建构什么世界”与“如何在其中推演”：将物理建模过程中的本体概念（QEL）、变量链式传递（VCL）与前提假设边界（AEB）分离，精准定位了模型是在哪一步偏离了真实物理情境。
零推理代价与强大的跨域迁移力：测试期完全无需运行沙盒检验器与评分模型，保持了极高的推理效率；在物理场景下习得的“不违背公理体系、自洽求解”的推理规范，在零样本跨越到完全不同领域的 AIME 2026 数学竞赛中依然带来了高达 10 个百分点的提升。

局限与展望¶

依赖多模型辅助流水线增加训练开销：在强化学习训练循环中，需要调用冻结的 Qwen2.5-Coder-1.5B 编译器执行伪代码转换，同时需要外部模型参与 PMF 抽样以及在数据准备期合成每个题目的专属检验器类，对 GPU 资源与离线准备要求较高。
静态检验器的覆盖盲区与符号假阳性：当前的检验器是离线针对参考答案自动绑定的静态单元测试，无法动态适配策略模型自行探索出的全新奇特物理视角；当模型推导步骤全部满足审计，但最后一步代数化简书写笔误时，检验器可能无法感知，仍需依赖 \(R_A\) 兜底。
抽象场论与统计力学覆盖有限：实验表明在电磁学、牛顿力学与光学等坐标系和几何结构明确的领域提升最显著，而在量子力学和统计力学等重度依赖算符代数和抽象表象的领域，受限于物理定理模板库的形式化表达，增益相对有限。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次深入揭示并形式化大模型在物理推理中的“建模漂移”本质，独创性地提出基于公理世界模型与双层不对称性验证的强化学习架构）
实验充分度: ⭐⭐⭐⭐⭐（横跨三大基座模型、两大核心物理评测集、三大维度的零样本 OOD 迁移测试，包含完备的消融、微扰分析及训练稳定性诊断）
写作质量: ⭐⭐⭐⭐⭐（论证层层递进，概念定义严密清晰，对失败案例剖析透彻，附录给出了详尽的超参、Prompt 规范与实现细节）
价值: ⭐⭐⭐⭐⭐（不仅为物理大模型的严谨后训练提供了全新范式，其将非形式化文本映射为可执行世界模型进行不变量探测的思想对具身智能、科学发现等前沿推理领域极具普适启发意义）