Natural Language to First-Order Logic LLM-based Autoformalization¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 自动形式化, 一阶逻辑, 本体抽取, 逻辑翻译, 神经符号推理
一句话总结¶
本文针对大语言模型将自然语言转化为一阶逻辑(FOL)时缺乏统一任务定义与系统综述的问题,首次提出本体相对的形式化解耦范式(本体抽取 OE 与逻辑翻译 LT),并对现有基准数据集、语法/语义评测指标以及微调、提示和神经符号验证精炼方法进行了系统梳理与全景剖析。
研究背景与动机¶
自然语言(NL)具备高度的灵活性、表现力与通用常识承载力,是人类日常交流的最佳媒介;然而,其固有的歧义性、语境依赖性与概念边界模糊性,使其难以直接对接对严密语义有严苛要求的现代形式化推理工具(如定理证明器与 SMT 求解器)。自动形式化(Autoformalization)致力于将自然语言陈述自动化转化为规范的目标逻辑规约。近年来,大语言模型(LLM)因展现出卓越的通用语言理解与少样本泛化能力,为该领域带来了突破性契机。在多步复杂推理、形式化验证、安全对齐与法律论证中,诸多前沿工作均证实:先利用 LLM 将自然语言形式化为一阶逻辑(FOL),再交由符号求解引擎执行确定性推导,能够显著超越纯端到端神经黑盒的直接推理性能。在表达能力与算法可判定性之间,一阶逻辑展现出了最具实用价值的黄金平衡。
尽管以 FOL 为目标的自动形式化研究呈现井喷之势,该领域却长期受困于基础任务定义的模糊与跨研究评测标准的割裂。现有文献普遍将自动形式化粗暴地表述为“将自然语言句子 \(p\) 翻译为等价的逻辑公式 \(\varphi\)”。这种表面化的黑盒映射掩盖了至关重要的本体承诺(Ontological Commitments):同一个自然语言句子在逻辑上完全允许多种不同粒度的形式化表达。例如对于“每个学生都通过了某场考试”,既可以将考试与通过分别刻画为独立对象与二元谓词 \(Passed(x, y)\),也可以将其打包为一元谓词 \(PassedSomeExam(x)\),亦或显式引入考试分数个体 \(Grade(x, y, g)\) 与及格属性 \(Sufficient(g)\)。这些公式在语义上均属合理,但其底层的符号签名、语义标注与背景理论截然不同。以往研究在不固定本体结构的情况下直接比对公式,混淆了“本体粒度选择差异”与“逻辑翻译保真度缺陷”,导致不同论文的评测结论相互矛盾、难以复现。
为了厘清这一混乱局面,本文从逻辑学本体论视角出发,首次系统界定了 FOL 自动形式化的严密数学框架。作者将形式化目标精确扩充为公式与本体的联合对 \(\langle \varphi, \Omega \rangle\),其中本体 \(\Omega = \langle \sigma, L, T \rangle\) 完整涵盖非逻辑签名、自然语言语义标注函数与背景理论公理集,从而使长久以来被混为一谈的本体构建与符号转译得以解耦。核心 idea:将自然语言到一阶逻辑的自动形式化系统重构为依赖形式本体 \(\Omega = \langle \sigma, L, T \rangle\) 的两阶段解耦任务(本体抽取 OE 与逻辑翻译 LT),并在此理论框架下全面审视现有数据集的生成与验证范式、对比语法与 SMT 语义评估度量,系统梳理微调、提示与神经符号闭环精炼技术。
方法详解¶
整体框架¶
本文构建的 FOL 自动形式化理论与方法全景,将传统的端到端黑盒翻译流水线改造为结构严谨、可验证、模块化的神经符号系统。整体框架以自然语言文本 \(p\) 与可选的背景上下文 \(K\) 作为系统输入,输出则是由形式本体 \(\Omega = \langle \sigma, L, T \rangle\) 与一阶逻辑公式 \(\varphi\) 构成的良定义对,并在此基础上构建包含生成、评测与闭环修复的完整生命周期。
整个方法体系由三大递进模块紧密咬合:首先,在任务解构阶段,系统将全任务划分为互补的本体抽取(OE)与逻辑翻译(LT),前者负责从文本中归纳概念词表、谓词元数及其自然语言映射规范,后者则在给定目标本体的约束下专注于句法和量化逻辑的精准转化;随后,在语义评测阶段,通过在已知签名下消除符号对齐的表面词法歧义,直接调度 SMT 求解器执行严密的一阶逻辑等价性判定;最后,在验证精炼阶段,通过串联定理证明器的语法诊断信息与 SMT 反例引导机制,形成由神经生成驱动、符号工具纠错的多轮反思闭环。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自然语言文本 p + 上下文 K"] --> B["本体感知的任务解构<br/>解耦本体抽取 OE 与逻辑翻译 LT"]
B --> C["两阶段直接评测体系<br/>符号显式对齐 + SMT 逻辑等价判定"]
C --> D["神经-符号验证与精炼<br/>证明器语法反馈 + 反例引导迭代修复"]
D --> E["高保真一阶逻辑公式 φ 与本体 Ω"]
关键设计¶
1. 本体感知的任务解构:消解黑盒映射模糊性 -> 解耦本体抽取 OE 与逻辑翻译 LT -> 奠定严密表示基础
以往研究将自动形式化简化为 \(p \mapsto \varphi\),忽视了公式背后的解释结构,导致跨模型评测时频繁将合理的本体粒度差异(例如将事件具体化或合取吸收)误判为翻译错误。针对这一痛点,本文正式提出了本体三元组定义 \(\Omega = \langle \sigma, L, T \rangle\):签名 \(\sigma = (V, C, F, R)\) 显式规定变量、常量、函数与谓词符号及其元数;语义标注函数 \(L: \sigma \to \text{NL}\) 为每个非逻辑符号赋予明确的自然语言语义解释;背景理论 \(T\) 则是施加在该签名上的公理集合(如分类互斥关系 \(\forall x (\text{Cube}(x) \to \neg \text{Tet}(x))\))。在此基础上,形式化任务被精确数学化为:寻找公式 \(\varphi\) 使得在 \(L\) 赋予的语义及 \(T\) 的理论约束下,\(\varphi\) 成立当且仅当 \(p\) 为真。基于此理论模型,复杂形式化被解耦为两个核心子任务:本体抽取(Ontology Extraction, OE) 专注于从文本中发现并定义可复用的领域概念结构 \(\langle p, K \rangle \mapsto \Omega\);而逻辑翻译(Logical Translation, LT) 则在给定本体下执行约束转译 \(\langle p, \Omega \rangle \mapsto \varphi\)。这一设计从根源上厘清了形式化错误的来源,使领域本体库的持续演进与单句逻辑翻译各司其职。
2. 多层级基准与两阶段直接评测体系:克服语法指标失真与代理任务假阳性 -> 符号对齐与 SMT 等价性判定 -> 建立保真语义度量
在形式化公式的质量评估中,采用 NLI 等下游推理作为代理任务极易出现“前提和结论同时形式化错误却碰巧推导出一致标签”的伪忠实度现象;而直接评估中的表面语法指标(如 Exact Match 或 BLEU)对谓词重命名、合取交换等逻辑等价变换极其脆弱,现有 LE score 等连续化指标又因对公式进行命题化展开而直接丢弃了量词约束结构。为此,本文倡导并规范了两阶段直接语义评测流水线。第一阶段解决符号对齐(Symbol Matching):严谨指出基于编辑距离匹配谓词名称的表面脆弱性,确立了在 LT 框架下直接将标注签名作为输入、通过结构约束实现“构建即对齐”的标准规范;第二阶段进行逻辑等价性核验(Formula Closeness via SMT):在统一签名下,利用现代 SMT 求解器(如 Z3、CVC5)直接判定双向蕴涵的有效性。具体而言,公式 \(\varphi\) 与真值参考 \(\hat{\varphi}\) 等价当且仅当否定公式 \(\neg(\varphi \leftrightarrow \hat{\varphi})\) 在对应签名结构上不可满足(UNSAT)。同时,本文建立了覆盖人工专家严谨标注(FOLIO、GGC)、大模型增强过滤(MALLS、Willow、PROOFFOL)与模板规则生成(Text2log)的数据集全景图谱,为基准选择提供了理论参照。
3. 神经-符号验证与迭代精炼回环:防范单遍生成幻觉与死锁 -> 符号证明器反馈与反例引导修复 -> 闭环提升逻辑保真度
大模型单遍生成一阶逻辑常受困于括号不匹配、变量自由逃逸、量词辖域颠倒或谓词元数错配等幻觉问题,单纯依赖纯 LLM 自反思往往陷入同义词循环或盲目修补。本文系统梳理并提炼了神经符号协同的闭环精炼架构。在句法验证层,集成高效的语法解析器与一阶逻辑定理证明器(如 Vampire、Prover9),一旦捕获语法解析异常,便将详细的解析器报错上下文注入到后续提示中实施针对性修复,或采用语法受限解码(Grammar-Constrained Decoding)在生成每一步动态裁剪非法 token 分支;在语义验证层,充分调动形式化求解器的诊断能力,当生成公式集出现矛盾时,利用 SMT 求解器的不可满足核提取(Unsatisfiable Core Extraction)精准定位冲突子句;对于候选公式间的不一致性,通过 SMT 求解器生成可区分反例模型(Counterexample Model),并将其转换为自然语言情境回传给 LLM 裁判进行判别。这种将严格的数学证明反馈与 LLM 强大的语境理解力相结合的机制,在不重训模型参数的前提下,显著打破了复杂公式生成的准确率天花板。
一个完整示例¶
考虑自然语言命题:“Every student passed some exam.”(每个学生都通过了某场考试。)
- 本体抽取(OE 阶段):
- 提取签名 \(\sigma = \{\text{Student}/1, \text{Exam}/1, \text{Passed}/2\}\);
- 确立语义标注:\(L(\text{Student}) = \text{“x is a student”}\),\(L(\text{Exam}) = \text{“x is an exam”}\),\(L(\text{Passed}) = \text{“x passed y”}\);
- 背景理论约束:\(T = \emptyset\)(无额外分类公理)。
- 逻辑翻译(LT 阶段):
- 模型在给定 \(\Omega\) 下生成候选逻辑公式 \(\hat{\varphi} = \forall x (\text{Student}(x) \to \exists y (\text{Exam}(y) \land \text{Passed}(x, y)))\)。
- 若模型错误生成了量词颠倒公式 \(\hat{\varphi}_{\text{err}} = \exists y (\text{Exam}(y) \land \forall x (\text{Student}(x) \to \text{Passed}(x, y)))\)(即“存在某场特定考试被所有学生通过”)。
- 语义验证与 SMT 反例诊断(Verification 阶段):
- SMT 求解器检验 \(\neg(\hat{\varphi} \leftrightarrow \hat{\varphi}_{\text{err}})\) 的可满足性;
- 求解器判定其 SAT(可满足),并给出一个具体反例解释模型:结构中包含两名学生 \(s_1, s_2\) 与两门考试 \(e_1, e_2\),\(s_1\) 通过了 \(e_1\) 但未通过 \(e_2\),\(s_2\) 通过了 \(e_2\) 但未通过 \(e_1\);在此模型下 \(\hat{\varphi}\) 为真但 \(\hat{\varphi}_{\text{err}}\) 为假;
- 系统将该反例反馈给 LLM,指示其量词辖域存在“全局存在与局部存在”偏差,模型迅速收敛并纠正为合法的 \(\hat{\varphi}\)。
损失函数 / 训练策略¶
在微调优化维度,文献涵盖监督微调(SFT)、强化学习(RL)与偏好对齐(DPO/KTO)。在 RL 方案中,LogicLLaMA 引入基于 BLEU 与连续化等价性得分 LE 的混合奖励函数: $\(R(\hat{\varphi}, \varphi) = \alpha \cdot \text{BLEU}(\hat{\varphi}, \varphi) + (1-\alpha) \cdot \text{LE}(\hat{\varphi}, \varphi)\)$ 其中 \(\text{LE}\) 分数通过穷举命题真值赋值一致性比例进行计算。在偏好对齐层面,基于 DPO 的损失函数利用三元组样本优化形式化质量: $\(\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(p, \varphi_w, \varphi_l)} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(\varphi_w \mid p)}{\pi_{\text{ref}}(\varphi_w \mid p)} - \beta \log \frac{\pi_\theta(\varphi_l \mid p)}{\pi_{\text{ref}}(\varphi_l \mid p)} \right) \right]\)$ 实验表明,在经过 SFT 预热后引入 KTO 或带质量权重的 DPO,能够比单纯极大似然估计显著抑制逻辑连接词错配与量词错位。
实验关键数据¶
主实验:NL-FOL 核心基准数据集多维对比¶
本文系统归纳了文献中直接支持自然语言到一阶逻辑转化的公开与代表性基准数据集,严格梳理其生成范式、规模、过滤机制与质量边界。
| 数据集 | NL 来源 | FOL 来源 | 样本规模 (Pairs) | 构造与过滤机制 | 验证强度与局限性 |
|---|---|---|---|---|---|
| FOLIO (Han et al., 2024) | 人类专家 | 人类专家 (*) | ~3,800 (~500 故事, 2.4k 前提, 1.4k 结论) | 专家手动撰写并形式化,利用一阶定理证明器验证 NLI 标签推导一致性 | 人类专家标注质量最高,但被实测证实包含约 10-15% 的标注歧义与语法瑕疵 (Brunello et al., 2026a) |
| GGC (Barker-Plummer et al., 2011a) | 人类学生 | 人类学生 (*) | ~280 | 收集学生在 Tarski's World 几何逻辑练习中的提交答案 | 依托自动评分工具强制保证句法与语义闭环,质量极高但规模较小且场景局限 |
| MALLS (Yang et al., 2024) | LLM (GPT-4) | LLM (GPT-4) | ~28,000 | 提示 GPT-4 双向生成,采用动态 n-gram 计数器增强语言与逻辑多样性 | 抽取 1K 人工子集总结常见错误并设置规则过滤,仍残留机器生成的伪对齐噪声 |
| ProverQA (Qi et al., 2025) | LLM (*) (GPT-4) | 规则生成 | ~17,000 | 符号生成器先构造严密 FOL 逻辑图谱,反向提示 LLM 填充可读的故事背景 | 逻辑结构通过构造天然正确,但自然语言表达带有反向生成的机械痕迹 |
| Willow (Deveci, 2024) | LLM (GPT-4) | LLM (GPT-4) | ~16,000 | 基于 ~300 个精选人工校验种子对,利用 GPT-4 批量扩增并剔除语法错误项 | 缺乏严密语义验证,仅保证生成公式语法通过解析器检查 |
| PROOFFOL (Thatikonda et al., 2024) | 人类编写 | LLM (*) (GPT-4o) | ~10,000 | 取 ProofWriter 的前提与结论,利用 GPT-4o 形式化并保留证明器推导吻合样本 | 证明器标签一致性过滤有效保障逻辑可靠性,但受制于原始数据较窄的句式分布 |
| Text2log (Levkovskyi & Li, 2021) | 规则模板 | 规则生成 (*) | ~100,000 | 基于 CCG 语法分析器与预设归纳规则,直接从模板化自然语言解析为一阶逻辑 | 形式化严格保真且具备百分百解析保证,但语言模式过于僵化,无法泛化至自然表述 |
消融实验:形式化评估指标与代理范式能力剖析¶
针对学术界在直接公式评测与间接代理任务上的指标分歧,本文对比了语法、语义及代理任务三大类的技术特性与适用边界。
| 评估范式 / 指标 | 评测层级 | 计算机制与核心公式 | 取值类型 | 理论优势 | 核心缺陷与失真风险 |
|---|---|---|---|---|---|
| Exact Match (EM) | 语法层 | 字符串标准化后二元匹配:\(\mathbb{I}[\text{norm}(\varphi) == \text{norm}(\hat{\varphi})]\) | 离散 | 计算极快,无求解器依赖,实现极简 | 彻底无视逻辑等价性,合取式交换次序或谓词重命名即判零分 |
| Tree Edit Distance (TED) | 语法层 | 抽象语法树(AST)节点最小编辑转换代价 | 连续 \([0, \infty)\) | 反映语法骨架结构接近度,细化失分分布 | 仍属表面语法匹配,同一语义的不同数学表述代价高昂 |
| BLEU Score | 语法层 | 专用一阶逻辑词法分词器下的 n-gram 命中率 | 连续 \([0, 1]\) | 适合作为可导奖励函数与强化学习优化对接 | 忽略变量绑定与量词作用域,常对灾难性逻辑颠倒打出高分 |
| LogicSim | 语法层 | 综合谓词数、量词差与 IoU:\(pd + tp + ld + IoU\) | 连续 \([0, \infty)\) | 综合考察符号库与连接词重叠率,优于纯字符匹配 | 启发式权重加和,缺乏模型论语义基础 |
| LE Score (Yang et al.) | 语义层 | 命题真值赋值一致性比例:$\frac{ | {v \mid v(\varphi) = v(\hat{\varphi})} | }{2^n}$ | 连续 \([0, 1]\) |
| SMT 逻辑等价判定 | 语义层 | 判定双向蕴涵不可满足性:\(\text{UNSAT}(\neg(\varphi \leftrightarrow \hat{\varphi}))\) | 离散 | 理论上最严密、唯一具备数学证明保障的客观度量 | 二元断崖无法提供学习梯度;跨异构签名无法直接求解(依赖 OE 对齐) |
| NLI 蕴涵一致性 (Proxy) | 代理任务 | 定理证明器推导:\(\{\varphi_i\} \vdash \psi \iff \{p_i\} \models c\) | 离散 | 无需收集昂贵的公式 Ground-Truth 标注即可开展评测 | 存在严重假阳性(错误公理偶然推导正确结论);无法定位具体错误单句 |
关键发现¶
- 基准噪声对评估结论具有决定性影响:独立复核表明,广泛使用的 FOLIO 验证集与 MALLS 测试集存在显著的标注模糊与逻辑错误率,导致先前诸多声称“超越人类”的模型评测在纠错后的纯净测试集上遭遇明显性能滑坡,建立高质量纯净基准是当务之急。
- 前沿推理模型在逻辑翻译(LT)上表现优异,但在本体抽取(OE)上面临瓶颈:在给定签名与语义标注的前提下,具备强推理能力的 frontier 模型(如 o1、GPT-4o 搭配 CoT)能够在 LT 任务上取得极高的等价翻译准确率;然而一旦进入未指定本体的自由抽取场景,模型倾向于过度简化或混淆概念关系,直接制约了下游符号求解的适用性。
- 神经符号闭环精炼是性价比最高的技术路径:相较于昂贵的全参重训,在推理阶段引入轻量级的语法检查器与 SMT 求解器反例反馈回环,能够在零样本或少样本提示下消除绝大多数语法解析失败与显然逻辑谬误,使中小型模型的形式化质量逼近专用微调大模型。
亮点与洞察¶
- 解耦本体抽取与逻辑翻译具有里程碑意义:将模糊的自动形式化界定为 \(\langle \varphi, \Omega \rangle\),清晰区分了“概念建模粒度”与“逻辑约束转译”,彻底终结了评测中将本体选择分歧当作翻译错误的根本矛盾。
- SMT 反例驱动的判别机制极具可迁移性:利用 SMT 求解器从 \(\neg(\varphi \leftrightarrow \hat{\varphi})\) 生成具象的离散反例模型,再由自然语言呈现给 LLM 决策,这种“符号找茬 + 神经裁决”的范式可无缝迁移至代码规范合成、法律文本审查与智能体规划动作前置条件校验中。
局限与展望¶
- 作者承认的局限:由于文献中缺乏统一规范的评估协议与公认无偏基准,且历史模型汇报所用数据集充斥噪声,本文未能给出全模型跨方法的大规模横向实验排名与统计打分,主要聚焦于理论架构、方法分类与全景梳理。
- 本笔记观察到的局限:当前形式化框架主要局限于一阶逻辑静态句子层面,缺乏对自然语言时序态射(如 LTL)、模态逻辑、信念逻辑以及常识缺省推理(Non-monotonic Reasoning)的延伸讨论;此外,本体抽取阶段尚未与传统的语义网本体学习(Ontology Learning)工具链深度融合。
- 未来改进方向:探索端到端无监督本体引导学习、面向复杂工业长文本的模块化分治形式化流水线,以及融合高效 SMT 求解器的一体化神经符号推理智能体。
相关工作与启发¶
- vs. LINC (Olausson et al., 2023) / Logic-LM (Pan et al., 2023): 后两者将 FOL 形式化作为端到端问答的中间黑盒工具,忽视了本体签名的可复用性与质量独立评估;本文则将形式化本身提升为一阶公民,给出了完整的形式本体数学建模。
- vs. LogicLLaMA (Yang et al., 2024): LogicLLaMA 采用命题化的 LE score 作为强化学习奖励,导致模型在复杂量词绑定上产生虚假高分;本文明确指出 SMT 逻辑等价性才是直接语义评测的唯一可靠金标准。
- vs. LTRAG (Hu et al., 2025) / FOVER (Pei et al., 2025): 这些工作在提示词工程中零散尝试了阶段化拆解;本文则从知识工程与一阶逻辑模型论高度,正式奠定了 OE/LT 解耦的统一理论根基。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从本体论视角严谨形式化 FOL 自动形式化任务,明确提出 OE/LT 解耦框架,彻底厘清领域概念混乱。
- 实验充分度: ⭐⭐⭐⭐⭐ 全面梳理了所有现存一阶逻辑数据集、评测指标与微调/提示/验证方法体系,对比剖析入木三分。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构极其严密,概念定义清晰优雅,数学形式化表达标准范式化。
- 价值: ⭐⭐⭐⭐⭐ 为大模型时代一阶逻辑自动形式化与神经符号推理建立了不可或缺的标准指南与理论灯塔。