Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners¶

会议: NeurIPS 2026
arXiv: 2606.24965
代码: https://github.com/autoworldrules/auto-world-rules/
领域: 其他
关键词: 神经符号推理、关系推理、自动基准评测、进化算法、FunSearch

一句话总结¶

针对传统难度指标难以刻画神经关系推理模型盲点的问题，本文提出基于 LLM 进化搜索（FunSearch）与自主 Agent（Auto-Research）的采样器生成框架，在仅含不超过 8 个实体的小型知识图谱上端到端发掘出导致 Edge Transformer 泛化失效的隐式难例。

研究背景与动机¶

从知识图谱（KG）中推断实体间复杂关系是神经符号推理与关系学习的核心挑战。尽管图神经网络（GNN）与关系推理模型在许多标准基准上取得了令人瞩目的效果，但多数架构在系统性泛化能力上依然严重受限——它们往往依赖统计捷径，难以像归纳逻辑程序（ILP）那样在未知测试样例上系统性串联所学规则，尤其是面对比训练分布更困难的复杂问题实例时表现急剧下降。为了可靠评估神经模型的系统性推理能力，传统的评测基准构建依赖于先验假设的难度度量，例如推断步数/深度（Inference Depth）、非路径边数量（OPEC）以及回溯负载（Backtrack Load）。

然而，这种基于固定指标的评测范式陷入了严重的认知盲区：研究人员事前根本无法确切知晓究竟是什么结构特征使得某个特定推理实例对神经网络而言是困难的。在已知指标下表现优异的训练/测试划分，很可能掩盖了模型的真实缺陷；而单纯依赖随机图采样或模板插桩，极难在有限实体规模下触发致命的结构性瓶颈。更具挑战性的是，现有模型甚至在实体数极少（例如 5 到 8 个实体）的极简世界上就会被特定拓扑完全绊倒，而这些拓扑在已知指标下却被标记为"平庸甚至简单"。

为了突破人工先验指标对基准评测的局限性，本文探索利用大语言模型（LLM）实现关系推理基准生成的端到端自动化。核心 idea：将神经评估器（Edge Transformer）的失败率作为适应度信号，驱动 LLM 结合进化搜索（FunSearch）与自主智能体闭环（Auto-Research）自适应发现能构造硬推理实例的代码级采样函数，从而超越先验难度指标、自主发掘出模型深层推理盲点。

方法详解¶

整体框架¶

Project Auto-World 旨在面向一类由 Datalog 规则 $\mathcal{P}$ 与逻辑约束 $\mathcal{C}$ 参数化的"世界"（知识图谱生成空间），以及一个预训练的神经关系推理评估器 $\mathsf{M}$（默认采用在关系推理中表现最强的 Edge Transformer），寻找生成难例图的采样策略 $\mathsf{S}$。系统的核心目标是最大化采样世界中模型在真实可推断事实上的最低置信度损失，即定义难度目标函数： $$\textit{difficulty}(\mathsf{S}; \mathsf{M}) = 1 - \mathbb{E}_{\mathcal{G} \sim \mathsf{S}}\left[\min_{h,t \in \mathcal{E}_{\mathcal{G}}} \min_{r \in \mathcal{L}_{\mathcal{G},h,t}} \mathsf{M}_r(\mathcal{G}, h, t)\right]$$ 其中 $\mathcal{L}_{\mathcal{G},h,t} = \{r \mid \mathcal{P} \cup \mathcal{G} \models r(h,t)\}$ 是通过 Datalog 规则完全推导得出的真实关系集合。

采样过程采用逐步构图策略：从空图或种子实体出发，每次从未加入事实中随机抽取 $N_{\text{cand}}$ 个候选三元组 $(e, r, f)$，由进化生成的 Python 优先级函数 $\rho$ 计算候选三元组的边权，贪心选择得分最高的边加入图 $\mathcal{G}$，直至达到预设实体上限（$\le 8$）。整个生成闭环包含进化算法迭代（FunSearch）、长程自主智能体优化（Auto-Research）、以及结合先验与对抗难例的对抗数据增强再训练循环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Datalog 规则集与实体约束<br/>(NoRA 1.1 / Iron Coast)"] --> B["候选边加权生成器<br/>采样 Ncand 候选三元组"]
    B --> C["优先级采样函数<br/>Python 代码评分与图拓扑扩展"]
    C --> D["神经关系评估器<br/>Edge Transformer 预测与推理验证"]
    D --> E["适应度与失败率反馈<br/>计算 1 - 最低正确事实置信度"]
    E -->|FunSearch 多岛屿演化| C
    E -->|Auto-Research 智能体迭代| C
    D --> F["对抗数据增强再训练<br/>构建增强模型 SuperET"]
    F -->|更新评估器| D

关键设计¶

1. FunSearch 驱动的代码级优先级函数进化：将搜索空间规约为启发式代码优化

在知识图谱的组合生成空间中，直接搜索图结构不仅搜索空间庞大且缺乏可解释性与泛化性。本文将难例图的生成问题规约为学习贪心加边策略中的优先级函数 $\rho(\text{cand\_fact}, \text{rules}, \text{entailed\_facts}, \text{facts})$。系统维护多个相互独立的程序数据库（称为岛屿，Islands）。在每个迭代周期内，LLM（如 Qwen3-Coder-Next-80B）从高适应度代码池中采样两个父本函数，结合图论分析工具包（包含最短路径、连通度、节点度数等先验调用）提议出改进的 Python 代码片段。适应度评估器在批次世界图 $\mathcal{G}_1, \dots, \mathcal{G}_{N_{\text{evalgraphs}}}$ 上执行该函数，将目标模型在推断三元组上的经验失败率直接作为适应度得分： $$\textit{fitness}(\rho) = 1 - \frac{1}{N_{\text{evalgraphs}}} \sum_{i=1}^{N_{\text{evalgraphs}}} \min_{h,t \in \mathcal{E}} \min_{r \in \mathcal{L}_{\mathcal{G}_i,h,t}} \mathsf{M}_r(\mathcal{G}_i, h, t)$$ 每隔 $N_{\text{iter}}$ 次迭代淘汰半数表现较差的岛屿并由优胜岛屿重组再植，从而避免早期早熟收敛，实现了完全自主的语法有效与逻辑自洽的代码演化。

2. Auto-Research 闭环编码智能体：单线程深度语境反思与代码极简化

除了基于种群的多岛屿遗传进化，本文引入了类似 Auto-Research 的自主代理闭环。不同于 FunSearch 的并行无状态启发式生成，Auto-Research 采用前沿大语言模型（Claude Opus 4.6）充当专职科研智能体，在多轮实验中积累完整上下文历史。智能体通过阅读实验指南（program.md），在每个 Round 中独立读取上一轮的评测产物（准确率表格、典型样例、历史优先级代码）、编写或修改单一代码文件、触发端到端评测流水线并反思执行结果。为了防止模型过度拟合特定启发式补丁导致代码冗余膨胀，该流程施加了严格的奥卡姆剃刀准则：在以降低评估准确率为首要目标的同时，对代码复杂度施加惩罚——如果新增 20 行复杂逻辑仅带来微小收益将被断然拒绝，而精简代码维持同等攻击力则被视为优化胜利。该智能体最终收敛出了四个高度紧凑的结构性特征权重：重度加权多步血缘谓词（12×）、多跳复合关系（5×）、实体对高密度多重边，以及严厉压制单实体自环事实。

3. 对抗数据增强与 SuperET 防御鲁棒化：多源难例驱动的持续演化博弈

当采样器成功发掘出 Edge Transformer（ET）的脆弱性后，系统将其逆向转化为防御进化的动力。通过将基准初始训练集（NoRA 1.1 的 train, test-D, test-OPEC, test-BL）与 9 种不同机制采样器（涵盖 4 种独立 FunSearch 进化采样器和 5 种 Claude 提示生成策略）产出的难例进行平衡混合采样（每类 1300 篇，共 13 个数据源），构建出强鲁棒性评估器 SuperET。该模型不仅在传统已知的深度扩展测试集上保持高准确率，而且显著提高了对对抗性图拓扑的防御阈值，迫使后续的进化与智能体搜索进一步探索更深层的结构性漏洞（如 SuperET-evo 与高阶推导干扰）。

损失函数 / 训练策略¶

评估器 Edge Transformer 针对关系推理多标签分类设定，采用多标签二元交叉熵损失函数（Multi-label BCE Loss）： $$\mathcal{L}_{\text{BCE}} = \sum_{i \in \mathcal{D}} \sum_{j \in \mathcal{R}} \left[ - y_{ij} \log \sigma(x_{ij}) - (1 - y_{ij}) \log (1 - \sigma(x_{ij})) \right]$$ 其中 $x_{ij}$ 为模型针对实体对在第 $j$ 个关系上的预测 logit，$y_{ij} \in \{0, 1\}$ 为真实标注。模型采用 Adam 优化器，学习率设为 $10^{-3}$，批量大小 32，训练 100 个 epoch 并结合梯度裁剪。每轮训练中采样数据被严格控制在 6000 条以内，且跨不同数据源均匀混合以防止单一拓扑过拟合。

实验关键数据¶

主实验¶

实验首先在 NoRA 1.1（含 292 条 Datalog 规则和 51 个谓词）上对各类采样器生成的数据集进行跨模型评估。比较了分别在 Claude 生成采样器（Cl-atlas, Cl-motif, Cl-N-bw, Cl-N-greedy, Cl-N-temp）和 4 个独立 FunSearch 进化运行（Evo1–Evo4，底层基于 Qwen3-Coder-Next-80B）上训练的 Edge Transformer 的跨域 Exact-Match (EM) 准确率。

训练集 (ET)	测试: Cl-atlas	测试: Cl-motif	测试: Cl-N-bw	测试: Cl-N-greedy	测试: Cl-N-temp	测试: Evo1	测试: Evo2	测试: Evo3	测试: Evo4
Cl-atlas	0.92	0.59	0.26	0.02	0.28	0.16	0.17	0.16	0.16
Cl-motif	0.58	0.96	0.43	0.19	0.32	0.24	0.25	0.25	0.24
Cl-N-bw	0.04	0.09	0.99	0.10	0.13	0.08	0.09	0.06	0.09
Cl-N-greedy	0.05	0.10	0.34	0.96	0.16	0.05	0.06	0.07	0.05
Cl-N-temp	0.01	0.03	0.06	0.26	0.98	0.01	0.02	0.02	0.02
Evo1	0.18	0.23	0.23	0.18	0.29	0.68	0.50	0.52	0.50
Evo2	0.17	0.23	0.28	0.19	0.20	0.53	0.62	0.54	0.60
Evo3	0.17	0.23	0.31	0.19	0.31	0.52	0.53	0.55	0.54
Evo4	0.17	0.23	0.15	0.15	0.36	0.52	0.55	0.55	0.52

在更具挑战性的对抗性再进化评估中，将经 13 个数据源混合增强训练出的 SuperET 与 Auto-Research 发现的 Round 20 采样器进行交叉验证：

训练模型	测试: Evo1	测试: Evo2	测试: Evo3	测试: Evo4	测试: Auto-research	测试: SuperET-evo
Evo1	0.68	0.50	0.52	0.50	0.03	0.47
Evo2	0.53	0.62	0.54	0.60	0.03	0.47
Evo3	0.52	0.53	0.55	0.54	0.04	0.45
Evo4	0.52	0.55	0.55	0.52	0.03	0.46
Auto-res	0.12	0.09	0.13	0.09	0.15	0.11
SuperET	0.86	0.86	0.87	0.87	0.57	0.70

消融实验与未解释难度分析¶

为了证实自动采样器确实发现了传统难度指标之外的新维度，作者利用 Gradient Boosting 分类器拟合推理准确率，以推断步数（Depth）、OPEC 和 BL 为特征计算 McFadden 伪 $R^2$，并统计"未解释难度"指标（$\textit{Unexplained} = 1 - R^2_{\text{McF}}$，取值越接近 1 说明已知指标完全无法预测模型失败）：

评估模型	测试: Evo	测试: Claude	测试: Auto-research	测试: SuperET-evo	测试: test-OPEC	测试: test-D	说明
Evo 训练模型	0.84	0.79	0.88	0.80	0.59	0.60	传统集可被指标解释，自合成集未解释度极高
Cl-atlas 训练模型	0.54	0.81	0.87	0.53	0.45	0.44	面对自身分布以外的智能体采样难例几乎全盲
Auto-research 训练模型	0.64	0.79	0.86	0.70	0.53	0.54	难例机制高度正交于浅层深度指标
SuperET-evo 训练模型	0.90	0.79	0.79	0.89	0.61	0.61	解决了传统难例后，残余失误全集中于隐式结构
NoRA-train 基线模型	0.59	0.77	0.76	0.66	0.51	0.49	对照基线

关键发现¶

传统指标的严重失真：在已知指标基准集（test-D 和 test-OPEC）上，分类器的未解释度在 0.44 到 0.61 之间，表明传统的深度和显式非路径边能够部分解释难度；而在 Auto-research 与 FunSearch 发现的难例上，未解释度普遍高达 0.79–0.90，直接证明了其突破了人工设计维度的限制。
推导出的非路径边（OPEEC）是核心致盲因素：详细排查模型惨败的 5 节点图发现，当推理所依赖的边并非来自显式输入事实，而是经由多步隐式推断出来的非路径关系（例如隐含的同辈或性别约束）时，现有模型的注意力机制无法有效绑定非路径信息。引入外生推导非路径边数量（OPEEC）后，所有模型的未解释度均呈现出统计显著（$p < 0.05$）的显著下降。
Auto-Research 智能体的降维打击：Auto-Research 产出的 Round 20 采样器极度刁钻，使得除 SuperET 以外的所有模型准确率跌至 0.03–0.04（近乎全灭），显示出单智能体深度闭环优化在发掘极端反直觉漏洞上的强大威力。

亮点与洞察¶

将基准构造重构为自对弈优化游戏：摆脱了传统基准"人类设计假想难题 $\to$ 模型刷榜"的被动范式，利用代码生成与执行环境将评测集生成转化为对抗式进化博弈，即使在仅有 8 个实体的微型图谱上也能构建极为苛刻的压力测试。
高阶隐式结构漏洞的发掘（OPEEC）：发现了现有神经架构对"推断出的非路径辅助边"的普遍盲区。这一结论不仅对图推理具有指导意义，也能启发大模型多跳推理与知识图谱补全算法的注意力机制改进。
完全自动化研究的闭环验证：在 LLM 自主构造的全新世界"Iron Coast"（含全新实体与规则体系）上，无缝复现了整个采样进化和评估管线，为后续全自主符号推理科研建立了可行范例。

局限与展望¶

Datalog 表现力的局限：当前逻辑环境严格限定在确定性一阶 Datalog 规则，尚未涵盖非单调推理（如默认否定 Negation-as-Failure）或析取逻辑（Disjunctive Rules），而后者在现实常识与法律推理中尤为常见。
采样器跨领域迁移性待检验：针对 NoRA 优化出的优先级启发式规则中包含部分特定谓词偏置（如血亲称谓），未来需要进一步提炼纯拓扑结构层面的抽象元规则。
模型多样性仍显单一：本文核心评估器均选定为最先进的 Edge Transformer，尚未全面覆盖其他代表性神经逻辑架构（如差分证明系统、神经贝尔曼-福特网络等）的互补盲区。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将代码进化搜索与自主研究智能体系统性应用于神经关系推理模型的自动化评测与盲点挖掘。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双域（NoRA与Iron Coast）、多LLM底座、多代对抗进化与严格的统计显著性消融。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，问题链条阐述极具说服力，实验分析层次严谨。
价值: ⭐⭐⭐⭐⭐ 为自动化评估神经符号推理系统开辟了全新方向，提出的 OPEEC 维度对后续架构改进极具指导价值。