RelAgent: LLM Agents as Data Scientists for Relational Learning¶

会议: NeurIPS 2026
arXiv: 2605.07840
OpenReview: https://openreview.net/forum?id=YRrJHyYg9F
代码: https://github.com/HxyScotthuang/RelAgent
领域: LLM Agent
关键词: 关系学习, 大语言模型智能体, 特征工程, SQL程序搜索, 评估工作区

一句话总结¶

RelAgent 将关系型数据库学习建模为两阶段框架，利用 LLM Agent 通过交互式 SQL 探索、程序验证与评估工作区反思自主搜索最优特征程序与预测模型，推理阶段完全摆脱 LLM 依赖，实现高效、确定性且内在可解释的关系预测。

研究背景与动机¶

关系型数据库是现实工业界存储与组织结构化业务数据的核心底座。在实际业务场景中，针对多表关联数据的预测建模通常重度依赖资深数据科学家手工编写复杂的 SQL 查询——跨多表沿外键路径连接、在滑动时间窗口内聚合指标并提取实体行为特征。然而，多表连接、过滤条件与聚合算子构成的组合空间极其庞大，人工试错不仅极其耗时繁琐，而且难以随数据模式（Schema）的膨胀进行可扩展的泛化。

现有的自动化关系学习范式在表示与计算机制上均存在明显瓶颈。传统的表格学习模型受限于扁平特征输入，依赖通用深度特征合成或人工预展平，往往遗失深层关系交互；图神经网络（GNN）与关系图 Transformer 将数据库实体与外键隐式投影为异构图，但其感受野和邻居聚合深度必须在训练前静态固定，无法根据具体预测目标动态调整关系访问模式；直接将表格或子图文本序列化送入 LLM 推理的端到端范式不仅面临上下文窗口与推理成本爆炸，其固有归纳偏置也难以适应高精度的结构化数值预测。

这种困境的核心矛盾在于：强行将庞大的外部关系模式内化至固定结构的神经网络或大模型上下文，既损失了精确表达高阶关系的灵活性，又带来了沉重的推理开销与黑盒不可解释性。本文的切入视角是解耦“特征空间搜索”与“确定性模型推理”，让关系结构保持外部化与原生可执行状态。核心 idea：将关系学习建模为由 LLM 驱动的自主数据科学家智能体，在搜索阶段通过原生 SQL 工具交互、验证集执行反馈与评估工作区反思联合优化特征程序与下游模型，在推理阶段则完全移出 LLM，仅执行纯 SQL 特征映射与经典梯度提升树。

方法详解¶

整体框架¶

RelAgent 严格划分为两个阶段：搜索阶段（Search Phase）与推理阶段（Inference Phase）。在搜索阶段，系统输入包含历史时序截断的上下文关系数据库 $\widetilde{\mathcal{D}}$ 以及带有真实标签的训练集 $\mathcal{T}_{\mathrm{train}}$ 与验证集 $\mathcal{T}_{\mathrm{val}}$。LLM 智能体通过工具集与数据库引擎交互，在特征查询程序空间 $\mathcal{L}^*$ 与下游预测模型配置空间 $\mathcal{P}$ 的联合空间内进行随机策略采样与迭代优化。在推理阶段，智能体完全退出系统，选拔出的最优 SQL 程序直接在目标实体上执行生成特征矩阵，由离线训练收敛的高效经典预测器完成确定性预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：关系数据库与目标实体<br/>保证严格的时间点正确性"] --> B["三类交互工具与数据库探索<br/>execute_query / get_table_info"]
    B --> C["联合搜索与程序验证<br/>生成特征矩阵并拟合下游预测器"]
    C --> D["评估工作区结构化反思<br/>跨试验追踪、行级残差与特征诊断"]
    D -->|未收敛/未耗尽预算：迭代修正| B
    D -->|选拔验证得分最高配置| E["推理阶段：解耦执行纯SQL与经典模型<br/>无需LLM调用，确定性内在可解释输出"]

关键设计¶

1. 三类交互工具与数据库探索：让多表语义与拓扑关系外部化可感知 传统关系深度学习强行将关系模式压缩为固定的图邻接矩阵或序列化文本，而 RelAgent 赋予 LLM 智能体一组轻量、只读的数据库交互工具，使数据库实体结构完全保留在外部高性能执行引擎（如 DuckDB）中。智能体首先通过 get_table_info() 获取表结构元数据、主外键参照完整性约束与行数规模，接着通过 execute_query() 执行只读的探索性 SQL 查询，自主统计实体频次、时序跨度、缺失率与多表关联模式。为了保证学术与生产严谨性，系统在底层硬性约束了时序切分（Point-in-Time Correctness），所有特征查询必须以目标实体表的预测时间戳为锚点（强制约束 source_time < eval_table.timestamp），彻底杜绝跨时间的数据泄露（Data Leakage）。

2. 联合搜索与程序验证：打通特征提取与模型选择的端到端闭环 智能体不仅需要构造特征，还需要为特征匹配最佳的下游归纳偏置。RelAgent 将候选方案抽象为元组 $(\bm{q}, \varphi) \in \mathcal{L}^* \times \mathcal{P}$，其中 $\bm{q} = (q_1, \dots, q_n)$ 代表一组执行只读运算的 SQL 特征查询构成的特征程序，$\varphi$ 则指定下游预测模型家族（涵盖 LightGBM、XGBoost、CatBoost、Random Forest 等 7 种树模型及变体）及其超参数、正则化项、目标损失函数与变换方式（如对长尾分布目标的 $\log(1+y)$ 转换）。智能体通过 validate_program() 工具提交候选方案，验证工具自动物化并对齐训练与验证特征： $${\bm{X}}_{\mathrm{train}} = \Phi_{{\bm{q}}}(\widetilde{\mathcal{D}}, \mathcal{T}_{\mathrm{train}}), \qquad {\bm{X}}_{\mathrm{val}} = \Phi_{{\bm{q}}}(\widetilde{\mathcal{D}}, \mathcal{T}_{\mathrm{val}})$$ 预测器 $f$ 在 $({\bm{X}}_{\mathrm{train}}, {\bm{y}}_{\mathrm{train}})$ 上拟合完成后，在验证集上计算指定评测指标 $\mathrm{score}_{\mathrm{val}}({\bm{q}},\varphi) = M(f({\bm{X}}_{\mathrm{val}}), {\bm{y}}_{\mathrm{val}})$。执行过程中捕获的语法错误、超时中断与数值异常直接作为结构化环境反馈吐回，驱动智能体自愈修复代码。

3. 评估工作区结构化反思：基于持久化关系视图的细粒度行级误差诊断 不同于传统 Agent 仅依赖单一的标量奖励进行盲目试错，RelAgent 构建了一个独立的持久化关系型评估工作区 $\mathcal{W}^{(\le b)} = \{\widetilde{\mathcal{D}}, \mathcal{T}_{\mathrm{trials}}^{(\le b)}, \mathcal{T}_{\mathrm{preds}}^{(\le b)}\}$。其中 $\mathcal{T}_{\mathrm{trials}}$ 记录每一次验证的历史配置、特征哈希与多项评估指标；$\mathcal{T}_{\mathrm{preds}}$ 记录验证集上每个样本在各次试验中的真实标签、预测得分及残差。最为关键的是，系统在验证目标表上分配了全局唯一且稳定的位置索引 row_id。智能体可随时调用 query_eval_workspace() 编写 SQL 诊断查询，执行跨试验的样本级连接分析（例如通过 JOIN eval_predictions 找出新特征加入后从正确变为错误的难例群体、诊断零方差特征或低 SHAP 重要度的无用特征）。这种将诊断过程本身“关系化”的设计，使智能体能够像资深算法工程师一样进行归因分析并完成靶向特征修正。

4. 纯 SQL 解耦推理与查询诱导不变性：兼顾生产吞吐与逻辑表达力 完成搜索策略展开后，系统基于跨 Rollout 模型选择挑选验证集得分最高的组合 $(\bm{q}^{\star}, \varphi^{\star}) = \arg\max \mathrm{score}_{\mathrm{val}}(\bm{q}^{(b)}, \varphi^{(b)})$。在实际部署测试时，系统彻底剥离 LLM 及其 API 开销，仅需将确定的特征程序 $\bm{q}^{\star}$ 下推至标准 SQL 数据仓库中执行，并将输出特征矩阵直接灌入已收敛的经典梯度提升模型 $f^{\star}$。预测结果对每个输入实体的判定均可追溯至具体 SQL 特征字段（如最近发帖距今时间、滑动窗口交互频次）与树模型的特征归因（SHAP 值），实现了天然的白盒内在可解释性。更重要的是，模型的拓扑与排列不变性由关系代数原生诱导：只要 SQL 查询遵循集合语义与外键关联，目标实体便天生具备对行排列、表物理顺序的严格不变性，且能轻松表达有向三元环自连接等图神经网络在理论上无法区分的高阶模态逻辑结构。

实验关键数据¶

主实验¶

论文在三个权威时序关系基准 RelBenchV1、RelBenchV2 以及 4DBInfer 上全面评测了实体分类与回归任务，基线覆盖扁平表格模型（LightGBM、AutoGluon）、人工特征工程管道（DS+LightGBM）、有监督关系深度学习（GraphSAGE、HGT、RelGNN、RelGT）、零样本关系基座模型（Griffin、RTzero、KumoRFM-v1/v2）以及大模型特征工程方法（FeatLLM、ReFuGe）。

主分类任务对比结果如下表所示（评估指标为测试集平均 AUROC，数值越高越好；Avg Rank 越低越好）：

方法类别	模型方法	RelBenchV1 (12任务) AUROC ↑	RelBenchV1 平均排名 ↓	RelBenchV2 (4任务) AUROC ↑	4DBInfer (5任务) AUROC ↑
扁平表格基线	LightGBM (原生表)	63.66	18.25	76.78	50.10
人工特征工程	DS + LightGBM	75.62	8.42	-	-
人工特征工程	DFS + AutoGluon	-	-	-	76.08
有监督图学习	GraphSAGE	75.83	6.75	83.99	79.40
有监督图学习	RelGNN	78.06	3.83	-	-
有监督图学习	RelGT (Graph Transformer)	76.65	6.38	-	79.94
关系基座模型	Griffin	66.29	16.58	-	-
关系基座模型	KumoRFM-v1	76.71	8.71	81.04	79.17
商业关系基座	KumoRFM-v2 (闭源商业SOTA)	79.60	3.38	85.91	79.96
LLM特征工程	ReFuGe	74.92*	-	-	-
本文方法	RelAgent (Ours)	78.38	3.17	87.32	81.38

在实体回归任务中（评估指标为相对 LightGBM 归一化的平均绝对误差 $\mu_n$，越低越好），RelAgent 在 RelBenchV1 上取得了 0.817 的归一化 MAE（超越 KumoRFM-v2 的 0.822，全场排名第 1，Avg Rank 为 2.83）；在 RelBenchV2 回归任务上取得了 0.548 的归一化 MAE（大幅超越 KumoRFM-v2 的 0.601，全场排名第 1）。

消融实验¶

论文在 RelBenchV1 实体分类全集上针对各个核心设计模块进行了严格消融，分析结果如下表：

实验配置 / 变体	实体分类平均 AUROC ↑	性能差异 (Δ)	核心机制说明
RelAgent 完整框架	78.38	基准	完整两阶段 Agent 搜索 + 工作区反思
w/o feedback（移除验证反馈）	66.86	-11.52	禁止验证工具交互，单轮强制直接输出最终程序
w/o eval workspace（移除评估工作区）	75.78	-2.60	仅提供标量验证得分，禁止 SQL 深度排查行级预测错误
w/o semantic（匿名化 Schema）	74.44	-3.94	屏蔽数据表/列名语义，仅保留无意义标识符
rule-only（无下游监督预测器）	69.92	-8.46	仅由智能体编写纯 Python/SQL 规则进行分类判定
固定单一预测器：LightGBM-only	75.94	-2.44	不搜索模型家族，固定下游分类器为 LightGBM
固定单一预测器：CatBoost-only	75.95	-2.43	固定下游分类器为 CatBoost
固定单一预测器：TabPFN-v2.5-only	78.13	-0.25	固定下游分类器为表格基座 TabPFN-2.5
替代骨干：DeepSeek-V4	76.00	-2.38	替换 GPT-5.2 骨干，探索极低成本下的搜索质量
替代骨干：Qwen3-32B	70.13	-8.25	本地开源轻量级骨干模型

关键发现¶

闭环验证反馈是系统性能的基石：去掉交互式验证反馈后 AUROC 暴跌 11.52 点（降至 66.86），证明单纯依靠 LLM 先验进行静态特征工程存在巨大幻觉，基于实际执行环境的动态调试与纠错至关重要。
评估工作区提供了超越标量指标的诊断信号：工作区消融带来 2.60 点的显著落差。案例分析显示，智能体通过 query_eval_workspace 精准定位到了在全量样本上取值恒定、SHAP 贡献极低的发帖投票特征，并自发替换为多窗口滑动行为宽度特征，驱动了明显的性能跃升。
时序特征构建是关系学习的生命线：在针对 SQL 算子表达力的消融中，去除滑动时序窗口特征导致任务 AUROC 下滑多达 6.09 至 8.94 点，印证了 SQL 原生时序窗口过滤在捕捉业务动态上的不可替代性。

亮点与洞察¶

搜索与推理彻底解耦的工业级设计：将 LLM 严密限制在离线研发的搜索阶段，推理侧产物退化为纯 SQL 查询与成熟梯度提升树。这种架构在规避生产环境 LLM 延迟、算力账单与不可控幻觉的同时，极大方便了直接嵌合进已有 Lakehouse/Snowflake/DuckDB 等现代数据栈。
将评估诊断过程“关系化”的优雅反思机制：不同于以往 Agent 只能将错误信息当作纯文本长序列填塞入 Context，RelAgent 将历史试验与行级残差映射为关系表，让 LLM 用自身最擅长的 SQL 聚合与关联去自由“挖掘”自己模型的弱点。
比图神经网络更通用的关系表征范型：突破了传统有监督 GNN 静态感受野的局限，通过标准 SQL 连接原生地解决了多表高阶模式识别问题（例如在合成实验中成功通过多路自连接过滤掉自环噪声并准确识别有向三元环结构）。

局限与展望¶

搜索预算与 Token 消耗较高：单次任务需要展开数十轮会话交互与数十次 SQL 数据物化，对复杂的大型数据库搜索耗时可达数十分钟至数小时，且极度依赖高级商用模型（如 GPT-5.2）的代码生成与反思能力。
深层多跳与非结构化文本字段挖掘仍有欠缺：受限于预定单次调用上下文与超时限制，智能体倾向于在 1-2 跳内挖掘时序聚合特征，对超过 4 跳的外键链路探索概率偏低；同时系统未充分整合多模态或自由长文本的专用嵌入表征。
未来方向：可进一步探索针对关系学习定制的轻量化专属代码/反思 Agent 蒸馏，并引入端到端可微分的混合搜索策略以缩减离线试错周期。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将 LLM Agent 转化为关系数据库领域的自主数据科学家，解耦搜索与推理，并开创性引入关系型评估工作区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RelBenchV1/V2 及 4DBInfer 三大基准、实体分类与回归两大任务线，基线涵盖表格、图学习及闭源关系基座，消融与案例剖析极为详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，系统架构与方法学定义规范，图表详实且极具洞见。
价值: ⭐⭐⭐⭐⭐ 为解决关系型数据库上的企业级预测任务提供了极具商业落地可行性、强可解释且性能领先的全新范式。