Beyond IID: How General Are Tabular Foundation Models, Really?¶
会议: NeurIPS 2026
arXiv: 2606.30410
OpenReview: https://openreview.net/forum?id=Mk0ohjszwO
代码: https://tabarena.ai/code
领域: 自监督学习
关键词: 表格基础模型, 非独立同分布评估, 表格基准测试, 上下文学习, 泛化边界
一句话总结¶
本文提出了覆盖 142 个真实数据集的统一表格基准 BeyondArena 及标准化数据治理框架 DataFoundry，系统评估了 3 款主流表格基础模型在独立同分布与非独立同分布任务下的泛化能力，揭示了其在复杂场景下仍被调优传统模型超越的局限。
研究背景与动机¶
表格数据上的预测性机器学习已成为学术研究与工业落地的核心支柱，从金融反欺诈、医疗临床决策到材料与地球科学均依赖表格模型。近年来以 TabPFN、TabICLv2 和 TabDPT 为代表的表格基础模型（Tabular Foundation Models, TFMs）凭借自监督预训练与强大的少样本/零样本上下文学习（In-Context Learning, ICL）能力引发了广泛关注。然而，主流学术界对表格基础模型的评测长期局限于独立同分布（IID）假设以及干净的小规模基准上，导致模型开发高度过拟合于这些传统评估范式，而无法反映真实产业环境的严苛挑战。
在真实的机器学习应用中，数据往往天然具有时序漂移（Temporal）、分组层级（Grouped，如多租户/不同医院/跨实体泛化）、极高基数类别（High-Cardinality）以及自由文本（Text）等复杂的非独立同分布（Non-IID）特性。如果沿用简单随机切分（Random IID Split），不仅会由于时序泄漏或群组泄漏严重虚高评估指标，还会掩盖模型在真实外推任务下的致命缺陷。此前虽有局部扩充尝试（如评估时序的 TabReD 或评估表格文本的 TextTabBench），但由于软件框架与划分协议割裂，模型开发者难以进行全局、可复现的多维度对照。
为打破基准碎片化并指明表格基础模型真正的演进方向，研究需要一个兼具规模跨度、任务多样性与严格切分协议的统一平台。本文的核心 idea 是：建立首个统一融合 IID 与时序/分组等非 IID 任务的整体性表格基准 BeyondArena，搭配规范化数据集清洗框架 DataFoundry，并在 142 个高标准真实数据集上全面审视表格基础模型对比调优传统树模型与神经网络的真实泛化边界。
方法详解¶
整体框架¶
BeyondArena 建立在 TabArena 开源生态之上，旨在构建标准化、可复现且贴近真实部署的数据集治理与多任务基准系统。整个流程涵盖从海量候选数据源中进行严格的多阶段手工审计与过滤、在统一的 DataFoundry 框架下进行元数据标准化与多模态特征预处理，再到依据实际应用场景定制的外层切分（Outer Splits）与内层验证机制（Inner Validation），最后执行 11 种代表性模型的对比评测与基于 Elo 及 Improvability 指标的聚合归一化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始数据源池<br/>1128 个候选数据集"] --> B["DataFoundry 规范化治理<br/>四层人工准入过滤与特征规范化"]
B --> C["BeyondArena 142 个精选基准集<br/>涵盖 IID、分组、时序与多模态维度"]
C --> D["应用对齐的任务自适应切分<br/>时序外推 / 群组留出 / 分层多重 CV"]
D --> E["统一多模态与结构特征预处理<br/>Skrub 日期 / Qwen3 文本 / 分组统计表征"]
E --> F["系统化对比评估与稳健度量<br/>11 种模型家族 / Elo 评级 / Improvability"]关键设计¶
1. DataFoundry 规范化治理：以严格协议解决基准污染与虚假代表性
以往基准常混入确定性函数生成数据、重复任务或非表格原生任务（如图像展平向量），使基准结论失真。DataFoundry 设计了严苛的四阶段准入漏斗：(1) 任务与数据集全局查重；(2) 排除少于 100 样本的少样本任务；(3) 必须属于明确的预测性分类或回归任务；(4) 严格核实真实产业代表性与伦理合规性。经多名专家人工校验，从 1128 个候选集中仅筛选出 142 个高质量数据集（剔除率 87.4%）。DataFoundry 为每个数据集生成独立的 .ipynb 交互式可复现流水线，统一为 .parquet/.csv 存储，并配套涵盖任务类型、目标列、群组索引列、时间戳以及异常标注的可扩展元数据 Schema。
2. 贴合真实部署的任务自适应切分机制：防止非 IID 场景的数据泄漏
为真实反映模型在生产环境中的外推能力，BeyondArena 摒弃通用的随机划分，依据实际业务属性决定评估协议： - 时序任务（Temporal Splits）：设定业务合理的预测时间窗口，采用向前滚动的回溯时间点，仅用切分点之前的数据进行训练，严格预测切分点之后的未来观测（确保训练集不少于原始数据的 50%），杜绝时序泄漏。 - 分组任务（Grouped Splits）：分为样本级标签（Label-per-Sample）与组级标签（Label-per-Group）。依据实体 ID 进行 Group 级切分，确保测试集的实体组在训练集中完全不可见，评测模型对未知实体/新中心的归纳泛化能力。 - 外层与内层验证配对：对于极小样本（\(N < 500\)），内层超参调优采用 \(5 \times 5\) 重复交叉验证以防过拟合；时序与分组任务的内层验证严格采用对应的区间分箱折或实体分组折，消除因内层 IID 验证导致的调优偏差。
3. 模型无关的多模态与非 IID 特征工程流水线：为异构输入建立基线支撑
现实表格常包含非纯数值型特征，BeyondArena 引入统一模型无关预处理层：
- 日期时间编码：借助 Skrub 的 DatetimeEncoder 将时间戳转换为星期、月份以及基于样条函数（Spline-based）的周期性嵌入等 10 维连续数值特征。
- 紧凑文本表征：利用 Qwen3-Embedding-8B 多语言文本基础模型对文本字段进行向量化，并通过 Matryoshka 动态表征学习（MRL）提取前 32 维紧凑特征，兼顾下游树模型计算开销与语义表现力。
- 分组特征聚合：对组级标签数据集，在训练中丢弃原始组索引以防过拟合，同时提取各群组在时间序列上的统计量（均值、标准差、极值、最后状态等），筛选出方差最大的前 50 个聚合特征拼接入各样本；而在样本级标签中直接剔除实体标识列。
4. 基于 Elo 与相对改善率的稳健度量体系：消除多任务量纲差异
由于横跨二分类（ROC AUC）、多分类（Log-Loss）与回归（RMSE）三大任务类型，直接平均指标会导致量纲失衡。BeyondArena 采用两套标准化聚合标尺： - Elo 评分机制：将各模型在每次外层切分上的表现视作对局，以默认超参的 XGBoost 固定锚定为 1000 Elo，通过成对胜率极大似然估计计算各模型的全局与子赛道综合战力。 - 平均相对改善率（Mean Improvability）：定义单次切分中相对最优模型的归一化误差距离： $$ \text{Improvability}(m) = \frac{\text{Loss}(m) - \min_{m'} \text{Loss}(m')}{\max_{m'} \text{Loss}(m') - \min_{m'} \text{Loss}(m')} \times 100\% $$ 敏感反映模型与当期最佳解之间的绝对差距。
实验关键数据¶
主实验¶
在 142 个数据集上评估 11 个代表性模型，涵盖表格基础模型（TabPFN-2.6、TabICLv2、TabDPT，采用纯 ICL 推理）、经典提升树（CatBoost、LightGBM、XGBoost）、现代深度学习模型（RealMLP、TabM）及传统基线（RandomForest、ExtraTrees、Linear）。展示各模型在全量数据集（All）及不同任务切片下的 Elo、Improvability、胜率与计算用时：
| 模型 | 配置 | Elo (↑) | Improvability (↓) | 平均排名 (↓) | 调优耗时 (s/1k) | 推理耗时 (s/1k) |
|---|---|---|---|---|---|---|
| RealMLP | Tuned + Ens. | 1282 [-26, +30] | 10.3% | 7.2 | 1316.51 | 14.54 |
| TabPFN-2.6 | Default (ICL) | 1224 [-35, +40] | 9.6% | 8.9 | 25.26 | 2.39 |
| TabM | Tuned + Ens. | 1210 [-24, +28] | 11.9% | 9.3 | 1072.09 | 6.78 |
| CatBoost | Tuned + Ens. | 1208 [-19, +27] | 12.3% | 9.4 | 425.71 | 1.10 |
| TabICLv2 | Default (ICL) | 1205 [-42, +39] | 9.8% | 9.5 | 11.41 | 2.42 |
| LightGBM | Tuned + Ens. | 1187 [-22, +26] | 12.7% | 10.0 | 163.08 | 2.42 |
| XGBoost | Tuned + Ens. | 1138 [-22, +29] | 14.6% | 11.7 | 271.48 | 6.83 |
| TabM | Default | 1107 [-24, +24] | 14.5% | 12.7 | 29.89 | 0.98 |
| RealMLP | Default | 1056 [-25, +23] | 15.8% | 14.4 | 43.31 | 1.55 |
| TabDPT | Default (ICL) | 1052 [-44, +34] | 17.3% | 14.5 | 107.79 | 11.22 |
| XGBoost | Default | 1000 (基准锚点) | 17.6% | 16.3 | 6.59 | 1.35 |
| ExtraTrees | Tuned + Ens. | 1008 [-27, +23] | 18.1% | 16.0 | 113.01 | 1.62 |
| RandomForest | Tuned + Ens. | 963 [-30, +23] | 19.3% | 17.5 | 143.88 | 1.47 |
| Linear | Tuned + Ens. | 890 [-38, +28] | 26.3% | 19.7 | 204.03 | 0.05 |
注：TabPFN-2.6 和 TabDPT 在超过 100k 样本的数据集上由于计算预算与架构预训练窗口限制进行了补全填充；Elo 锚定默认 XGBoost 为 1000。
消融实验¶
BeyondArena 对核心评测协议进行了严谨的控制变量消融分析，通过 Kendall's \(\tau \in [-1, 1]\) 测量排序一致性，并统计 BeyondArena 设定相比传统/简易设置带来更优模型表现的胜率（Win Rate）：
| 消融模块 | 实验对比设置（BeyondArena 设定 \(\to\) 替代设定） | 排序相关系数 Kendall \(\tau\) | BeyondArena 胜率 | 说明与核心影响 |
|---|---|---|---|---|
| 内层验证切分 (B.1) | \(5\times 5\) 重复交叉验证 \(\to\) 普通 8 折交叉验证 | 0.93 | 100% | 极小样本下防过拟合作用显著，调优 RealMLP 性能显著提升 |
| 内层验证协议 (B.2) | 非 IID 内层划分（分组/时序） \(\to\) 随机 IID 划分 | 1.00 | 100% | 保持排序一致，但非 IID 划分选出的超参能显著提高测试集峰值 |
| 分组预处理 (C.1a) | 组级标签：50 维聚合特征 \(\to\) 仅使用原始特征 | 0.81 | 71% | 传统树模型大幅受益；但 TabPFN 等基础模型不预处理反而表现更好 |
| 分组预处理 (C.1b) | 样本级标签：直接剔除 Group 列 \(\to\) 保留原始 Group 列 | 0.43 | 71% | 保留 Group 列引发灾难性实体过拟合，模型排名发生剧烈洗牌 |
| 文本特征预处理 (C.2a) | 短文本（\(\le 50\) 字符）：Qwen3 MRL \(\to\) TF-IDF + SVD | 1.00 | 78% | 大语言模型紧凑表征在短文本分类上显著优于经典词频特征 |
| 文本特征预处理 (C.2b) | 长文本（\(> 50\) 字符）：Qwen3 MRL \(\to\) TF-IDF + SVD | 0.89 | 6% | 长文本直接截断前 32 维表征发生语义丢失，TF-IDF 表现更稳健 |
| 概率后标定 (D) | 无后标定 \(\to\) 增加结构化矩阵缩放（SMS Calibration） | 0.85 | 18% | 多数树模型经标定后 Log-Loss 改善，仅 TabPFN 与 RealMLP 原生标定更优 |
关键发现¶
- TFMs 在微小型 IID 数据上优势压倒，但在非 IID 严苛场景失速：在 Tiny（100-1k）和 Small（1k-10k）规模的 IID 任务上，TabPFN-2.6 与 TabICLv2 展现出绝对统治力，零调优即可斩获全场最高胜率；然而在 Grouped、Temporal、高维（\(> 100\) 特征）以及高基数类别场景下，调优后的 RealMLP 和 CatBoost 均大幅逆转局势。
- 外层与内层切分协议是评估非 IID 的胜负手：在
musk与sat11_hand_algo_runtime上的实验表明，若错误地使用随机 IID 切分去评估分组数据，测试难度会断崖式下跌（甚至出现所有模型误差归零），排名相关系数分别崩塌至 \(\tau = 0.60\) 与 \(\tau = 0.49\)，证明此前在 IID 基准上建立的诸多 TFM 优越性结论存在假象。 - 算力与效能权衡：针对全量 60 次切分高达 16 年 CPU/GPU 运行时间、5 万美元的庞大开销，所提出的 BeyondArena-Core 子集在节省 5 倍算力的情况下，保持了相比 TabArena-Lite 达 2.3 倍的排名稳定性。
亮点与洞察¶
- 终结“IID 自娱自乐”，确立表格基础模型的真实现实标尺：文章直击当前表格深度学习仅在人工构造的 IID 子集上宣称“超越 GBDT”的虚假繁荣，以清晰的实际业务导向将时序与多实体分组外推树立为硬性门槛。
- 全流程开源基础设施 DataFoundry 与 TabArena 生态集成：不只提供一个静态榜单，而是提供整套可执行的
.ipynb清洗模板、标准元数据规范以及基于 AutoGluon 验证的统一 API，极大降低了后续研究者引入新模型或扩展新数据集的门槛。 - 指明表格模型在复杂特征下的脆弱性：研究揭示了现有 TFM 在长文本（易截断信息）、高基数类别（预训练字典/注意力容量不足）以及多样本组交互（缺乏跨行聚合归纳偏置）上的本质短板，为下一代支持可变长上下文与关系图先验的架构设计指明了方向。
局限与展望¶
- 计算资源限制下的超参搜索与模型范围：由于调优开销巨大，传统模型仅进行了 25 次随机搜索，可能仍未触及其极限上限；同时基础模型仅评估了免微调的上下文学习推理，未涉及特定数据集上的参数微调（Fine-tuning）。
- 部分非 IID 预处理对模型的非对称影响：现行模型无关的分组与文本特征处理对于树模型十分友好，但强制的特征压缩或剔除反而损害了 TabPFN-2.6 的先验结构推理，未来需将预处理纳入端到端联合调优空间。
- 更多真实模态的拓展：未来基准亟需进一步跨入图关系型表格、表格-图像混合多模态、生存分析（Survival Analysis）以及超少样本（\(< 100\)）甚至开放词表动态流式预测。
相关工作与启发¶
- vs TabArena / AMLB: 传统表格基准主要限定在单一数字/类别特征与静态 IID 切分，BeyondArena 将其扩充至时间外推、分组实体不可见及文本多模态，展现出更符合工业界落地痛点的挑战性。
- vs TabReD / TextTabBench: TabReD 专注于时序退化，TextTabBench 局限于图文混合，两者工具链割裂。BeyondArena 提供了统一的 API、统一的 Elo 与 Improvability 评估协议，将碎片化研究统摄至同一基准。
- vs TabPFN / TabICLv2: 原始论文着重展示其在标准 UCI/OpenML 任务上的极速小样本拟合优势，本文客观界定了其能力边界，证实现有 TFM 尚未达成真正的“表格通用智能”。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性破除表格基础模型在非 IID、大尺度与多模态场景下的泛化迷思，基准设计极具开拓性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 142 个严密审计的数据集、11 种模型、多重外层/内层切分与数十项详尽消融，累计计算跨度达 16 年等效机时。
- 写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰，业务场景与数学切分定义严密，图表信息量极其丰富扎实。
- 价值: ⭐⭐⭐⭐⭐ 为表格基础模型和深度学习社区提供了统一规范的基础设施，是未来数年表格领域不可或缺的重要标杆。