STRABLE: Benchmarking Tabular Machine Learning with Strings¶

会议: NeurIPS 2026
arXiv: 2605.12292
OpenReview: https://openreview.net/forum?id=RIVxz1UYR5
代码: https://soda-inria.github.io/strable/
领域: 其他
关键词: 表格学习, 字符串特征, 基准评测, 嵌入后处理, 基础模型

一句话总结¶

针对真实表格中普遍包含字符串而现有基准过度依赖纯数值或人工清洗的盲区，本文构建了涵盖 108 个真实数据集的基准 STRABLE，系统评测 445 种流水线，证明轻量级编码器结合先进表格学习器的模块化方案在 Pareto 前沿全面占优，并揭示了解码器架构 LLM 嵌入在表格降维时的表征几何特性。

研究背景与动机¶

表格数据是企业级机器学习与科学计算中应用最广泛的数据形态。近年来，以 XGBoost、CatBoost 为代表的树模型与 TabPFN-2.5、TabICLv2、RealMLP、TabM 等前沿深度学习和表格基础模型，在各类标准化基准（如 OpenML-CC18、TabArena、TALENT）的推动下取得了显著突破。然而，现有绝大多数表格学习基准都设定在高度理想化的纯数值或低基数分类变量语境下：诸如 PMLB、OpenML-CC18 强制将高基数类别过滤或硬编码为整数，而 AMLB、TabRepo 则在评测前采用固定的经验向量化方案抹平了字符串的语义空间。这种人为的“数值纯净化”与工业界原始表格严重脱节——在实际场景中，表格往往充斥着人名、机构名、结构化编码、简短描述乃至非结构化自由文本。

缺乏包含真实异构字符串的大规模评测套件，导致领域内若干核心研究命题长期悬而未决。研究人员无法明确：处理混合了字符串与数值的复杂表格，究竟是需要端到端（End-to-End）联合建模文本与数值的专用架构（如 CARTE、TabSTAR、ConTextTab），还是仅需“字符串编码器 + 降维后处理 + 表格学习器”的经典模块化流水线？若采用模块化流水线，高维大语言模型（LLM）嵌入是否真正优于传统统计方法（如 Tf-Idf、TargetEncoder）？同时，大模型表征在降维至表格学习器可消化的低维空间时，是否存在尚未被揭示的几何瓶颈？

为填补这一空白，研究需要一个不经人工特征工程裁剪、保留原始异构字符串、且覆盖多样化工业与科学领域的高质量基准。核心 idea：构建首个包含 108 个真实工业与开放数据表格、评测 445 种流水线的带字符串表格学习基准 STRABLE，证明模块化解耦流水线在预测表现与算力开销的 Pareto 前沿上显著超越现有端到端模型，并提出解码器 LLM 嵌入在表格降维中避免表征崩塌的关键后处理准则。

方法详解¶

整体框架¶

STRABLE 围绕真实表格字符串的评测挑战，建立了从数据采集、分类学刻画到模块化评测流水线设计的系统化框架。整个评测流程涵盖数据预处理与标准化、字符串特征表征提取、嵌入降维后处理，以及下游表格学习器拟合与统计检验四个阶段。对于任意输入的多模态表格，流水线首先依据字符串分类学属性分离数值与文本字段，随后通过多种模块化路径或端到端模型进行联合预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始异构数据表格<br/>(108个真实数据集/8大应用领域)"] --> B["真实异构字符串六元分类学与最小化预处理"]
    B --> C["模块化解耦流水线与Pareto最优权衡"]
    C --> D["解码器语言模型表征的几何崩塌与方差归一化后处理"]
    D --> E["基于Kendall-τ与归纳偏置分解的基准泛化性与预言机收敛理论"]
    E --> F["下游任务性能与Pareto前沿决策输出"]

关键设计¶

1. 真实异构字符串六元分类学与最小化预处理策略 以往表格基准要么将字符串简单粗暴地当作低基数离散类别处理，要么仅关注极少数长文本段落，无法反映真实数据分布。STRABLE 提出了细粒度的文本六元语义分类学，涵盖低基数类别（Categorical，占 49.45%）、专有名词（Name，占 22.78%）、结构化代码（Structured Code，如邮编、NDC代码，占 17.01%）、自然语言自由文本（Free Text，占 8.23%）、时间日期（Datetime，占 1.97%）以及纯标识符（Identifier，占 0.5%）。在此基础上，STRABLE 坚持最小化预处理原则：不进行人工特征工程，仅做结构扁平化、剔除全空与单一值列，并对偏态回归目标应用无参数的偏度最小化变换协议（从 $\log(y)$、$\sqrt[3]{y}$、$\operatorname{arcsinh}(y)$ 等候选变换中自动选取最优项）。针对规模过大的表格，统一以 75,000 行作为上限进行分层或随机下采样，以适配下游基础模型在无数据泄露下的公平评测。

2. 模块化解耦流水线与 Pareto 最优权衡 针对业界在“端到端联合建模”与“分阶段特征工程”之间的技术路线分歧，STRABLE 形式化构建了包含 445 种组合的评测体系。评测对比了两大阵营：一是以 CatBoost（原生有序目标编码）、Mambular（基于 Mamba 状态空间模型）、TabSTAR（微调文本骨干）和 ConTextTab（预训练跨行跨列注意力）为代表的端到端架构；二是由“字符串编码器 $\to$ 降维后处理 $\to$ 表格学习器”构成的三阶段模块化流水线。编码器横跨经典统计编码器（Tf-Idf + SVD、TargetEncoder、FastText）、掩码语言模型（BERT、DeBERTa-v3、ModernBERT）与生成式自回归 LLM（LLaMA-3.1-8B、Qwen-3-8B 等），学习器则覆盖岭回归、ExtraTrees、XGBoost、RealMLP、TabM、TabPFN-2.5 与 TabICLv2。实验表明，端到端模型在真实多模态表格上的表现落后于优秀模块化组合；而轻量级编码器（Tf-Idf）搭配强表格学习器（TabPFN-2.5）凭借极低计算延迟和高预测精度构成了 Pareto 前沿的核心中枢。

3. 解码器语言模型表征的几何崩塌与方差归一化后处理 当将参数量达数十亿的 LLM 嵌入用于表格任务时，其输出通常包含数千维向量（如 LLaMA-3.1-8B 达 4096 维），必须经过降维才能被表格模型处理。传统做法直接对其施加截断 PCA（如保留 30 个主成分），但这导致生成式因果解码器模型的性能严重衰减。本文深入探究其表征几何发现：解码器模型由于自回归下采样目标，隐空间呈现明显的各向异性圆锥状聚集（Anisotropic Cone Effect），平均余弦相似度高达 0.57（相比之下 MiniLM-L6-v2 仅为 0.25），且方差极度集中于极少数维度（LLaMA-3.1-8B 的 Gini 系数高达 0.422，而 MiniLM 仅 0.152）。直接做未居中或无尺度归一化的标准 PCA 会导致主成分被少数高方差冗余维度完全支配。为此，STRABLE 提出两类关键后处理机制：其一是在 PCA 前引入标准方差缩放（StandScal + PCA），强制各维度方差均一；其二是直接截取前 30 维（No PCA），利用 Matryoshka 表示学习（MRL，如 Qwen-3-8B）前置高密度语义的特性。该设计使解码器 LLM 嵌入在表格任务上的预测得分相对提升 12% 至 16%。

4. 基于 Kendall-τ 与归纳偏置分解的基准泛化性与预言机收敛理论 一个优秀的基准必须保证其模型排名能够可靠泛化至未知数据集。STRABLE 构建了基于 Kendall-$\tau$ 秩相关系数的收敛理论：在假设数据集从未知总体分布 $\mathcal{D}$ 独立采样下，两独立有限基准间的秩不一致期望渐近满足 $\mathbb{E}[1 - \tau_{N,N}] \approx 2\,\mathbb{E}[1 - \tau_{N,\infty}]$，且收敛速率由最难区分模型对的信噪比 $\rho_{\min} = \min_{i<j} |\Delta_{ij}|/\nu_{ij}$ 决定。为捕捉表格模型的算法偏好，文章进一步提出包含归纳偏置的潜在变量分解： $$X_{i,d} = \mu_i + \beta_i^\top z_d + \epsilon_{i,d}$$ 其中 $z_d \sim \mathcal{N}(0, \Sigma_z)$ 为数据集的元特征向量，模型 $i$ 与 $j$ 的有效两两方差为 $\nu_{ij}^2 = (\beta_i - \beta_j)^\top \Sigma_z (\beta_i - \beta_j) + 2\sigma^2$。分析表明，在 $N=108$ 的样本容量下，STRABLE 产生的流水线排名与无限数据集真实预言机（Oracle）排名的相关性高达 $\mathbb{E}[\tau_{108,\infty}] \approx 0.931$，且在跨领域留一验证与数据准备策略切换下保持极高稳健性（$\tau \ge 0.70$）。

损失函数 / 训练策略¶

评测流程严格遵循双层嵌套交叉验证规范：外层采用 3 折交叉验证评估泛化性能（分类任务结合分层抽样保证正负样本比例）；在每个外层训练分区内，设置内层 8 折交叉验证进行超参数优化（针对 XGBoost、CatBoost、ExtraTrees、Ridge 进行 100 次随机搜索迭代，搜索空间包含树深度、学习率、叶子正则化系数等）。回归任务统一在经偏度最小化变换后的尺度上评测 $R^2$ 得分，分类任务报告 AUROC 指标。模型排名的显著性差异通过非参数 Friedman 检验联合 Conover-Iman 事后配对检验（显著性水平 $\alpha = 0.05$）完成确认。

实验关键数据¶

主实验¶

在由 108 个真实数据集构成的全基准评测中，针对典型模块化与端到端流水线的预测性能及计算运行时长（以每千样本处理秒数计）展开了 Pareto 最优性度量。下表展示了 Pareto 前沿上的代表性流水线及主流基线方案：

编码器方案	表格学习器	综合得分 (R² / AUC)	运行时长 (s/1k样本)	Pareto 状态
TargetEncoder	Ridge (调优)	0.6593	0.0924	Pareto 最优 (极速轻量)
TargetEncoder	ExtraTrees (调优)	0.7290	0.1695	Pareto 最优
Tf-Idf + SVD	ExtraTrees (调优)	0.7407	0.9679	Pareto 最优
LM E5-small-v2 (30-PCA)	ExtraTrees (调优)	0.7422	2.5152	Pareto 最优
Tf-Idf + SVD	TabICLv2	0.7799	2.9988	Pareto 最优 (高精度性价比)
Tf-Idf + SVD	TabPFN-2.5	0.7891	6.6700	Pareto 最优 (最高综合效能)
Qwen-3-8B (First-30)	TabPFN-2.5	0.7880	276.0000	预测天花板 (高延迟非Pareto)
CatBoost (端到端)	原生有序目标统计	0.6950	18.4200	被模块化方案支配
TabSTAR (端到端)	微调 E5-small 骨干	0.7010	45.1000	被模块化方案支配
ConTextTab (端到端)	跨行跨列注意力	0.7290	38.6000	被模块化方案支配

消融实验¶

消融实验重点验证了“数值与文本多模态互补性”、“LLM 嵌入后处理降维方案”以及“不同文本形态对流水线排名的影响”：

实验切片	评测配置 / 模块变体	核心指标 (平均得分 / Gini / Kendall-τ)	机制说明
特征模态消融 (全模型平均)	纯数值特征 (Num-only)	0.4510 (R² / AUC)	丢弃字符串导致性能剧烈退化
特征模态消融 (全模型平均)	纯字符串特征 (Str-only)	0.6260 (R² / AUC)	字符串自身包含比数值更密集的判别信息
特征模态消融 (全模型平均)	数值 + 字符串联合 (Num+Str)	0.6870 (R² / AUC)	双模态融合带来 +0.236 的绝对提升
嵌入后处理消融 (LLaMA-3.1-8B)	默认截断 30-PCA	0.6120 (基线)	维度方差高度集中导致表征崩塌
嵌入后处理消融 (LLaMA-3.1-8B)	标准缩放 + 30-PCA (SS+PCA)	0.6854 (+12.0%)	均一化方差有效消除高方差噪声轴支配
嵌入后处理消融 (LLaMA-3.1-8B)	直接截取前 30 维 (No PCA)	0.6871 (+12.3%)	避开协方差矩阵分解，直接保留自然表征
嵌入后处理消融 (Qwen-3-8B)	默认截断 30-PCA	0.6650 (基线)	无法发挥大模型语义优势
嵌入后处理消融 (Qwen-3-8B)	直接截取前 30 维 (No PCA)	0.7712 (+15.97%)	MRL 训练机制将核心语义高度压缩在前序维度
文本形态影响 (Leading Type)	自由文本主导 (Free Text)	LLM + TabPFN 进入前10	长自然语言字段促使 LLM 语义表征展现优势
文本形态影响 (Leading Type)	类别/代码主导 (Cat / Code)	Tf-Idf + TabPFN 稳居第一	离散短字符串下统计词频与快速查表已达性能极限

关键发现¶

模块化架构全面超越端到端架构：在当前技术水平下，尝试端到端联合训练多模态表格的方法（如 TabSTAR、ConTextTab）在综合预测排名与算力效率上均被成熟的模块化组合（轻量编码器 + 先进表格分类器）拉开显著差距。
解码器与编码器 LLM 展现截然不同的降维敏感性：Encoder-only 架构（如 MiniLM、E5）嵌入方差分布均匀（Gini 0.11-0.16），对标准 PCA 表现出良好鲁棒性；而 Causal Decoder-only LLM（LLaMA、Qwen、OPT）各向异性强、方差高度集中于个别维度（Gini 0.24-0.42），若不经方差标准化或切片后处理，标准 PCA 会使其损失超过 12% 的性能。
词数/单元格是重塑模型排名的核心要素：在探讨哪些元特征会导致模型排名剧烈变动时，每单元格平均词数（Avg words/cell）是唯一造成排名颠覆的扰动因子（$\tau \approx 0.09$）。当表格以离散短字符为主时，Tf-Idf 足以制胜；而在长自由文本情境下，大参数量 LLM 编码器优势凸显。

亮点与洞察¶

颠覆“表格越复杂越需要大模型”的盲目预设：实验揭示在现实世界表格中，超过 89% 的文本列为高频短字符串（人名、编码、类别），其判别信号高度富集在离散 token 匹配而非复杂句法推理上；简单基于字符级 n-gram 的 Tf-Idf 搭配 TabPFN-2.5，能在 1/40 运行时长下取得与 8B LLM 持平乃至更优的泛化表现。
指明表格学习中利用生成式大模型嵌入的正确姿势：明确了将自回归 LLM 嵌入接入表格分类器时的致命陷阱（各向异性与方差集中），给出了“MRL 截断切片”或“先标准化再 PCA”的低成本后处理标准配方，为未来多模态表征工程提供了可直接复用的工程准则。
严密自洽的基准统计力学与样本量保证：不仅给出实验结果，更从理论上证明了 108 个数据集对无限预言机排名的收敛性（$\tau > 0.93$），并剖析了归纳偏置对模型区分度的影响，为机器学习基准设立了严谨的理论标杆。

局限与展望¶

长文本与时序动态建模覆盖不足：作者在讨论中承认，STRABLE 聚焦于工业数据科学常见表格形态，短字符占绝对主导，因此对长篇段落、文档级混合表格的评测支持相对有限；同时基准专注于 I.I.D. 任务，未纳入时序切分和时间依赖结构。
未能涵盖指令微调型自回归直接预测范式：基准仅将 LLM 作为特征提取器（Feature Extractor），未大规模评测序列化提示词驱动的 In-Context 文本生成预测范式（如 TabuLa），主要受制于序列化微调高昂的端到端算力成本与超参敏感性。
未来方向：探索动态自适应路由机制——根据列元特征（如词长、多样性阈值 CT=30）自动在轻量统计编码与大语言模型嵌入间分流，并构建原生适配混合表格几何特性的紧凑降维投影算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对真实表格字符串异构性提出系统分类学与大规模无偏基准，填补了长期存在的学术空白。
实验充分度: ⭐⭐⭐⭐⭐ 评测 445 种流水线、耗费 842 计算天，覆盖 108 个真实数据集，消融与理论推导详实深入。
写作质量: ⭐⭐⭐⭐⭐ 逻辑叙述严密流畅，实验洞察直击痛点，数学理论推导与经验证据完美呼应。
价值: ⭐⭐⭐⭐⭐ 彻底理清了“表格中何时使用大模型、如何使用大模型”的实践指南，对工业表格建模和基础模型研发具有里程碑意义。