Enhancing Tabular Learners with Context-Aware Semantic Embeddings¶

会议: NeurIPS 2026
arXiv: 2608.03565
代码: https://github.com/SAP-samples/case
领域: 学习理论
关键词: 表格学习, 上下文感知嵌入, 语言模型预训练, 特征增强, 低资源学习

一句话总结¶

针对传统表格学习器视文本特征为离散符号且孤立行编码缺失全局语境的问题，本文提出 CASE 框架，通过在自建表格语言模型中预填充训练集行组成的 KV 缓存构建持久语义锚点，提取与目标对齐的上下文行级嵌入并融合 PCA 降维特征，显著提升了 GBDT 与表格上下文学习器在富语义与低样本场景下的预测性能。

研究背景与动机¶

现实世界中的表格预测任务普遍包含高度非结构化的富文本信息，例如具有具体业务内涵的列名、高基数语义类别以及自由文本描述列。然而，长期在表格建模领域占据主导地位的梯度提升决策树（如 XGBoost、CatBoost）以及新兴的纯数值上下文学习器（如 TabPFN、TabICLv2），在设计范式上均处于某种“语义真空”中。这类统计模型本质上依赖有限特征空间中的数值分布与几何拓扑结构寻找统计规律，将离散文本或类别编码为互不关联的整数标签或粗糙的 n-gram/TF-IDF 稀疏表示，完全忽略了表头命名、单元格文本背后蕴含的常识语义与概念层级。

大语言模型（LLM）虽然在海量语料预训练中习得了广博的世界知识与跨领域推理能力，但在直接充当表格端到端预测器时存在严峻的结构性失调。表格的文本线性序列化效率极低，单元格展开会导致输入 token 长度随着行数和列数膨胀呈平方级恶化。受限于实际上下文窗口大小与自回归解码开销，传统 LLM 预测器仅能接收极少量的上下文样本行，在样本量较大或高维纯数值场景下的建模能力反而远逊于高度优化的树模型与专用表格模型。现有试图融合两者的方案大多停留在孤立编码层面，例如使用通用句子向量编码器对单个单元格或独立行生成向量，这种做法割裂了当前样本与整张表格全局分布的依存关系，缺乏必要的数据集语义锚点来消解多义性与相对数值尺度。

将 LLM 的先验语义空间与统计表格学习器的大规模模式匹配能力结合，关键矛盾在于如何在不让 LLM 承担重度端到端生成开销的前提下，将整张表格的全局语义分布注入到每个独立行的特征表示中。本文的切入角度是解耦“语义锚定”与“统计判决”：由定制预训练的表格语言模型充当具备上下文先验的特征增强器，而下游判别由统计表格模型负责。核心 idea：利用监督目标填补任务微调的解码器架构表格语言模型，通过预填充训练集样本行与目标的 KV 缓存建立持久的语义流形锚点，在单次前向传播中提取与目标对齐的上下文行向量并降维拼接入特征矩阵，为任意下游表格模型赋予全局语义先验。

方法详解¶

整体框架¶

CASE（Context-Aware Semantic Embeddings）由两大约束解耦但协同的阶段构成：底层表格语言模型（Tabular Language Model, TLM）的持续预训练阶段，以及面向下游预测任务的上下文启动表征增强阶段。在预训练阶段，模型基于开源 Gemma 3 骨干网络，通过统一的表格线性序列化策略，以序列中的特殊标记区分表头、单元格与预测目标，仅在目标标记位置施加交叉熵损失，使自回归注意力机制深度对齐“在特征上下文下推断特定列”的内在逻辑。在增强推断阶段，算法从待解任务的训练集中均匀抽取代表性样本行预填充进入模型的 KV 缓存（Context Priming），从而在注意力层中固化整张表格的语义与目标分布流形；随后将每个待编码样本追加在固定 KV 缓存后，提取其目标引导标记处的隐层向量，经由训练集拟合的 PCA 压缩后与原特征矩阵拼接，交由下游统计学习器进行训练与推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入原始表格数据<br/>表头 + 训练/测试样本行"] --> B["阶段 1：表格自回归持续预训练<br/>仅对目标标记施加掩码交叉熵损失"]
    B --> C["阶段 2：KV 缓存上下文启动<br/>预填充 k=128 训练样本构建持久语义锚点"]
    C --> D["阶段 3：目标引导行嵌入提取<br/>基于固定 KV 缓存抽取单次前向 BOT 隐向量"]
    D --> E["阶段 4：主成分特征降维与融合<br/>PCA 压缩至 32 维并与原特征拼接"]
    E --> F["下游统计学习器预测<br/>TabICLv2 / GBDTs / RealMLP 训练与评估"]

关键设计¶

1. 表格自回归序列化与目标掩码持续预训练

传统通用大语言模型在直接处理表格时常常因缺少结构化归纳偏置而无法正确解析行列对齐关系。为此，CASE 基于支持 128k 超长上下文窗口的 Gemma 3 解码器架构构建表格语言模型 TLM（参数规模覆盖 270M 至 12B）。对于包含 $F$ 个特征与目标 $y$ 的表格，首先将其表头序列化为语义标记序列： $$\mathbf{H} = c_1 \parallel \texttt{[EOC]} \parallel c_2 \parallel \texttt{[EOC]} \parallel \dots \parallel c_{F+1} \parallel \texttt{[EOC]} \parallel \texttt{[EOR]}$$ 其中 $\parallel$ 表示沿序列维度的拼接，$\texttt{[EOC]}$ 代表单元格结束符，$\texttt{[EOR]}$ 代表行结束符。每个样本行 $r_i$ 依次连接其特征值与目标值，并在两者之间插入目标起始标记 $\texttt{[BOT]}$（Beginning-of-Target）： $$\mathcal{S}(r_i) = v_{i,1} \parallel \texttt{[EOC]} \parallel \dots \parallel v_{i,F} \parallel \texttt{[EOC]} \parallel \texttt{[BOT]} \parallel y_i \parallel \texttt{[EOR]}$$ 在真实的 T4 真实世界表格语料库上，模型以无监督方式构造填空预测任务：随机选定一列作为目标，其余列作为条件输入，将 256 行数据拼接为长度上限 16k 的长序列。不同于传统的全序列自回归损失，模型的优化目标仅计算目标标记集合 $\mathcal{I}_{\text{target}}$ 上的条件负对数似然： $$\mathcal{L}(\theta) = -\sum_{t \in \mathcal{I}_{\text{target}}} \log P(s_t \mid s_{<t}; \theta)$$ 由于因果掩码的天然特性，序列中的每一个目标单元格均充当了不同有效上下文长度下的训练样本，不仅极大地提高了单步训练的样本利用率，还强制注意力头在预测目标时优先聚合全局表头与同批次样本间的统计关联，使隐层表征天然具备任务感知与语义对齐能力。

2. 基于持久 KV 缓存的上下文启动机制

针对现有行嵌入方法普遍在单行隔离（in isolation）环境下计算、导致同义词在不同业务场景下语义漂移和多义性失真的痛点，CASE 提出了 Context Priming 机制。在面向特定下游数据集时，算法从训练划分中随机抽取包含特征与真实标签的样本子集 $\mathcal{C}$（默认设定 $k=128$ 行，最大扩展至 32k tokens）。将该子集经序列化后送入预训练 TLM 进行单次前向传播，保留各自注意力层生成的键值（KV）缓存作为持久只读前缀。当输入任意需要编码的单行数据 $r_i$ 时，直接复用已填充的 KV 缓存，使得 $r_i$ 的自注意力计算能够直接对齐训练集样本的特征分布和目标规律。通过这种方式，单行数据的表征被牢固锚定在当前数据集特定的语义流形之中，以极低的计算代价消解了孤立文本表述中的歧义。

3. 目标起始标记隐向量提取与免生成推理

在标准的大语言模型表格推断中，通过自回归贪婪或采样解码逐 token 生成目标值往往极其缓慢，且易受到幻觉和数值分词缺陷的影响。CASE 完全摒弃了昂贵的多步自回归生成阶段。当单个目标行 $r_i$ 经过附带预填充 KV 缓存的模型前向传播后，直接截取最终隐层在最后一个 $\texttt{[BOT]}$ 标记位置处的隐藏状态向量 $\mathbf{e}_i$ 作为该行的语义表征。$\texttt{[BOT]}$ 处于特征 token 序列与目标真实值之间，模型在预训练时正是通过该标记聚集所有上文条件以预测后续目标 token。因此，该位置的隐向量天然凝聚了全行特征的语义摘要及其向目标空间投影的先验预期，无需执行语言模型解码头（LM Head）即可在一轮前向推理中获得最具判别力的任务对齐向量。

4. 主成分分析特征压缩与双轨表征拼接

由 Gemma 3 12B 模型导出的初始隐向量维度高达 $d = 4096$，若直接将其展开拼接至原始特征空间，会导致维度爆炸，极易使得基于注意力的表格上下文模型（如 TabICLv2）发生显存溢出，或使基于贪心分裂的树模型在高维密集噪声中迷失。针对该问题，CASE 引入基于训练集的严格防泄漏降维流程：仅在训练集抽取的嵌入矩阵 $\{\mathbf{e}_1, \dots, \mathbf{e}_n\}$ 上拟合主成分分析（PCA）投影矩阵，将其无损主成分压缩至 $d' = 32$ 维，并冻结该变换映射应用于所有测试样本。最终构造出的增强特征矩阵定义为： $$\mathbf{X}_{\text{T}} = [\mathbf{X}_{\text{org}} \parallel \operatorname{PCA}(\mathbf{E})]$$ 其中 $\mathbf{X}_{\text{org}}$ 为原特征集合。该设计兼具统计严密性与工程高效性：相较于传统 TF-IDF 方案按文本列独立降维（$C$ 个文本列扩展出 $32 \times C$ 个特征），CASE 无论输入表包含多少文本列，均以恒定的 32 维常数开销注入高密度语义先验，实现了模型泛化性与注意力计算复杂度的最优帕累托平衡。

一个完整示例¶

以二手车估价数据集为例，表格包含文本列（品牌、型号、车况描述）与数值列（里程、年份），目标变量为二手车价格。 1. 序列化：表头首先被编码为 品牌 [EOC] 型号 [EOC] 车况 [EOC] 里程 [EOC] 年份 [EOC] 价格 [EOC] [EOR]； 2. KV 缓存预填充：从训练集中抽取 $k=128$ 行代表性成交记录（含输入配置与真实成交价格），送入 12B TLM 计算键值状态并锁存为静态 KV 缓存； 3. 单行编码：对于待预测样本（如“特斯拉 Model 3，九成新，3万公里，2021”），在拼接 [BOT] 后送入模型，复用 KV 缓存执行单次前向传播，并在 [BOT] 位置抽取 4096 维隐藏层表征； 4. 降维与下游预测：利用训练集预先训练好的 PCA 矩阵将该 4096 维向量投影为 32 维密集实数特征，与归一化后的里程、年份拼接为统一特征向量，送入下游 TabICLv2 进行价格预测。

实验关键数据¶

主实验¶

论文在高度强调语义属性的权威基准 CARTE（20个分类与51个回归任务）、TextTab、以及偏重纯数值模式的 TabArena 基准上进行了全面评测。分类任务评估平均准确率（Acc, %），回归任务评估软截断可解释方差（$R^2$, %），并计算所有任务上的平均综合排名（Rank, 越低越好）。

模型配置	综合 Rank	全局 Acc (%)	全局 $R^2$ (%)	CARTE Rank	CARTE Acc	CARTE $R^2$	TextTab Rank	TextTab Acc	TextTab $R^2$	TabArena Rank	TabArena Acc	TabArena $R^2$
TabICLv2 w/ CASE	2.7	86.5	76.1	1.3	81.0	77.5	2.9	85.7	68.2	4.0	88.3	78.5
AutoGluon (4h best)	3.1	85.6	73.9	2.6	78.8	73.7	3.7	83.5	67.5	3.4	88.1	79.9
ConTextTab	3.8	85.1	71.2	3.2	77.1	72.4	3.9	84.4	58.8	4.4	87.6	77.8
RealMLP	4.0	84.8	70.8	4.5	74.6	68.6	4.0	82.0	68.3	3.6	88.4	79.7
CatBoost	4.2	85.2	69.9	4.7	76.3	68.3	3.6	83.7	65.4	3.8	88.2	79.0
TabPFN-2.6	4.3	84.2	64.8	6.7	70.7	59.9	4.6	81.5	63.8	1.8	88.7	80.5
TabICLv2 (vanilla)	4.5	84.3	61.1	6.9	70.5	55.3	4.5	82.5	60.2	2.1	88.7	79.9
XGBoost	5.3	84.2	69.1	5.7	73.5	66.9	5.1	81.4	65.4	5.1	87.9	78.8
Naive 基线	8.5	70.1	-3.5	9.0	53.0	-1.7	8.6	70.4	-5.5	8.1	75.0	-7.3

消融实验¶

针对特征编码形式、上下文机制有效性及表征来源，论文在 CARTE 与 TextTab 基准上系统对比了 TabICL 结合不同特征工程变体的消融表现：

特征配置变体	平均 Rank	平均 Acc (%)	平均 $R^2$ (%)	变体设计与性能说明
TabICL [TF-IDF + CASE]	1.97	83.1	75.5	完整模型：统计预处理叠加 CASE 语义嵌入，表现最佳
TabICL [Default + CASE]	3.38	82.5	73.9	默认特征无 TF-IDF，仅叠加 CASE 嵌入，表现稳健
TabICL [Row-Embedding]	3.52	81.7	73.7	$k=0$ 无上下文孤立行编码，语义多义性导致回归精度下降
TabICL [Cell-Embedding]	4.28	81.2	72.0	基于通用 MiniLM 句子向量的逐单元格独立编码，缺乏表格结构感知
TabICL [CASE w/o $\mathbf{X}_{\text{org}}$]	4.41	82.1	71.7	仅使用 32 维 CASE 嵌入，不包含原始特征，证明语义特征独立信息量充足
TabICL [Gemma3]	4.48	81.8	72.5	使用未经表格微调的原始开源通用 Gemma 3 12B 提取表征，结构对齐能力不足
TabICL [TF-IDF]	4.76	80.9	69.7	仅依赖 Skrub TF-IDF 统计稀疏特征，无法捕获深度语义
TabICL [Default]	7.06	75.9	56.4	纯数值/原生输入下的 vanilla 基线，在富语义场景下出现明显断崖

关键发现¶

语境锚定的决定性作用：从无上下文独立行编码（$k=0$）切换至仅包含 1k tokens 上下文（$k \approx 8 \sim 16$ 行）时，模型在所有参数规模下均展现出断崖式的阶跃式提升（“contextual leap”）；且在随机换用 5 组完全不同的上下文采样随机种子时，性能标准差极小（CARTE 准确率方差仅为 $\pm 0.2\%$），表明模型学习到的是整表的数据集级语义流形，而非死记硬背特定锚点样本。
参数与数据规模双重扩展律：TLM 骨干网络从 270M 扩展至 12B 时，下游任务表现呈单调递增，验证了更强大的通用语言模型内部内嵌着更精确的概念层级映射知识。
少样本场景统治力：在 CARTE 训练集行数从 88k 下采样至 128 行的严苛低数据极限下，CASE 展现出远超传统学习器的抗退化能力，语言模型预训练蕴含的世界知识先验有效弥补了样本匮乏带来的统计方差。
纯数值边界与折中：在几乎完全由连续数值特征构成的 TabArena 基准上，TabICLv2 w/ CASE 出现微弱但统计显著的掉点（分类微降 0.4%，回归 $R^2$ 从 79.9% 降至 78.5%）。消融证明在纯数值任务中注入与语义无关的 32 维稠密特征等价于引入不可约噪声，表明 CASE 作为针对富语义场景的专用特征增强器，应按任务领域与文本密度择机启用。

亮点与洞察¶

解耦“语义先验”与“统计判决”的高效范式：以往工作纠结于用 LLM 直接生成预测结果还是纯靠表格树模型拟合，本文巧妙地让 LLM 充当带全局上下文的特征生成器，将统计推理重任交还给 GBDT 和表格基础模型，实现了两种不同计算范式的有机互补。
面向预测对齐的特殊标记隐向量抽取：不依赖语言模型自回归逐步解码生成，而是直接在单次前向传播中捕获与后续目标强绑定的 [BOT] 隐藏状态，既避免了复杂的后处理文本解析，又将推理延迟锁定在毫秒级前向计算。
恒定特征预算设计规避高维灾难：传统的表格文本特征提取方法通常随文本列数线性膨胀维度（如 $32 \times C$），而 CASE 采用整体序列化后的全局 PCA 投影，将下游模型的特征维度消耗恒定锁定在 32 维，极大地保障了对注意力表格模型和集成树模型的计算亲和性。

局限与展望¶

置换等变性归纳偏置的缺失：底层自回归语言模型的序列输入格式决定了模型在数学结构上无法严格满足表格天生的行置换不变性与列置换等变性。虽然论文实验证实随机打乱列名顺序的实际影响处于统计置信区间内，但未来的架构设计仍需探索原生支持置换不变性的注意力模式。
随机上下文采样的代表性瓶颈：当前 KV 缓存的填充机制基于简单均匀随机抽样，对于严重不平衡分布、长尾离群值或多模式混合分布的复杂表格，随机抽样可能会遗漏决定性边界样本，未来结合主动学习或重要性采样的代表性样本选择策略有望进一步增强鲁棒性。
线性降维的表达能力局限：将 4096 维的高阶非线性表征通过简单 PCA 投影至 32 维，可能丢失细粒度的微弱流形结构，探索流形学习或轻量自编码器是非线性特征压缩的有价值方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出基于自回归 TLM 掩码预训练及 KV 缓存启动的上下文感知表格嵌入机制，构思新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 CARTE、TextTab、TabArena 及 STRABLE 4 大基准、70 余个任务，包含语义置乱、列排列、显著性检验及帕累托耗时测试，论证极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，方法框架图文并茂，实验对比严谨自洽。
价值: ⭐⭐⭐⭐⭐ 成功打通了大模型广博世界知识与传统表格统计学习器之间的技术鸿沟，为现代表格基座模型应用提供了极具落地价值的标准工程蓝图。