Strengthening LLMs for Tabular Prediction with Structural Priors¶
会议: NeurIPS 2026
arXiv: 2510.17385
代码: https://github.com/cpx997/PRPO
领域: 强化学习
关键词: 表格预测, 强化学习, 结构先验, 置换不变性, 策略优化
一句话总结¶
针对大语言模型在结构化表格预测中面临的结构先验缺失与强化学习奖励稀疏困境，本文提出置换相对策略优化（PRPO），通过保持真实标签的列置换不变性与双层优势估计稠密化学习信号，使 8B 开源模型在零样本迁移与全监督设置下匹敌甚至超越 XGBoost、CatBoost 及 TabPFN 等专用表格模型。
研究背景与动机¶
表格数据预测是机器学习领域应用最广泛的基础任务之一，深入渗透至医疗诊断、金融风控与推荐系统等关键业务。长期以来，该领域由基于梯度提升决策树（GBDT，如 XGBoost、CatBoost、LightGBM）与专用深度表格网络（如 TabNet、DANets、TabPFN）牢牢占据统治地位。然而，这类专用模型大多依赖单任务特定的监督训练，跨任务零样本迁移能力极其有限，且模型内部特征交互机制黑盒化严重，缺乏面向高信度决策场景的可解释推导过程。
大语言模型（LLM）的兴起为表格预测带来了全新的泛化范式与透明的思维链推理能力。然而，直接将通用文本 LLM 迁移至表格预测任务却面临严重的“结构鸿沟”（Structure Gap）：标准语言预训练与通用指令微调仅学习非结构化自然语言序列，无法天然感知表格数据的内在代数与置换对称性；更关键的是，将长链推理强化学习（如 DeepSeek-R1 中的 GRPO）直接迁移至表格领域时，会遭遇致命的奖励稀疏难题。表格预测缺乏中间过程级反馈，仅依赖最终标签的二值或连续误差，导致庞大如 DeepSeek-R1（685B）的模型在未经表格对齐时，二分类零样本准确率仅徘徊在 57% 左右，策略模型在庞大的输出空间中陷入盲目随机探索。
这种失败的核心矛盾在于：表格语义在特征列排序变换下严格具备置换不变性，但自回归序列模型天然对特征的输入词序敏感；现有的相对优势估计在稀疏奖励下几乎无法为采样轨迹提供有效梯度。本文的核心 idea 是：将表格语义的列置换不变性显式作为结构先验注入强化学习后训练，提出置换相对策略优化（PRPO），通过对单一样本进行保持标签的列置换扩增并计算“组内-跨组”双层相对优势，将稀疏的结果反馈转化为稠密、低方差的学习信号。
方法详解¶
整体框架¶
PRPO 的核心目标是通过利用表格列置换不变性（Column-Permutation Invariance）来强化强化学习后训练过程。整个工作流分为结构化表格文本序列化、列置换多变体生成、策略轨迹采样与规则奖励评估、以及双层相对优势函数估计与策略更新四个串行阶段。
首先，输入的表格行样本被序列化为结构化自然语言描述，并结合具体任务问题提示词构建基础输入；接着，系统从特征列对称群中采样 \(m\) 种不同的列置换生成多视角变体，并针对每个变体由当前策略模型采样生成 \(G\) 条候选推理轨迹；随后，基于输出中的结构化标签通过客观规则计算验证奖励；最后，分别在排列变体内部计算局部优势，并在所有变体池化后计算全局优势，将加权融合后的复合优势代入 PPO 裁剪目标中实现端到端优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["表格原始样本与预测问题<br/>特征集合 F、特征值 x、目标标签 y*"] --> B["保持标签的列置换变体构建<br/>从对称群 S_n 采样 m 种特征列排列"]
B --> C["结构化文本序列化与推理封装<br/>生成自然语言句子并注入 think 标签"]
C --> D["策略模型多路轨迹采样<br/>对每个变体生成 G 条候选推理链与预测"]
D --> E["规则验证奖励计算<br/>格式合规性与真值匹配打分"]
E --> F["双层相对优势函数估计<br/>融合组内优势与全局跨排列优势"]
F --> G["裁剪策略目标优化与更新<br/>PPO 目标更新模型参数并施加 KL 约束"]关键设计¶
1. 保持标签的列置换数据变体构建：利用对称群先验攻克奖励稀疏难题
针对表格自回归生成过程中对特征输入顺序极其敏感、且单次采样正向奖励匮乏的问题，该设计显式形式化并利用了表格的列置换对称性。设包含 \(n\) 个特征的表格行为 \(T = \{x_1, x_2, \dots, x_n, y\}\)，其中特征索引集合的置换群为对称群 \(S_n\)（阶数 \(|S_n| = n!\)）。在真实映射下，任意特征置换 \(\pi \in S_n\) 均严格保持真实标签不变：\(f^*(T) = f^*(\pi(T)) = y^*\)。
在实际实现中，算法并非暴力遍历庞大的置换群，而是对每个样本均匀随机采样 \(m\) 个正交置换变体 \(\{t_1, t_2, \dots, t_m\}\)，其中 \(t_k = \pi_k(T)\)。在后续采样中，每个变体生成 \(G\) 条轨迹，从而在单个训练样本上衍生出 \(m \times G\) 次独立探索。这一机制从数学上直接证明（Theorem A.4）将单样本观察到至少一次正向奖励的概率从标准 GRPO 的 \(1 - (1 - p_{\text{success}})^G\) 显著提升至 \(1 - (1 - p_{\text{success}})^{mG}\)，在模型冷启动阶段彻底打破了无奖励可学的死锁状态。
2. 结构化文本序列化与可验证奖励定义：规范思维链与客观规则校验
针对非结构化文本与强结构化数值之间的表示不兼容问题，该设计采用固定的自然语言模板序列化函数 \(\text{serialize}(F, x)\)，将每个特征-值对转化为清晰的原子陈述从句（如 "The [feature] is [value]."），并严格按照当前置换变体的特征次序连接成完整段落。为引导模型展开因果推理并显式解耦中间状态与最终结论，模型输入拼接任务预测问题 \(Q\)，并强制模型使用 <think>...</think> 输出内部推导轨迹，使用 <answer>...</answer> 封装唯一最终预测 \(\hat{y}_{k,i}\)。
基于清晰隔离的预测结果，设计了完全脱离神经奖励模型幻觉的客观规则奖励函数 \(R(\hat{y}_{k,i})\)。对于分类任务，奖励结构明确区分真值命中与格式规范性： $$ R(\hat{y}{k,i}) = \begin{cases} 1.0 & \text{若 } \hat{y}} = y^* \ 0.1 & \text{若 } \hat{y{k,i} \neq y^* \text{ 且格式完全合规} \ 0.0 & \text{格式错误或无法解析} \end{cases} $$ 对于回归任务，利用归一化平均绝对误差（NMAE）设定容差门槛： $$ R(\hat{y} $$ 通过小额格式奖励维持弱探索期的语言一致性，同时依靠稀疏的主体奖励引导真实的数值与逻辑推理。}) = \begin{cases} 1.0 & \text{若预测有效且 } \text{NMAE} < 0.1 \ 0.1 & \text{若预测有效且 } \text{NMAE} \geq 0.1 \ 0.0 & \text{格式无效或非数值输出} \end{cases
3. 双层相对优势函数估计：兼顾局部扰动对比与全局方差缩减
标准 GRPO 仅在单一输入的候选生成组内进行相对均值归一化，当样本因特定特征词序导致全组生成皆错时，归一化优势全为 0，无法提供任何有效学习梯度；而若仅做全局池化，又会忽略同一列顺序下局部探索的相对优劣。为此，PRPO 构建了组内（Intra-permutation）与跨组（Inter-permutation）的双层优势协同估计架构。
对于置换变体 \(k\) 中的第 \(i\) 条生成轨迹，组内优势 \(\hat{A}^{(1)}_{k,i}\) 衡量其在当前特定特征呈现顺序下的局部表现： $$ \hat{A}^{(1)}{k,i} = \frac{R(\hat{y}}) - \mu_k}{\sigma_k}, \quad \mu_k = \frac{1}{G}\sum_{j=1}^G R(\hat{y{k,j}) $$ 同时，将所有 \(m\) 个变体的全部 \(m \times G\) 条候选输出汇聚为统一的全局池，计算跨置换全局优势 \(\hat{A}^{(2)}_{k,i}\)： $$ \hat{A}^{(2)}} = \frac{R(\hat{y{k,i}) - \mu) $$ 最终复合优势通过线性加权融合：}}}{\sigma_{\text{global}}}, \quad \mu_{\text{global}} = \frac{1}{mG}\sum_{k=1}^m \sum_{j=1}^G R(\hat{y}_{k,j\(\hat{A}^{\text{PRPO}}_{k,i} = \alpha \hat{A}^{(1)}_{k,i} + (1-\alpha) \hat{A}^{(2)}_{k,i}\)。理论分析证明（Theorem A.3），全局均值 \(\mu_{\text{global}}\) 的方差缩小为局部均值的 \(1/m\)（即 \(\text{Var}[\mu_{\text{global}}] = \sigma_R^2 / (mG)\)），通过引入更大的跨排列池化对比，整体优势梯度的方差严格满足 \(\text{Var}[\hat{A}^{\text{PRPO}}] \leq \text{Var}[\hat{A}^{\text{GRPO}}]\)，极大稳定了策略迭代动态。
一个完整示例¶
假设处理医疗诊断二分类任务中的一个患者样本，原始特征为 [Age: 62, Cholesterol: 240, BP: 145]，真实标签 \(y^* = 1\)（患病）。
- 变体构建：系统设置 \(m=2\)。变体 1 保持原序：
"The Age is 62. The Cholesterol is 240. The BP is 145."；变体 2 打乱特征列："The BP is 145. The Age is 62. The Cholesterol is 240."。两者均拼接问题 \(Q\)。 - 轨迹采样：每个变体采样 \(G=3\) 条轨迹（总计 6 条）。
- 变体 1 生成输出，解析答案分别为 \([1, 0, 1]\)，对应奖励为 \([1.0, 0.1, 1.0]\)。组内均值 \(\mu_1 = 0.70\)，标准差 \(\sigma_1 \approx 0.42\)。其组内优势 \(\hat{A}^{(1)}_{1, \cdot}\) 分别为 \([+0.71, -1.43, +0.71]\)。
- 变体 2 由于打乱特征后模型注意力出现偏差，解析答案分别为 \([0, 0, 0]\)（皆格式正确但预测错误），对应奖励 \([0.1, 0.1, 0.1]\)。组内均值 \(\mu_2 = 0.10, \sigma_2 \to 0\)。若仅依靠局部优势，变体 2 内部三条轨迹将被全置为 0，模型无法获知“乱序下的预测劣于正序”。
- 全局估计与融合：汇聚全部 6 条采样，总奖励列表为 \([1.0, 0.1, 1.0, 0.1, 0.1, 0.1]\)。全局均值 \(\mu_{\text{global}} = 0.40\)，全局标准差 \(\sigma_{\text{global}} \approx 0.44\)。变体 2 中三条轨迹的全局优势均为 \(\hat{A}^{(2)}_{2, \cdot} = (0.1 - 0.40)/0.44 = -0.68\)。
- 最终反馈：在设定 \(\alpha=0.1\) 时，变体 2 的最终优势获得明确的负向更新信号 \(\hat{A}^{\text{PRPO}}_{2, \cdot} = 0.1 \times 0 + 0.9 \times (-0.68) = -0.61\)，迫使策略模型在面对乱序特征时抑制错误直觉，向具备置换不变性的鲁棒推理模式收敛。
损失函数 / 训练策略¶
PRPO 的参数更新基于 PPO 风格的带截断重要性采样目标，并在全排列与轨迹维度联合累加，同时添加参考模型 \(\pi_{\text{ref}}\) 的 KL 散度惩罚以抑制策略漂移： $$ \mathcal{L}^{\text{PRPO}}(\theta) = \mathbb{E}x \left[ \sum}^m \sum_{i=1}^G \min\left( r_{k,i}(\theta) \hat{A}^{\text{PRPO}{k,i}, \, \text{clip}(r}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}^{\text{PRPO}{k,i} \right) \right] - \beta D(\cdot|q_k)\big] $$ 其中策略重要性比率为 }}\big[\pi_\theta(\cdot|q_k) \,|\, \pi_{\text{ref}\(r_{k,i}(\theta) = \frac{\pi_\theta(o_{k,i}|q_k)}{\pi_{\text{ref}}(o_{k,i}|q_k)}\)。
训练超参数与环境配置如下： - 基座模型：Qwen3-8B-Base，在 Verl 强化学习分布式框架上实现。 - 硬件配置：1 台计算节点配置 8 张 NVIDIA H100-80G GPU，CUDA 12.6。 - 批量与上下文：全局训练批大小 128，PPO mini-batch 大小 32，单卡 micro-batch 大小 4；最大输入提示长度 5120，最大生成长度 1024。 - 采样与优势权重：置换数 \(m=4\)，单排列采样轨迹数 \(G=5\)（单样本总计 20 次采样）；优势权重系数 \(\alpha=0.1, \gamma=(1-\alpha)=0.9\)；裁剪系数 \(\epsilon=0.2\)；KL 惩罚系数 \(\beta=0.001\)。 - 优化器参数：学习率固定为 \(1 \times 10^{-6}\)，训练周期为 30 个 Epoch，熵正则系数设为 0。
实验关键数据¶
主实验¶
论文基于 OpenML 收集的 139 个真实多领域数据集展开全面评估（包含 103 个分类任务与 36 个回归任务）。主实验在两个层级对比基线：全监督微调设置（50 个分类数据集、15 个回归数据集）以及未见数据集上的跨任务零样本迁移与 32-shot 少样本提示设置（53 个未见分类数据集、21 个未见回归数据集）。
表 1：全监督设定下的平均表现对比（分类 Accuracy ↑ 与回归 NMAE ↓）
| 模型类别 | 模型名称 | 分类均值准确率 (Acc. ↑) | 回归均值误差 (NMAE ↓) |
|---|---|---|---|
| 专用树模型 | XGBoost | 0.8234 | 0.1682 |
| 专用树模型 | LightGBM | 0.8321 | 0.1607 |
| 专用树模型 | CatBoost | 0.8398 | 0.1458 |
| 专用先验模型 | TabPFN | 0.8413 | 0.1236 |
| 本文方法 (8B LLM) | Ours (PRPO-Qwen3-8B) | 0.8436 | 0.1499 |
表 2：未见数据集上的跨任务零样本迁移与 32-shot 少样本结果对比
| 类别 / 模型 | 参数规模 | 53 分类：Zero-shot 迁移 | 53 分类：32-shot 适应 | 21 回归：Zero-shot 迁移 | 21 回归：32-shot 适应 |
|---|---|---|---|---|---|
| 通用大模型 | |||||
| Qwen2.5-7B | 7B | 0.5804 | 0.6012 | 0.2021 | 0.1961 |
| Qwen2.5-32B | 32B | 0.5930 | 0.6042 | 0.3146 | 0.2754 |
| Qwen3-8B | 8B | 0.5765 | 0.6110 | 0.2409 | 0.2173 |
| Qwen3-32B | 32B | 0.5599 | 0.6020 | 0.2370 | 0.2060 |
| Qwen3-235B | 235B | 0.5870 | 0.5973 | 0.2544 | 0.2190 |
| DeepSeek-R1 | 685B | 0.5313 | 0.5895 | 0.2329 | 0.2247 |
| DeepSeek-R1-0528 | 685B | 0.5519 | 0.5943 | 2.3435 | 1.0681 |
| 专用表格模型 | |||||
| TabLLM | ~7B | — | 0.7246 | — | — |
| Tabula-8B | 8B | 0.6468 | 0.7165 | — | — |
| XGBoost | — | — | 0.7219 | — | 0.1744 |
| LightGBM | — | — | 0.7312 | — | 0.1246 |
| CatBoost | — | — | 0.7396 | — | 0.1187 |
| TabPFN | — | — | 0.6974 | — | 0.1119 |
| 本文方法 | |||||
| Ours (PRPO) | 8B | 0.7021 | 0.7542 | 0.1614 | 0.1110 |
消融实验¶
为验证 PRPO 的收益并非单纯来自增加采样量，作者在总计算采样预算严格控制为 20 次的前提下，系统隔离了各模块的贡献（以标准 GRPO \(m=1, G=5\) 为基准 A0）：
表 3：在等量采样预算（20 rollouts）下的模块归因消融对比
| 实验编号 | 配置说明 | 置换数 \(m\) | 单组采样 \(G\) | 分类准确率 (Acc. ↑) | 回归相对误差 (NMAE ↓) | 核心结论与机制说明 |
|---|---|---|---|---|---|---|
| A0 | 标准 GRPO | 1 | 5 | 0.6120 | 0.1830 | 初始对照，面临严重的单排列奖励稀疏问题 |
| A1 | 增大采样预算 GRPO | 1 | 20 | 0.6181 | 0.1802 | 纯粹增加 rollout 仅获微弱提升（+0.0061），非收益主因 |
| A2 | 随机列顺序训练 | 1 | 20 | 0.6241 | 0.1765 | 仅作单列次序扰动，缺乏显式组间优势对比，提升有限 |
| A3 | 仅组内优势估计 | 4 | 5 | 0.6501 | 0.1727 | 引入排列变体，但缺失全局池化约束，各变体割裂优化 |
| A4 | 仅跨组优势估计 | 4 | 5 | 0.6551 | 0.1705 | 具备大样本均值降低方差优势，但缺乏微观排列灵敏度 |
| A5 | 完整 PRPO (双层优势) | 4 | 5 | 0.7021 | 0.1614 | 双层融合显著拉开差距，比 A2/A3/A4 分别提升 +7.80/5.20/4.70% |
此外，在四类异构开源基座模型上的泛化验证表明，PRPO 的赋能具有高度通用性：在 Llama-3.1-8B-Instruct 上全监督分类 Acc 提升 +0.353（0.470 → 0.823）；在 Mistral-7B-Instruct-v0.3 上全监督分类 Acc 提升 +0.583（0.207 → 0.790）；在推理基座 DeepSeek-R1-0528-Qwen3-8B 上提升 +0.161（0.601 → 0.762）。
关键发现¶
- 零样本迁移表现媲美强监督基线：在未接触过的 53 个分类任务中，PRPO-8B 的零样本迁移准确率达到 0.7021，直接跨越式击败了需要 32 样本在目标任务训练的 TabPFN（0.6974），且接近 32-shot XGBoost（0.7219）。
- 极高的数据样本利用效率：通过数据效率线性插值估算，PRPO 带来的表格结构先验相当于为模型注入了 21~41 个目标任务有标注样本的监督价值（在分类任务上等价于 TabLLM 21 个样本、XGBoost 26 个样本；回归任务上等价于 XGBoost 41 个样本）。
- 超大推理模型在表格领域严重水土不服：参数规模达 685B 的 DeepSeek-R1 与 DeepSeek-R1-0528，其零样本分类准确率仅为 0.5313 与 0.5519，不仅大幅落后于专用树模型，更落后本文 8B 模型多达 17 个百分点以上（相对提升达 32.1%~53.17%），表明纯自然语言与代码的逻辑推理无法自发对齐表格代数结构。
- 跨领域能力迁移溢出：在完全未经数学特定微调的情况下，PRPO 训练后的模型在 10 项标准数学测试集（如 GSM8K、SVAMP、MATH）上平均准确率相较 Qwen3-8B-Base 反向提升 6.80 个百分点（GSM8K 由 82.11 升至 90.30），证明强化学习对表格结构置换不变性的理解实质上增强了模型对底层因果变量关系与符号计算的鲁棒性。
亮点与洞察¶
- 将对称群先验与强化学习优势估计深度结合：直接将离散代数中的列置换群不变性注入连续自回归 LLM，巧妙化解了表格预测领域的冷启动奖励稀疏难题，开辟了结构先验引导 RL 后训练的新方向。
- 双层相对优势构建了天然的方差缩减器：局部排列优势敏锐捕捉各特定视角下的微观推理差异，全局跨组优势以大样本池化拉低基线方差，两者互补实现了理论保证下的无偏低方差梯度更新。
- 开源小参数模型对超大规模专有模型的“逆袭”：证明了在垂直结构化数据领域，特定领域的归纳偏置（Inductive Bias）与高质量强化学习设计能够轻易击败高达两个数量级参数规模（8B vs 685B）的盲目暴力缩放。
局限与展望¶
- 推理与训练计算开销较高：在训练阶段每个输入样本需要展开 \(m \times G = 20\) 次自回归采样，相较于树模型毫秒级训练速度，RL 后训练对算力资源（8x H100）要求较为严苛。
- 超宽表序列化引发的长上下文瓶颈：文本模板序列化在面对成百上千列的高维超宽表格时，token 消耗急剧膨胀，容易超出 LLM 上下文窗口上限，未来需结合列级层次化编码或注意力降采样。
- 连续特征数值分辨率的表征局限：自回归模型以 BPE 分词处理浮点数，在超高精度连续回归任务上面临天然分词截断壁垒，未来可探索连续数值嵌入（Continuous Value Embedding）与混合专家架构的融合。
相关工作与启发¶
- vs XGBoost / CatBoost: 经典 GBDT 模型擅长在结构化数据上利用局部贪心分裂构建判别边界，计算极度高效，但在零样本迁移、多模态融合及长链因果解释上完全无能为力；PRPO-8B 在保留与树模型匹敌预测精度的同时，提供了完整的文本推理链。
- vs TabPFN / TabPFN-v2: TabPFN 依靠合成先验在小样本表格上具备近乎实时的推理优势，但其架构严格受限于特征维度与样本量限制，且不支持生成式逻辑解释；PRPO 基于通用 LLM 具备处理复杂异构特征名称、多领域语义理解与自由文本扩展的独特优势。
- vs TabLLM / Tabula-8B: TabLLM 依赖闭集分类 token 微调，Tabula-8B 采用传统 SFT 跨表格预训练；而 PRPO 证明了强化学习（RL）通过置换探索能够大幅超越单纯模仿学习（SFT），且无需在目标任务上进行昂贵的参数更新即可通过 32-shot 提示刷新 SOTA。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性将表格列置换对称性转化为强化学习双层优势估计，构思极其精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨 139 个 OpenML 数据集，覆盖全监督、零样本迁移与少样本场景，消融与基座泛化极度扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，理论证明与实证归因兼备，实验细节高度详实。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破了 LLM 在表格领域落后于 GBDT 的固有认知，为大模型结构化预测树立了里程碑。