TabDLM: Free-Form Tabular Data Generation via Joint Numerical–Language Diffusion¶

会议: NeurIPS 2026
arXiv: 2602.22586
OpenReview: https://openreview.net/forum?id=2wkDrJJ6B1
代码: https://github.com/ilikevegetable/TabDLM
领域: 其他
关键词: 表格数据生成, 掩码扩散语言模型, 连续扩散, 混合模态生成, 自由文本生成

一句话总结¶

TabDLM 针对真实表格中数值、分类与自由文本混合的异构生成难题，首次以掩码扩散语言模型（MDLM）为底座结合专用数值编码器，将连续扩散与离散掩码扩散在单步统一噪声水平下融合，实现了跨模态双向注意力建模与高保真自由格式表格生成。

研究背景与动机¶

在现代机器学习中，表格数据广泛存在于金融、医疗与社交网络等核心应用场景，但隐私合规要求、数据稀缺以及普遍缺失值等问题促使合成表格数据生成成为不可或缺的支撑技术。然而，真实世界中的表格数据往往不再局限于纯数值或定长离散标签，而是频繁出现用户评论、临床病历摘要、论文摘要等自由格式的长文本字段，且这些文本与行内的数值、类别属性之间存在极强的语义和统计耦合。现有的表格生成方法通常分裂在两个独立的技术阵营：基于扩散模型的方法（如 TabDDPM、TabSyn、TabDiff）擅长通过高斯过程或离散跳跃过程建模数值与分类特征的连续/离散分布，但面对空间维度指数级膨胀的开放词表文本时完全无法泛化，迄今无任何传统表格扩散模型能稳定生成高质量自由文本；相反，基于大语言模型（LLM）的生成器（如 GReaT）依靠强大的序列建模能力可以生成流利的文本，但其按字符或子词切分的分词方式极易将数值切碎成多个离散 token，破坏了数值的精确量级与连续拓扑，且自回归单向生成机制与表格字段之间无天然先后顺序的无向依赖关系存在内在冲突。

这种方法分化导致的核心矛盾在于：开放词表自由文本依赖离散语言模型的大词表与强语义先验，而高精度数值特征却要求连续扩散模型所具备的精确密度估计能力；同时，传统语言模型的因果自回归注意力与多模态扩散过程互不兼容，无法在统一的去噪动力学中实现双向条件互哺。

为了兼顾各模态的最优建模范式，本文的核心 idea 是：以具备双向注意力的掩码扩散语言模型（MDLM）为统一底座，通过轻量级数值编解码投影将每个连续浮点数映射为单 token 嵌入，让连续数值扩散与离散文本掩码扩散在共享的单步时间步长下进行联合去噪，实现自由格式表格中数值与语言模态的端到端双向耦合生成。

方法详解¶

整体框架¶

TabDLM 的整体流水线围绕多模态联合扩散展开，其输入为包含数值、类别和自由文本特征的混合表格记录，输出为具备跨字段自洽性的完整合成表格。对于每条记录，数值特征经分位数标准化后注入连续高斯噪声，并通过预训练数值编码器与可训练投影层映射为连续 token 嵌入；文本与分类特征经分词后在离散空间内按概率替换为掩码标记 [MASK]，并查表得到离散 token 嵌入。二者连同全局 schema 提示词拼接成统一序列，输入到带双向自注意力的 MDLM 中进行联合去噪，最后分别经由数值解码模块恢复连续浮点数，经由 LM Head 重建离散文本 tokens。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入表格记录<br/>数值、类别与自由文本"] --> B["时间步采样与加噪<br/>连续高斯噪声 + 离散 [MASK]"]
    B --> C["模态专用嵌入对齐<br/>数值投影映射 + 文本 Embedding"]
    C --> D["双向联合去噪主干<br/>MDLM 跨模态注意力与 LoRA"]
    D --> E["双路头解码与时间步演化<br/>数值 Euler 步进 + 文本高置信度反掩码"]
    E --> F["输出合成表格数据<br/>数值反标准化 + 文本 Detokenize"]

关键设计¶

1. 专用单 token 数值编解码与连续扩散映射：根除离散分词带来的数值切碎

传统自回归 LLM 直接将浮点数（如 135.25）序列化为离散字符串，会被 BPE 切分成多个孤立 subword token，不仅丧失了几何拓扑信息，还在长序列中引入了误差累积；而一般的连续表格扩散又无法接入大词表 Transformer。TabDLM 为此设计了连续扩散与语言嵌入的桥接管道：首先对数值特征进行分位数标准化，随后使用轻量预训练 MLP 编码器将标量值投影到 $r$ 维隐空间，再通过可学习的两层 MLP 投影器 $\text{PROJ}_e$ 映射至与 MDLM 隐藏层维度相等的 $d$ 维空间： $$\mathbf{\hat{z}}^{(i)}_j = \text{ENC}(\hat{x}^{(i)}_j), \quad \mathbf{z}^{(i)}_j = \text{PROJ}_e(\mathbf{\hat{z}}^{(i)}_j), \quad j \in \mathcal{I}_{\text{num}}$$ 在加噪端，数值特征遵循方差爆炸（Variance-Exploding, VE）SDE，直接在标准化标量上施加方差为 $\sigma^2(t)$ 的高斯扰动 $\hat{x}^{(i)}_j = x^{(i)}_j + \sigma(t)\epsilon$。输出端则采用对称的解码结构，先经可学习投影器 $\text{PROJ}_d$ 压回 $r$ 维，再由预训练解码器 DEC 恢复标量数值 $\bar{x}^{(i)}_j$。这种设计使得每个数值变量在 Transformer 序列中仅占据恰好 1 个 token 位置，同时保留了连续实数空间的平滑优化特性。

2. 统一噪声水平下的双向掩码-连续联合扩散机制：破除因果单向偏置

表格中的不同列（例如患者的年龄、疾病诊断、医生主诉记录）具有完全对称的互惠依赖关系，自回归模型的因果下三角 Mask 强行施加了字段顺序偏差。TabDLM 选用基于全双向注意力机制的掩码扩散语言模型（MDLM，基于 LLaDA-8B）作为骨干。在离散文本分支上，序列 tokens 按照转移概率矩阵在时间步 $t$ 下以 $1 - \bar{\alpha}_t$ 的边际概率独立退化为吸收态标记 [MASK]： $$q(s_{t,j} = [\text{MASK}] \mid s_{0,j}) = 1 - \bar{\alpha}_t, \quad \bar{\alpha}_t = \prod_{\tau=1}^t (1 - \beta_\tau)$$ 在整个架构中，连续扩散与离散掩码扩散严格共享同一个连续时间标量 $t \in [0, 1]$。为了让注意力模块感知数值通道的连续扩散阶段，模型借鉴 DiT 机制为数值 token 附加专门的连续时间自适应位置嵌入，而文本 token 则直接利用其掩码比例隐式表征噪声强度。在双向自注意力驱动下，未被掩盖的文本关键词与带有噪声的连续数值表征在每一层充分交互，协同重构彼此的真实语义。

3. EDM-Euler 与自适应反掩码耦合采样：保证反向生成轨迹的协同收敛

在推理生成阶段，TabDLM 同时从纯噪声初始化：数值列采样自标准高斯分布，离散列初始化为全 [MASK] 序列。在离散化为 $T$ 步的反向轨迹中，算法交替执行模态特异性更新：对于离散文本分支，模型通过 LM Head 预测被掩码位置的类别概率分布 $p_\theta(s_{0,j} \mid \mathbf{s}_t)$，并采用高置信度反掩码策略（High-Confidence Unmasking），每一步仅揭开预测概率最高的 $G/T$ 个 tokens，将不确定度较高的 token 留给后续更低噪声步长处理；对于数值分支，模型通过概率流常微分方程（Probability Flow ODE）的 EDM-Euler 步长实现连续收敛： $$\mathbf{d}_t = \frac{\hat{\mathbf{x}}_t^{\text{num}} - \tilde{\mathbf{x}}_t^{\text{num}}}{\hat{\sigma}_t}, \quad \mathbf{x}_{t-1}^{\text{num}} = \hat{\mathbf{x}}_t^{\text{num}} + (\sigma_{t-1} - \hat{\sigma}_t)\mathbf{d}_t$$ 由于二者在每一步共享 MDLM 骨干网络的前向表征，新揭开的确定性文本词汇会即时修正连续数值的导向梯度，而收敛中的数值亦为剩余文本的概率重分配提供精细条件引导。

损失函数 / 训练策略¶

TabDLM 的端到端训练目标由连续重构误差与离散交叉熵损失线性组合而成： $$\mathcal{L} = \mathcal{L}_{\text{text}} + \lambda(s)\mathcal{L}_{\text{num}}$$ 其中数值损失 $\mathcal{L}_{\text{num}}$ 计算反归一化输出与真实标量之间的均方误差： $$\mathcal{L}_{\text{num}} = \frac{1}{N}\sum_{i=1}^N \sum_{j \in \mathcal{I}_{\text{num}}} \|x^{(i)}_j - \bar{x}^{(i)}_j\|_2^2$$ 文本损失 $\mathcal{L}_{\text{text}}$ 仅在处于 [MASK] 状态的 token 位置计算交叉熵： $$\mathcal{L}_{\text{text}} = \frac{1}{N}\sum_{i=1}^N \sum_{\hat{x}^{(i)}_{j,k} = [\text{MASK}]} \text{CE}\langle \bar{x}^{(i)}_{j,k}, x^{(i)}_{j,k} \rangle$$ 为了避免随机初始化的数值投影层在训练初期破坏 MDLM 预训练的深层表征，模型引入了依赖优化步数 $s$ 的动态升温加权系数 $\lambda(s) = \lambda_{\max} \cdot \min(1, \frac{s}{s_{\text{warm}}})$，默认设定 $\lambda_{\max} = 1$、$s_{\text{warm}} = 2000$ 步。在具体微调策略上，整个 MDLM 骨干主权重保持冻结，仅在各层的注意力与前馈模块中插入低秩自适应（LoRA）模块（秩 $r=16$，缩放因子 $\alpha=32$），并与数值投影器联合优化。

实验关键数据¶

主实验¶

评估涵盖两大类任务：带自由格式文本的异构表格生成（包含合成基准 MathExpr、ProfileBio 以及真实 RelBench 数据集 Amazon、Arxiv），以及不含文本的纯传统数值/分类表格基准（Adult、Default、Shoppers 等）。指标方面，Shape 衡量单列边缘分布误差，Trend 衡量成对列相关性误差（越低越好）；Op-MR 与 Exp-MR 衡量数学运算符与数值的一致性匹配率；MLE 衡量在合成数据上训练下游分类器后迁移至真实测试集上的效率（AUC）。

在带自由文本的基准上，TabDLM 全面大幅超越了基于因果自回归 LLM（Qwen2.5）和传统微调 MDLM（LLaDA）的基线：

数据集	指标	TabDLM（本文）	最强基准（LLaDA-8B SFT / Qwen2.5 SFT）	相对变化
MathExpr	Shape (%) ↓	3.69	5.07 (Qwen2.5-7B SFT)	降低 27.2%
MathExpr	Trend (%) ↓	6.07	42.54 (LLaDA-8B SFT)	降低 85.7%
MathExpr	Exp-MR (%) ↑	99.80	99.34 (Qwen2.5-7B SFT)	提升 0.46%
ProfileBio	Shape (%) ↓	4.84	5.81 (LLaDA-8B SFT)	降低 16.7%
ProfileBio	Trend (%) ↓	7.81	36.26 (Qwen2.5-7B SFT)	降低 78.5%
ProfileBio	Bio-MR (%) ↑	98.60	98.51 (Qwen2.5-7B SFT)	提升 0.09%
Amazon	Shape (%) ↓	4.67	7.76 (LLaDA-8B SFT)	降低 39.8%
Amazon	Trend (%) ↓	5.33	37.13 (LLaDA-8B SFT)	降低 85.6%
Amazon	MLE (AUC) ↑	0.895	0.892 (LLaDA-8B SFT)	逼近真实上限 (0.906)
Arxiv	Shape (%) ↓	6.30	11.19 (Qwen2.5-7B SFT)	降低 43.7%
Arxiv	Trend (%) ↓	6.30	10.02 (Qwen2.5-7B SFT)	降低 37.1%
Arxiv	MLE (AUC) ↑	0.948	0.930 (LLaDA-8B SFT)	逼近真实上限 (0.968)

在不含自由文本的 5 个传统表格基准（Adult, Default, Shoppers, Magic, Beijing）平均性能上，TabDLM 同样展现出统治级优势：其平均 Shape 达到 2.01%，平均 Trend 达到 2.65%，相比语言模型类基线（GReaT 平均 Shape 14.20% / Trend 40.52%，Qwen2.5-7B SFT 平均 6.29% / 17.49%）取得降维打击式领先，且直接比肩甚至超越了此前专为纯表格设计的专用扩散 SOTA（TabDDPM 1.67% / 3.78%，TabSyn 1.11% / 2.18%）。

消融实验¶

消融实验在 Adult、Default 和 Shoppers 三个代表性数据集上进行平均评测，验证了预训练数值编解码器（FloatAE）以及各模态双重扩散分支的必要性：

配置	Shape ↓	Trend ↓	MLE ↑	C2ST ↑	$\alpha$-Precision ↑
TabDLM 完整模型	1.56	2.49	0.874	0.9571	98.56
w/o 连续扩散 (TabDLM-onlyMDLM)	5.75	22.96	0.852	0.7892	88.58
w/o 离散MDLM建模类别 (TabDLM-onlyContDiff)	4.19	7.28	0.850	0.8399	91.70
w/o 预训练浮点编解码器 (TabDLM-noFloatAE)	2.15	4.34	0.870	0.9256	98.50

关键发现¶

数值切碎是序列化生成崩溃的主因：去掉连续扩散、强行用 MDLM 离散 tokens 生成数字的 TabDLM-onlyMDLM 遭遇了最剧烈的性能退化，Trend 误差暴增近 10 倍（由 2.49% 飙升至 22.96%），C2ST 判别率暴跌至 0.7892。这从正面证实了：文本自回归或掩码分词破坏数值拓扑结构是阻碍语言模型学习列间依赖的关键瓶颈。
Trend 误差是传统 LLM 的阿喀琉斯之踵：无论 Qwen2.5-7B 还是 LLaDA-8B，在仅做单纯 SFT 时虽然边缘单列分布（Shape）尚可接受，但成对列间相关性（Trend）误差普遍居高不下（如 Amazon 上 Trend 达 37.13%~46.31%）。TabDLM 通过连续空间直接扩散打通了数值相关性，将 Trend 误差压低到 5%~6% 量级，降幅达 80% 以上。
跨模态特征紧密耦合：在下游 MLE 实验中，移除生成的数值特征仅用文本表征评估（$\text{MLE}^*$），模型性能出现明显下降（Amazon 上 AUC 下降约 0.002，真实数据下降 0.001），与真实数据上的趋势完全吻合，证明生成的数值与文本并非各自独立的统计拼接，而是包含强因果耦合。

亮点与洞察¶

模态自适应混合扩散范式：不强求用单一度量空间强行统一度量所有模态，而是“连续特征归连续、离散文本归离散”，通过单 token 投影和共享扩散时间步 $t$ 让二者在双向 Transformer 内部对齐，兼具了语言模型的大词表与扩散模型的强密度估计能力。
打通跨列全双向相关性：彻底规避了自回归因果 Mask 对表格特征顺序的敏感性，使得缺失任意列的条件填补、文本引导数值生成或数值推导文本在统一架构下具备天然的数学对称性。
可复用的单数值 Token 化投影：基于分位数归一化与轻量 MLP 预训练的 FloatAE，仅需 2 层可训练投影即可无缝接入任意通用大语言模型底座，为未来利用更大规模开源模型处理科学计算与混合多模态表格提供了低成本、即插即用的接口方案。

局限与展望¶

采样效率受反向步长约束：作为基于迭代去噪的扩散模型，TabDLM 推理时需要 50~100 步前向传播，与自回归解码相比缺乏 KV Cache 等标准加速机制（虽然已有 Fast-dLLM 等扩散加速技术，但混合模态下的快速采样调度尚未被深度优化）。
共享统一时间步的刚性约束：当前模型对连续变量与离散文本强制共用单一标量时间步 $t$，然而文本特征的语义收敛速率（掩码解蔽速度）与连续高斯去噪的最优噪声调度可能存在动力学失配，探索模态解耦的多维或非齐次时间步调度是重要的改进空间。
超长自由文本的上下文开销：当表格中包含多个长段落（如整篇论文多字段全文）时，双向注意力的计算复杂度呈二次方增长，限制了每行容纳超大文本块时的可扩展性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在掩码扩散语言模型上统一了连续数值扩散与离散文本掩码扩散，机制设计精巧且解决了领域长期痛点]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖数学公式、个人履历等合成验证，Amazon/Arxiv 真实文本表格，以及 5 个标准纯表格评测与完备消融，证据扎实]
写作质量: ⭐⭐⭐⭐⭐ [框架逻辑严密清晰，对数值切碎与自回归偏置的痛点阐述直击要害，图表呈现直观规范]
价值: ⭐⭐⭐⭐⭐ [为真实业务中大量存在的“数值+文本”混合异构表格的隐私合成与数据增强提供了极具实用价值的先驱性方案]