inference-time refinement closes the synthetic-real gap in tabular diffusion¶
会议: NeurIPS 2026
arXiv: 2605.06261
领域: 其他
关键词: 表格扩散模型, 推理时精炼, Chamfer引导, 合成数据, 知识蒸馏
一句话总结¶
针对表格扩散模型生成样本在下游任务上始终落后于真实数据的“合成-真实差距”，本文提出冻结预训练骨干的推理时精炼框架 TARDIS，基于双向 Chamfer 精炼原则在反向扩散中注入连续分数引导并在后处理阶段执行离散批次排序筛选，首次在无需重新训练的情况下使下游任务效用超越真实数据。
研究背景与动机¶
混合类型表格数据（包含连续数值与离散类别）是应用机器学习领域最核心的输入载体。在医疗、金融等强隐私限制场景下，直接访问真实样本受到严格监管，促使基于扩散模型（如 TabDDPM、TabSyn、TabDiff）的合成数据生成技术迅速成为研究热点。然而，尽管现有生成器在架构设计、自适应噪声调度和潜空间建模上不断演进，通过“合成数据训练-真实数据测试”（TSTR）协议评估的下游预测模型效用，却始终难以完全比肩、更无法超越直接使用真实数据训练的模型，形成了长期存在的“合成-真实差距”。
现有工作几乎全盘将这一瓶颈归咎于生成器模型本身的表征能力不足，遵循单一的“改进训练期生成器”范式，不断增加骨干网络的参数量与调度复杂度，但下游收益已出现明显的边际递减。与图像生成领域通过分类器自由引导（CFG）或 Chamfer 引导在推理阶段灵活调控生成轨迹的成熟机制不同，表格领域的推理时精炼长期处于空白状态。直接将图像推理引导迁移到表格数据面临三重实质阻碍：一是数值与离散混杂的特征空间缺乏统一且良定义的规范可微距离度量；二是缺乏类似于 CLIP 的通用标准化语义表征空间；三是合成数据必须同时兼顾样本流形保真度与下游预测效用，传统的单向启发式后处理容易诱发模式坍塌。
本文的切入视角是打破“必须在训练期解决差距”的思维定势，将干预重心移至推理生成阶段：既然预训练骨干网络已经学习到了数据的全局联合分布，就可以在冻结骨干参数的前提下，通过对候选池的高效引导与筛选来逼近真实数据流形。本文的核心 idea 是提出双向 Chamfer 精炼（BCR）原则，将反向扩散阶段的连续分数级梯度引导与生成后的离散批次排序重采样统一在同一个对称 Chamfer 泛函下，连续阶段将概率质量聚拢至真实流形附近，离散阶段剔除离群残差，并在低样本量场景下正交结合生成式软标签蒸馏。
方法详解¶
整体框架¶
TARDIS（Tabular generation through Refinement, Distillation, and Inference-time Sampling）是一个完全作用于冻结预训练表格扩散骨干网络 \(G_\theta\) 上的三阶段推理时精炼框架。给定包含 \(N_r\) 个样本的真实数据集 \(D_{\mathrm{real}}\)，系统首先在 Stage I 进行超采样生成一个基数高达 \(M \cdot N_r\)（实验中固定超采样倍率 \(M=50\)）的隐空间初始高斯噪声池。在 Stage II 反向扩散去噪过程中，框架通过特征表征映射 \(\varphi\) 计算当前批次与真实参考批次之间的双向 Chamfer 距离，并将该泛函的可微梯度作为扰动项叠加到骨干网络预测的分数上，从而连续地将轨迹拉向真实数据流形，产出候选池 \(D_{\mathrm{cand}}\)。在 Stage III 中，框架在候选池上可选执行针对分类任务的生成式知识蒸馏（GKD）软标签重标注，随后采用与 Stage II 同源的 Chamfer 采样器（或单向流形距离采样器）执行离散批次排序，最终输出基数为 \(K \cdot N_r\) 的高质量合成数据集 \(D_{\mathrm{syn}}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实数据集 D_real<br/>基数 N_r"] --> B["Stage I: 超采样噪声池<br/>隐空间先验采样 M*N_r (M=50)"]
B --> C["Stage II: 双向 Chamfer 分数引导<br/>冻结扩散骨干 + 连续梯度扰动 steering"]
A -.->|"参考批次 x_r / 表征映射 φ"| C
C --> D["候选样本池 D_cand<br/>基数 M*N_r"]
D --> E["生成式知识蒸馏 (GKD)<br/>XGBoost 教师模型输出软标签 (分类可选)"]
E --> F["Stage III: 离散流形采样器<br/>双向 Chamfer 批次排序 / MDSampler 剪枝"]
A -.->|"流形参考比对"| F
F --> G["最终精炼合成数据集 D_syn<br/>基数 K*N_r (输出下游训练)"]关键设计¶
1. 双向 Chamfer 泛函与可微表征映射：打通混合特征度量壁垒 针对表格数据缺乏规范可微距离和跨模态通用表征的问题，TARDIS 引入表征映射 \(\varphi: \mathcal{X} \to \mathbb{R}^d\)，并在此表征空间上构建对称双向 Chamfer 泛函 \(\mathcal{C}(A, B)\)。表征映射提供两种互斥形式：其一是数据空间上的 z-score 标准化恒等映射（identity mapping）；其二是在真实数据 \(D_{\mathrm{real}}\) 上预先拟合的表格 \(\beta\)-VAE 编码器，其隐空间维度 \(d \in \{4, 8, 16, 32\}\)，在 ELBO 优化中针对数值特征采用均方误差、针对类别特征采用分组交叉熵，并配合 5 类退火调度（Constant、Linear、Cosine、Sine、Cyclical），从而平滑吸收异构分布。在此特征映射下，双向 Chamfer 泛函分解为保真度项与覆盖度项： $$ \mathcal{C}(A,B) = \frac{1}{|A|}\sum_{a\in A}\min_{b\in B}|\varphi(a)-\varphi(b)|2 + \frac{1}{|B|}\sum|\varphi(a)-\varphi(b)|_2 $$ 第一项强制合成点向最近的真实样本靠拢（保真度），第二项惩罚未被合成点覆盖的真实样本区域（覆盖度），二者天然对立统一，在数学性质上满足非负性、对称性以及当且仅当 }\min_{a\in A\(\varphi(A)=\varphi(B)\)（作为多重集）时取零，彻底消除了合成样本向单一真实点坍塌的模式崩溃风险。
2. 连续分数级引导：在反向扩散过程中定向修正流形漂移 在反向扩散去噪的指定步数 \(t_g\)（通常为 3 到 20 步），模型计算当前去噪批次 \(x_t\) 与真实参考批次 \(x_r \subset D_{\mathrm{real}}\) 之间的 Chamfer 梯度，通过可变时间步缩放因子 \(\Gamma(t) \ge 0\) 对预训练骨干网络预测的分数 \(\varepsilon_\theta(x_t, t)\) 进行扰动更新： $$ \tilde{\varepsilon}\theta(x_t, t) = \varepsilon\theta(x_t, t) - \Gamma(t) \cdot \nabla_{x_t}\mathcal{C}(x_t, x_r) $$ 其中，参考批次 \(x_r\) 在每次生成启动时固定采样，分类任务支持类条件采样（class-conditional batching），回归任务则采用全局均匀采样（global batching）。缩放调度 \(\Gamma(t)\) 提供 Constant、Linear、Cosine 和 Sine 四种参数化形式。与分类器自由引导要求严格的对数似然形式不同，该梯度扰动充当软引导信号，在连续去噪演化中提前将合成样本吸引并限制在真实流形的高密度支撑集周围。
3. 离散批次排序与多阶后验采样器：双向互补与剪枝兜底 反向扩散完成后，候选池中仍存在小部分离散偏离流形的噪声点。Stage III 通过离散批次排序实现与连续引导的闭环互补。主力方案 Chamfer Sampler 将候选池 \(D_{\mathrm{cand}}\) 划分为大小为 \(b\) 的子批次 \(\{B_k\}\)，直接计算各批次与完整真实集 \(D_{\mathrm{real}}\) 的双向 Chamfer 距离 \(\mathcal{C}(B_k, D_{\mathrm{real}})\)，按升序排序后保留前 \(K \cdot N_r\) 个样本。当 Stage II 禁用连续引导时，候选池分布覆盖面更广，框架无缝切换为单向流形距离采样器（MDSampler）：该采样器利用真实样本在 \(\varphi\) 空间下的 \(k\)-近邻超球半径 \(\rho_k(r)\)（取 \(k=10\)）逼近真实流形包络，以单向流形外距离 \(d_{\mathrm{MD}}(x) = \min_{r \in D_{\mathrm{real}}} \max(0, \|\varphi(x)-\varphi(r)\|_2 - \rho_k(r))\) 优先抽取流形内部点，形成了“连续双向引导配双向筛选，未引导大池配单向流形距离截断”的对称体系。
4. 生成式知识蒸馏（GKD）：极低基数场景下的标签平滑兜底 针对样本量受限的下游低基数生成场景（\(K \le 1\)），候选池由于总抽取样本稀疏，纯几何意义上的流形筛选无法完全消除离散标签噪声。TARDIS 引入正交的 GKD 机制：在真实数据集 \(D_{\mathrm{real}}\) 上训练一个与下游模型同家族的 XGBoost 教师分类器 \(f_{\mathrm{GKD}}\)，在离散筛选前将候选样本的硬类别标签替换为连续概率单纯形预测分布 \(f_{\mathrm{GKD}}(\hat{x}_j)\)，特征本身保持不变。下游模型训练时直接基于交叉熵损失拟合软标签。该机制避免了硬分类边界附近小样本噪声带来的过拟合，与高基数时的纯几何筛选形成功能互补。
损失函数 / 训练策略¶
TARDIS 的核心优势在于骨干模型完全免重训（Inference-Time Only）。唯一需要轻量拟合的辅助模块为特征映射中的表格 \(\beta\)-VAE（若所选配置激活），其训练损失为标准变分下界： $$ \mathcal{L}{\mathrm{VAE}}(x) = \mathcal{L}\big(q_\varphi(z \mid x) \,|\, p(z)\big) $$ 在超参数搜索策略上，框架采用双层嵌套搜索：外层利用 Tree-structured Parzen Estimator（TPE，基于 Optuna）在预定义超参数空间（基数倍率 }}(x, \hat{x}) + \beta(t) \cdot D_{\mathrm{KL}\(K \in [0.1, 25.0]\)、引导开关、调度族、\(\gamma\) 界限、引导步数 \(t_g\)、批次比例）中探索 Stage II 配置；内层针对每个 TPE 试验，直接遍历 10 种 Stage III 离散组合（GKD 开/关 \(\times\) 5 种采样器），以验证集下游效用 \(\mathcal{U}\) 的最大值作为外层 TPE 优化的目标回传。
实验关键数据¶
主实验¶
实验采用 15 个涵盖二分类（BC）、多分类（MC）和回归（R）的标准 UCI/Kaggle 数据集，下游评估模型统一采用带早停机制的 XGBoost，评估协议为 TSTR。基线模型选用此前表格扩散 SOTA 模型 TabDiff（在 1:1 基数下相比 Real 平均落后 -6.68%）。
| 数据集 | 任务类型 | 真实数据 (Real) | TabDiff 骨干 | TARDIS (本文) | 相比 Real 提升 (\(\Delta\%_R\)) | 相比 TabDiff 提升 (\(\Delta\%_T\)) |
|---|---|---|---|---|---|---|
| Solar Flare | 回归 (RMSE ↓) | 0.1025 | 0.0923 | 0.0620 | +39.5% | +32.8% |
| Infrared Therm. | 回归 (RMSE ↓) | 0.0541 | 0.0585 | 0.0482 | +10.9% | +17.6% |
| Abalone | 回归 (RMSE ↓) | 0.0810 | 0.0790 | 0.0740 | +8.6% | +6.3% |
| Insurance | 回归 (RMSE ↓) | 0.1180 | 0.1320 | 0.1100 | +6.8% | +16.7% |
| Beijing | 回归 (RMSE ↓) | 0.0330 | 0.0510 | 0.0370 | -12.1% | +27.5% |
| News | 回归 (RMSE ↓) | 0.01154 | 0.01194 | 0.00961 | +16.7% | +19.5% |
| Diabetic Retin. | 二分类 (AUROC ↑) | 0.6976 | 0.6671 | 0.9037 | +29.5% | +35.5% |
| Adult | 二分类 (AUROC ↑) | 0.9270 | 0.9130 | 0.9240 | -0.3% | +1.2% |
| Default | 二分类 (AUROC ↑) | 0.7640 | 0.7650 | 0.7750 | +1.4% | +1.3% |
| Magic | 二分类 (AUROC ↑) | 0.9560 | 0.9400 | 0.9650 | +0.9% | +2.7% |
| Bank | 二分类 (AUROC ↑) | 0.9290 | 0.8560 | 0.9010 | -3.0% | +5.3% |
| Student Perf. | 多分类 (w-AUROC ↑) | 0.7392 | 0.7453 | 0.8939 | +20.9% | +19.9% |
| Contraceptive | 多分类 (w-AUROC ↑) | 0.6491 | 0.6838 | 0.7077 | +9.0% | +3.5% |
| Music | 多分类 (w-AUROC ↑) | 0.7290 | 0.8230 | 0.8400 | +15.2% | +2.1% |
| Diamonds | 多分类 (w-AUROC ↑) | 0.9430 | 0.9300 | 0.9430 | 0.0% | +1.4% |
| 中位数 (Median) | 全任务汇总 | — | — | — | +8.6% | +6.3% |
| 平均值 (Mean) | 全任务汇总 | — | — | — | +9.7% | +12.9% |
消融实验¶
消融重点验证精炼阶段拆解（单阶段连续引导 vs 完整 TARDIS）、超采样基数对流形饱和度的影响，以及流形保真度与隐私指标的变化。
| 模块配置 / 评估维度 | 下游效用指标 | 流形保真度 (Precision) | 流形多样性 (Recall) | 隐私平衡 (DCR-1) | 邻近距离比 (NNDR) |
|---|---|---|---|---|---|
| TabDiff (未精炼骨干) | 基线参考 (\(\Delta\%=0\)) | \(0.947 \pm 0.073\) | \(0.994 \pm 0.005\) | \(0.501 \pm 0.010\) | \(0.823 \pm 0.115\) |
| TARDIS \(\times 1\) (\(K=1\) 无筛选) | 均值仅超骨干 \(+1.4\%\) (未超 Real) | — | — | — | — |
| TARDIS 完整模型 | 中位数 \(+8.6\%\) / 均值 \(+12.9\%\) | \(\mathbf{0.949 \pm 0.069}\) | \(\mathbf{0.995 \pm 0.005}\) | \(\mathbf{0.499 \pm 0.013}\) | \(\mathbf{0.824 \pm 0.107}\) |
| 引导关闭 + MDSampler 兜底 | 4/15 数据集自主收敛 | — | — | — | — |
| 低基数 GKD (\(K \le 1\)) | 2/15 数据集显著防崩塌 | — | — | — | — |
关键发现¶
- 离散筛选主导差距闭合：在基数严格等于 1:1 的消融实验（TARDIS \(\times 1\)）中，仅引入 Stage II 连续 Chamfer 引导相比骨干模型仅获得 \(+1.4\%\) 的微弱改善，无法显著超越真实数据；只有当结合 Stage I 的候选池超采样与 Stage III 的离散精炼排序时，性能才发生质的飞跃。这证明离散流形剪枝承担了消解合成-真实差距的主要职责。
- 收益反比于真实基线饱和度：性能提升显著集中于小样本稀缺、高类别不平衡或噪声显著的数据集（如 666 样本的 Student Perf. 提升 \(+20.9\%\)，1151 样本的 Diabetic Retin. 提升 \(+29.5\%\)，Solar Flare 提升 \(+39.5\%\)）；而在真实基线几乎触碰指标天花板的大型规范数据集（如 Adult、Bank、Magic）上，收益收敛在 \([-3.0\%, +0.9\%]\) 区间。
- 流形覆盖与隐私完全无损：在取得显著下游效用飞跃的同时，TARDIS 的流形保真度 Precision（0.949 vs 0.947）和多样性 Recall（0.995 vs 0.994）与骨干严格持平；表征训练集接近程度的 DCR-1 稳定维持在 0.499（理论理想值为 0.50），最近邻距离比 NNDR 维持在 0.824，证明双向 Chamfer 中的覆盖项成功抑制了样本向训练集的单纯过拟合。
亮点与洞察¶
- 范式颠覆：推理时干预逆转生成质量天花板：论文最亮眼的贡献在于推翻了“合成-真实差距根植于骨干架构训练不足”的传统认知，证明了无需耗费数天重训庞大生成器，仅靠推理时结合对称 Chamfer 引导与流形后验筛选，就能在 1 至 80 分钟内于千元级消费级显卡（GTX 1080 Ti）上彻底闭合甚至逆转该差距。
- 两级对齐的数学自洽性：将连续扩散去噪与离散批次子集抽取这两个本无交集的阶段，置于同一个对称双向 Chamfer 泛函 \(\mathcal{C}\) 之下。连续阶段以梯度牵引降低流形偏角，离散阶段以批次排序剪除边缘噪点，二者在数学与物理机制上高度协同自洽。
- 自动对齐的搜索空间收敛特征：在无人工规则偏置的 TPE 搜索下，9 个开启连续引导的数据集全部自发选中了 Stage III 的 Chamfer Sampler；而在 6 个关闭引导的数据集中，有 4 个自发选中了单向流形距离采样器（MDSampler），这种配置聚集性有力证明了双向 Chamfer 理论机制的通用性。
局限与展望¶
- 骨干单一性与采样器确定性限制：当前实验仅基于 TabDiff 一种扩散骨干完成全量验证，对潜空间扩散模型（如 TabSyn）或多项式扩散模型（如 TabDDPM）的迁移效果尚未进行大规模实证对比；且核心测试配置主要采用确定性采样器，单次生成的随机波动范围有待进一步量化。
- 缺乏差分隐私形式化保证：尽管实验从经验统计角度（DCR-1、NNDR）证明精炼后模型没有增加训练集泄露风险，但由于未在梯度扰动与批次排序中引入差分隐私噪声机制，尚无法提供形式化数学隐私界限（\((\epsilon, \delta)\)-DP）。
- 未来方向：探索跨模态迁移能力（将 BCR 推广至文本、分子图或多模态时序领域）；引入动态自适应超采样倍率 \(M\)；开发兼具严苛差分隐私预算注入与流形引导的双向精炼采样器。
相关工作与启发¶
- vs TabDiff / TabSyn (表格扩散生成模型): 传统扩散生成工作全部着眼于改进噪声调度、模型骨干或特征编码，生成完成后直接用于下游，下游效用往往受限于生成误差积累；TARDIS 完全冻结这些优秀生成骨干，仅在推理去噪与后处理阶段执行轻量流形修正，属于正交互补组件。
- vs Chamfer Guidance (图像扩散引导): 图像 Chamfer 引导仅在像素或通用 CLIP 嵌入空间执行单向/连续梯度扰动，缺乏离散后验筛选与针对表格异构特征的表征构建；TARDIS 结合 \(\beta\)-VAE 表征映射克服混合特征障碍，并开创性地统一了“连续梯度引导 + 离散批次排序”的双向两级体系。
- vs ISSOSYNTH (表格后验子集选择): ISSOSYNTH 仅在生成后通过离散迭代比例拟合最小化分箱边缘分布 \(L_1\) 距离，缺乏推理中期的连续引导，且依赖粗糙离散分箱；TARDIS 构建了连续可微特征空间与双向 Chamfer 泛函，实现了连续引导与离散筛选的全局协同。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向表格扩散模型的推理时精炼框架，以双向 Chamfer 泛函打通连续与离散两个操作维度，立意高度原创。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 15 个跨领域二分类、多分类与回归基准，详尽评估效用、保真度、多样性、隐私及耗时，消融设计严密。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，数学推导与实验洞察环环相扣，图表详实。
- 价值: ⭐⭐⭐⭐⭐ 颠覆了表格合成数据依赖昂贵重训的固有范式，极低计算开销下的优异效用表现具备极高的学术与落地转化价值。