Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees¶

会议: NeurIPS 2026
arXiv: 2606.26432
领域: 学习理论
关键词: 表格基座模型, 离散选择模型, 结构保证, 边际替代率, 经济一致性

一句话总结¶

针对表格基座模型在离散选择预测中破坏经济学一致性（如成本单调性违背、时间价值为负）的问题，本文提出两阶段适配器架构，将冻结的基座模型离线预测概率嵌入多项 Logit 效用函数，通过理论证明在数学上严格保全结构边际替代率，兼获基座模型高精度与经典计量经济学的严谨结构保证。

研究背景与动机¶

离散选择模型（Discrete-Choice Models, DCM）是交通经济学、公共政策制定以及消费行为分析的基石工具。例如在交通出行方式选择预测中，时间价值（Value of Time, VOT）的精准估计直接锚定上百亿美元规模的高铁、公路与机场基础设施投资成本效益分析；在消费者选择实验中，支付意愿（Willingness-to-Pay, WTP）则直接决定产品定价与监管标签政策。这类决策场景对预测模型提出双重核心诉求：既要准确预测个体选择概率，又必须对属性干预（如票价调整、耗时变化）做出符合经济学理性的结构响应。经典多项 Logit（MNL）效用模型通过带符号约束的效用参数天生满足经济一致性——成本系数为负保证需求单调下降、属性系数比值给出解析闭式的时间价值、不可用选项概率严格为零，但其线形效用假设严重限制了预测准确率。

以 TabPFN 和 Mitra 为代表的表格基座模型（Tabular Foundation Models）近年来通过上下文学习（In-Context Learning）显著刷新了表格分类的精度上限。然而，将黑盒基座模型直接用于离散选择任务时，其预测严重脱离底层经济学逻辑：提高价格反而可能预测出更高的选择需求（单调性违背率最高超过 70%）、推导出的时间价值频繁出现负数或离谱极端值、且会向未向用户开放的选项分配非零概率。现有的缓解路线均存在不可忽视的代价：架构单调神经网络（如 Monotonic NN）消除了单调性违背，却彻底丢失了全局可微的闭式替代率比值，只能依赖不稳定的逐样本数值梯度；知识蒸馏将基座模型蒸馏进 MNL 学生网络，受限于学生模型的线性表达瓶颈而无法承接师资精度优势；带结构正则化的微调则需要模型参数的反向传播梯度，与 TabPFN/Mitra 在推理阶段纯上下文无参数微调的机制完全冲突。

面对预测精度与结构有效性不可兼得的核心矛盾，本文的切入视角是解耦“宏观结构约束”与“高阶非线性表征修正”：与其强行修改基座模型内部表征或完全放弃结构化效用，不如将基座模型的多项预测概率向量视为预先计算的静态特征，并将其嵌入带结构约束的 MNL 效用架构中。核心 idea：提出一种固定概率的两阶段行为适配器，第一阶段在符号约束下极大似然拟合 MNL 结构系数，第二阶段冻结结构参数并仅优化输入基座模型预测概率的小型校正网络；在数学上证明了两阶段训练能精确保全结构边际替代率，同时彻底打破了联合训练引发的参数不可识别性。

方法详解¶

整体框架¶

本文针对离散选择场景提出两阶段行为适配器（Two-Stage Behavioral Adapter）。对于包含 $N$ 个观测样本的离散选择任务，每个观测样本具有输入特征向量 $\mathbf{x}_i \in \mathcal{X}$、可用备选项集合 $\mathcal{K}_i \subseteq \{1, \dots, K\}$ 以及实际选择结果 $y_i \in \mathcal{K}_i$。适配器模型构建在效用函数相加分解之上：将第 $k$ 个选项的效用 $V_k(\mathbf{x}_i)$ 拆解为可解释的经济结构效用 $V_k^{\text{struct}}$ 与基座模型非线性校正项 $g_k(\mathbf{q}(\mathbf{x}_i))$。

在工作流中，基座模型仅在原始输入特征上执行单次前向推理，输出无梯度的离线选择概率向量 $\mathbf{q}(\mathbf{x}_i) \in \Delta^{K-1}$；随后由轻量校正网络 $g$ 映射为各选项的效用补偿。整体架构严格遵循“固定 $\mathbf{q}$（fixed-$\mathbf{q}$）”干预协议，确保反事实扰动仅穿透结构项而不经由基座模型产生未知漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入特征与可用集合<br/>x_i, K_i"] --> FM["基座模型单次前向推理<br/>生成离线预测概率 q(x_i)"]
    In --> S1["阶段 1：带约束 MNL 拟合<br/>结构系数 β* (g 恒置零)"]
    FM --> S2["阶段 2：冻结结构参数优化校正网络<br/>固定 β*，训练小型 MLP g(q)"]
    S1 --> Comb["加和组合效用计算<br/>V_k = β*^T φ_k + g_k(q)"]
    S2 --> Comb
    Comb --> Mask["可用性掩码与 Softmax<br/>P_k = exp(V_k) / ∑_{j∈K_i} exp(V_j)"]
    Mask --> Out["模型输出与行为审计<br/>100% 单调性与精确解析 VOT 保证"]

关键设计¶

1. 效用解耦与固定概率干预协议：在架构层面切断基座模型的反事实不可控梯度

基座模型预测结果在直接应对属性干预时往往输出反直觉梯度，导致单调性崩塌与虚假替代率。针对这一缺陷，适配器将各选项效用严格形式化为两部分线性叠加： $$V_k(\mathbf{x}_i) = \boldsymbol{\beta}^{\top} \boldsymbol{\phi}_k(\mathbf{x}_i) + g_k(\mathbf{q}(\mathbf{x}_i))$$ 其中 $\boldsymbol{\phi}_k(\mathbf{x}_i)$ 为选项特异性属性变换（包含出行时间、费用、可用性指示变量及个体社会经济学交叉项），结构成本系数严格重参数化为 $\beta = -\exp(\theta)$ 以杜绝违背单调性；$g: \Delta^{K-1} \to \mathbb{R}^K$ 为包含两个隐藏层（隐层宽度为 32）的轻量 MLP。在行为审计与反事实推断中，模型采用“固定 $\mathbf{q}$”协议（fixed-$\mathbf{q}$ protocol）：当针对备选成本 $x_{ij}$ 施加微扰时，基座模型概率向量 $\mathbf{q}_i$ 严格锚定在基准值，即 $\partial \mathbf{q}_i / \partial x_{ij} = 0$。该协议确保干预完全由先验约束的结构效用承担，彻底规避了黑盒网络对未见过反事实特征的随机漂移。

2. 边际替代率精确保全理论：证明两阶段拟合保全经济学时间价值与支付意愿

模型若要具备指导交通基建评估等高风险政策的能力，必须保证时间价值（VOT）等替代率指标的数学可靠性。论文提出命题 1（Proposition 1）：在固定 $\mathbf{q}$ 协议下，对于任意仅通过结构项 $V_k^{\text{struct}}$ 线性进入效用函数的属性 $j$ 与 $j'$，效用关于两属性的边际替代率（Marginal Rate of Substitution, MRS）精确等于阶段 1 结构系数之比： $$\mathrm{MRS}_{j,j'}(\mathbf{x}_i) \equiv \frac{\partial V_k(\mathbf{x}_i) / \partial x_{ij}}{\partial V_k(\mathbf{x}_i) / \partial x_{ij'}} = \frac{\beta^*_j}{\beta^*_{j'}}$$ 对于仅进入选项 $k$ 的专有属性（如该交通方式的耗时与票价），经由 Softmax 导数项中 $P_k(1-P_k)$ 因子的严格分子分母约分，预测概率对属性求导所得的时间价值审计值与结构系数比完全吻合（$\rho^{\mathrm{VOT}}_{\text{time,cost}} = \beta^*_{\text{time}} / \beta^*_{\text{cost}}$）。这一性质在数学层面上与基座模型的类型、校正网络 $g$ 的参数取值完全解耦，使时间价值由经验巧合转变为具有数学保证的不变结构。

3. 联合训练结构不可识别性破缺：阐明阶段解耦消除连续等价解流形的必要性

针对为何不能端到端联合训练 $\boldsymbol{\beta}$ 与 $g$ 的根本疑问，论文通过命题 2（Proposition 2）给出了严格的不可识别性机理解释。当基座模型概率 $\mathbf{q}(\mathbf{x})$ 能够在训练分布上连续反解出成本变量 $\mathrm{cost}_k(\mathbf{x}) = \kappa_k(\mathbf{q}(\mathbf{x}))$，且校正网络类在连续函数空间具有通用逼近能力时，联合最小化负对数似然损失 $L(\boldsymbol{\beta}, g)$ 必然存在一维连续等价解流形： $$\{(\boldsymbol{\beta}^{(c)}, g^{(c)}): \beta^{(c)}_{\text{cost}} = \beta^{(0)}_{\text{cost}} + c, \quad g^{(c)}_k(\mathbf{q}) = g^{(0)}_k(\mathbf{q}) - c \cdot \kappa_k(\mathbf{q})\}$$ 在保持总效用及似然值恒定不变的前提下，结构成本参数可以在开区间内任意漂移，梯度下降落点完全由网络初始化随机决定，使真实的 MNL 极大似然估计彻底失真。两阶段优化（阶段 1 固定 $g \equiv 0$ 拟合 $\boldsymbol{\beta}^*$；阶段 2 冻结 $\boldsymbol{\beta}^*$ 仅用 He 初始化和输出层置零初始化拟合 $g$）通过施加硬性阶段约束，直接消除了参数吸收效应，从根本上锁定了结构参数的唯一性与真实性。

损失函数 / 训练策略¶

模型分阶段采用负对数似然损失进行训练： $$L(\boldsymbol{\beta}, g) = -\frac{1}{N} \sum_{i=1}^N \log P_{y_i}(\mathbf{x}_i; \boldsymbol{\beta}, g)$$ 在阶段 1 中，设定 $g \equiv 0$，通过 L-BFGS 或梯度算法求解带符号投影的 $\boldsymbol{\beta}^* = \arg\min_{\boldsymbol{\beta}} L(\boldsymbol{\beta}, 0)$。在阶段 2 中，参数 $\boldsymbol{\beta}^*$ 被全局冻结，优化器仅更新 $g$ 的网络权重。为了防止训练集标签泄漏导致过拟合，除因显存限制的 TabPFN-LPMC 单元采用全局推断外，其余所有数据集均执行严格的 $k=5$ 折分层交叉拟合（Cross-fitting）协议生成训练集 $\mathbf{q}_i$，测试集 $\mathbf{q}_i$ 则天然处于基座模型上下文之外。

实验关键数据¶

主实验¶

实验基于三个典型离散选择基准展开：瑞士城际交通方式偏好选择集 Swissmetro（10,719 条陈述偏好记录）、伦敦客运出行方式选择集 LPMC（81,086 条显示偏好记录）以及智能穿戴设备多属性购买偏好集 IoT-Wearables（6,362 条面板数据）。对比基线包括标准多项 Logit（MNL）、两款主流表格基座模型（Mitra 与 TabPFN）、架构单调神经网络（Monotonic NN）、特征拼接 Logit（feat-aug）以及本文提出的双阶段适配器（Adapter）。

下表汇总了各模型在三个数据集上的预测准确率、单调性合规率、特征替代率（VOT 单位分别为 CHF/hr 与 GBP/hr，WTP 单位为 USD）及校准误差（ECE）：

数据集	模型	测试准确率 (%) [Mitra / TabPFN]	成本单调性 (%) [Mitra / TabPFN]	边际替代率比值 [Mitra / TabPFN]	ECE (%) [Mitra / TabPFN]
Swissmetro	MNL	63.6 / 63.6	100 / 100	84.4 / 84.4	4.0 / 4.0
	raw FM	77.7 / 78.0	— / 96.4	— / 72.5	— / 15.7
	Monotonic NN	63.1 / 63.1	100 / 100	— / —	— / —
	feat-aug	77.4 / 77.4	100 / 100	1509 / 678	9.6 / 16.8
	Adapter (本文)	76.3 / 76.4	100 / 100	84.4 / 84.4	8.4 / 17.0
LPMC	MNL	69.9 / 69.9	100 / 100	1.8 / 16.6	2.2 / 2.2
	raw FM	74.2 / 74.4	— / 28.9	— / 4.1 / -14.5	— / 0.9
	Monotonic NN	52.6 / 52.6	100 / 100	— / —	— / —
	feat-aug	74.0 / 74.3	100 / 100	10.3 / 6.7 (Mitra)	0.7 / 0.7
	Adapter (本文)	72.8 / 72.9	100 / 100	1.8 / 16.6	1.3 / 1.3
IoT-Wearables	MNL	62.5 / 62.5	100 / 100	26.1 / 10.0	3.4 / 3.4
	raw FM	67.1 / 67.0	45.6 / 40.8	0.0 / -0.1 (Mitra)	4.2 / 4.3
	Monotonic NN	64.1 / 64.1	100 / 100	— / —	— / —
	feat-aug	67.3 / 67.4	100 / 100	14.9 / 5.4 (Mitra)	3.2 / 4.1
	Adapter (本文)	65.7 / 66.5	100 / 100	26.1 / 10.0	2.7 / 3.6

注：粗体高亮标出严重违背经济学理性的结构性失败（如单调性剧烈坍塌、时间价值异号反常、或 feat-aug 替代率产生百倍漂移）。Swissmetro 选项可用性泄露率：MNL 与 Adapter 为严格的 $<10^{-9}$，而 raw TabPFN 为 $5\times 10^{-4}$，raw Mitra 为 $2\times 10^{-3}$。

消融实验¶

为验证模块有效性及两阶段训练的不可替代性，作者设计了五组系统消融实验并在 10 次 Bootstrap 重复试验下统计测试集准确率（均值 $\pm$ 标准差）：

消融变体	核心设计机制说明	Swissmetro [Mitra / TabPFN]	LPMC [Mitra / TabPFN]	IoT-Wearables [Mitra / TabPFN]
A1: 仅对数先验项	$V_k = V_k^{\text{struct}} + \alpha \log q_k$，无校正 MLP	76.42±0.10 / 77.10±0.05	71.89±0.06 / 72.06±0.04	63.25±1.01 / 63.42±0.93
A2: 基础适配器 (主推)	$V_k = V_k^{\text{struct}} + g_k(\mathbf{q})$ 两阶段独立训练	76.44±0.25 / 76.67±0.27	72.94±0.10 / 72.86±0.11	66.43±0.61 / 66.34±0.54
A3: 端到端联合训练	同时反向传播更新 $\boldsymbol{\beta}$ 与 $g_k$	76.97±0.23 / 77.00±0.27	73.99±0.07 / 74.19±0.09	66.66±0.54 / 66.61±0.49
A5: 校正层容量调节	调整隐层宽度 (16, 32, 64) 及深度 (1, 2)	76.45–76.49 / 76.67–76.73	72.89–72.90 / 72.78–72.88	65.63–66.65 / 66.16–66.47

反事实宏观需求响应实验（+10% 成本干预）：在全部 16 种宏观模拟场景中，原始基座模型 raw FM 发生 6 次需求正增长的反常违背（如 TabPFN 在 IoT-alt1 场景下预测需求反常暴增 +3.24 pp）；而 Adapter 与 MNL 在全部 16 种场景中 100% 预测需求下降。

关键发现¶

结构保全代价极低：相较于完全自由拟合的黑盒基座模型，两阶段适配器仅牺牲了不到 2 个百分点的准确率上限，却换取了 100% 的单调性服从与 0 选项泄露。相较于基准 MNL，适配器平均获得 6.4 个百分点（最高 12.8 个百分点）的准确率提升，在全部 10 次 Bootstrap 重复中胜率达 100%（二项式检验 $p \approx 0.002$，McNemar 检验 $p < 10^{-10}$）。
联合训练引发严重参数崩溃：A3 联合训练虽然准确率略高 0.5 pp，但其学到的结构成本系数在交通数据集上发生了 3 到 17 倍的剧烈缩水坍塌，验证了命题 2 关于不可识别性等价解流形的理论预测；而在价格信号弱相关的 IoT 数据集上则未出现同类坍塌。
基座模型上下文弹性稳健：在 Swissmetro 逐步削减基座模型上下文规模至 50%、25% 与 10% 的实验中，适配器的准确率表现出平缓优雅的退化曲线，即使在仅剩 10% 上下文的严苛条件下仍保留了超过 6 个百分点的净精度提升。

亮点与洞察¶

将表征嵌入转向概率嵌入：不同于常规深度模型试图在隐含向量空间施加流形约束，本文直接将黑盒模型的后验概率作为离散选择模型的静态先验特征，实现了模型无关（Model-Agnostic）的纯即插即用组合。
利用固定干预协议实现数学级保全：通过定义在干预评估中切断对基座模型的重推理求导，精巧地使得校正项的偏导在链式法则中严格置零，从而使得经典时间价值与替代率从经验指标升格为不可动摇的数学定理。
理论指引避免了联合优化的伪陷阱：利用泛函分析与反函数定理严格刻画了联合优化下黑盒网络吸收结构项的不可识别流形，从根本上为两阶段训练策略确立了不可动摇的理论合法性。

局限与展望¶

受限于阶段 1 的 MNL 特征设定：适配器的绝对替代率比值完全继承自阶段 1 的结构拟合参数 $\boldsymbol{\beta}^*$。若第一阶段多项 Logit 选取的特征交互项本身存在严重设定偏差（Misspecification），阶段 2 的校正项因固定 $\mathbf{q}$ 机制而无法修正错误的结构参数比值。
特定数据集上的校准误差偏置：在 Swissmetro 数据集上，适配器的后验校准误差（ECE）保持在 8.4% 至 17.0% 的较高水平，传统温度缩放、等保回归和 Bootstrap 集成均未能显著改善，表明残差失准源自结构效用与先验概率间的固有偏置。
离散属性审计敏感度受限：基于 1% 极小扰动的有限差分审计在处理二元离散指示变量时会因单精度浮点数截断而失真，需依赖离散翻转协议作为补充度量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思精巧，开创性地解决表格大模型进入经济/交通高风控决策领域的经济学一致性难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大真实场景基准、2 大主流基座模型、全套消融分析与反事实宏观干预检验。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，命题与证明逻辑极其清晰，架构与实验设计严密。
价值: ⭐⭐⭐⭐⭐ 对计量经济学、交通规划与前沿表格大模型的交叉融合具有重大的理论与工程借鉴价值。

消融变体	核心设计机制说明	Swissmetro [Mitra / TabPFN]	LPMC [Mitra / TabPFN]	IoT-Wearables [Mitra / TabPFN]
A1: 仅对数先验项	\(V_k = V_k^{\text{struct}} + \alpha \log q_k\)，无校正 MLP	76.42±0.10 / 77.10±0.05	71.89±0.06 / 72.06±0.04	63.25±1.01 / 63.42±0.93
A2: 基础适配器 (主推)	\(V_k = V_k^{\text{struct}} + g_k(\mathbf{q})\) 两阶段独立训练	76.44±0.25 / 76.67±0.27	72.94±0.10 / 72.86±0.11	66.43±0.61 / 66.34±0.54
A3: 端到端联合训练	同时反向传播更新 \(\boldsymbol{\beta}\) 与 \(g_k\)	76.97±0.23 / 77.00±0.27	73.99±0.07 / 74.19±0.09	66.66±0.54 / 66.61±0.49
A5: 校正层容量调节	调整隐层宽度 (16, 32, 64) 及深度 (1, 2)	76.45–76.49 / 76.67–76.73	72.89–72.90 / 72.78–72.88	65.63–66.65 / 66.16–66.47