Transfer Learning Through Conditional Quantile Matching¶

会议: NeurIPS 2026
arXiv: 2602.02358
OpenReview: https://openreview.net/forum?id=OmEzTubNlR
代码: https://github.com/facebookresearch/TLCQM
领域: 学习理论
关键词: 迁移学习、协变量与概念偏移、分位数匹配、生成式数据增强、超额风险界

一句话总结¶

针对多源回归迁移学习中协变量与概念偏移并存的普遍挑战，本文提出 TLCQM 框架，通过在各源域独立训练条件生成模型并在目标域协变量上进行条件分位数校准合成高质量样本，在无强分布假设下证明了基于增广数据的经验风险最小化超额风险界紧于纯目标域学习。

研究背景与动机¶

监督迁移学习旨在借助相关源域的丰富数据来改善标签匮乏的目标域预测性能。然而，源域与目标域之间普遍存在的分布不一致性极易诱发负迁移现象，严重损害下游泛化能力。为了规避负迁移，已有理论与算法大多依赖于对分布关系的严苛结构性假设，例如协变量偏移（假设条件分布 $P(y|x)$ 跨域不变）或标签偏移（假设条件分布 $P(x|y)$ 跨域不变）。

然而在现实场景中，这种单维度的偏移假设往往被打破，边际协变量分布 $P(x)$ 与条件响应分布 $P(y|x)$ 通常同时发生偏移（即通用目标偏移）。现有应对通用偏移的方法通常需要高维不变特征变换、复杂的潜变量推断或通过拆分本已极其匮乏的目标域样本来筛选可迁移源域，这导致样本效率低下、超参数调整困难且难以拓展至多样化的回归模型。

本文的切入点在于将迁移问题转化为高质量的条件生成式数据增强与非参数分布对齐：既然不同源域捕捉到了输入与响应之间的异质关联，便可通过神经分布回归在目标域输入点合成响应，并借助一维 Wasserstein 空间（Mallows 距离）下的分位数匹配完成高效校准与源域自适应加权。核心 idea：将回归迁移学习解耦为「源域条件生成模型估计」与「目标域条件分位数匹配校准」两步，利用线性分位数匹配隐式正则化各源域权重以消除通用偏移，并建立更紧的经验风险最小化超额风险泛化界。

方法详解¶

整体框架¶

TLCQM（Transfer Learning via Conditional Quantile Matching）主要包含四个递进阶段：首先，利用各源域独立观测数据训练条件生成模型；其次，在目标域观测协变量处采样各源域的预测响应向量；接着，建立以 Mallows 距离为目标的优化问题，求解最优分位数匹配系数向量；最后，基于校准后的线性组合响应增广目标域，并训练下游任意回归模型。整个过程流程图如下：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InS["源域数据集 𝒟_S^(k)"] --> M1["独立条件生成模型估计<br/>Engression 神经网络训练"]
    InT["目标域有限数据 𝒟_T"] --> M2["跨域条件响应生成<br/>在目标域输入处采样"]
    M1 --> M2
    M2 --> M3["条件分位数匹配校准<br/>Mallows 距离经验优化"]
    InT --> M3
    M3 --> M4["合成数据生成与目标域增广<br/>全样本经验风险最小化"]
    M4 --> Out["高精度目标域下游预测模型"]

关键设计¶

1. 独立条件生成模型估计：通过神经分布回归刻画连续响应条件分布 针对传统点预测回归无法表征完整响应不确定性的缺陷，该设计采用基于能量/最大均值差异理念的 Engression 分布回归框架。对于第 $k$ 个源域，学习连续映射 $g^{(k)}: \mathcal{X} \times \mathcal{E} \to \mathcal{Y}$，将协变量 $x$ 和预先指定的先验噪声向量 $\eta \sim P_\eta$（如均匀或高斯分布）映射到响应空间。其经验优化目标为： $$ \widehat{g}^{(k)} \in \arg\min_{g \in \mathcal{F}} \frac{1}{n_k} \sum_{i=1}^{n_k} \left[ \frac{1}{m} \sum_{j=1}^m |Y_i^{(k)} - g(X_i^{(k)}, \eta_{ij})| - \frac{1}{2m(m-1)} \sum_{j=1}^m \sum_{j'=1}^m |g(X_i^{(k)}, \eta_{ij}) - g(X_i^{(k)}, \eta_{ij'})| \right] $$ 该设计无需对噪声分布施加参数化似然假设，即可精准拟合多模态或异方差的条件分布，并在理论上保证 $\sup_{x} \mathbb{E}_\eta |\widehat{g}^{(k)} - g^{(k)}|$ 达到非参数最优收敛阶。

2. 条件分位数匹配校准：利用 Mallows 距离实现分布对齐与自适应源域正则 生成各源域伪响应后，亟需解决源域与目标域条件分布不匹配及负迁移源抑制问题。TLCQM 避免了高计算代价的高维最优传输，转而将多源响应进行带截距的线性加权 $\bm{\beta}^T \widehat{\bm{V}}$（其中 $\widehat{\bm{V}} = (1, \widehat{Y}^{(1)}, \dots, \widehat{Y}^{(K)})^T$），并在目标域观测响应与合成组合之间匹配分位数。在总体层面上最小化平方 Mallows 距离（即一维 Wasserstein-2 距离）： $$ S(\bm{\beta}) = \int_0^1 \left[ Q_{Y^{(0)}}(\alpha) - Q_{\bm{\beta}^T \bm{V}}(\alpha) \right]^2 d\alpha $$ 在样本层面，利用目标域实际观测的顺序统计量 $Y_{(i)}^{(0)}$ 与合成响应的顺序统计量 $(\bm{\beta}^T \widehat{\bm{V}})_{(ij)}$ 构筑经验目标函数： $$ \widehat{\bm{\beta}} \in \arg\min_{\bm{\beta} \in \mathbb{R}^{K+1}} \sum_{i=1}^{n_0} \sum_{j=1}^M \left[ Y_{(i)}^{(0)} - (\bm{\beta}^T \widehat{\bm{V}})_{(ij)} \right]^2 $$ 该线性结构天然地抑制与目标域无关或冲突的源域权重，自动完成有益源域的选择与迁移偏差消除。

3. 跨域密度比修正与全样本增广学习：双重校正协变量偏移并降低泛化方差 在获得校准权重 $\widehat{\bm{\beta}}$ 后，将各源域样本点输入通过加权预测转换为对齐目标域的伪标签 $\widehat{\bm{\beta}}^T \widehat{\bm{V}}_i^{(k)}$，构成增广集 $\mathcal{D}_A$。当源域与目标域同时存在输入分布 $P^{(k)}(x) \neq P^{(0)}(x)$ 的协变量偏移时，引入核均值匹配（KMM）估计重要性权重 $\widehat{w}_k(x) \approx dP^{(0)}(x) / dP^{(k)}(x)$。最终下游预测模型在合并数据集 $\mathcal{D}_F = \mathcal{D}_T \cup \mathcal{D}_A$ 上联合求解加权经验风险最小化（ERM）： $$ \widehat{f}^{(0, tl)} = \arg\min_{f \in \mathcal{F}} \frac{1}{N} \left{ \sum_{i=1}^{n_0} \ell(Y_i^{(0)}, f(X_i^{(0)})) + \sum_{k=1}^K \sum_{i=1}^{n_k} \widehat{w}_k(X_i^{(k)}) \ell(\widehat{\bm{\beta}}^T \widehat{\bm{V}}_i^{(k)}, f(X_i^{(k)})) \right} $$ 使下游学习器的有效样本规模从 $n_0$ 扩充至 $N = \sum_{k=0}^K n_k$，大幅压缩假设空间的经验 Rademacher 复杂度。

损失函数 / 训练策略¶

理论分析严格证明了 TLCQM 训练出的预测函数 $\widehat{f}^{(0, tl)}$ 的超额风险上界受五个关键误差项控制： $$ R(\widehat{f}^{(0, tl)}) - R(f^{(0)}) \lesssim \mathrm{Rad}N(\mathcal{F}) + \sqrt{\frac{K \log(1/\delta)}{N}} + \frac{1}{N}\sum}^K |\widehat{wk - w_k|1 + \inf* \in \mathcal{B}} |\widehat{\bm{\beta}} - \bm{\beta}*|1 + \sum|}^K |\widehat{g}^{(k)} - g^{(k)\infty + \inf_{\bm{\beta}* \in \mathcal{B}} \sqrt{S(\bm{\beta}*)} $$ 当总样本数 $N \gg n_0$ 且源域组合良好覆盖目标域时，标准泛化误差从 $O(n_0^{-1/2})$ 骤降至 $O(N^{-1/2})$，同时本文首次建立了分位数匹配估计量 $\widehat{\bm{\beta}}$ 的收敛速率为 $\widetilde{O}(n_0^{-1/2})$，从而保证在温和正则条件下迁移超额风险严格严格优于目标域纯样本学习。

实验关键数据¶

主实验¶

在真实公开数据集 UCI Apartment 租金对数回归任务中（特征维数 10，源域为 IL、OH、WA 三州，目标域为 FL 州），对比纯目标域学习（Target-Only）与 TLCQM 增广后在三种不同下游模型（XGBoost、核岭回归 KRR、神经网络 NN）上的测试均方误差（MSE）下降比例：

模型	$n_0=100$	$n_0=200$	$n_0=300$	$n_0=500$	结论
XGBoost	7.16%	1.59%	-2.28%	-6.80%	小样本下明显收益，大样本时树模型增益衰减
KRR	94.20%	91.41%	88.43%	82.53%	大幅缩减回归误差，性能提升极为显著
NN	99.43%	99.39%	96.90%	87.98%	彻底解决目标域样本过少导致的网络过拟合

在工业级月活跃用户（MAU）跨平台迁移预测（5 个 App 跨两设备平台，多源留一验证，评价指标为均方误差 MSE $\pm$ 标准差）主对比中，TLCQM 与代表性迁移回归 SOTA 方法的表现如下：

平台	Target-Only (XGB / NN / KRR)	TLCQM (XGB / NN / KRR)	TKRR	CDAR	DARC
Platform I	4.596 / 2.910 / 33.281	1.545 (0.198) / 1.689 (0.146) / 1.556 (0.207)	2.204	3.183	36.380
Platform II	2.117 / 2.144 / 27.577	1.364 (0.034) / 1.841 (0.015) / 1.377 (0.034)	2.348	1.867	10.884

消融实验¶

通过仿真控制实验，分别测试了不同源/目标样本规模比例 $n_k / n_0 \in [1, 30]$ 以及目标域样本量 $n_0 \in [50, 150]$ 时的消融表现：

配置	核心指标表现	说明
Target-Only	MSE 在小样本（$n_0=50$）下极高，NN 误差 $>1.2$	缺乏充足目标样本导致模型方差巨大
TLCQM ($n_k/n_0 = 1$)	MSE 迅速下降 20%~40%	少量合成样本即展现出正向校准效果
TLCQM ($n_k/n_0 = 30$)	MSE 趋近 Oracle（目标域真分布生成全样本）	随着源域样本规模上升，增广样本有效压低泛化误差
w/o Quantile Matching (纯源域池化)	发生严重负迁移，MSE 劣化幅度超 100%	概念偏移未校正时引入了极大的系统偏置

关键发现¶

神经网络（NN）与核岭回归（KRR）对增广数据的利用效率显著高于 XGBoost，当目标样本极端匮乏（如 $n_0=100$）时，TLCQM 带来的 MSE 降低幅度高达 90% 以上。
分位数匹配步骤中的非负权重约束为实际应用（如非负 MAU 预测）提供了极佳的自适应正则化，自动将负相关或强发散的源域系数置零，有效免疫负迁移。

亮点与洞察¶

将生成式增广与非参数分位数匹配解耦，绕开了高维多维联合密度估计的维数灾难，利用一维分位数排序在 $O(n \log n)$ 复杂度下实现高效分布对齐。
理论推导完备且深刻，首次严格给出了 Mallows 距离下分位数匹配估计量的有限样本收敛速率，并将泛化界严谨分解为生成误差、匹配误差、权重误差与迁移偏置四部分。
该框架具有高度的可插拔性，可作为任意下游回归模型（从简单的正则化线性模型到深度神经网络）的即插即用预处理管道。

局限与展望¶

当前主要推导和验证局限于一维连续型单变量响应，当面对多任务多响应或高维离散结构输出时，需要扩展至多维 Wasserstein 切片或广义 Brier 分数。
对生成模型（Engression）的准确度存在一定依赖，若所有源域均无法通过线性凸组合近似目标域条件分布，则会存在无法通过增加样本量消除的非零迁移偏置（Transfer Bias）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将条件分位数匹配引入多源迁移学习的数据增广框架并提供完整的超额风险理论分析。
实验充分度: ⭐⭐⭐⭐ 涵盖仿真实验、UCI 公开基准测试以及工业级跨平台真实数据应用，对比充分。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，统计学理论定义与推导严密自洽，符号规范一致。
价值: ⭐⭐⭐⭐⭐ 为解决通用分布偏移下的监督迁移学习开辟了新颖且可落地的技术范式。

配置	核心指标表现	说明
Target-Only	MSE 在小样本（\(n_0=50\)）下极高，NN 误差 \(>1.2\)	缺乏充足目标样本导致模型方差巨大
TLCQM (\(n_k/n_0 = 1\))	MSE 迅速下降 20%~40%	少量合成样本即展现出正向校准效果
TLCQM (\(n_k/n_0 = 30\))	MSE 趋近 Oracle（目标域真分布生成全样本）	随着源域样本规模上升，增广样本有效压低泛化误差
w/o Quantile Matching (纯源域池化)	发生严重负迁移，MSE 劣化幅度超 100%	概念偏移未校正时引入了极大的系统偏置