TILT: Target-Induced Loss Tilting under Covariate Shift¶

会议: NeurIPS 2026
arXiv: 2605.14280
OpenReview: https://openreview.net/forum?id=20SLcD77Z4
领域: 优化/理论
关键词: 协变量偏移, 损失倾斜, 无监督领域适应, 相对密度比, 学习理论

一句话总结¶

本文提出面向协变量偏移无监督领域适应的目标诱导损失倾斜（TILT），将源预测器解耦为可部署主模型与辅助残差项，利用无标签目标域数据惩罚辅助分量，无需估计或截断潜在发散的密度比即可实现严格等价于相对重加权的超额风险最小化。

研究背景与动机¶

在现代机器学习系统中，预测模型往往在带有丰富标签的源域数据上完成训练，却需要在边缘特征分布发生漂移的目标域环境中进行实际部署。这种分布偏移在跨医疗机构的临床诊断影像、跨多变野外环境的物种分类以及跨跨国地理区域的经济指标预测等真实高风险场景中无处不在。在标准的协变量偏移假设下，输入特征的边际分布发生了改变，但给定特征标签的条件概率分布保持不变；在此前提下，若直接对源域数据执行经验风险最小化（ERM），由于优化权重完全由源域边际概率主导而非目标域分布，模型极易过度拟合源域特有模式并在目标域显著劣化。

针对该问题的传统校正范式主要是重要性加权（Importance Weighting, IW），即利用目标域与源域的密度比作为样本权重将目标期望转化为源域期望。然而，显式重要性加权在实际落地中存在两大理论与数值顽疾：一方面，真实密度比通常未知，必须通过核均值匹配（KMM）或最小二乘密度拟合（LSIF）等独立阶段进行无监督估计，极易因高维样本稀疏而引入剧烈方差与两阶段累积误差；另一方面，当源域与目标域支撑集存在偏差甚至近乎不相交时，真密度比在源域概率密度极低区域可能发散至无穷大，导致权重极端敏感、方差剧烈爆炸并直接瓦解下游优化。尽管后续有相对密度比（如 RuLSIF）通过加入正则化平滑权重，或者通过单步联合优化同时更新预测器与权重，但它们本质上仍受制于显式拟合、截断或输出密度比参数的固有瓶颈。

面对这一困境，本文探索了一条完全跳出显式密度比估计的新路径：能否在完全不计算、不估计、也不在算法内部表示任何样本密度比的前提下，仅凭无标签目标域样本实现精确对齐目标域的风险倾斜？本文的核心 idea 是将源域预测器加性分解为主预测器 $f$ 与辅助分量 $b$，在源域拟合 $f+b$ 的同时在无标签目标样本上单纯对 $b$ 的模长施加正则惩罚，使得辅助分量专职吸收源域独有的偏置结构并在目标域被压制，从而在解析边缘化 $b$ 后隐式诱导出严格自定域于当前预测误差的有界相对重要性加权。

方法详解¶

整体框架¶

TILT 是一种用于协变量偏移下单步自适应的凸/连续优化框架。给定包含 $n$ 个样本的标记源域数据集 $\{(x_i, y_i)\}_{i=1}^n \sim \mathbb{P}$ 与包含 $m$ 个样本的未标记目标域边际数据集 $\{\tilde{x}_j\}_{j=1}^m \sim \mathbb{Q}_X$，算法并不试图匹配两域特征空间或估计密度比 $q(x)/p(x)$，而是将拟合函数解耦为两部分：可部署的主预测器 $f \in \mathscr{F}$ 和仅在训练期充当缓冲池的辅助偏差函数 $b \in \mathscr{B}$。

在训练阶段，模型让复合项 $f(x) + b(x)$ 拟合源域的有监督观测值，确保源域丰富的标签监督信号得以完全释放；与此同时，目标域的无标签样本仅用来对辅助项 $b$ 本身施加正则惩罚，约束 $b$ 在目标域边际分布下尽可能收缩为 0。在训练结束后，辅助项 $b$ 被彻底丢弃，仅将主预测器 $f$ 部署到目标域进行推断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>有标签源样本 (X, Y) 与无标签目标样本 X_tilde"] --> B["加性结构解耦<br/>复合预测器 f(x) + b(x)"]
    B --> C["联合经验优化<br/>源域拟合 f+b 监督损失，目标域施加 b 惩罚"]
    C --> D["隐式相对加权剖析<br/>边缘化辅助分量 b 诱导误差自定域权重"]
    D --> E["目标部署<br/>彻底剥离辅助分量 b，仅部署主预测器 f"]

关键设计¶

1. 加性结构解耦：将源域特定残差与通用目标表征分离

在标准协变量偏移问题中，当模型容量受限或受到一定函数类约束时，如果让单个模型 $f$ 直接最小化源域经验损失，源域分布的局部几何结构会强行拖拽参数偏向源域密度高的区域。为了解除这种结构性绑定，TILT 引入了加性解耦 $f(x) + b(x)$。在该架构中，$b$ 充当专门吸收源域特定偏差与残差结构的容器，而主模型 $f$ 则在目标域正则项的牵引下专注于拟合在两域均稳健的预测函数。对于连续回归问题，经验目标函数定义为： $$\widehat{\mathcal{L}}(f, b) = \frac{1}{n} \sum_{i=1}^n \big(f(x_i) + b(x_i) - y_i\big)^2 + \frac{\lambda}{m} \sum_{j=1}^m b^2(\tilde{x}_j)$$ 其中超参数 $\lambda > 0$ 调节目标域对偏差吸收项的压制强度。由于目标函数关于函数值是联合凸的，训练时可以直接利用标准凸优化器或梯度下降完成联合训练，而完全免去了交替极小化或对抗训练的不稳定性。

2. 隐式相对加权剖析：边缘化辅助分量自发诱导自定域超额风险

TILT 最关键的理论特性在于，在总体水平上解析消解（profile out）辅助分量 $b$ 时，目标侧的二次惩罚自发诱导出了目标域的相对加权超额风险，而无需人工构造加权形式。设理想回归函数为 $f^*(x) = \mathbb{E}[Y \mid X=x]$，辅助超额风险定义为 $\mathcal{A}(f, b) = \bar{\mathcal{L}}(f, b) - \bar{\mathcal{L}}(f^*, 0)$。通过配方法精确分解该总体风险，可以严格证明： $$\mathcal{A}(f, b) = \lambda \mathcal{E}_\lambda^2(f) + (1+\lambda) \|b - b^*_f\|_{\mathbb{P}_\lambda}^2$$ 其中 $\mathbb{P}_\lambda$ 是混合密度 $(p+\lambda q)/(1+\lambda)$，而解析最优偏差函数具备显式解析解： $$b^*_f(x) = - \frac{p(x)}{p(x) + \lambda q(x)} \big(f(x) - f^*(x)\big) = - v_\lambda(x) \big(f(x) - f^*(x)\big)$$ 由该解析解可知，当辅助空间 $\mathscr{B}$ 具备充分拟合能力时，极小化偏差项后诱导出的主预测器超额风险恰好为： $$\mathcal{E}_\lambda^2(f) = \mathbb{E}_{\mathbb{Q}} \left[ \frac{p(X)}{p(X) + \lambda q(X)} \big(f(X) - f^*(X)\big)^2 \right]$$ 该项展示出两大决定性优势：其一，有效权重因子 $v_\lambda(x) = p(x)/(p(x)+\lambda q(x))$ 在任意源域与目标域分布下均严格有界于 $[0, 1]$，彻底根除了传统相对密度比 $q(x)/(p(x)+\lambda q(x))$ 上界仍可高达 $1/\lambda$ 的隐患；其二，最优偏差函数 $b^*_f(x)$ 天然乘上了当前主预测器的残差 $f(x) - f^*(x)$，呈现出极佳的「自定域（Self-localizing）」特性——随着主预测器 $f$ 在训练过程中精度提高，辅助分量的残差幅度自动衰减至零，使学习难度逐渐收缩。

3. 有限样本预言机不等式与稀疏 ReLU 网络非参数收敛界

为了证明在有限样本经验最小化下的统计可靠性，论文建立了有限样本泛化保证。在均匀有界假定与次高斯噪声条件下，联合极小化子 $(\hat{f}, \hat{b})$ 的期望加权超额风险满足预言机不等式： $$\mathbb{E} [\mathcal{E}_\lambda^2(\hat{f})] \le (1+\epsilon) \inf_{f \in \mathscr{F}, b \in \mathscr{B}} \frac{\mathcal{A}(f, b)}{\lambda} + \frac{c(B^2 + \sigma^2)}{\epsilon} \left( \frac{\log \mathcal{N}_n(\delta; \mathscr{F}+\mathscr{B})}{n \lambda} + \frac{\log \mathcal{N}_m(\delta; \mathscr{B})}{m} \right) + \frac{\operatorname{Rem}(\delta)}{\lambda}$$ 将上述一般界应用到具有稀疏参数约束的深度剪切 ReLU 神经网络类 $\mathtt{NN}(L, \mathbf{p}, s, B)$ 时，假设真实函数 $f^*$ 具有 $\beta$ 阶 Hölder 平滑度，且有界权重比 $v_\lambda$ 具有 $\gamma$ 阶 Hölder 平滑度。设有效样本容量为 $n_\lambda = \min\{\lambda n, m\}$，条件数因子为 $\kappa_\lambda = (1+\lambda)/\lambda$。当使用具有乘法子网络的辅助网络时，TILT 实现了非参数极小化收敛速率： $$\mathbb{E}[\mathcal{E}_\lambda^2(\hat{f})] \lesssim \kappa_\lambda^{\frac{d}{2\beta+d}} n_\lambda^{-\frac{2\beta}{2\beta+d}} \big(\log(\kappa_\lambda n_\lambda)\big)^3 + \kappa_\lambda^{\frac{d}{2\gamma+d}} n_\lambda^{-\frac{2\gamma}{2\gamma+d}} \big(\log(\kappa_\lambda n_\lambda)\big)^3$$ 该结果揭示出源样本与目标样本在控制模型复杂度中的协同机制，且理论上完全不依赖真密度比 $q/p$ 的有界性或平滑性假设。

损失函数 / 训练策略¶

在连续回归中，目标函数直接采用带目标侧模长惩罚的最小二乘目标（如上文定义）。而在分类与知识蒸馏场景下，TILT 可以自然泛化至 Bregman 散度与 KL 散度框架（KD-TILT 与 KL-TILT）。

针对 $K$ 分类问题，设教师网络输出 logits 为 $\tau(x)$，学生网络的主模型 logits 为 $f(x) \in \mathbb{R}^K$，辅助 logits 为 $b(x) \in \mathbb{R}^K$。为防止辅助 logits 产生平凡的常数平移崩溃，在输入 softmax 前对 $b(x)$ 执行零均值化处理。给定温度 $T>0$ 与混合系数 $\beta \in [0, 1]$，KD-TILT 的训练目标函数为： $$\min_{f, b} \left\{ \frac{1}{n} \sum_{i=1}^n \left[ (1-\beta) \ell_{\mathrm{CE}}\big(y_i, \pi(f(x_i)+b(x_i))\big) + \beta T^2 \mathrm{KL}\big(\pi_T(\tau(x_i)) \parallel \pi_T(f(x_i)+b(x_i))\big) \right] + \frac{\lambda}{m} \sum_{j=1}^m T^2 \mathrm{KL}\big(\pi_T(f(\tilde{x}_j)+b(\tilde{x}_j)) \parallel \pi_T(f(\tilde{x}_j))\big) \right\}$$ 其中目标域惩罚项测量加入辅助 logits 后的混合分布与主模型单独输出之间的 KL 散度，在未标记目标域上直接抑制辅助偏差。

实验关键数据¶

主实验¶

论文分别在可控低维一维回归（线性模型不匹配）、4096 维高维高斯均值漂移下的神经网络回归以及图像分类知识蒸馏（CIFAR-100 域偏移）上进行了系统验证。

在 4096 维高斯协变量偏移实验中（目标域 $\mathcal{N}(0, I_{4096})$，源域均值 $\|\mu\|_2=3$ 在 512 维子空间中偏移，主网络为 16 隐藏单元的弱 ReLU 网络，以模拟真实中模型不可避免的容量不匹配），TILT 与直接最小化（Source ERM）、真密度比加权（Exact IW）和相对密度比加权（RuLSIF）的对比测试均方误差（MSE）如下：

评估任务 / 数据集	评估指标	本文 (TILT)	之前 SOTA (Exact RuLSIF)	传统基线 (Exact IW)	源域 ERM
高维高斯偏移 (均值位移 $\mu=1.0$)	目标域测试 MSE	0.38	0.44	0.62	0.81
高维高斯偏移 (均值位移 $\mu=2.0$)	目标域测试 MSE	0.49	0.65	1.85	1.48
高维高斯偏移 (均值位移 $\mu=3.0$)	目标域测试 MSE	0.62	0.89	4.31	2.10
CIFAR-100 图像扰动 (偏移强度 1.0)	Top-1 分类准确率 (%)	46.8	43.1 (Vanilla KD)	-	41.2 (Source ERM)
CIFAR-100 图像扰动 (偏移强度 1.0)	目标域测试交叉熵	2.32	2.58 (Vanilla KD)	-	2.71 (Source ERM)
CIFAR-100 图像扰动 (偏移强度 1.66)	Top-1 分类准确率 (%)	34.2	29.5 (Vanilla KD)	-	27.8 (Source ERM)

在极端点值质量（point-mass）非参数极小化界检验中，源域构造为 $\mathbb{P}_L = L^{-1}\mathrm{Unif}[0,1] + (1-L^{-1})\delta_0$，密度比最大值精确为 $L$。实验证明 TILT 的经验目标误差对 $n/L$ 严格遵循 $(n/L)^{-4/5}$ 的理论极小极大最优收敛斜率，而源域 ERM 则沿线性恶化的 $L n^{-4/5}$ 发散。

消融实验¶

在 CIFAR-100 跨域蒸馏中（学生为 1.4 万参数的弱卷积网络，教师为 28 万参数的 ResNet-20，相差 20 倍容量），不同倾斜损失组件与正则化参数的消融表现如下：

配置 / 变体	关键指标 (偏移强度 1.5 交叉熵)	说明
KD-TILT (完整模型, 交叉熵 + KD + 目标散度倾斜)	2.61	结合监督标签、教师软标签与目标侧倾斜约束，性能最优
KL-TILT (纯蒸馏 + 目标散度倾斜)	2.68	仅用教师蒸馏损失与目标倾斜项，依然大幅超越非倾斜基线
Vanilla KD (无目标倾斜, $\lambda=0$)	3.12	缺少目标域未标记数据正则约束，泛化误差显著上升
Source ERM (仅源域交叉熵)	3.35	无法抵御严重图像扰动带来的协变量位移
KL-TILT 极小正则 ($\lambda \to 10^{-4}$)	3.42	目标约束过弱，辅助项无节制拟合导致方差上升
KL-TILT 极大正则 ($\lambda \to 10^3$)	3.34	辅助项被过早彻底抑制为 0，模型退化回 Source ERM 极限

关键发现¶

对极端密度比的极高鲁棒性：在合成与高维实验中，随着分布偏离增大，真实密度比 $q(x)/p(x)$ 的波动导致精确重要性加权（Exact IW）彻底崩溃；而 TILT 依赖严格有界的权重因子 $v_\lambda \in [0, 1]$，在偏移加剧时仍旧稳定收敛，收益愈发显著。
宽阔稳定的超参可行域：超参数 $\lambda$ 的敏感性分析显示，在很宽的中间数值范围（例如合成实验的 $10^{-2} \sim 10^2$ 以及 CIFAR 实验中跨越两个数量级），TILT 的目标域测试误差均处于平坦的低谷区，无需严苛微调即可获得稳定增益。
容量不匹配下的自适应补偿：在蒸馏实验中，即使部署的学生模型容量仅有教师的 $1/20$ 且严重欠拟合，只要借助一个同等规模的辅助网络 $b$，TILT 依然能成功修正学生网络在目标域的决策面。

亮点与洞察¶

算法构思去显式密度化：传统的协变量偏移校正几乎全被“先估比值、再行加权”的范式所垄断；TILT 巧妙地将问题重构为内部加性解耦与目标域残差压制，从数学上自动析出相对加权准则，完全规避了估计密度比带来的数值不稳定性。
自定域（Self-localization）特性：解析最优辅助项 $b^*_f$ 自动乘以当前残差项 $f(x)-f^*(x)$，意味着主预测模型越精确，辅助偏差的学习负担就越小；该性质赋予了 TILT 优异的收敛动态与更紧的泛化界。
从回归到分类的自然统一：理论上借助对偶空间与 Bregman 散度的凸对偶性质，成功将最小二乘的加性残差推广至分类 Logit 空间的 KL 散度倾斜，显示了深厚的数学完备性与工程通用性。

局限与展望¶

模型容量与架构超参依赖：虽然免除了显式估计密度比，但引入了辅助模型 $b$ 的网络架构、容量设计以及权衡正则项 $\lambda$ 等超参数的选择问题；当完全没有目标域少量验证标签时，无监督模型选择依然存在挑战。
理论与实验的范畴差距：目前的端到端非参数理论界基于最小二乘损失与 Hölder 平滑函数类，对深度分类网络的非凸优化动态及广义 Bregman 散度在有限样本下的非渐近分析仍待进一步拓展。
真实复杂分布偏移验证有限：实证评估主要聚焦在合成受控偏移与确定性数字图像扰动上，在自然语言、多模态基础模型真实野外场景（如 WILDS 等复杂域偏移基准）下的表现仍需深入挖掘。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [抛弃传统显式密度比加权体系，通过简单的加性解耦与目标侧正则诱导出有界自定域相对风险，构思精巧深刻]
实验充分度: ⭐⭐⭐⭐☆ [从一维、极小极大理论率模拟、高维高斯到深度网络蒸馏层层递进，控制变量详实，但缺大规模自然分布偏移评估]
写作质量: ⭐⭐⭐⭐⭐ [数学推导流畅完备，从总体恒等式、有限样本界到 ReLU 网络非参数速率逻辑环环相扣，阐述清晰透彻]
价值: ⭐⭐⭐⭐⭐ [为长期困扰迁移学习与分布外泛化领域的密度比估计发散难题提供了全新且理论优雅的解法，具备强启发性]

评估任务 / 数据集	评估指标	本文 (TILT)	之前 SOTA (Exact RuLSIF)	传统基线 (Exact IW)	源域 ERM
高维高斯偏移 (均值位移 \(\mu=1.0\))	目标域测试 MSE	0.38	0.44	0.62	0.81
高维高斯偏移 (均值位移 \(\mu=2.0\))	目标域测试 MSE	0.49	0.65	1.85	1.48
高维高斯偏移 (均值位移 \(\mu=3.0\))	目标域测试 MSE	0.62	0.89	4.31	2.10
CIFAR-100 图像扰动 (偏移强度 1.0)	Top-1 分类准确率 (%)	46.8	43.1 (Vanilla KD)	-	41.2 (Source ERM)
CIFAR-100 图像扰动 (偏移强度 1.0)	目标域测试交叉熵	2.32	2.58 (Vanilla KD)	-	2.71 (Source ERM)
CIFAR-100 图像扰动 (偏移强度 1.66)	Top-1 分类准确率 (%)	34.2	29.5 (Vanilla KD)	-	27.8 (Source ERM)