RADAR: Relative Angular Divergence Across Representations

会议: NeurIPS 2026
arXiv: 2605.23028
OpenReview: https://openreview.net/forum?id=zzVgiIST6K
领域: 其他
关键词: 迁移性度量, 几何表征分析, 跨域适应, 基础模型, 负迁移预测

一句话总结

RADAR 提出了一种基于表征轨迹几何特性的跨域迁移性度量方法，通过追踪基础模型多层位移构成的三角角度与相对距离分布，并利用高斯混合模型拟合对称 KL 散度，在无需微调的前提下精准预测视觉与文本任务中的源域迁移增益。

研究背景与动机

在现代机器学习实践中，利用辅助源域数据扩充训练集是缓解目标域数据匮乏的通用范式。然而，盲目混合外部数据不仅无法保证下游性能增益，反而频繁引发负迁移现象，导致模型在目标任务上的准确率显著劣化。针对给定的目标域，从指数级组合的候选源域混合子集中筛选出具备正向增益的数据子集，理论上需要进行全量模型的穷举微调重训，这在算力成本和时间预算上完全不可行。因此，如何在完全冻结特征的前提下，零成本预先评估不同源域与目标域之间的迁移性，成为迁移学习与基础模型数据工程的核心诉求。

现有迁移性度量指标主要分为两类：一类是依赖经验标签条件概率与互信息的离散指标（如 LEEP、NCE、LogME、TransRate），另一类是基于样本与标签几何的最优传输方法（如 OTDD、s-OTDD）。尽管机理各异，这些传统方法无一例外均受限于单一固定网络深度（通常仅提取最终输出层）的静态特征分布。然而，深度神经网络的逐层前向传播本身是一个由浅入深的动态流形变形过程；根据数据处理不等式（Data Processing Inequality），最终输出层的表示往往抹平了中间层丰富的领域判别结构，导致静态单层度量系统性低估跨域真实发散程度。

针对这一本质局限，本文打破将特征视为静态散点集的固有思维，从感知拉直假说与表征轨迹演化中汲取灵感：跨域迁移性本质上取决于模型内部表征随层数推进时的几何轨迹对齐程度。核心 idea：将基础模型逐层特征位移建模为几何三角向量，提取层间相对距离膨胀与夹角变化构成的多维动力学分布，通过高斯混合模型拟合域内与跨域轨迹的对称 KL 散度，实现无需重训的高精度跨模态迁移性排序。

方法详解

整体框架

RADAR 的输入为冻结基础模型在多层抽取的中间特征以及源域、目标域标注数据，输出为各候选源域子集与目标域之间的迁移相似度标量，用于直接排序所有混合训练组合。方法首先在目标域内部以及源-目标域之间抽取代表性样本对，基于相邻层的特征位移构建几何三角闭环，计算出层级分离向量与绕行向量之间的夹角和相对距离变化量；随后在局部层级窗口内串联多层指标构建轨迹特征向量；最后利用带对角协方差的高斯混合模型估计域内与跨域轨迹的连续概率密度，并以加权对称 KL 散度衡量领域间几何结构畸变。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["冻结模型多层特征提取<br/>输入源域与目标域样本"] --> B["分层混合采样策略<br/>中心核对 + 决策边界对"]
    B --> C["跨层位移三角剖分<br/>分离向量 / 绕行向量 / 轨迹向量"]
    C --> D["几何角距描述子提取<br/>余弦夹角与归一化多余路径"]
    D --> E["多层窗口轨迹拼接<br/>构建 24 维动力学表征向量"]
    E --> F["连续高斯混合模型拟合<br/>参数化域内与跨域轨迹分布"]
    F --> G["对称 KL 散度评估<br/>输出迁移性预测分值与排序"]

关键设计

1. 跨层位移三角剖分与相对角距几何描述子：刻画流形动态形变而非静态散点

传统单层度量无法捕捉特征流形在模型深层推进中的微观形变。为量化跨层动态演化，RADAR 在层级 \(l\) 到 \(l+1\) 间建立几何三角关系：对于锚点样本 \(x \in \mathcal{D}_A\)，以及域内次级样本 \(x' \in \mathcal{D}_A\)（或跨域样本 \(x'' \in \mathcal{D}_B\)），定义层内分离向量 \(\mathbf{v}_{\text{sep}}^{(l)}(x,x') = \mathbf{h}^{(l)}(x') - \mathbf{h}^{(l)}(x)\)、状态替代后的绕行向量 \(\mathbf{v}_{\text{detour}}^{(l)}(x,x') = \mathbf{h}^{(l+1)}(x) - \mathbf{h}^{(l)}(x')\)，以及锚点样本自身的直接前向轨迹向量 \(\mathbf{v}_{\text{traj}}^{(l)}(x) = \mathbf{h}^{(l+1)}(x) - \mathbf{h}^{(l)}(x)\)。由于三者构成精确闭环，即满足向量代数恒等式：

\[\mathbf{v}_{\text{sep}}^{(l)}(x,x') + \mathbf{v}_{\text{detour}}^{(l)}(x,x') = \mathbf{v}_{\text{traj}}^{(l)}(x)\]

基于此，RADAR 提取两个互补的标量几何指标：反映方向错位程度的夹角 \(\theta^{(l)}\)，以及衡量绕行多余路径长度的相对距离 \(d^{(l)}\)：

\[\theta^{(l)}(x,x') = \arccos\left(\frac{\mathbf{v}_{\text{sep}}^{(l)} \cdot \mathbf{v}_{\text{detour}}^{(l)}}{\max(\|\mathbf{v}_{\text{sep}}^{(l)}\| \|\mathbf{v}_{\text{detour}}^{(l)}\|, \epsilon)}\right), \quad d^{(l)}(x,x') = \frac{\|\mathbf{v}_{\text{sep}}^{(l)}\| + \|\mathbf{v}_{\text{detour}}^{(l)}\| - \|\mathbf{v}_{\text{traj}}^{(l)}\|}{\max(\|\mathbf{v}_{\text{traj}}^{(l)}\|, \epsilon)}\]

根据三角不等式，相对距离恒有 \(d^{(l)} \ge 0\)；当且仅当三点共线时 \(d^{(l)}=0\)。两者的结合能够无损量化领域几何在网络深度方向上的畸变与扭曲程度。

2. 分层混合配对采样策略：平衡类中心骨架与决策边界流形

若在全数据集上进行穷举配对，计算开销将达到 \(\mathcal{O}(l \cdot |\mathcal{D}|^2)\)，对于百万级数据难以承受。RADAR 引入有放回/无放回的分层加权采样。首先对每个类别计算特征中心，定义样本 \(x\) 到类中心的归一化距离 \(\bar{d}(x) \in [0, 1]\) 与内点权重 \(w(x) = 1 - \bar{d}(x)\)。为了既覆盖聚类核心又捕捉流形边界，采样显式拆分为两组：一是以概率正比于 \(w(x) \cdot w(x')\) 抽取的“内点-内点（Inlier-Inlier）”样本对，映射类别中心的致密表征；二是以概率正比于 \(w(x) \cdot (1 - w(x'))\) 抽取的“内点-外点（Inlier-Outlier）”对，精准描摹跨域边界。消融实验证明，这种混合采样（Mix）能够以极小样本量（如 \(N=32768\)）忠实保留表征流形的全貌拓扑。

3. 连续多层高斯混合建模与对称 KL 散度：平滑离散噪声并保证跨模态普适

根据数据处理不等式（DPI），单层指标会低估浅层发散，因此 RADAR 采用半径为 \(\ell=6\) 的 13 层滑窗（从 \(l-6\) 贯穿至 \(l+6\)），将 12 个相邻层转换的 \((\theta, d)\) 级联成 24 维轨迹特征向量。面对视觉与文本表征点云的离散采样噪声，直接采用离散最优传输（如 Sinkhorn）或核方法（如 MMD）在视觉表征上极易崩溃（MMD 在视觉上误差暴增超过 120%pt）。RADAR 采用对角协方差的高斯混合模型（GMM）拟合域内分布 \(P\) 与跨域分布 \(Q\)，混合分量数设为 \(K=\min(2C, 50)\)（\(C\) 为类别数）。最终通过带样本量加权的对称 KL 散度度量两者的动力学分布偏差：

\[D_{\text{sym}}(P, Q) = \frac{|\mathcal{D}_A|}{|\mathcal{D}_A|+|\mathcal{D}_B|} D_{\text{KL}}(P \parallel Q) + \frac{|\mathcal{D}_B|}{|\mathcal{D}_A|+|\mathcal{D}_B|} D_{\text{KL}}(Q \parallel P)\]

该连续建模方式兼具极强的鲁棒性与计算效率，在 CPU 单核环境下计算耗时远低于传统需要训练分类头的方法。

损失函数 / 训练策略

作为免微调的静态迁移性度量算法，RADAR 在特征评估阶段不执行梯度反向传播。关键配置包括：几何特征在各层采用零均值和单位方差进行标准化；配对采样采用温度系数 \(\tau=2.0\) 的指数缩放平滑权重 \(w_{\text{reg}}(x) = \exp(-w(x)/\tau)\) 并截断在 \([0.1, 1.0]\)；GMM 采用 K-Means 单次运行初始化，最大 EM 迭代轮数设为 100，施加 \(10^{-3}\) 的对角正则项以确保协方差矩阵正定。在验证基准真实增益（Ground-Truth）时，通过冻结特征训练轻量级 2 层 MLP 探针（隐层维度 512，Dropout 0.1，AdamW 学习率 0.01），并在 10 个随机种子上取平均以消除评估方差。

实验关键数据

主实验

实验在图像分类（DomainNet、OfficeHome、PACS）和多语言情感分类（EuroEval、Amazon Reviews）上全面评测。骨干网络涵盖视觉模型 CLIP 与 DINOv3，以及文本模型 Qwen3-Embedding 与 EmbeddingGemma。下表汇报了平均相关性提升指标（Mean Correlation Improvement, MCI, %pt.，越低越好，定义为相对于质心距离基线的 Spearman 相关系数差值）：

数据集	模型骨干	RADAR (本文)	LEEP	NCE	LogME	TransRate	S-OTDD
DomainNet	CLIP	-9.71	-8.63	-4.88	12.17	2.29	27.01
DomainNet	DINOv3	-9.87	3.44	4.15	19.90	12.71	21.31
OfficeHome	CLIP	-16.62	-4.52	-7.20	-4.41	-11.78	10.88
OfficeHome	DINOv3	3.55	3.92	3.93	18.67	-3.12	-24.69
PACS	CLIP	-0.27	-14.64	-13.61	-9.96	-25.45	-23.92
PACS	DINOv3	-30.23	-33.67	-33.89	-72.08	-27.38	-37.50
EuroEval	Qwen3-Emb	-7.13	-3.58	-0.02	22.93	3.12	6.19
EuroEval	EmbGemma	-30.58	3.94	1.88	20.82	4.10	18.71
Amazon Reviews	Qwen3-Emb	3.21	1.76	-7.60	22.57	12.47	15.63
Amazon Reviews	EmbGemma	1.23	1.91	5.71	20.91	19.48	19.69

消融实验

在核心设计组件的系统性消融中，作者在 DomainNet（视觉）和 EuroEval（文本）上验证了几何特征组合、配对采样策略以及概率发散算法的影响：

消融配置	视觉 CLIP (MCI)	视觉 DINOv3 (MCI)	文本 Qwen3 (MCI)	文本 EmbGemma (MCI)	结论与说明
完整模型 (Dist+Angle, Mix, GMM+KL)	-9.72	-9.87	-7.13	-30.58	完整几何轨迹表征达到最佳综合效果
仅角度特征 (Angle Only)	-2.66	-5.62	-5.68	-19.42	缺少距离尺度，文本仍有预测力但视觉明显下降
仅相对距离 (Distance Only)	1.34	-7.96	7.42	-12.10	缺少方向信息，CLIP 与 Qwen3 出现性能反转
纯正样本对采样 (Positive Only)	-9.25	-8.76	-7.03	-29.51	仅建模聚类中心，遗漏流形重叠边界
纯负样本对采样 (Negative Only)	-8.45	-8.65	-6.85	-28.19	仅刻画边界，缺失内部致密度特征
替代算法: Sliced-Wasserstein (SWD)	3.61	-5.07	6.07	-19.05	离散投影最优传输在两模态均表现平庸
替代算法: 最大均值差异 (MMD)	62.32	61.45	-24.04	-9.04	视觉表征严重失效，出现灾难性偏差 (+123.77)
替代算法: Sinkhorn 散度	2.81	-4.24	-13.86	-23.50	文本表征优异但视觉表现不稳定

关键发现

• 角度与相对距离具备决定性的互补协同效应：单用距离时文本模态几乎失效（MCI 仅 -4.68%pt），单用角度虽保留了对比学习偏向但仍落后完整方案 12%pt 以上。
• 拓扑空间与模态强相关：文本嵌入严格要求欧氏空间，投影至伪笛卡尔或测地空间会导致严重性能塌陷；而视觉表征中 DINOv3 在伪笛卡尔投影下表现最优，统一采用欧式空间是兼顾两者的最优折中。
• 数据集几何界限决定适用边界：RADAR 在领域流形平滑渐变（DomainNet、OfficeHome）或极端严重畸变（ImageNet-C Severity 5）时大幅领先；在部分散落、中度重叠的模糊过渡区（如 PACS、ImageNet-C Severity 3）则弱于基于静态聚类的基线。

亮点与洞察

• 从静态截面迈向动态轨迹：指出基础模型由于残差连接与前向收缩，单层特征必然遵循数据处理不等式压制浅层发散，多层位移三角剖分成功捕捉到了深度演化中的流形扭曲信号。
• 免微调高通量数据过滤：在 CPU 环境下仅耗时 644 秒即可完成全部跨域对的评估，比训练简单分类头的 LogME 快 4 倍以上，比 s-OTDD 快 5 倍以上，极其适合大规模预训练与 SFT 数据筛选流水线。
• 极端扰动下的超强鲁棒性：在 ImageNet-C Severity 5 的重度视觉退化下，传统指标因全局空间崩溃而完全失效，RADAR 依托层间相对角度差与多余路径比率，依然保持 -30.16%pt 的领先相关性。

局限与展望

• 中度模糊领域划分下的敏感性：当领域间分布既不平滑也不清晰分离（如 PACS）时，动态轨迹在中间层产生随机交织，预测能力显著减弱。
• 非欧流形统一适配的权衡代价：当前为了跨模态通用而妥协于欧氏空间，牺牲了 DINOv3 在超球面或伪笛卡尔空间下的潜在峰值增益。
• 密度估计的计算瓶颈：当前 GMM 严重依赖 CPU 的 EM 聚类，缺乏工业级高性能 GPU 原生实现，限制了其在实时交互式数据过滤中的吞吐潜力。

相关工作与启发

• vs LogME / TransRate: 后者基于单层特征与标签的边际似然或编码率计算互信息，计算速度依赖静态特征，但在跨语言文本嵌入上近乎失效；RADAR 引入跨层多维几何动力学，在文本与视觉上展现出高度一致的泛化能力。
• vs s-OTDD: s-OTDD 借助切片 Wasserstein 距离量化静态数据集差距；RADAR 表明，捕获模型内部跨层前向动力学的结构散度比单纯测量输出分布几何距离具备更强的真实迁移增益相关性。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次将多层表征前向位移三角化与相对角距动力学引入迁移性度量，构思精巧。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双模态 4 种主流基础模型与 5 大数据集，消融分析透彻详实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，数学证明（DPI 与三角恒等式）完整闭环。
• 价值: ⭐⭐⭐⭐⭐ 为预训练及微调多源数据混合筛选提供了理论扎实且高效可行的几何评估工具。

相关论文

• [ECCV 2026] URoPE: Universal Relative Position Embedding across Geometric Spaces
• [ICLR 2026] RADAR: Learning to Route with Asymmetry-aware Distance Representations
• [NeurIPS 2026] A Systematic Evaluation of Co-folding Model Representations for Small-Molecule Learning
• [NeurIPS 2026] Implicit Neural Representations for Variational Problems on Graphons
• [NeurIPS 2026] Same Words, Different Judgments: How Preferences Vary Across Modalities