Fréchet Regression on the Bures-Wasserstein Manifold¶

会议: NeurIPS 2026
arXiv: 2604.03566
论文: https://arxiv.org/abs/2604.03566
领域: 学习理论
关键词: Fréchet回归, Bures-Wasserstein流形, SPD矩阵, 黎曼优化, 统计外推

一句话总结¶

针对对称正定（SPD）矩阵在 Bures-Wasserstein 流形上外推预测时权重大多为负导致的非凸与边界退化难题，本文提出了正权重谱支配充分条件保证解的存在性与无局部极大值，并设计了首个免投影的黎曼梯度下降及成对随机黎曼算法。

研究背景与动机¶

在现代机器学习与生物医学数据处理中，越来越多的预测目标不再是简单的欧氏向量，而是受物理或代数严格约束的几何对象。例如在弥散张量成像（DTI）中的水分子扩散张量、统计与表示学习中的协方差/精度矩阵，以及网络科学中的图拉普拉斯算子，均要求响应变量落在对称正定（SPD）矩阵流形 $\mathbb{S}_}^d$ 内部。保持严格的正定性具有不可妥协的物理意义；一旦预测矩阵发生奇异退化或脱离正定锥，后续的生理建模或网络拓扑分析将彻底失效。

为了利用欧几里得协变量预测非欧度量空间中的响应变量，Fréchet 回归通过全局仿射加权均值建立起优美的条件重心框架。然而，全局 Fréchet 回归存在一个长期被忽视的本质性瓶颈：当查询协变量超出训练样本范围进行外推（Extrapolation）时，仿射权重中必然不可避免地出现负权重。这使得原本凸的黎曼重心问题转变为带符号加权的非凸优化问题，目标函数极易丧失矫顽性（coercivity），导致迭代点漂移至流形边界并坍缩为奇异半正定矩阵。现有关于 Wasserstein 重心与 Bures-Wasserstein 几何的理论与算法均严格依赖非负权重假设，带符号回归在外推区间的理论可解性与计算保证长期处于空白。

本文的核心切入点在于利用正定矩阵的极值特征值来量化正负权重矩阵之间的张量对抗，通过谱边界建立几何矫顽性屏障。核心 idea：提出了正权重谱支配（Spectral Dominance of Positive Weights）充分条件，从理论上界定了外推可解的安全边界并证明目标函数无局部极大值，在此基础上构建了无需任何昂贵投影操作即可天然保持正定性的全局黎曼梯度下降（RGD）与成对随机优化（Pairwise R-SGD）方法。

方法详解¶

整体框架¶

本文针对以 Bures-Wasserstein（BW）度量为几何基础的 SPD 矩阵空间 $\mathbb{S}{^d$，系统解决带符号权重的条件重心极小化问题 $\min}^d} \sum^n \lambda_k W_2^2(S, \Sigma_k)$。整个方法体系涵盖三个核心阶段：首先根据样本协方差与查询点计算带符号仿射权重，并对正负权重集合进行谱支配检验；随后在理论保证的前提下，若为中小规模样本则执行确定的免投影黎曼梯度下降更新，若为海量大规模数据则通过正负权重解耦重构进行成对随机采样更新；最终在不施加任何截断或高开销投影的情况下输出保持严格对称正定的外推预测矩阵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：查询协变量 x、样本对 (X_k, \Sigma_k)"] --> B["阶段 1：正权重谱支配检验<br/>计算仿射权重 \lambda_k 并验证极值特征值充分条件"]
    B -->|满足谱支配条件| C{"样本规模选择"}
    C -->|全量批次| D["阶段 2：免投影黎曼梯度下降 (RGD)<br/>按利普希茨常数倒数自适应步长更新"]
    C -->|大规模样本| E["阶段 3：成对随机黎曼优化 (Pairwise R-SGD)<br/>正负成对概率采样消除单步出界风险"]
    D --> F["输出：严格对称正定预测矩阵 S_* \in S_{^d"]
    E --> F

关键设计¶

1. 正权重谱支配条件：划定外推安全边界与优化景观表征

传统 Wasserstein 重心依赖全正权重 $\lambda_k \ge 0$ 保证严格凸性与解的存在唯一性。而在外推场景下，指标集划分为正权重集合 $\mathcal{I} = \{i: \lambda_i > 0\}$ 与负权重集合 $\mathcal{J} = \{j: \lambda_j < 0\}$，使得负距离项可能主导目标函数导致趋向负无穷或在边界 $\partial \mathbb{S}_}^d$ 坍缩。针对该痛点，本文提出了正权重谱支配条件，通过极值特征值建立了对抗判据：

\[\sum_{i \in \mathcal{I}} \lambda_i^{+} \sqrt{\lambda_{\min}(\Sigma_i)} > \sum_{j \in \mathcal{J}} \lambda_j^{-} \sqrt{\lambda_{\max}(\Sigma_j)}\]

其核心机制在于：借助 Löwner-Heinz 算子单调性定理，矩阵几何平均与核范数恒等式将奇异矩阵微扰的变分增量展开为 $\Delta F(t) \le tm - 2m (A_{\min} - B_{\max})\sqrt{t}$。当满足谱支配条件时，$A_{\min} - B_{\max} > 0$，一阶项 $\sqrt{t}$ 主导线性项 $t$，确保任何奇异边界点附近的扰动方向都能严格降低能量，从而彻底排除了边界退化解的存在。不仅如此，本文还进一步证明了在该条件下，目标函数的任意驻点满足严格的上下谱包络夹逼，且整个优化流形中不存在任何局部极大值，所有驻点仅由局部极小值或鞍点构成。在局部邻域半径内满足截面曲率约束时，还推导出了极小值点的唯一性判定。

2. 免投影黎曼梯度下降（RGD）：代数结构保正定与无曲率依赖收敛率

在带符号矩阵优化中，标准的欧氏梯度步极易穿透正定锥边界，而经典的 SPD 投影运算（如奇异值截断）需要耗费 $\mathcal{O}(d^3)$ 的奇异值分解，在大规模迭代中极易引发数值振荡。本文提出利用 BW 流形固有的黎曼指数映射构造免投影算法。利用矩阵几何平均算子 $\mathrm{GM}(A, B) = A^{1/2}(A^{-1/2} B A^{-1/2})^{1/2} A^{1/2}$，更新步表示为：

\[\tilde{S}_t = (1 - \eta) I + \eta \sum_{k=1}^n \lambda_k \mathrm{GM}(S_{t-1}^{-1}, \Sigma_k), \quad S_t = \tilde{S}_t S_{t-1} \tilde{S}_t\]

通过代数变换与算子单调性证明，在谱支配条件下，中间共轭算子 $M = \sum_k \lambda_k (S^{1/2} \Sigma_k S^{1/2})^{1/2}$ 恒严格正定。从而保证了只要步长选取满足 $\eta \le 1 / \sum_{k=1}^n |\lambda_k|$，更新矩阵 $\tilde{S}_t$ 自动严格正定，同余变换 $S_t = \tilde{S}_t S_{t-1} \tilde{S}_t$ 使所有迭代轨迹在无任何人为投影干预的情况下，天然永久保持在 $\mathbb{S}_{^d$ 内部。同时，基于 BW 距离的 1-光滑性，证明了目标函数具有 $L = \sum_k |\lambda_k|$ 的黎曼李普希茨光滑性，推导出 $\mathcal{O}(1/T)$ 的次线性收敛速率，且该收敛界惊人地独立于流形曲率。

3. 成对随机黎曼重构（Pairwise R-SGD）：大规模样本下的常数单步复杂度

当训练样本量 $n$ 极大（如 $n=100,000$）时，全量批次 RGD 在每轮迭代中均需对所有样本计算矩阵乘法、逆矩阵与平方根，算力开销极其昂贵。若直接应用常规 SGD 随机抽取单个样本更新，一旦抽中负权重项，单步目标即变为极小化负距离，必然引发流形出界。为破除这一死局，本文提出了创新的成对随机重构策略，引入归一化正负质量 $\mu_+ = \sum_{i \in \mathcal{I}} \lambda_i^+$ 和 $\mu_- = \sum_{j \in \mathcal{J}} \lambda_j^-$，将总目标分解为乘积概率测度下的成对基元函数期望：

\[F(S) = \sum_{i \in \mathcal{I}, j \in \mathcal{J}} \frac{\lambda_i^+}{\mu_+} \frac{\lambda_j^-}{\mu_-} f_{ij}(S), \quad f_{ij}(S) := \mu_+ W_2^2(S, \Sigma_i) - \mu_- W_2^2(S, \Sigma_j)\]

在强谱支配条件 $(\mu_+) \min_{i} \sqrt{\lambda_{\min}(\Sigma_i)} > (\mu_-) \max_{j} \sqrt{\lambda_{\max}(\Sigma_j)}$ 下，每次分别以概率 $\lambda_i^+/\mu_+$ 与 $\lambda_j^-/\mu_-$ 独立抽取一个正样本 $\Sigma_i$ 和一个负样本 $\Sigma_j$，计算成对无偏随机梯度。由于正负样本以结构化对冲形式绑定，单步更新完全保持正定，单次迭代时间与总样本量 $n$ 彻底脱钩。配合衰减步长 $\eta_t = \eta_0 / \sqrt{t+1}$，建立了以 $\mathcal{O}(\log T / \sqrt{T})$ 速率收敛至一阶平稳点的严格理论保证。

实验关键数据¶

主实验¶

论文在两类典型结构化预测任务中展开评估：基于真实生物网络的蚂蚁社会结构时序回归（11 个时间步，113 个节点对应的图拉普拉斯算子变换矩阵）以及大规模合成弥散张量成像（DTI，$n=100,000$ 个 $3 \times 3$ 正定扩散张量）。

在蚂蚁社会网络实验中，协变量为时间索引 $\tau \in [1, 11]$，全正权重插值区间仅占 $[4, 8]$（不足 50%），其余区间均为强烈依赖外推的带符号回归。本文 BW 回归方法与基于 Frobenius 度量的算术均值回归、基于 Fisher-Rao 度量的几何均值回归进行了全面对比，评价指标包括度中心性分布的 Wasserstein 距离（越低越好）与社区结构模块度 Modularity（接近真值 0.30 越优）。

方法	度分布 Wasserstein 距离 (均值)	模块度 Modularity (范围)	模块度误差对比
Frobenius 回归 (算术均值)	0.048	0.06 - 0.10	结构极度平滑，丢失社区聚类
Fisher-Rao 回归 (几何均值)	0.041	0.08 - 0.12	中间插值段度分布严重同质化
本文 Bures-Wasserstein 回归	0.019	0.13 - 0.18	最贴近真实网络 (真值 ~0.30)

在 DTI 大规模张量回归实验中，基于沿三维空间螺旋线生成的 100,000 个扩散椭球，选取 4 个典型外推/关键索引点（20000, 40000, 60000, 80000），使用成对 Pairwise R-SGD 进行 10 次独立重复实验（每轮 100 次迭代）。

评估指标 / 阶段	初始状态 (t=0)	快速下降期 (t=20)	最终收敛 (t=100)	投影违例发生次数
目标函数值 $F(S)$ (均值)	~0.62	< 0.20	0.05 - 0.08	0 次 (天然免投影)
估计张量 BW 误差	~0.58	~0.14	~0.05 (边界处 ~0.35)	0 次
单步计算复杂度	$\mathcal{O}(d^3)$	$\mathcal{O}(d^3)$	$\mathcal{O}(d^3)$ 无关 $n$	-

消融实验¶

为了验证谱支配条件在算法收敛稳定性中的决定性作用，对比分析了插值（全正权重）与外推（带符号负权重）在不同步长配置下的梯度范数收敛行为。

实验配置 / 场景	权重符号状态	梯度范数收敛终值 ($\\|\nabla F\\|_F$)	收敛所需迭代轮数	是否需出界修复
内插区间 ($\tau \in [4, 8]$)	全部正权重 ($\lambda_k > 0$)	$< 10^{-10}$	< 10 轮	否
外推区间 ($\tau \in \{1, 11\}$) 满足谱支配	出现显著负权重	$< 10^{-10}$	~40 - 80 轮	否 (平滑收敛)
破坏谱支配边界 (人工构造反例)	负权重极端主导	梯度无驻点 / 奇异发散	不收敛 / 漂移至奇异边界	是 (退出正定锥)

关键发现¶

外推减速效应符合几何直觉：全正权重的内插任务在 10 轮以内即可使梯度范数衰减至 $10^{-10}$；而在 $\tau=1$ 和 $\tau=11$ 的强外推区间，由于负权重的几何对抗导致目标函数曲率变缓，收敛需要 40 至 80 步，但依然能稳定降至数值精度极限。
度量几何对网络拓扑异质性的保真度至关重要：Frobenius 和 Fisher-Rao 回归在均值混合过程中产生了显著的“过平滑”效应，导致各节点的度分布趋向均一化；而 BW 回归精确刻画了最优传输通道，完美再现了生物网络中真实存在的度异质性与模块化社群特性。
成对采样方差在衰减学习率下表现极其鲁棒：在 DTI 的 100,000 样本规模下，成对 R-SGD 在前 20 步即可将残差压降 65% 以上，即便在无方差缩减（VR）辅助的纯粹随机梯度下，衰减步长策略也能有效抚平采样扰动，且全程未发生任何一次正定性破损。

亮点与洞察¶

外推存在性理论的破局：过去度量空间回归大多默认驻点可达或局限在单条测地线内，本文首次用严谨的谱支配不等式刻画了 Bures-Wasserstein 负权重外推的相变边界，填补了非欧度量回归的基础理论空白。
巧妙的算子同余自保持机制：通过改写黎曼指数映射并结合 Löwner-Heinz 算子单调性，将复杂的流形约束优化转化为无约束同余正定更新，彻底省去了传统流形优化中最昂贵的矩阵正定投影。
正负绑定的成对随机化设计：打破了传统 SGD 逐一抽样的思维定势，利用概率乘积测度将正负样本成对耦合成自然对冲的随机算子，为几何学习算法解决带符号大样本优化提供了通用范式。

局限与展望¶

特征维度扩展性：虽然成对 R-SGD 将计算复杂度与样本量 $n$ 解耦，但单次成对迭代仍涉及 $d \times d$ 矩阵的求逆与开方（$\mathcal{O}(d^3)$），在基因组学等超高维协方差（$d > 10,000$）场景下仍面临算力瓶颈。
向半正定锥闭包的拓展：本文理论严格假设目标处于严格正定锥内部 $\mathbb{S}_{++}^d$，然而在许多低秩矩阵恢复或退化流形学习中，真实矩阵可能处于半正定边界 $\mathbb{S}_+^d$，进一步推广理论以容纳退化秩具有重要研究价值。
自适应与加速黎曼优化空间：目前算法仍基于基础 RGD 与衰减步长 R-SGD，未来结合黎曼动量加速（Nesterov/Heavy-ball）或自适应预条件子将进一步提高外推边界处的收敛效率。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立 Bures-Wasserstein 流形带符号 Fréchet 回归的存在性理论与免投影算法。
实验充分度: ⭐⭐⭐⭐ 生物网络拓扑度量与十万级大规模 DTI 数据集验证兼备，理论与实证紧密结合。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严密自洽，从变分扰动分析到黎曼优化推导层次极其分明。
价值: ⭐⭐⭐⭐⭐ 完美打通了欧氏协变量向非欧几何流形进行外推预测的理论与工程堵点。

评估指标 / 阶段	初始状态 (t=0)	快速下降期 (t=20)	最终收敛 (t=100)	投影违例发生次数
目标函数值 \(F(S)\) (均值)	~0.62	< 0.20	0.05 - 0.08	0 次 (天然免投影)
估计张量 BW 误差	~0.58	~0.14	~0.05 (边界处 ~0.35)	0 次
单步计算复杂度	\(\mathcal{O}(d^3)\)	\(\mathcal{O}(d^3)\)	\(\mathcal{O}(d^3)\) 无关 \(n\)	-

实验配置 / 场景	权重符号状态	梯度范数收敛终值 (\(\\|\nabla F\\|_F\))	收敛所需迭代轮数	是否需出界修复
内插区间 (\(\tau \in [4, 8]\))	全部正权重 (\(\lambda_k > 0\))	\(< 10^{-10}\)	< 10 轮	否
外推区间 (\(\tau \in \{1, 11\}\)) 满足谱支配	出现显著负权重	\(< 10^{-10}\)	~40 - 80 轮	否 (平滑收敛)
破坏谱支配边界 (人工构造反例)	负权重极端主导	梯度无驻点 / 奇异发散	不收敛 / 漂移至奇异边界	是 (退出正定锥)