FedRSPO+: A Heterogeneity-Aware Algorithm for Decision-Focused Federated Learning¶

会议: NeurIPS 2026
arXiv: 2610.09091
代码: https://github.com/kziliask/RSPO_Plus
领域: 优化/理论
关键词: 决策聚焦学习, 联邦学习, 异质性优化, 莫罗包络, 智能预测再优化

一句话总结¶

针对多组织跨域协同决策场景中下游目标与多面体约束异质性导致的解映射极值跳跃难题，本文提出基于莫罗包络光滑化代理损失的决策聚焦联邦学习框架 FedRSPO+，给出了无强凸假设且在同质时退化的异质性误差上界，实现了显著更优的真实决策后悔值。

研究背景与动机¶

决策聚焦学习（Decision-Focused Learning, DFL）直接以端到端最小化下游优化任务的真实决策后悔值为导向训练预测模型，在电力调度、路径规划与物流配置等运筹场景中相比单纯最小化均方误差（MSE）的流水线展现出显著优势。其中，基于凸代理上界的 Smart Predict-then-Optimize（SPO+）因理论性质完备而获得广泛应用。然而在能源、医疗和金融等跨机构（cross-silo）实际场景中，数据受隐私法规、商业机密和合规监管限制而无法中心化汇聚，使得通过联邦学习（Federated Learning, FL）协同训练共享预测模型成为刚需。

当将 DFL 拓展至异质联邦环境时，各参与方不仅面临常规的输入特征分布偏移，更面临由物理拓扑与业务需求决定的本地目标函数差异与可行域约束异质性。这种优化结构的异质性直接击穿了传统 SPO+ 框架的稳定性：线性规划（LP）在多面体可行域上的最优解严格落在极点上，微小的目标微扰或可行域形变都会导致最优基切换，引起最优解发生 $\mathcal{O}(\text{diam}(S))$ 尺度的剧烈不连续跳跃。在联邦模型聚合过程中，各客户端梯度极性与幅值大幅震荡，导致聚合模型严重退化。

面对多面体决策映射不连续与异质性发散的核心困境，现有方法往往依赖强凸约束假设或事后验证集插值，缺乏兼具理论平滑收敛与无界稳定性的机制。核心 idea：利用莫罗包络（Moreau Envelope）将支撑函数构造成的 SPO+ 替代损失平滑化，把不连续的多面体极点跳跃转化为非扩张的欧氏投影映射，并配合时间反比退火策略与自适应停机准则，构建无强凸假设、在同质极限下界自然消失的异质感知联邦决策学习框架 FedRSPO+。

方法详解¶

整体框架¶

FedRSPO+ 包含四大协同阶段：客户端一次性自适应超参校准、多轮联邦全局预训练（warm-start）、本地个性化微调（personalization）以及基于正则化偏差的自适应冻结机制。其核心机制是在每个客户端本地引入基于二次正则化的代理损失 RSPO+，通过欧氏投影平滑优化曲面，随后在个性化阶段沿着同伦路径逐步退火降低正则化权重 $\lambda$，使平滑决策平稳过渡到原始下游线性规划。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多客户端局部数据与异质约束 S_j"] --> B["自适应参数校准<br/>按特征范数与集合半径初始化 λ_j, η_j"]
    B --> C["联邦全局预训练<br/>固定 λ_j 执行本地 SGD 并加权聚合 θ"]
    C --> D["本地个性化退火训练<br/>时间反比协同退火 λ 与学习率 η"]
    D --> E["自适应偏差冻结机制<br/>标准化 QP-LP 偏差满足阈值后停止退火"]
    E --> F["输出：高精度决策预测模型并执行原始 LP 求解"]

关键设计¶

1. RSPO+ 光滑化代理损失：消除多面体极点跳跃 传统 SPO+ 损失本质上等价于可行域支撑函数 $\xi_S$ 上的 Bregman 散度，由于多面体支撑函数的次微分在面交界处非光滑，导致其最优解算子对成本向量扰动极其敏感。RSPO+ 通过引入参数为 $\lambda$ 的莫罗包络平滑支撑函数，将损失封闭表示为两个投影残差之差： $$ \ell_{\mathrm{RSPO+}}(c,\hat{c};\lambda) = \frac{\lambda}{2}\left(\left|\frac{c-2\hat{c}}{\lambda} - \Pi_S\left(-\frac{c}{\lambda}\right)\right|^2 - \left|\frac{c-2\hat{c}}{\lambda} - \Pi_S\left(\frac{c-2\hat{c}}{\lambda}\right)\right|^2\right) $$ 其关于预测值 $\hat{c}$ 的梯度具有极其简洁的形式：$\nabla_{\hat{c}}\ell_{\mathrm{RSPO+}}=-2(\Pi_S((c-2\hat{c})/\lambda) - \Pi_S(-c/\lambda))$。由于欧氏投影 $\Pi_S$ 具备严格的牢固非扩张性，该梯度是 $4/\lambda$-光滑且全局凸的，彻底消除了原始 SPO+ 中阶跃式的极值震荡，同时在理论上被严格证明为真实正则化决策后悔值与决策误差的有效上界。

2. 自适应参数校准与时间反比协同退火：兼顾稳定性与真实后悔值 过大的 $\lambda$ 会使投影算子退化为恒等映射，导致损失退化为尺度缩放的 MSE 预测损失；而过小的 $\lambda$ 则会回退至不稳定的原始 SPO+。FedRSPO+ 在训练之初基于各客户端数据集的平均成本向量范数 $\|\bar{c}_j\|$ 与可行域外接球半径 $R_j$ 自动校准初始超参，设定 $\lambda_j := \|\bar{c}_j\| / R_j$ 以及 $\eta_j := \alpha \|\bar{c}_j\| / (4 R_j)$，使得缩放后的成本向量落在可行域边界附近。在个性化阶段，为了让正则化决策追踪未正则化的真实最优解，设计了时间反比退火策略 $\lambda_t = \lambda_0 / (1 + \kappa^\lambda t)$，并保持学习率协同退火 $\eta_t = \alpha \lambda_t / 4$。这一设计保证了每步倒数增量恒定，在理论上将单步损失漂移和梯度漂移严格控制在常数界内。

3. 正则化偏差自适应冻结机制：防止退火过度导致优化破缺 随着 $\lambda$ 的持续衰减，RSPO+ 的光滑常数 $4/\lambda$ 会急剧增大，破坏算法的数值稳定性。为了阻断过度退火，FedRSPO+ 引入了一个数据驱动的无量纲监控量 $\tilde{U}_t$，通过在小规模验证集 $\mathcal{V}_c$ 上度量二次正则化解与原始 LP 最优解的相对代价偏差： $$ \tilde{U}_t = \frac{\frac{1}{|\mathcal{V}c|}\sumc}\left(c_i^T w - z}^{\star,\mathrm{reg}i^\starright)}{\frac{1}{|\mathcal{V}c|}\sum \le \tau $$ 当平均相对偏差下降至预设容限 }_c}|z_i^\star| + \varepsilon$\tau$ 以内时，即表明当前二次规划代理已充分逼近原始线性规划目标，系统立即冻结 $\lambda$ 与学习率 $\eta$ 并维持该状态继续完成后续训练，在收敛精度与数值平滑性之间取得了自适应平衡。

损失函数 / 训练策略¶

在联邦阶段，各客户端同步全局权重 $\theta$，以本地校准的常数 $\lambda_j$ 计算 RSPO+ 损失，并运行 $E$ 步本地 SGD 更新后由中央服务器按样本量加权平均（FedAvg 协议，亦可即插即用嵌入 FedProx 近端正则）；在随后的个性化阶段，每个客户端以预训练模型为热启动底座，在本地私有数据上启动时间反比退火与冻结监控，独立优化专属模型权重。

实验关键数据¶

主实验¶

论文在可控合成多维异质分数背包问题、PJM 电力市场真实日前节点电价调度、以及带有图流结构失配的 Warcraft 12x12 最短路径问题三大基准上展开了全面评测。

表 1：合成背包任务在不同异质配置下的客户端平均相对后悔值 (%) 评测（mean ± std）

异质性配置 $(\eta_{\mathrm{o}},\eta_{\mathrm{c}},\eta_{\mathrm{d}})$	MSE (Fed / +P)	PFYL (Fed / +P)	DPO (Fed / +P)	SPO+ (Fed / +P)	FedRSPO+ [本文] (Fed / +P)
同质 baseline $(0,0,0)$	15.9±3.3 / 10.5±2.8	8.5±1.5 / 6.1±1.1	16.3±2.7 / 12.6±2.2	9.7±2.1 / 5.6±1.4	2.3±0.4 / 1.9±0.3
目标异质 $(1,0,0)$	16.4±3.4 / 10.8±2.9	9.9±1.6 / 6.9±1.3	17.4±2.5 / 13.4±2.2	10.9±2.2 / 6.3±1.6	3.0±0.3 / 2.0±0.3
约束异质 $(0,1,0)$	13.3±2.3 / 10.5±2.0	15.0±2.3 / 9.1±1.5	20.8±3.3 / 14.1±2.4	12.9±2.0 / 8.1±1.5	4.6±0.5 / 2.6±0.4
数据异质 $(0,0,1)$	19.1±2.8 / 8.4±1.7	18.0±1.9 / 8.8±0.7	22.9±2.9 / 14.1±1.8	17.7±2.1 / 6.9±0.8	9.3±1.2 / 3.4±0.2

消融实验¶

在真实 PJM 电力日前电价调度任务中，模型输入 8 维气象特征，预测 24 小时电价向量，下游求解满足日固定用电配额的 top-k 小时购电优化（平均绝对决策后悔值，单位：美元）。

表 2：PJM 电价调度任务关键模块逐级消融与联邦框架兼容性

算法配置 / 消融环节	平均绝对决策后悔值 ($) ↓	相对基线说明
MSE (两阶段预测-优化基线)	175.453 ± 7.260	传统仅关注预测精度的两阶段 baseline
SPO+ (朴素联邦化)	81.676 ± 1.768	极值跳跃导致聚合受损
RSPO+ (仅引入平滑代理损失)	72.890 ± 4.231	较 SPO+ 降低 8.78 美元
RSPO+ w/ P (增加个性化阶段)	68.136 ± 1.402	本地微调改善特定约束适配
RSPO+ w/ P + $\lambda_j/\eta_j$ (增加自适应超参校准)	63.006 ± 1.059	统一标度消除跨节点步长失配
RSPO+ (Full 完整版：含时间反比退火与冻结)	60.654 ± 0.796	较 MSE 降低 65.4%，较 SPO+ 降低 25.7%
RSPO+ (Full) + FedProx ($\mu=1$)	60.602 ± 0.623	良好兼容联邦近端优化，方差进一步降低
RSPO+ (Full) + Ditto ($\mu=1$)	69.482 ± 2.932	Ditto 的近端惩罚与个性化同伦退火存在优化冲突

关键发现¶

异质性敏感度层次：在分数背包实验中，数据异质性（协变量偏移）对模型破坏最剧烈，约束异质性次之，目标异质性影响相对温和。无论哪种异质性，FedRSPO+ 在联邦聚合阶段即展现出极高的泛化鲁棒性（联邦阶段后悔值远低于基准方法个性化后的水平）。
理论同质界验证：理论分析证明 SPO+ 的跨节点误差界中存在无法消除的集合直径常数项 $\mathcal{O}(D_{\min})$，而 RSPO+ 的界为 $\mathcal{O}(c_d/\lambda + \sqrt{\delta/\lambda} + \delta)$，在完全同质（$c_d=0, \delta=0$）时完全消失。实验表明在 $(0,0,0)$ 条件下 FedRSPO+ 相对后悔仅为 1.86%，远胜 SPO+ 的 5.6%。
结构失配的韧性与代价：在 Warcraft 最短路径任务中，二次正则项破坏了网络流的全幺模性（TUM），使离散路径松弛为连续网络流，但退火与个性化使得最优性差距从 7.50% 骤降至 2.57%（个性化收益达 66%），虽微弱逊于直接基于 Dijkstra 的 SPO+（1.85%），但仍大幅超越 MSE（7.24%）与扰动法 DPO（11.02%）。

亮点与洞察¶

建立莫罗包络与决策聚焦学习的理论桥梁：创造性地将 SPO+ 的 Bregman 散度形式与莫罗平滑技术相结合，给出了具备非扩张投影特性的闭式解析解与有界梯度表达式。
摆脱强凸性假设的异质性理论：首次在非强凸的多面体约束下，利用凸集投影的 Hausdorff 距离稳定性建立了 $\mathcal{O}(\sqrt{\delta})$ 鲁棒性理论界，为跨域运筹协同奠定了严密的理论根基。
模块化与即插即用：超参数计算完全由输入维度几何特征显式解析给出，无需昂贵网格搜索，且能够与 FedProx 等主流隐私联邦架构无缝组合。

局限与展望¶

计算复杂度增加：由于每轮反向传播需将原 LP 的线性求解器替换为求解等维度的二次规划（QP）投影算子，端到端训练耗时相比常规 SPO+ 约增加 1.4x-2.0x，在大规模组合优化图流问题上调用开销更为显著。
混合整数与非凸约束局限：方法强依赖凸集合投影算子，针对严格离散的整数规划（MIP）或非凸可行域，需先经由连续松弛方可适用。
与近端个性化算法的潜在冲突：实验表明与 Ditto 这类在个性化阶段向全局模型施加二次锚定的方法联合使用时，全局收缩力会与本地动态退火路径发生拮抗，未来需设计与同伦轨迹相匹配的双层联邦优化协议。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性解决决策聚焦联邦学习中的多面体约束与目标异质性，理论构建极为优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖可控多轴异质合成实验、真实日前电力电价调度以及结构失配的最短路径图流实验，消融严密。
写作质量: ⭐⭐⭐⭐⭐ 符号系统高度严谨，命题、引理与实验证据链条闭合。
价值: ⭐⭐⭐⭐⭐ 为隐私保护下的多机构协同生产排产、能源调度及供应链协同决策提供了可靠的技术底座。

异质性配置 \((\eta_{\mathrm{o}},\eta_{\mathrm{c}},\eta_{\mathrm{d}})\)	MSE (Fed / +P)	PFYL (Fed / +P)	DPO (Fed / +P)	SPO+ (Fed / +P)	FedRSPO+ [本文] (Fed / +P)
同质 baseline \((0,0,0)\)	15.9±3.3 / 10.5±2.8	8.5±1.5 / 6.1±1.1	16.3±2.7 / 12.6±2.2	9.7±2.1 / 5.6±1.4	2.3±0.4 / 1.9±0.3
目标异质 \((1,0,0)\)	16.4±3.4 / 10.8±2.9	9.9±1.6 / 6.9±1.3	17.4±2.5 / 13.4±2.2	10.9±2.2 / 6.3±1.6	3.0±0.3 / 2.0±0.3
约束异质 \((0,1,0)\)	13.3±2.3 / 10.5±2.0	15.0±2.3 / 9.1±1.5	20.8±3.3 / 14.1±2.4	12.9±2.0 / 8.1±1.5	4.6±0.5 / 2.6±0.4
数据异质 \((0,0,1)\)	19.1±2.8 / 8.4±1.7	18.0±1.9 / 8.8±0.7	22.9±2.9 / 14.1±1.8	17.7±2.1 / 6.9±0.8	9.3±1.2 / 3.4±0.2