Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization¶

会议: ICLR 2026
arXiv: 2510.17480
代码: 无
领域: AI 安全 / 差分隐私 / 去中心化学习
关键词: 去中心化学习, 矩阵分解, 差分隐私, 相关噪声, gossip协议

一句话总结¶

将去中心化学习（DL）中的多种算法和信任模型统一建模为矩阵分解（MF）机制，推广隐私保证到更一般的矩阵类型，并提出 MAFALDA-SGD 算法通过优化噪声相关性在合成和真实图拓扑上显著优于现有方法。

研究背景与动机¶

领域现状：去中心化学习（DL）通过 peer-to-peer 通信图让用户协作训练模型而无需共享原始数据。强隐私保证通常通过差分隐私（DP）实现。中心化 DP-SGD 已有成熟的基于矩阵分解（MF）的噪声相关分析框架，可利用时间噪声相关性提升隐私-效用权衡。然而 MF 方法此前仅应用于中心化场景。

现有痛点：(1) DL 中的 DP 分析依赖针对特定算法和信任模型的 ad hoc 证明，缺乏统一框架；(2) 现有分析未充分利用 peer-to-peer 通信中冗余交换带来的噪声相关性，导致隐私保证过于悲观；(3) 现有 MF 理论要求工作负载矩阵为方阵、满秩、下三角，DL 场景不满足这些条件。

核心矛盾：DL 的分布式通信结构产生的矩阵不满足已有 MF 理论的假设，同时不同信任模型（LDP、PNDP、SecLDP）下攻击者知识不同，需要统一建模。

本文目标 (1) 将 DL 算法编码为单一矩阵乘法形式；(2) 统一不同信任模型下的攻击者知识表示；(3) 推广 MF 的 DP 保证到矩形、可能秩亏的矩阵；(4) 利用优化噪声相关性设计新算法。

切入角度：去中心化 SGD 的全部 T 轮迭代可以展开为一个大矩阵方程 \(\theta = (I_T \otimes W)(M\theta_0 - \eta \mathbf{W}_T(G + C^\dagger Z))\)，从而将 DL 纳入 MF 分析框架。

核心 idea：将去中心化学习的梯度-噪声交互统一表示为 \(\mathcal{O}_\mathcal{A} = AG + BZ\)（其中 \(A=BC\)），推广 MF 的 GDP 隐私保证并优化噪声相关矩阵 \(C\) 得到新算法 MAFALDA-SGD。

方法详解¶

整体框架¶

分两步：(1) 统一建模——定义线性 DL 算法（Definition 4）和攻击者知识（Definition 5），证明所有现有 DL 算法和信任模型都可表示为 \(\mathcal{O}_\mathcal{A} = AG + BZ\)（Theorem 6）；(2) 算法设计——在 LDP 约束下优化噪声相关矩阵 \(C_{local}\)，得到 MAFALDA-SGD。

关键设计¶

去中心化学习的矩阵分解编码:
- 做什么：将 DL 算法的多轮迭代展开为统一矩阵形式
- 核心思路：\(n\) 个节点在通信图 \(\mathcal{G}\) 上执行 T 轮：每轮先做局部梯度步 \(\theta_{t+1/2} = \theta_t - \eta(G_t + C_t^\dagger Z)\)，再做 gossip 平均 \(\theta_{t+1} = W\theta_{t+1/2}\)。堆叠 T 轮得到 \(\theta = (I_T \otimes W)(M\theta_0 - \eta \mathbf{W}_T(G + C^\dagger Z))\)，其中 \(\mathbf{W}_T \in \mathbb{R}^{nT \times nT}\) 是下三角 Toeplitz 块矩阵
- 设计动机：将 DL 的时间展开编码为单一矩阵使得 MF 理论可直接应用
广义 MF 隐私保证（Theorem 8）:
- 做什么：将 MF 的 DP 保证从方阵/满秩/下三角推广到矩形/秩亏/列阶梯形矩阵
- 核心思路：定义广义敏感度 \(\text{sens}_\Pi(C; B) = \max_{G \simeq_\Pi G'}\|C(G-G')\|_{B^\dagger B}\)，证明当 \(A\) 是列阶梯形矩阵且 \(A = BC\) 时，机制 \(\mathcal{M}\) 是 \(1/\sigma\)-GDP。关键修正：\(B^\dagger B\) 投影到 \(B\) 的行空间，丢弃不可观测的梯度组合
- 设计动机：DL 中攻击者只观察部分消息，产生的矩阵 \(A\) 通常是矩形且秩亏的
MAFALDA-SGD 算法（优化噪声相关）:
- 做什么：在 LDP 下通过优化局部噪声相关矩阵最大化隐私-效用权衡
- 核心思路：约束 \(C = C_{local} \otimes I_n\)（噪声只在节点内跨时间步相关），定义优化目标 \(\mathcal{L}_{opti}(\mathbf{W}_T, B, C) = \text{sens}_\Pi(C;B)^2 \|(I_T \otimes W)\mathbf{W}_T C^\dagger\|_F^2\)，通过凸优化求解最优 \(C_{local}\)
- 设计动机：现有方法（如 AntiPGD）的相关模式未针对去中心化场景优化，直接搬用效果差

损失函数 / 训练策略¶

标准 DP-SGD 训练：逐样本梯度裁剪到范数 \(\Delta_g\)，加高斯噪声 \(Z \sim \mathcal{N}(0, \Delta_g^2 \sigma^2)^{nT \times d}\)。Gossip 矩阵 \(W\) 满足随机矩阵条件。支持时变 gossip 矩阵 \(W_t\)。使用 Gaussian DP (GDP) 框架进行隐私记账。

实验关键数据¶

主实验（隐私保证对比）¶

算法	信任模型	隐私保证	vs 之前分析
DP-D-SGD	LDP	本文 MF 分析	更紧
DP-D-SGD	PNDP	本文 MF 分析	更紧
Zip-DL	SecLDP	本文 MF 分析	更紧
MAFALDA-SGD	LDP	优化相关噪声	显著优于所有现有方法

消融实验（噪声相关策略对比）¶

策略	隐私-效用权衡	说明
无相关（DP-D-SGD）	基线	每步独立噪声
AntiPGD（中心化策略）	差于基线	中心化相关模式不适用于 DL
MAFALDA-SGD	最优	针对去中心化优化的相关模式

关键发现¶

统一框架为所有现有 DL 算法在所有信任模型下给出更紧的隐私保证
中心化场景下效果好的噪声相关策略（如 AntiPGD）直接用于 DL 反而更差，说明去中心化需要专门优化
MAFALDA-SGD 在合成图（环、网格）和真实社交网络图上均显著优于现有方法
列阶梯形条件（推广的下三角性）确保自适应梯度下的隐私保证仍然成立

亮点与洞察¶

理论贡献突出：将 MF 理论从中心化无缝推广到去中心化场景，统一了碎片化的 DP-DL 分析方法。Theorem 8 的推广（矩形/秩亏矩阵 + 广义敏感度）是核心贡献
实用价值：框架不仅统一分析现有算法，还直接指导新算法设计。MAFALDA-SGD 展示了优化噪声相关性对 DL 隐私的巨大潜力

局限与展望¶

MAFALDA-SGD 目前仅支持 LDP，扩展到 PNDP 和 SecLDP 下的噪声优化是自然方向
优化 \(C_{local}\) 的计算成本随 \(T\) 增长，大规模长时间训练时可能不可行
实验主要在凸优化场景下验证，非凸深度学习训练的效果有待检验

评分¶

新颖性: ⭐⭐⭐⭐⭐ 统一建模框架和广义 MF 隐私保证都是重要理论贡献
实验充分度: ⭐⭐⭐ 实验偏理论验证，缺少大规模深度学习场景
写作质量: ⭐⭐⭐⭐ 符号体系复杂但定义清晰，层层递进
价值: ⭐⭐⭐⭐ 为 DP-DL 领域提供了理论基础设施，有长期影响