Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization¶

会议: ICLR 2026
arXiv: 2510.17480
代码: 无
领域: AI 安全 / 差分隐私 / 去中心化学习
关键词: 去中心化学习, 矩阵分解, 差分隐私, 相关噪声, gossip协议

一句话总结¶

将去中心化学习（DL）中的多种算法和信任模型统一建模为矩阵分解（MF）机制，推广隐私保证到更一般的矩阵类型，并提出 MAFALDA-SGD 算法通过优化噪声相关性在合成和真实图拓扑上显著优于现有方法。

研究背景与动机¶

领域现状：去中心化学习（DL）通过 peer-to-peer 通信图让用户协作训练模型而无需共享原始数据。强隐私保证通常通过差分隐私（DP）实现。中心化 DP-SGD 已有成熟的基于矩阵分解（MF）的噪声相关分析框架，可利用时间噪声相关性提升隐私-效用权衡。然而 MF 方法此前仅应用于中心化场景。

现有痛点：(1) DL 中的 DP 分析依赖针对特定算法和信任模型的 ad hoc 证明，缺乏统一框架；(2) 现有分析未充分利用 peer-to-peer 通信中冗余交换带来的噪声相关性，导致隐私保证过于悲观；(3) 现有 MF 理论要求工作负载矩阵为方阵、满秩、下三角，DL 场景不满足这些条件。

核心矛盾：DL 的分布式通信结构产生的矩阵不满足已有 MF 理论的假设，同时不同信任模型（LDP、PNDP、SecLDP）下攻击者知识不同，需要统一建模。

本文目标 (1) 将 DL 算法编码为单一矩阵乘法形式；(2) 统一不同信任模型下的攻击者知识表示；(3) 推广 MF 的 DP 保证到矩形、可能秩亏的矩阵；(4) 利用优化噪声相关性设计新算法。

切入角度：去中心化 SGD 的全部 T 轮迭代可以展开为一个大矩阵方程 \(\theta = (I_T \otimes W)(M\theta_0 - \eta \mathbf{W}_T(G + C^\dagger Z))\)，从而将 DL 纳入 MF 分析框架。

核心 idea：将去中心化学习的梯度-噪声交互统一表示为 \(\mathcal{O}_\mathcal{A} = AG + BZ\)（其中 \(A=BC\)），推广 MF 的 GDP 隐私保证并优化噪声相关矩阵 \(C\) 得到新算法 MAFALDA-SGD。

方法详解¶

整体框架¶

本文先把任意去中心化学习算法的全过程压成一个矩阵方程 \(\mathcal{O}_\mathcal{A} = AG + BZ\)，再借助矩阵分解 \(A=BC\) 把隐私分析问题转化为对相关矩阵 \(C\) 的分析。统一建模之后，隐私保证从"每种算法各证一遍"变成"套同一个定理"，而且这个统一表示反过来还能当作优化目标——优化 \(C\) 就得到了新算法 MAFALDA-SGD。

关键设计¶

1. 把去中心化学习展开成单一矩阵：让 MF 理论有施展空间

去中心化场景下 \(n\) 个节点在通信图 \(\mathcal{G}\) 上跑 \(T\) 轮，每轮先做局部带噪梯度步 \(\theta_{t+1/2} = \theta_t - \eta(G_t + C_t^\dagger Z)\)，再做一次 gossip 平均 \(\theta_{t+1} = W\theta_{t+1/2}\)，迭代之间层层耦合，没法像中心化 DP-SGD 那样直接套现成的 MF 工具。本文的做法是把全部 \(T\) 轮沿时间堆叠展开，得到一个闭式 \(\theta = (I_T \otimes W)(M\theta_0 - \eta \mathbf{W}_T(G + C^\dagger Z))\)，其中 \(\mathbf{W}_T \in \mathbb{R}^{nT \times nT}\) 是一个下三角 Toeplitz 块矩阵，恰好编码了 gossip 平均在时间上的传播。一旦写成这种"工作负载矩阵乘梯度加噪声"的形式，攻击者观察到的所有消息就能统一抽象为 \(\mathcal{O}_\mathcal{A} = AG + BZ\)（Theorem 6），不同的信任模型——LDP、PNDP、SecLDP——只是对应不同的 \(A,B\)，从而把过去碎片化的 ad hoc 证明收编进同一个框架。

2. 广义 MF 隐私保证：让矩形、秩亏矩阵也能记账

现成的 MF 理论（Denisov 等）要求工作负载矩阵是方阵、满秩、下三角，但去中心化里攻击者往往只能看到通信图上的一部分消息，对应的 \(A\) 通常是矩形且秩亏的，直接套会失效。本文把保证推广到 \(A\) 为列阶梯形（下三角性的推广）的情形：定义广义敏感度 \(\text{sens}_\Pi(C; B) = \max_{G \simeq_\Pi G'}\|C(G-G')\|_{B^\dagger B}\)，并证明只要 \(A = BC\) 且 \(A\) 列阶梯形，机制 \(\mathcal{M}\) 就是 \(1/\sigma\)-GDP（Theorem 8）。这里的关键修正是范数里的 \(B^\dagger B\)——它把敏感度投影到 \(B\) 的行空间，自动丢弃那些攻击者根本观测不到的梯度组合，避免对不可见信息也付出隐私代价，因此给出的保证比逐算法的旧分析都更紧。列阶梯形这个放宽条件还顺带保证了自适应梯度下隐私保证依然成立。

3. MAFALDA-SGD：把统一表示当优化目标，专为去中心化调相关噪声

统一框架最实在的回报是：\(C\) 不再只是分析对象，而可以直接优化。本文在 LDP 下约束 \(C = C_{local} \otimes I_n\)，即噪声只在同一节点内部跨时间步相关、节点之间独立，从而把高维优化降到对小矩阵 \(C_{local}\) 的求解。优化目标取 \(\mathcal{L}_{opti}(\mathbf{W}_T, B, C) = \text{sens}_\Pi(C;B)^2 \|(I_T \otimes W)\mathbf{W}_T C^\dagger\|_F^2\)，分子是隐私敏感度、分母方向是注入噪声经过 gossip 传播后对模型的扰动，整体凸，可直接求出最优 \(C_{local}\)。之所以要专门优化，是因为中心化场景里好用的相关模式（如 AntiPGD）并没有考虑 gossip 的时空传播结构，直接搬到去中心化反而比独立噪声更差——MAFALDA-SGD 正是补上了这块缺口。

损失函数 / 训练策略¶

训练沿用标准 DP-SGD：逐样本梯度裁剪到范数 \(\Delta_g\)，再加高斯噪声 \(Z \sim \mathcal{N}(0, \Delta_g^2 \sigma^2)^{nT \times d}\)；gossip 矩阵 \(W\) 满足随机矩阵条件，并支持时变的 \(W_t\)。隐私记账统一在 Gaussian DP（GDP）框架下完成。

实验关键数据¶

主实验（隐私保证对比）¶

算法	信任模型	隐私保证	vs 之前分析
DP-D-SGD	LDP	本文 MF 分析	更紧
DP-D-SGD	PNDP	本文 MF 分析	更紧
Zip-DL	SecLDP	本文 MF 分析	更紧
MAFALDA-SGD	LDP	优化相关噪声	显著优于所有现有方法

消融实验（噪声相关策略对比）¶

策略	隐私-效用权衡	说明
无相关（DP-D-SGD）	基线	每步独立噪声
AntiPGD（中心化策略）	差于基线	中心化相关模式不适用于 DL
MAFALDA-SGD	最优	针对去中心化优化的相关模式

关键发现¶

统一框架为所有现有 DL 算法在所有信任模型下给出更紧的隐私保证
中心化场景下效果好的噪声相关策略（如 AntiPGD）直接用于 DL 反而更差，说明去中心化需要专门优化
MAFALDA-SGD 在合成图（环、网格）和真实社交网络图上均显著优于现有方法
列阶梯形条件（推广的下三角性）确保自适应梯度下的隐私保证仍然成立

亮点与洞察¶

理论贡献突出：将 MF 理论从中心化无缝推广到去中心化场景，统一了碎片化的 DP-DL 分析方法。Theorem 8 的推广（矩形/秩亏矩阵 + 广义敏感度）是核心贡献
实用价值：框架不仅统一分析现有算法，还直接指导新算法设计。MAFALDA-SGD 展示了优化噪声相关性对 DL 隐私的巨大潜力

局限与展望¶

MAFALDA-SGD 目前仅支持 LDP，扩展到 PNDP 和 SecLDP 下的噪声优化是自然方向
优化 \(C_{local}\) 的计算成本随 \(T\) 增长，大规模长时间训练时可能不可行
实验主要在凸优化场景下验证，非凸深度学习训练的效果有待检验

评分¶

新颖性: ⭐⭐⭐⭐⭐ 统一建模框架和广义 MF 隐私保证都是重要理论贡献
实验充分度: ⭐⭐⭐ 实验偏理论验证，缺少大规模深度学习场景
写作质量: ⭐⭐⭐⭐ 符号体系复杂但定义清晰，层层递进
价值: ⭐⭐⭐⭐ 为 DP-DL 领域提供了理论基础设施，有长期影响