Optimal Rates for Pure $\varepsilon$-Differentially Private Stochastic Convex Optimization with Heavy Tails¶

会议: NeurIPS 2026
arXiv: 2604.06492
OpenReview: https://openreview.net/forum?id=yRKg6vh4uv
论文: https://arxiv.org/abs/2604.06492
领域: 优化/理论
关键词: 随机凸优化, 纯差分隐私, 重尾梯度, 极小极大最优率, Lipschitz扩展

一句话总结¶

论文针对重尾梯度条件下的随机凸优化问题，提出了基于局部化 Lipschitz 扩展与联合凸重构的高效算法，首次在纯 $\varepsilon$-差分隐私下达成了极小极大近最优超额风险上界及高概率多项式时间收敛，并给出了紧密匹配的高概率下界。

研究背景与动机¶

随机凸优化（Stochastic Convex Optimization, SCO）是统计机器学习的基石，而在处理涉及用户敏感隐私的数据时，差分隐私（Differential Privacy, DP）提供了严格的数学保障。传统的私有 SCO 理论绝大多数依赖于损失函数的全局一致 Lipschitz 假设，即要求样本梯度的范数具有确界 $L$。然而在实际任务中（如无界特征分布下的线性回归或二阶矩统计），最坏情况梯度范数往往极大甚至发散，导致基于一致 Lipschitz 常数 $L$ 的超额风险界变得极度悲观乃至失去指导意义。为此，近年发展起来的重尾私有 SCO 放宽了一致有界假设，仅要求梯度的 $k$ 阶矩（$k \ge 2$）有界 $\mathbb{E}[\|\nabla f(w,z)\|^k] \le G_k^k$。在较弱的松弛隐私模型（如 $\rho$-zCDP 或近似 $(\varepsilon,\delta)$-DP）下，借助带噪梯度裁剪（clipped noisy gradients）与平滑的高斯机制复合，已有工作完全刻画了极小极大最优率。

然而，在最具防御强度且不容忍任何灾难性泄露尾部的纯差分隐私（pure $\varepsilon$-DP）设定下，重尾 SCO 仍存在巨大的理论鸿沟。核心症结在于：梯度裁剪方法在纯 $\varepsilon$-DP 下天然失效，因为纯 DP 仅支持拉普拉斯机制与线性高级复合，多次迭代中的裁剪噪声会随迭代步数线性累加，无法享受高斯机制下 $\sqrt{T}$ 级别的集中复合红利。此前，文献中仅有基于均值估计转化得到的期望下界，完全不存在能够达到匹配超额风险的多项式时间纯 DP 算法；若尝试将 zCDP 算法通过黑盒“纯化”（purification）转化，不仅流程冗长繁琐，还会引入额外多项式对数因子的精度损失。

面对这一困境，本文选择彻底摒弃基于梯度裁剪的迭代更新路线，转向以经验风险最小化（ERM）为基础的总体局部化范式与凸分析中的 Lipschitz 扩展算子。核心 idea：利用局部化 Lipschitz 扩展将重尾无界损失转化为有界 Lipschitz 代理损失，结合多变量联合凸重构与自适应非精确投影次梯度法消除内层黑盒求解依赖，并在递归输出扰动下以几何级数收缩搜索空间，首次实现了纯 $\varepsilon$-DP 重尾 SCO 的极小极大近最优超额风险与高概率多项式时间求解。

方法详解¶

整体框架¶

本文算法名为 Pop-Recursive-Localized-OutputPert，整体分为两层结构：外层依托总体局部化框架（Population-Localization），将原始重尾 SCO 目标分解为 $T = \Theta(\log n)$ 阶段的正则化经验风险最小化（Regularized ERM）子问题；内层则由高效递归局部化输出扰动算法（Algorithm 3 & 5）驱动，通过多轮收缩逐步逼近各阶段正则化 ERM 的真实最优解 $\widehat{w}_\lambda(Z; w_0)$。

在每个正则化 ERM 求解阶段中，算法并不直接处理可能包含重尾梯度的经验损失，而是构建局部化 Lipschitz 扩展 $f_{C, U}$。为了避免每次查询扩展函数值时必须精确求解内层非平滑极小化问题的计算障碍，算法提出联合凸重构形式 $\Phi_{Z, U}(w, y_1, \dots, y_m)$，将 $m$ 个样本的内层优化变量与模型参数统一到乘积凸集 $U^{m+1}$ 上。随后，利用基于自适应步长与一维 KKT 二分投影的非精确投影次梯度法求解该凸问题，获得满足确定性精度要求的近似解，并注入拉普拉斯噪声实现纯 $\varepsilon$-DP。各轮次通过几何收缩机制动态配置隐私预算 $\varepsilon_j$ 与半径 $R_j$，最终将局部半径压缩至极小极大统计极限。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据样本 Z 与重尾矩上界 G_k"] --> B["外层总体局部化分解<br/>划分为 T 个正则化 ERM 阶段"]
    B --> C["局部化 Lipschitz 扩展与联合凸重构<br/>引入多变量辅助空间 Um+1 规避内层求解"]
    C --> D["自适应非精确投影次梯度法<br/>一维 KKT 二分投影获得确定性近似解"]
    D --> E["几何退火递归输出扰动<br/>按几何级数配置隐私预算并注入各向同性拉普拉斯噪声"]
    E --> F["输出各阶段私有中心点<br/>经几何聚合返回最终超额风险近最优解"]

关键设计¶

1. 局部化 Lipschitz 扩展与联合凸重构：消除梯度裁剪与避免内层黑盒求解 以往重尾私有算法依赖带噪梯度裁剪，但在纯 $\varepsilon$-DP 下无法控制线性累加的敏感度噪声。本文采用凸分析中的下确界卷积（Lipschitz 扩展）将无界凸函数转化为全局 $C$-Lipschitz 凸函数： $$f_{C, U}(w, z) := \inf_{y \in U} \bigl[ f(y, z) + C \|w - y\| \bigr]$$ 然而，由于该扩展定义为内层优化问题的极小值，定理 C.1 证明了任何有限次局部预言机查询都无法精确确定其函数值。为了使优化切实可行，本文提出了联合凸重构技术，构造定义在乘积凸集 $U^{m+1}$ 上的增广目标函数： $$\Phi_{Z, U}(w, y_1, \dots, y_m) := \frac{1}{m}\sum_{i=1}^m \bigl[ f(y_i, z_i) + C \|w - y_i\| \bigr] + \frac{\lambda}{2}\|w - w_0\|^2$$ 引理 2.6 从理论上保证了 $\min_{(w, y) \in U^{m+1}} \Phi_{Z,U}(w, y) = \min_{w \in U} \widehat{F}^{(w_0)}_{C, U, \lambda, Z}(w)$，且任意 $\alpha$-近似解的 $w$ 分量直接构成原局部化正则目标的 $\alpha$-近似解，彻底避开了内层评估黑盒。

2. 自适应非精确投影次梯度法：未知 Lipschitz 边界下的可信近似 输出扰动机制对经验最优解的近似精度 $\alpha$ 具有硬性约束，任何优化未收敛都会直接破坏纯 $\varepsilon$-DP 的敏感度界。然而，在重尾假设下样本梯度可能极大，目标函数 $\Phi_{Z, U}$ 的实际 Lipschitz 常数预先未知。为此，本文设计了自适应投影次梯度法（Algorithm 4），利用历史次梯度的平方范数和 $S_t = \sum_{s=1}^t \|g_s\|_2^2$ 动态调整步长 $\eta_t = D/\sqrt{S_t}$，并以 $3D\sqrt{S_t} \le \alpha t$ 作为确定性停止准则。针对凸集交集 $U = \mathcal{W} \cap \mathbb{B}(c, r)$ 缺少闭式投影的问题，算法通过分析投影 KKT 条件，将其转化为对单一 Lagrange 乘子的一维单调二分搜索（引理 2.7），仅需对 $\mathcal{W}$ 进行对数次投影查询即可输出高精度 $\xi$-非精确投影，保证了在样本实现梯度有限时必定于确定性多项式迭代步内停机。

3. 几何退火递归输出扰动：指数级收缩搜索半径与消除对数膨胀 若直接在全局域 $\mathcal{W}$ 上运行 Lipschitz 扩展输出扰动，其偏差界正比于全局直径 $D$，导致超额风险次优。本文通过将搜索集限制在局部球 $U_j \subseteq \mathcal{W}$ 内，使扩展引起的逼近偏差仅由当前半径 $R_j = \text{diam}(U_j)$ 决定。在第 $j$ 轮扰动中，算法向近似极小值点加入尺度为 $s_j \propto C_j d / (\lambda m \varepsilon_j)$ 的各向同性拉普拉斯噪声，并更新下一轮半径： $$R_{j+1} \lesssim R_\star \left( \frac{R_j}{R_\star} \right)^{\frac{1}{k+1}}, \quad \text{其中 } R_\star := \frac{G_k}{\lambda}\left(\frac{d}{m\varepsilon}\right)^{1 - \frac{1}{k}}$$ 这使得搜索半径呈现超指数（双对数）收敛，仅需 $S = \lceil \log_{k+1}\log(eD/R_\star) \rceil$ 轮即可收缩至目标精度 $R_\star$。为防止轮数叠加导致隐私预算与失效率产生额外的多余对数因子，算法设计了几何退火序列 $\theta_j \propto a^{S-1-j}$（其中 $a = 1/(k+1)$），将 $\varepsilon_j = \frac{\varepsilon}{2}\theta_j$ 与 $\beta_j = \beta_0 \theta_j$ 重点分配在最后几轮精细搜索上，优雅地消除了 $\text{poly}(\log\log)$ 膨胀。

4. 结构化多面体损失的 SOCP 对偶加速：确定性多项式时间求解 对于一般凸损失函数，算法的运行时间依赖于已实现样本梯度的最大值，因而在高概率（$1-\rho$）下为多项式时间。针对机器学习中极其广泛的一类结构化损失——包括在紧凸集上的合页损失（Hinge loss）、ReLU 型分段线性损失以及绝对值损失（$L_1$ 回归），本文在附录 E 证明：这些损失的局部化 Lipschitz 扩展天然具备显式二阶锥规划（SOCP）表示形式。通过求解 SOCP 对偶问题，算法无需知道最坏情况梯度上界，即可在确定性多项式时间内直接构造局部化 Lipschitz 扩展的有界次梯度估计，使算法即便在最坏情况梯度无穷大（$L=\infty$）时，依然能在确定性多项式时间内完美收敛。

损失函数 / 训练策略¶

外层总体局部化过程共执行 $T = \lfloor \log_2(n / (2J)) \rfloor$ 阶段，各阶段样本量以对半递减 $n_t = \lfloor n/2^t \rfloor$，而强凸正则化参数则几何倍增 $\lambda_t = 3 \cdot 2^{t-1} \lambda_1$。在每个阶段内部，样本集被均分为 $J = \Theta(\log(\log n / \delta))$ 个互不相交的批次独立运行私有 ERM 求解器，并使用空间几何中位数进行鲁棒聚合，从而将成功概率从常数级别放大至 $1-\delta$。

内层正则化 ERM 的扰动噪声遵循密度函数正比于 $\exp(-\frac{\varepsilon \lambda m}{10 C}\|b\|_2)$ 的各向同性拉普拉斯分布，其模长在 $d$ 维空间中服从 Gamma 分布。通过精细的偏置-方差平衡选取 Lipschitz 参数： $$C_j := G_k^{\frac{k}{k+1}} (\lambda R_j)^{\frac{1}{k+1}} \left( \frac{m\varepsilon_j}{d \ell_j} \right)^{\frac{2}{k+1}} \beta_j^{-\frac{1}{k+1}}$$ 使得每步扰动中噪声方差项与扩展截断偏差项完全同阶对齐。

实验关键数据¶

主实验¶

本文为纯理论奠基工作，核心成果为建立了重尾私有 SCO 领域的上下界定理。下表对比了纯 $\varepsilon$-DP 与松弛隐私设定下、重尾随机凸优化的极小极大超额风险与计算复杂度：

方法 / 理论界	隐私模型	梯度假设	超额风险 (Excess Risk, 高概率 $1-\delta$)	运行时间复杂度
Bassily et al. [BFTT19]	近似 $(\varepsilon,\delta)$-DP	一致有界 $\\|\nabla f\\| \le L$	$\tilde{O}\left( \frac{LD}{\sqrt{n}} + \frac{LD\sqrt{d}}{n\varepsilon} \right)$	多项式时间（确定性）
Asi et al. [ALT24] / Lowy & Razaviyayn [LR25]	$\rho$-zCDP	$k$ 阶矩 $\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k$	$\tilde{O}\left( \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\rho}\right)^{\frac{k-1}{2k}} \right)$	多项式时间（确定性）
Barber & Duchi [BD14]（均值估计转化下界）	纯 $\varepsilon$-DP	$k$ 阶矩 $\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k$	$\Omega\left( \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\varepsilon}\right)^{1-\frac{1}{k}} \right)$（仅期望）	—（无对应匹配算法）
zCDP + 纯化黑盒转化 [LWMW25]	纯 $\varepsilon$-DP	$k$ 阶矩 $\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k$	$O\left( \text{poly}\left(\log\frac{nd}{\varepsilon}\right) \left[ \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\varepsilon}\right)^{1-\frac{1}{k}} \right] \right)$	流程繁琐，含高阶对数损耗
本文上界（定理 3.1）	纯 $\varepsilon$-DP	$k$ 阶矩 $\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k$	$O\left( G_k D \left(\frac{d\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} + \frac{G_2 D \sqrt{\log(1/\delta)}}{\sqrt{n}} \right)$	多项式时间（高概率 $1-\rho$）
本文结构化子类上界（系 E.7）	纯 $\varepsilon$-DP	合页/ReLU/绝对值损失	$O\left( G_k D \left(\frac{d\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} + \frac{G_2 D \sqrt{\log(1/\delta)}}{\sqrt{n}} \right)$	确定性多项式时间
本文下界（定理 4.1）	纯 $\varepsilon$-DP	$k$ 阶矩 $\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k$	$\Omega\left( D \min\left\{ G_2, \frac{G_2\sqrt{\log(1/\delta)}}{\sqrt{n}} + G_k\left(\frac{d+\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} \right\} \right)$	极小极大匹配（仅差对数因子）

消融实验¶

为展示算法各模块在克服理论挑战中的必要性，下表对关键设计选择进行了机制对比与理论消融分析：

模块设计配置	核心机制差异	偏差 / 误差表现	隐私与停机保证
全局 Lipschitz 扩展输出扰动	直接在全局域 $\mathcal{W}$ 上扰动，无局部化	偏差上界依赖 $\sqrt{D G_k^k / (\lambda C^{k-1})}$，整体风险非最优	纯 $\varepsilon$-DP，但界松弛
单步局部化输出扰动	仅执行 1 次局部球扰动，不递归	半径仅缩减至 $R_\star (D/R_\star)^{\frac{1}{k+1}}$，未能触达统计极限	纯 $\varepsilon$-DP，次优收敛率
均一参数递归局部化	采用固定分配 $\varepsilon_j = \varepsilon/S, \beta_j = \beta/S$	累积对数项导致超额风险产生 $(\log\log(D/R_\star))^{O(1)}$ 膨胀	纯 $\varepsilon$-DP，存在冗余多项对数
几何退火递归局部化（本文）	采用超指数退火 $\theta_j \propto a^{S-1-j}$ 动态配置隐私与失效度	严格达到极小极大最优率 $R_S \le C_k R_\star$，无冗余对数因子	纯 $\varepsilon$-DP，最优风险界
显式精确内层优化	尝试直接数值求解 $\inf_{y \in U}[f(y,z)+C\\|w-y\\|]$	定理 C.1 证明有限局部查询无法确定极值，敏感度不可控	纯 DP 敏感度保证崩溃
联合凸重构 + 自适应次梯度（本文）	增广乘积空间 $U^{m+1}$，自适应步长与 KKT 一维投影	确定性获得 $\alpha$-近似解，优化残差严格小于隐私敏感度阈值	严格纯 $\varepsilon$-DP，高概率多项式时间

关键发现¶

上下界紧密闭合：定理 3.1 的上界与定理 4.1 的高概率下界在主要阶数上完全一致，两者唯一的微小差距仅在于下界中的 $d + \log(1/\delta)$ 与上界中的 $d \log(1/\delta)$，成功闭合了纯 $\varepsilon$-DP 重尾 SCO 长期未决的理论最优率问题。
无界梯度的计算可行性：虽然重尾分布允许梯度的最坏情况模长为无穷大（$L = \infty$），但根据矩有界性，样本集上的最大实现梯度以 $1-\rho$ 的概率多项式有界，从而使自适应次梯度优化能以高概率在多项式时间内终止。
结构化问题的确定性加速：针对机器学习常见的合页损失、绝对值损失等，通过引入 SOCP 对偶形式，完全摆脱了样本梯度的随机性依赖，实现了确定性多项式时间的纯差分隐私优化。

亮点与洞察¶

跳出梯度裁剪的思维定式：自 DP-SGD 确立以来，梯度裁剪几乎成为私有凸与非凸优化的唯一默认工具。本文敏锐指出其在纯 $\varepsilon$-DP 线性复合下的本质缺陷，转向局部化下确界卷积（Lipschitz 扩展），为私有非平滑与重尾优化开辟了全新路径。
联合凸重构化解“扩展不可评测”困境：Lipschitz 扩展在理论上极具吸引力，但在实践中常因内层极大/极小化不可求而沦为纯证明工具。本文提出的联合凸重构 $\Phi_{Z,U}$ 将内层优化变量升维展开，将隐式下确界巧妙化为显式可解的标准凸规划。
高概率下界的精细化构造：相较于传统依赖 Le Cam 期望或常数概率转化的弱下界，本文结合了纯 DP 紧密填充集（packing）编码技术与高概率假设检验分位数框架，给出了显式依赖失效率 $\delta$ 的尖锐下界。

局限与展望¶

失效率与维度的对数耦合差距：当前上界中的隐私优化项尺度为 $d \log(1/\delta)$，而下界对应项为 $d + \log(1/\delta)$。消除这一细微的 $\log(1/\delta)$ 耦合因式是纯理论层面的开放问题。
一般凸损失的确定性时间问题：对于未展现 SOCP 多面体结构的任意非光滑重尾损失，算法的多项式运行时间仍依赖高概率保证（依赖已实现样本梯度的范数），是否存在对任意重尾凸损失均能实现确定性多项式时间的纯 DP 算法仍待探讨。
实际大规模模型训练的落地开销：联合凸重构引入了与样本量 $m$ 成正比的辅助变量 $(y_1, \dots, y_m) \in U^m$，在样本量极大时直接优化增广空间的内存与计算负担较重，未来需探索轻量级随机化或分布式求解方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底重塑了纯 DP 重尾优化的技术路线，提出了联合凸重构与局部化扩展机制。
实验充分度: ⭐⭐⭐⭐⭐ 理论证明完整严密，主定理、上下界匹配分析、子类确定性加速及反例证明齐备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，挑战剖析层层递进，技术直觉阐述清晰透彻。
价值: ⭐⭐⭐⭐⭐ 彻底解决了私有随机优化领域的公开悬赏问题，对重尾学习与差分隐私理论具有重要里程碑意义。

方法 / 理论界	隐私模型	梯度假设	超额风险 (Excess Risk, 高概率 \(1-\delta\))	运行时间复杂度
Bassily et al. [BFTT19]	近似 \((\varepsilon,\delta)\)-DP	一致有界 \(\\|\nabla f\\| \le L\)	\(\tilde{O}\left( \frac{LD}{\sqrt{n}} + \frac{LD\sqrt{d}}{n\varepsilon} \right)\)	多项式时间（确定性）
Asi et al. [ALT24] / Lowy & Razaviyayn [LR25]	\(\rho\)-zCDP	\(k\) 阶矩 \(\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k\)	\(\tilde{O}\left( \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\rho}\right)^{\frac{k-1}{2k}} \right)\)	多项式时间（确定性）
Barber & Duchi [BD14]（均值估计转化下界）	纯 \(\varepsilon\)-DP	\(k\) 阶矩 \(\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k\)	\(\Omega\left( \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\varepsilon}\right)^{1-\frac{1}{k}} \right)\)（仅期望）	—（无对应匹配算法）
zCDP + 纯化黑盒转化 [LWMW25]	纯 \(\varepsilon\)-DP	\(k\) 阶矩 \(\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k\)	\(O\left( \text{poly}\left(\log\frac{nd}{\varepsilon}\right) \left[ \frac{G_2 D}{\sqrt{n}} + G_k D \left(\frac{d}{n\varepsilon}\right)^{1-\frac{1}{k}} \right] \right)\)	流程繁琐，含高阶对数损耗
本文上界（定理 3.1）	纯 \(\varepsilon\)-DP	\(k\) 阶矩 \(\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k\)	\(O\left( G_k D \left(\frac{d\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} + \frac{G_2 D \sqrt{\log(1/\delta)}}{\sqrt{n}} \right)\)	多项式时间（高概率 \(1-\rho\)）
本文结构化子类上界（系 E.7）	纯 \(\varepsilon\)-DP	合页/ReLU/绝对值损失	\(O\left( G_k D \left(\frac{d\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} + \frac{G_2 D \sqrt{\log(1/\delta)}}{\sqrt{n}} \right)\)	确定性多项式时间
本文下界（定理 4.1）	纯 \(\varepsilon\)-DP	\(k\) 阶矩 \(\mathbb{E}[\\|\nabla f\\|^k] \le G_k^k\)	\(\Omega\left( D \min\left\{ G_2, \frac{G_2\sqrt{\log(1/\delta)}}{\sqrt{n}} + G_k\left(\frac{d+\log(1/\delta)}{n\varepsilon}\right)^{1-\frac{1}{k}} \right\} \right)\)	极小极大匹配（仅差对数因子）

模块设计配置	核心机制差异	偏差 / 误差表现	隐私与停机保证
全局 Lipschitz 扩展输出扰动	直接在全局域 \(\mathcal{W}\) 上扰动，无局部化	偏差上界依赖 \(\sqrt{D G_k^k / (\lambda C^{k-1})}\)，整体风险非最优	纯 \(\varepsilon\)-DP，但界松弛
单步局部化输出扰动	仅执行 1 次局部球扰动，不递归	半径仅缩减至 \(R_\star (D/R_\star)^{\frac{1}{k+1}}\)，未能触达统计极限	纯 \(\varepsilon\)-DP，次优收敛率
均一参数递归局部化	采用固定分配 \(\varepsilon_j = \varepsilon/S, \beta_j = \beta/S\)	累积对数项导致超额风险产生 \((\log\log(D/R_\star))^{O(1)}\) 膨胀	纯 \(\varepsilon\)-DP，存在冗余多项对数
几何退火递归局部化（本文）	采用超指数退火 \(\theta_j \propto a^{S-1-j}\) 动态配置隐私与失效度	严格达到极小极大最优率 \(R_S \le C_k R_\star\)，无冗余对数因子	纯 \(\varepsilon\)-DP，最优风险界
显式精确内层优化	尝试直接数值求解 \(\inf_{y \in U}[f(y,z)+C\\|w-y\\|]\)	定理 C.1 证明有限局部查询无法确定极值，敏感度不可控	纯 DP 敏感度保证崩溃
联合凸重构 + 自适应次梯度（本文）	增广乘积空间 \(U^{m+1}\)，自适应步长与 KKT 一维投影	确定性获得 \(\alpha\)-近似解，优化残差严格小于隐私敏感度阈值	严格纯 \(\varepsilon\)-DP，高概率多项式时间

Optimal Rates for Pure \(\varepsilon\)-Differentially Private Stochastic Convex Optimization with Heavy Tails¶

一句话总结¶

研究背景与动机¶

方法详解¶

整体框架¶

关键设计¶

损失函数 / 训练策略¶

实验关键数据¶

主实验¶

消融实验¶

关键发现¶

亮点与洞察¶

局限与展望¶

相关工作与启发¶

评分¶

Optimal Rates for Pure \(\varepsilon\)-Differentially Private Stochastic Convex Optimization with Heavy Tails¶

一句话总结¶

研究背景与动机¶

方法详解¶

整体框架¶

关键设计¶

损失函数 / 训练策略¶

实验关键数据¶

主实验¶

消融实验¶

关键发现¶

亮点与洞察¶

局限与展望¶

相关工作与启发¶

评分¶

相关论文¶