Clustered Randomized Smoothing for Stochastic Prediction Functions¶

会议: NeurIPS 2026
arXiv: 2608.12037
代码: https://github.com/EduardoFMDCosta/ClusteredRandomizedSmoothing
领域: 学习理论
关键词: 随机平滑、鲁棒性认证、随机预测器、多模态回归、高斯混合

一句话总结¶

针对随机神经网络在多模态回归任务中应用传统随机平滑导致模式坍缩的问题，本文提出聚类 $\alpha$-平滑框架，通过在输出空间聚类、簇内局部截断平滑并重组为混合分布，在提供统计鲁棒性保证的同时完整保留了多模态预测结构。

研究背景与动机¶

现代随机预测器（如变分自编码器 VAE、归一化流 Normalizing Flows、贝叶斯神经网络 BNN）在自动驾驶轨迹预测、机器人运动规划和故障诊断等安全攸关领域得到了广泛应用，其核心优势在于能够精确建模复杂且本质上具有多模态特征的未来结果分布。然而，这类网络高度缺乏对对抗扰动的鲁棒性，输入端极微小的对抗噪声可能引发输出剧烈偏移，导致灾难性的控制失败或决策误判。现有的确定性形式化验证方法（如混合整数规划、抽象解释或 SMT 求解器）虽然保证严格，但计算复杂度随网络规模爆炸式增长，难以部署到实时与高维场景中。

作为兼具可扩展性与可验证性的代表方法，随机平滑（Randomized Smoothing）通过在输入端注入高斯噪声并计算期望输出，实现了可认证的鲁棒性边界。近期研究进一步将该技术从分类扩展至回归，并通过 $\alpha$-截断平均（$\alpha$-smoothing）缓解异常值敏感问题。然而，当应用于随机多模态回归器时，现有随机平滑方法暴露出了致命的核心矛盾：它们本质上是对所有加噪样本的输出取全局平均。这种单峰化平均操作不可避免地导致“模式坍缩”（Mode Collapse），使得平滑后的预测结果退化为各模态之间的虚假平均值——在自动驾驶中可能预测车辆径直冲向交叉路口中央，在无人机避障中则直接导向撞击障碍物的中间路径，彻底丧失了多战术行为建模的物理意义。

本文的切入点在于：不能对跨模态样本进行粗暴的全局均值化，而应识别并尊重输出空间内的各模态分布结构，将平滑限制在各个局部簇内，最终以概率混合模型的形式输出。核心 idea：通过将扰动样本的预测输出在空间中聚类划分、在每个聚类簇内独立执行局部 $\alpha$-截断平滑，并将各簇平滑预测器按样本权重组合为混合分布，从而在严谨认证扰动球内预测区域覆盖概率的同时杜绝模式坍缩。

方法详解¶

整体框架¶

聚类 $\alpha$-平滑（Clustered $\alpha$-Smoothing）框架由三个串行模块构成：扰动采样与空间聚类、簇内局部 $\alpha$-截断平滑、以及混合重组与鲁棒性认证。输入包含待预测状态 $x$ 以及高斯扰动参数 $\sigma$。首先对输入采样注入高斯噪声并前向传播，得到包含网络内部随机性的多样本预测输出集合；随后利用聚类算法（如 DBSCAN）将输出空间划分为若干不相交的局部模态；接着在每个模态簇内执行 $\alpha$-截断平均，剔除各簇局部的离群点；最后构造类别随机变量将各簇预测组合为混合模型，并基于 Neyman-Pearson 引理与线性规划松弛推导出扰动球内的概率覆盖区域。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入状态与扰动采样<br/>x + ε, ε ~ N(0, σ²I)"] --> B["输出空间聚类划分<br/>DBSCAN 提取 M 个模态簇"]
    B --> C["簇内局部 α-截断平滑<br/>各簇独立剔除 2α 比例离群点"]
    C --> D["混合重组构建预测器<br/>按簇规模权重组合成混合分布"]
    D --> E["覆盖区域与鲁棒性认证<br/>Neyman-Pearson 与 LP 松弛求解"]

关键设计¶

1. 空间聚类划分与广义 Voronoi 区域构建：解耦多模态输出结构 传统平滑将所有扰动样本混淆平均，掩盖了不同离散行为模态。本文利用输出空间中的几何聚类解耦该结构：给定 $N$ 个独立同分布的噪声样本 $\{\varepsilon_1, \ldots, \varepsilon_N\} \sim \mathcal{N}(0, \sigma^2 I)$ 与模型参数样本 $w_i \sim \mathbb{P}_{\mathbf{w}}$，获取预测输出集 $\mathcal{Y}_{\text{samples}} = \{h_{w_i}(x + \varepsilon_i)\}_{i=1}^N$。通过聚类算法（如 DBSCAN 或基于端点的领域启发式规则）将样本划分为 $M$ 个簇 $\{C_1, \ldots, C_M\}$。为使得统计鲁棒性保证在输入邻域内严格成立，算法在每个簇内选取覆盖比例为 $p$ 的紧凑子集 $C_m^{(p)}$，并提取其凸包或最小外接超矩形作为覆盖区域 $\mathcal{R}_m$。随后以各 $\mathcal{R}_m$ 为基准构建广义 Voronoi 划分 $\bm{\mathcal{V}} = \{\mathcal{V}_1, \ldots, \mathcal{V}_M\}$，使得任意输出点依最近距离归属于对应空间分区 $\mathcal{V}_m$。这保证了每个模态都有排他的空间载体，杜绝了跨簇均值化。

2. 簇内局部 $\alpha$-截断平滑与混合重组：消除离群点并杜绝模式坍缩 若在簇内简单使用经验算术平均，单个扰动离群点仍能将均值拉出目标安全集合；直接全局中位数则破坏概率测度。本文在各簇内部引入局部的 $\alpha$-截断平均：定义落入第 $m$ 个分区的样本索引集 $I_m = \{i \in [N] : h_{\mathbf{w}}(x + \varepsilon_i) \in \mathcal{V}_m\}$。簇内局部平滑器对 $I_m$ 内的样本依各维度排序并剔除两端各 $\lfloor \alpha |I_m| \rfloor$ 个极值： $$\tilde{\mathcal{H}}_{N,\alpha,\mathcal{V}_m}(x) = \frac{1}{|I_m| - 2\lfloor \alpha |I_m| \rfloor} \sum_{i=1+\lfloor \alpha |I_m| \rfloor}^{|I_m| - \lfloor \alpha |I_m| \rfloor} \mathcal{H}_{\mathcal{V}_m}(x)_{(i)}$$ 随后定义离散类别随机变量 $\mathbf{z} \in [M]$，其类别权重与簇内样本规模成正比，即 $\pi^{(m)} = \frac{|I_m|}{N}$。最终平滑预测器表示为多模态混合模型： $$\tilde{\mathcal{H}}_{N,\alpha,\bm{\mathcal{V}}}(x) = \sum_{m=1}^M \mathbf{1}_{\mathbf{z}=m} \tilde{\mathcal{H}}_{N,\alpha,\mathcal{V}_m}(x)$$ 该设计使得输出结果保持与底层随机预测器一致的多模态结构，当 $\alpha \to 1/2$ 时退化为簇内中位数平滑，$\alpha=0$ 时为簇内均值平滑，而当全局仅设单一簇 $M=1$ 时无缝回退至经典 $\alpha$-smoothing。

3. 模态联合鲁棒性认证与线性规划凸包松弛：化解非凸下界计算瓶颈 为了对输入扰动 $\|\delta\|_2 \le r$ 下的预测输出提供形式化鲁棒性下界，定理证明了预测落入目标覆盖区域并集 $\tilde{\mathcal{R}} = \bigcup_{l \in \mathcal{L}} \mathcal{R}_l$ 的概率满足： $$\mathbb{P}_{(\mathbf{w}, \bm{\varepsilon}_{1:N})}\left(\tilde{\mathcal{H}}_{N,\alpha,\bm{\mathcal{V}}}(x+\delta) \in \tilde{\mathcal{R}}\right) \ge \inf_{\substack{p_{\mathcal{V}_m} \in [\underline{p}_{\mathcal{V}_m}, \bar{p}_{\mathcal{V}_m}] \\ \sum_{m=1}^M p_{\mathcal{V}_m} = 1}} \sum_{l \in \mathcal{L}} \sum_{s=1}^N \frac{s}{N} \sum_{j=s-\lfloor \alpha s \rfloor}^s f_{s,j}\left(\frac{\underline{p}_{\mathcal{R}_l}}{p_{\mathcal{V}_l}}\right) f_{N,s}(p_{\mathcal{V}_l})$$ 其中 $f_{n,k}(p)$ 为二项分布概率质量函数，$\underline{p}_{\mathcal{V}_m}, \bar{p}_{\mathcal{V}_m}, \underline{p}_{\mathcal{R}_l}$ 通过 Clopper-Pearson 统计置信区间结合 Neyman-Pearson 引理算得。由于上述关于模态概率 $p_{\mathcal{V}_l}$ 的下确界优化问题是高度非凸的，直接求解极为困难。为此，本文设计了基于锚点（Anchor Points）的线性规划松弛方法：在各分区的概率区间 $[\underline{p}_{\mathcal{V}_l}, \bar{p}_{\mathcal{V}_l}]$ 上取 $K$ 个锚点并评估目标函数，利用 Lipschitz 连续性给出凸包逼近误差残差项： $$L_{g_l} \le \frac{N}{1 - \bar{p}_{\mathcal{V}_l}} + \frac{N}{\underline{p}_{\mathcal{V}_l} - \underline{p}_{\mathcal{R}_l}}$$ 将原非凸极值下界问题松弛为标准线性规划（LP），在原生约束 $\sum_{m=1}^M p_{\mathcal{V}_m}=1$ 下快速获得严格保证，且残差随锚点数 $K$ 增加以受控速率渐近收敛至零。

实验关键数据¶

主实验¶

评估在两项安全攸关任务上展开：（1）基于 L-GAP 自动驾驶数据集与 TrajFlow 模型的随机轨迹预测（输入 18 维控制特征，输出 20 步 40 维未来轨迹）；（2）带有 14 个空间障碍物的四旋翼无人机避障强化学习多模态控制（6 维状态，3 维动作，双通道可选路径）。

在自动驾驶轨迹预测任务中，评测 200 个随机输入样本上平滑分布与加噪真值分布 $h_{\mathbf{w}}(x+\bm{\varepsilon})$ 之间的 2-Wasserstein 距离（$\mathbb{W}_2$），并测试决策阈值 95% 下左转避让（Stay）与通行（Go）的潜在碰撞决策风险率（Risk Rate）。

数据集 / 任务	评测指标	本文方法 (Ours)	RS-Reg (无截断平滑)	$\alpha$-smoothing
L-GAP 轨迹预测 (40D)	2-Wasserstein 距离 $\mathbb{W}_2$	3.80 ± 1.59	4.70 ± 2.09	5.18 ± 2.19
L-GAP 终点预测 (2D)	2-Wasserstein 距离 $\mathbb{W}_2$	1.49 ± 0.63	1.84 ± 0.84	2.04 ± 0.84
L-GAP 交互决策风险	错误穿行风险率 (Risk Rate)	2.5%	7.5%	16.5%
四旋翼无人机避障控制	轨迹碰撞率 (100 次仿真)	9% (9/100)	-	48% (48/100)

注：四旋翼标称未平滑策略（Nominal Policy）的碰撞率为 28%（成功 72 次）。$\alpha$-smoothing 破坏了双通道路径策略，导致车辆/无人机向两孔洞中间的实心障碍物直冲，碰撞率急剧恶化至 48%；本文方法降至 9%，碰撞率相对削减 81.25%。

消融实验与参数敏感性分析¶

在轨迹预测基准上，分析截断比例 $\alpha \in \{0.0, 0.2, 0.4\}$、扰动半径 $r$ 以及覆盖参数 $p=0.85$ 对定理 3.1 导出的形式化鲁棒性概率下界的影响：

配置 / 截断参数 $\alpha$	扰动半径 $r=0.0$	扰动半径 $r=0.05$	扰动半径 $r=0.10$	说明
$\alpha = 0.0$ (均值混合)	0.82 ± 0.05	0.54 ± 0.08	0.21 ± 0.09	极值离群点显著拉低置信下界
$\alpha = 0.2$ (适度截断)	0.91 ± 0.03	0.72 ± 0.05	0.43 ± 0.07	过滤外层噪声，认证概率明显提升
$\alpha = 0.4$ (激进截断，近中位数)	0.96 ± 0.02	0.84 ± 0.04	0.58 ± 0.06	尾部被完全剪除，紧凑区域内概率保证最高

关键发现¶

模式坍缩诱发虚假确定性：传统 $\alpha$-smoothing 将对向车辆的“让行”与“抢行”两个截然相反的轨迹模式平均成一条缓慢蠕行的虚假折中轨迹，使得自动驾驶系统误判对方将停留让行（预测置信度畸高），引发高达 16.5% 的碰撞风险决策；而本文保留双模态不确定性，使决策系统保持应有的防御性谨慎。
分布保真度大幅提升：聚类平滑使输出分布在 40 维空间与原始随机预测分布的 Wasserstein 距离相比 $\alpha$-smoothing 降低了 27%（3.80 vs 5.18），验证了混合平滑在几何保真度上的优越性。
截断参数 $\alpha$ 的核心增益：更高的 $\alpha$ 能够更强力地过滤簇边界上的非典型样本，显著提高在特定覆盖半径 $r$ 下的鲁棒性下界认证概率。

亮点与洞察¶

将统计平滑与混合模型融合：跳出了传统随机平滑“非单峰即分类器”的思维定势，巧妙地将回归平滑器推广为以样本量为先验权重的条件混合分布，从机理上攻克了多模态回归下的模式坍缩。
构造性凸松弛转化：针对非凸的簇间概率下界极值优化难题，借助可控精度的锚点采样与导数 Lipschitz 界的推导，成功将其转化为标准线性规划，为实际部署提供了切实可行的计算通道。
理论即插即用：方法对前端聚类算法完全无偏（Agnostic），无论是无监督的 DBSCAN 还是依赖物理领域知识的先验规则，均可直接融入该理论框架获取认证。

局限与展望¶

计算开销依然依赖采样推理：平滑和置信区间评估依赖大量前向采样（平滑采样 $N$ 与置信度采样 $\bar{N}$），在大型基础模型或超深神经网络上直接进行实时平滑推理存在显著延迟瓶颈。
凸区域假设的几何局限：理论要求各模态覆盖集 $\mathcal{R}_m$ 为凸集（如超矩形），当面对诸如“双月”（Half-moon）这类流形高度扭曲弯曲的模态结构时，凸包覆盖会引入多余空间或严重失真。
分区空间固定性：目前分区 $\bm{\mathcal{V}}$ 在以输入 $x$ 为中心的扰动球内保持静态，未来可进一步拓展为依赖输入的自适应动态空间划分（Input-dependent partitions $\bm{\mathcal{V}}(x)$）。

评分¶

新颖性: ⭐⭐⭐⭐ [首次建立针对随机多模态回归器的聚类随机平滑框架，打通了混合模型平滑理论]
实验充分度: ⭐⭐⭐⭐ [涵盖高维自动驾驶真实轨迹流模型与强化学习四旋翼控制闭环仿真，数据指标详实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，对非凸下界与 LP 松弛的阐述逻辑通透]
价值: ⭐⭐⭐⭐ [为具身智能与自动驾驶等多模态安全攸关策略的对抗鲁棒性认证提供了关键工具]

数据集 / 任务	评测指标	本文方法 (Ours)	RS-Reg (无截断平滑)	\(\alpha\)-smoothing
L-GAP 轨迹预测 (40D)	2-Wasserstein 距离 \(\mathbb{W}_2\)	3.80 ± 1.59	4.70 ± 2.09	5.18 ± 2.19
L-GAP 终点预测 (2D)	2-Wasserstein 距离 \(\mathbb{W}_2\)	1.49 ± 0.63	1.84 ± 0.84	2.04 ± 0.84
L-GAP 交互决策风险	错误穿行风险率 (Risk Rate)	2.5%	7.5%	16.5%
四旋翼无人机避障控制	轨迹碰撞率 (100 次仿真)	9% (9/100)	-	48% (48/100)

配置 / 截断参数 \(\alpha\)	扰动半径 \(r=0.0\)	扰动半径 \(r=0.05\)	扰动半径 \(r=0.10\)	说明
\(\alpha = 0.0\) (均值混合)	0.82 ± 0.05	0.54 ± 0.08	0.21 ± 0.09	极值离群点显著拉低置信下界
\(\alpha = 0.2\) (适度截断)	0.91 ± 0.03	0.72 ± 0.05	0.43 ± 0.07	过滤外层噪声，认证概率明显提升
\(\alpha = 0.4\) (激进截断，近中位数)	0.96 ± 0.02	0.84 ± 0.04	0.58 ± 0.06	尾部被完全剪除，紧凑区域内概率保证最高