Neural Statistical Functions

会议: NeurIPS 2026
arXiv: 2605.11327
OpenReview: https://openreview.net/forum?id=DHWVdjJrLt
论文: https://arxiv.org/abs/2605.11327
领域: 其他
关键词: 神经统计函数、前缀统计量、一阶微分恒等式、物理代理模型、区间统计推断

一句话总结

本文提出前缀统计量视角与基于一阶微分恒等式的学习机制，构建能够无需密集显式采样、仅凭端点评估或对数次二分搜索即可直接预测连续工况区间内积分、分位数和极值统计量的神经统计函数。

研究背景与动机

深度学习已被广泛用于构建复杂前向系统的物理代理模型，在给定几何设计与单一运行工况时快速预测压力场、内部应力或能量分布。然而在实际工程设计、动态规划与可靠性分析中，部署时的核心需求往往不是单个固定工况下的单点预测，而是系统在一段连续变化工况区间内的统计特征，例如时间窗口内的累计耗能、不确定载荷下的失效分位数、以及撞击角度范围内的最大峰值应力。

传统的求解范式严重依赖蒙特卡洛密集采样或密集工况扫描。无论直接调用数值偏微分方程求解器，还是反复评估输出高维网格场的大型神经网络代理模型，要获得足够低方差的区间统计量都必须进行数十次甚至上千次单点前向推断，造成不可忽视的高昂计算延迟，且一旦查询区间变化就需要重新进行密集采样。直接以区间端点为输入进行黑盒监督训练，又面临训练工况数据极度稀疏、标签区间组合爆炸以及严重泛化偏差的瓶颈。

面对这一矛盾，本文抛弃了单工况回归后重复采样的传统路线，从一维工况前缀累积积分这一视角重新审视区间统计问题。核心 idea：将区间统计量统一重参数化为分位数空间下的局部变换信号前缀积分，并利用前缀统计量与单样本预测响应之间严谨的一阶微分恒等式构建无采样的梯度匹配训练目标，使单个神经网络通过端点两点评估或低复杂度二分搜索即可直接推断任意连续区间的积分、分位数与极值。

方法详解

整体框架

神经统计函数将连续变化的工况区间查询问题统一解耦为两步：首先通过累积分布函数及其反变换将任意工况映射到标准化的单位分位数空间 \(s \in [0, 1]\)，针对均值、最大值和分位数三种不同的目标统计类型构造对应的局部变换信号 \(\boldsymbol{\psi}(\mathbf{x}, s)\)；随后由神经网络拟合归一化的前缀积分统计量 \(\tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s) = \frac{1}{s}\int_0^s \boldsymbol{\psi}(\mathbf{x}, t)\,\mathrm{d}t\)。在推理时，任意工况子区间 \([c_0, c_1]\) 的统计量直接通过前缀统计量的端点作差与后处理映射 \(\boldsymbol{\Phi}(\cdot)\) 闭式还原。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入设计几何 x 与工况区间 [c0, c1]"] --> B["分位数坐标重参数化<br/>映射到 s0, s1 属于 [0, 1]"]
    B --> C["局部变换信号构建<br/>均值恒等 / 极值软平滑 / 分位数平滑CDF"]
    C --> D["前缀统计量网络拟合<br/>基于一阶微分恒等式与有限差分梯度匹配"]
    D --> E["双分支混合监督策略<br/>连续预训练神经预测器 + 离散真实仿真锚点"]
    E --> F["区间统计量无采样直接推断<br/>端点差分闭式还原 / 分位数单调二分反演"]

关键设计

1. 分位数坐标重参数化与统一前缀统计量表示：解耦工况量纲并建立通用区间差分算子

对于输入的任意工况变量 \(c \sim \mu\)，定义其累积分布函数变换 \(s = Q_\mu(c) \in [0, 1]\) 与反变换 \(c = Q_\mu^{-1}(s)\)。对于查询区间 \([c_0, c_1]\)，对应分位数区间 \([s_0, s_1]\) 的概率测度质量为 \(m = s_1 - s_0\)。针对不同统计任务定义局部变换信号 \(\boldsymbol{\psi}(\mathbf{x}, s)\)：区间均值直接取物理量 \(\boldsymbol{\psi} = \boldsymbol{h}(\mathbf{x}, Q_\mu^{-1}(s))\)；区间最大值采用温度参数 \(\beta > 0\) 的平滑 Log-Sum-Exp 变换 \(\boldsymbol{\psi} = \exp(\beta \boldsymbol{h}(\mathbf{x}, Q_\mu^{-1}(s)))\)；区间 \(\alpha\)-分位数则取指示函数 \(\boldsymbol{\psi}(\mathbf{x}, s; \mathbf{y}) = \mathbbm{1}\{\boldsymbol{h}(\mathbf{x}, Q_\mu^{-1}(s)) \le \mathbf{y}\}\)。定义归一化前缀统计量为：

\[\tilde{\boldsymbol{h}}(\mathbf{x}, s) = \frac{1}{s} \int_0^s \boldsymbol{\psi}(\mathbf{x}, t)\,\mathrm{d}t, \quad s \in (0, 1]\]

对于任意区间统计量，只需通过后处理变换 \(\boldsymbol{\Phi}(\cdot)\) 即可由端点评估直接恢复：

\[\boldsymbol{h}_{\text{Stat}}(\mathbf{x}, [c_0, c_1]) = \boldsymbol{\Phi}\left( \frac{s_1 \tilde{\boldsymbol{h}}(\mathbf{x}, s_1) - s_0 \tilde{\boldsymbol{h}}(\mathbf{x}, s_0)}{m} \right)\]

对于均值，\(\boldsymbol{\Phi}\) 为恒等映射；对于最大值，\(\boldsymbol{\Phi}(\cdot) = \frac{1}{\beta}\log(\cdot)\)，仅需两次前缀网络评估；对于 \(\alpha\)-分位数，由于 \(\boldsymbol{\psi}\) 关于响应值 \(\mathbf{y}\) 单调递增，通过在响应值搜索空间 \([\mathbf{y}_{\min}, \mathbf{y}_{\max}]\) 上执行二分搜索，仅需 \(\mathcal{O}(\log \lceil (\mathbf{y}_{\max} - \mathbf{y}_{\min})/\epsilon \rceil)\)（通常约 10 次前缀推断）即可完成高精度反演。

2. 一阶微分恒等式与窄区间敏感性约束：转化区间目标为局部无积分微分学习法则

对前缀统计量定义式两边关于分位数 \(s\) 求导，可直接推导出一阶微分恒等式：

\[s\,\partial_s \tilde{\boldsymbol{h}}(\mathbf{x}, s) + \tilde{\boldsymbol{h}}(\mathbf{x}, s) = \boldsymbol{\psi}(\mathbf{x}, s)\]

论文在理论上证明了在自然边界条件 \(\lim_{s \to 0} s\,\tilde{\boldsymbol{h}}(\mathbf{x}, s) = 0\) 下，该微分恒等式与前缀积分表示具有充要等价性。更为关键的是，理论误差分析表明，当区间宽度收窄时，端点推断误差的极限行为渐进受控于局部残差 \(\boldsymbol{\delta}_\theta(\mathbf{x}, s) = s\,\partial_s \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s) + \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s) - \boldsymbol{\psi}(\mathbf{x}, s)\)。因此，模型无需在任意组合的区间上计算高昂的积分真实值，而仅需在单个随机抽样点 \(s \sim \text{Unif}(0, 1]\) 上约束局部网络输出逼近构造的目标向量：

\[\tilde{\boldsymbol{h}}_{\text{tgt}}(\mathbf{x}, s) = \boldsymbol{\psi}(\mathbf{x}, s) - s\,\partial_s \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s)\]

导数项 \(\partial_s \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s)\) 在具体实现中直接通过小步长 \(\Delta s\) 的有限差分高效估计，既避免了高阶自动微分的巨额显存与反向传播开销，又严格保证了窄区间与宽区间下的逼近精度。

3. 神经预测器与仿真数据混合监督架构：兼顾连续工况覆盖与无偏物理针定

在实际工程物理场景中，高保真度仿真数据往往只能覆盖离散稀疏的工况点，直接训练易受采样点不足的严重制约；而现有的预训练单工况神经预测器（如 Transolver）虽然可以连续评估任意 \(s\)，却存在模型固有预测偏差。本文设计了双分支混合监督架构：连续神经预测器分支在 \(s_{\text{neural}} \sim \text{Unif}(0, 1]\) 上评估预训练模型输出 \(\boldsymbol{\psi}_{\text{neural}}\)，提供全域密集覆盖；仿真数据分支则提取数据集内的真实物理观测点 \((\mathbf{x}, c, \mathbf{y})\) 计算 \(\boldsymbol{\psi}_{\text{data}}\)，提供精确无偏的物理约束。二者通过协同损失联合优化，以连续覆盖消除离散过拟合，同时以真实数据修正神经代理模型的系统性偏差。

损失函数 / 训练策略

模型的整体训练目标采用带有梯度截断（stop-gradient, \(\text{sg}\)）机制的均方误差损失函数，防止对目标项中的微分项产生不稳定的二阶梯度传播：

\[\mathcal{L}(\theta) = \mathcal{L}_{\text{neural}} + \lambda_{\text{data}} \mathcal{L}_{\text{data}}\]

\[\mathcal{L}_{\text{neural}} = \left\| \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s_{\text{neural}}) - \text{sg}\left( \boldsymbol{\psi}_{\text{neural}} - s_{\text{neural}}\,\partial_s \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s_{\text{neural}}) \right) \right\|_2^2\]

\[\mathcal{L}_{\text{data}} = \left\| \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s_{\text{data}}) - \text{sg}\left( \boldsymbol{\psi}_{\text{data}} - s_{\text{data}}\,\partial_s \tilde{\boldsymbol{h}}_\theta(\mathbf{x}, s_{\text{data}}) \right) \right\|_2^2\]

实验中采用 AdamW 优化器配合 OneCycleLR 调度策略训练 2000 个 epoch，数据监督权重设为 \(\lambda_{\text{data}} = 0.1\)。对于分位数计算中的指示函数阶跃问题，采用平滑 Sigmoid 函数进行可微近似，平滑窗口宽度 \(\varepsilon\) 随着训练进行从 0.1 逐渐退火至 0.01；极值计算中的 Log-Sum-Exp 温度设定为 \(\beta = 10\)，在逼近精度与梯度方差之间取得稳定平衡。

实验关键数据

主实验

论文在三大典型物理系统基准上系统评测了区间统计量预测能力：二维非线性动力学系统的动能时间积分（Mean/Integral）、NASA-CRM 飞行器表面风洞压力系数的迎角区间分位数（Quantile）、以及基于 OpenRadioss 真实整车碰撞中内应力的碰撞角区间最大值（Maxima）。

表 1 汇总了二维动力系统（Spiral 轨迹）中不同区间宽度 \(s_1 - s_0\) 下的时间积分相对 \(L_2\) 误差（\(\text{relL2}\)），对比了本文神经统计函数（仅需 2 次前缀评估）与不同采样数 \(K\) 的蒙特卡洛有限样本推断基线（相对解析真值评测）：

区间宽度 \((s_1 - s_0)\)	本文方法 (2次评估)	MC (\(K=10\))	MC (\(K=50\))	MC (\(K=100\))	MC (\(K=400\))
0.500	0.028	0.096 ± 0.002	0.042 ± 0.001	0.031 ± 0.001	0.016 ± 0.001
0.620	0.023	0.109 ± 0.006	0.051 ± 0.001	0.038 ± 0.001	0.020 ± 0.001
0.740	0.031	0.134 ± 0.004	0.061 ± 0.002	0.042 ± 0.002	0.021 ± 0.001
0.860	0.019	0.172 ± 0.015	0.070 ± 0.002	0.049 ± 0.002	0.024 ± 0.001
0.920	0.022	0.173 ± 0.011	0.080 ± 0.005	0.054 ± 0.002	0.025 ± 0.000

在真实整车碰撞极值应力预测任务（Car-Crash，撞击角范围 \([-55^\circ, 55^\circ]\)）中，本文方法仅需 2 次端点推断，在宽区间下的误差全面优于需要 10 次高保真神经网络调用的蒙特卡洛基线（相对密集数值模拟真值）：

碰撞角度区间宽度 (deg)	本文方法 (w/ 数据监督)	MC (\(K=5\))	MC (\(K=10\))	相对数值仿真优势
\(80.0^\circ\)	0.452	0.456 ± 0.009	0.426 ± 0.008	相当精度，计算量减少 80%
\(92.0^\circ\)	0.453	0.472 ± 0.019	0.440 ± 0.022	接近 \(K=10\) 性能
\(96.0^\circ\)	0.454	0.488 ± 0.017	0.451 ± 0.014	精度持平，耗时降为 1/5
\(100.0^\circ\)	0.456	0.496 ± 0.019	0.458 ± 0.016	显著超越 \(K=5\)，优于 \(K=10\)
\(108.0^\circ\)	0.459	0.514 ± 0.026	0.476 ± 0.024	明显超越 \(K=10\) 密集基线

在 NASA-CRM 气动分位数任务上，本文方法仅需约 10 次推断（5 步二分），在 \(\alpha=0.9\) 高分位数与 \(9.9^\circ\) 宽迎角区间上相对密集 Transolver 参考的 \(\text{relL2}\) 达到 0.144，大幅优于 10 次蒙特卡洛评估的 0.231 ± 0.066，且具有更平滑真实的翼面压力空间相干性。

消融实验

表 3 汇总了在汽车碰撞最大应力预测任务中，是否引入真实数值仿真数据进行联合监督（\(\lambda_{\text{data}}\)）对测试集 \(\text{relL2}\) 的影响（分别以稠密 Transolver 和真实模拟数据为基准）：

实验配置	评估基准：稠密 Transolver 参考	评估基准：真实数值仿真参考	说明
完整模型 (w/ 数据监督 \(\lambda_{\text{data}}=0.1\))	0.335 (\(100^\circ\) 宽区间)	0.456 (\(100^\circ\) 宽区间)	结合密集神经预测与无偏物理锚点
无数据监督 (w/o 数据监督 \(\lambda_{\text{data}}=0\))	0.346 (\(100^\circ\) 宽区间)	0.465 (\(100^\circ\) 宽区间)	仅依赖单样本神经模型，存在固有偏差
平滑温度 \(\beta=100\)	训练梯度方差激增，Loss 振荡尖峰	—	过高温度导致高应力点梯度爆炸
平滑温度 \(\beta=10\)（本文默认）	稳定收敛，准确逼近区间最大值	稳定收敛	精度与优化稳定性达到最佳平衡

关键发现

1. 区间越宽优势越显著：随着工况区间跨度增大，传统蒙特卡洛采样的方差迅速发散，需要极其密集的采样才能捕捉极值或压低均值误差；而神经统计函数直接在前缀空间内全局学习微分演化关系，在宽区间上的预测表现极其稳健。
2. 两点推断颠覆传统延迟：对于积分均值与极值预测，模型只需前缀网络在区间两个端点各跑一次推断，将传统物理分析中需要数十至数百次网络调用的开销直接压缩达两个数量级（至多减少 \(100\times\) 评估次数）。
3. 数据-神经混合监督不可或缺：预训练单样本神经模型提供了连续流形上的密集伪标签梯度，而真实稀疏仿真数据有效防止了统计代理模型在真实物理包络面上的漂移。

亮点与洞察

• 前缀累积与微分恒等式的优雅映射：跳出了深度学习直接黑盒学习区间对映射的粗暴思路，引入统计物理与积分学中的前缀表示，发现了一阶微分恒等式这一本质约束，使得模型可以用局部点监督学习全局区间积分性质。
• 三种经典统计量的无缝统一：将加性可分的积分均值、非线性的极值峰值、以及非加性分布式的分位数，通过 Log-Sum-Exp 平滑与 CDF 示性函数变换，优雅地收敛在同一套前缀积分算子与端点反演框架下。
• 极具实用价值的工业落地潜力：在汽车碰撞安全分析和飞行器气动设计中，评估不确定极端工况区间的风险响应是核心痛点，该技术使得工程人员在设计探索阶段能够在毫秒级延迟下获得高可信度的区间统计量。

局限性 / 可改进方向

• 高维工况空间的维度灾难：目前实验仅验证了一维标量工况参数（时间、迎角、碰撞角）。虽然论文指出多维工况可通过容斥原理扩展为 \(2^{d_{\text{cond}}}\) 个顶角前缀评估，在 \(d_{\text{cond}} \le 4\) 时仍具优势，但当工况维度超过 5 维时，顶角求和的指数级增长将削弱计算收益。
• 极端狭窄区间的导数敏感性：理论 Proposition 4 指出在区间趋于零的极窄极限下，误差严重依赖前缀网络关于工况参数的一阶导数精度。有限差分步长 \(\Delta s\) 的选取和网络局部梯度的平滑度直接影响极窄区间的表现。
• 分位数推断仍需多次反演：相比均值与极值的单步闭式端点计算，分位数推断仍需 5 到 10 次二分搜索评估，在超大规模空间场上的延迟仍有进一步通过直接学习分位数函数进行压缩的空间。

相关论文

• [ICLR 2026] On the Lipschitz Continuity of Set Aggregation Functions and Neural Networks for Sets
• [ICCV 2025] Loss Functions for Predictor-based Neural Architecture Search
• [NeurIPS 2026] Fixed-Size Active Statistical Inference
• [NeurIPS 2026] Program-as-Weights: A Programming Paradigm for Fuzzy Functions
• [NeurIPS 2026] Vesta: Visual Exploration with Statistical Tool Agents