Random Neural Network Expressivity for Non-Linear Partial Differential Equations¶

会议: NeurIPS 2026
arXiv: 2605.25057
OpenReview: https://openreview.net/forum?id=o0qCvNr17F
领域: 物理与科学计算
关键词: 随机神经网络, 偏微分方程, 表达能力, 物理信息神经网络, Ridgelet变换

一句话总结¶

针对非线性演化偏微分方程解在时空混合 Sobolev 空间中的逼近难题，本文基于高阶 Ridgelet 变换建立了随机隐层权重神经网络（RaNN）的逼近误差上界，给出了与空间维度无关的 $\mathcal{O}(N^{-1/2})$ 收敛率，并证明了其对多孔介质方程与可压缩 Navier-Stokes 方程 PINN 训练残差收敛至 0 的定量理论保证。

研究背景与动机¶

利用深度神经网络求解偏微分方程（PDE）近年来取得了显著进展，其中物理信息神经网络（PINN）通过最小化 PDE 残差及初边值条件损失，为传统基于网格的高维数值方法提供了灵活的无网格替代路径。然而，对于强非线性偏微分方程（如流体动力学中的 Navier-Stokes 方程或非线性扩散中的多孔介质方程），全连接全可微深度网络的损失景观极其非凸且高度复杂，采用基于梯度的端到端优化常面临鞍点停滞、慢收敛以及严重的谱偏差等优化瓶颈。这一挑战促使学术界将目光投向随机神经网络（RaNN）或随机特征方法——这类网络随机固定隐层权重与偏置，仅训练线性输出层，不仅将复杂的非凸优化转化为凸二次优化或岭回归求解，极大地降低了计算开销，还保留了作为全训练网络初始状态的理论分析基石。

然而，现有关于随机神经网络表达能力与逼近理论的研究存在明显的结构性缺陷，难以直接覆盖非线性演化偏微分方程的真实解空间。一方面，经典随机特征逼近理论多局限在再生核希尔伯特空间（RKHS）或固定时间截面的经典各向同性 Sobolev 空间，而演化型非线性方程的解在时间维度与空间维度表现出完全不同的物理演化尺度与正则性特征；另一方面，已有基于 Barron-Ridgelet 范数的逼近界通常需要强加未知的频域衰减假设，无法直接与非线性 PDE 的弱解或经典解适定性理论挂钩，更无法量化网络误差如何传播至非线性微分算子作用下的 PINN 动力学残差。

为了打破这一理论壁垒，本文的切入角度是将偏微分方程经典的各向异性混合时空 Sobolev 空间 $H^p_t H^q_x$ 与高阶 Ridgelet 调和分析工具相融合。通过构建时间与空间参数分离的连续 Ridgelet 积分重构，并建立高阶 Plancherel 能量估计，将解的微积分正则性显式绑定至重构核的加权范数上。核心 idea：利用基于 Lizorkin 分布空间的高阶 Ridgelet 变换将时空非线性 PDE 解表示为连续脊波积分，通过重构核与重尾采样分布建立无偏 Monte Carlo 估计器，推导出收敛速率独立于物理维度 $d$ 的 $\mathcal{O}(N^{-1/2})$ 混合 Sobolev 逼近误差界，并严格证明了多孔介质方程与可压缩 Navier-Stokes 系统中 PINN 残差以高概率收敛至零。

方法详解¶

整体框架¶

本文构建了一套将时空混合 Sobolev 空间函数连续积分分解为离散随机神经网络（RaNN）的系统性逼近框架，并进一步将其推广至非线性微分算子作用下的物理残差控制。整个理论流程由四个前后衔接的核心阶段构成：首先针对定义在时空柱状域上的目标函数 $u(t, \mathbf{x})$，通过构造自适应的光滑紧支扩展将其延拓至全空间 $\mathbb{R} \times \mathbb{R}^d$；随后选用满足 Lizorkin 矩消失条件的高阶母脊波函数 $\psi$，建立其与通用非线性激活函数 $\sigma$ 的对偶容许积分重构公式；第三阶段引入参数解耦的重尾先验分布 $\pi(\tau, \mathbf{a}, b)$，将确定性连续积分转化为离散单隐层随机特征网络的无偏蒙特卡洛积分估计器；最终利用 Sobolev 嵌入与微分算子乘积法则，将函数级逼近误差向非线性偏微分方程算子传播，导出 PINN 训练损失的显式衰减界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["时空偏微分方程解<br/>u in H^p_t H^q_x"] --> B["阶段1：时空紧支平滑延拓<br/>Whitney/Stein 扩展保持正则性"]
    B --> C["阶段2：高阶对偶 Ridgelet 变换<br/>参数化连续积分重构"]
    C --> D["阶段3：参数解耦重尾采样<br/>构造 N 宽无偏 RaNN 估计器"]
    D --> E["阶段4：非线性 PDE 算子误差传播<br/>Sobolev 嵌入控制 PINN 残差"]
    E --> F["输出保证：O(N^{-1/2}) 误差界<br/>PME 与 Navier-Stokes 残差收敛"]

关键设计¶

1. 高阶对偶 Ridgelet 积分重构：建立可微激活与解空间的精确连续映射 传统 Ridgelet 分析多针对单尺度各向同性空间且激活函数受限，本文将激活函数类扩展至 Lizorkin 对偶分布空间 $\mathcal{S}_0'(\mathbb{R})$ 的子集 $\mathcal{T}_k$（包括常用的 $\tanh, \text{sigmoid}, \cos$ 等），要求其导数有界且傅里叶变换在原点邻域具有可控多项式奇异性。为克服非线性演化方程解的时空各向异性，设计了带时间尺度分离的母脊波构造 $\psi = \Lambda^{d+1}\psi_0^{(\beta)}$，其中 $\Lambda^m$ 为反投影高通滤波器，在频域满足 $\widehat{\Lambda^m F}(\mathbf{u}, \omega) = i^m |\omega|^m \widehat{F}(\mathbf{u}, \omega)$，$\psi_0$ 取高斯基的高阶导数 $\psi_0(z) = \frac{d^{2n}}{dz^{2n}}e^{-z^2/2}$。在此构造下，函数 $u \in L^1(\mathbb{R}; L^1(\mathbb{R}^d))$ 可无损展开为连续隐层神经元的双重叠加积分： $$u(t, \mathbf{x}) = \int_{\mathbb{R}} \int_{\mathbb{R}^d} \int_{\mathbb{R}} (\mathcal{R}_{\psi} u)(\tau, \mathbf{a}, b) \, \sigma(\tau t + \mathbf{a} \cdot \mathbf{x} - b) \, d\tau \, d\mathbf{a} \, db$$ 其中 $(\mathcal{R}_{\psi} u)(\tau, \mathbf{a}, b)$ 为时空 Radon 投影的单维连续小波变换，该式构成了将离散有限宽网络视为蒙特卡洛采样的连续无穷宽基底。

2. 高阶 Plancherel 型能量估计：将参数谱范数与时空物理正则性精准绑定 为了定量控制随机采样后的方差，必须建立 Ridgelet 变换在参数空间 $(\tau, \mathbf{a}, b)$ 上的加权能量衰减与目标函数时空微商的直接等式关系。传统 Parseval 恒等式仅在 $L^2$ 上成立，本文突破性地推导了带有高阶频率权重的 Parseval 估计。对具有紧支集的函数 $u \in H^p(\mathbb{R}; H^q(\mathbb{R}^d))$，证明了存在与维度 $d$ 及紧支域尺寸相关的常数 $\mathcal{L}_{\psi}$，使得： $$\int_{\mathbb{R}^{d+2}} |\mathcal{R}_{\psi} u(\tau, \mathbf{a}, b)|^2 (1 + |\tau|^2)^p (1 + \|\mathbf{a}\|^2)^q (1 + b^2) \, d\tau \, d\mathbf{a} \, db \le \mathcal{L}_{\psi} \|u\|_{H^{p+1}(\mathbb{R}; H^{q+1}(\mathbb{R}^d))}^2$$ 其中常数 $\mathcal{L}_{\psi} := (4\pi + \|\psi\|_{L^2})(1 + 4T + 4R) + 4\pi(M+1)^2 + \|\psi'\|_{L^2}^2$（其中 $M = (2p+2q+d+3)/2$）。该引理直接指明：只要真实解具有微弱的额外时空正则性（时间导数多 1 阶、空间导数多 1 阶），其 Ridgelet 谱在参数空间沿时间频率 $\tau$、空间方向向量 $\mathbf{a}$ 以及偏置标量 $b$ 均具备可积的二阶矩衰减。

3. 重尾先验重要性采样：构造免受维度灾难困扰的无偏估计器 利用连续积分重构，本文将宽为 $N$ 的随机神经网络构造为带有重要性采样的经验求和：隐层时间权重 $\tau_i$、空间权重 $\mathbf{a}_i$ 与偏置 $b_i$ 独立同分布地采样自张量分解的重尾柯西型分布 $\pi(\tau, \mathbf{a}, b) = \frac{1}{C_{\pi}}(1 + \tau^2)^{-\lambda_\tau}(1 + \|\mathbf{a}\|^2)^{-\lambda_a}(1 + b^2)^{-1}$，其中指数满足 $\lambda_\tau > 1/2$ 且 $\lambda_a > d/2$。相应地，可训练输出层权重被显式赋予闭式目标值： $$W_i = \frac{1}{N} \frac{(\mathcal{R}_\psi u)(\tau_i, \mathbf{a}_i, b_i)}{\pi(\tau_i, \mathbf{a}_i, b_i)}$$ 通过将离散神经网络逼近误差重写为独立同分布随机变量经验均值与总体期望的残差，利用高阶 Plancherel 估计将方差积分完全吸收至 Sobolev 范数中，最终得到均方误差界： $$\mathbb{E}_{\Theta} \left( \|u - u_N\|_{H^p(0,T; H^q(D))}^2 \right) \le \frac{C_{\Omega} C_{\pi} \|\sigma^{(p+q)}\|_\infty^2 T |D| (p+q) \mathcal{L}_\psi}{N} \|u\|_{H^{p+s_1}(\mathbb{R}; H^{q+s_2}(\mathbb{R}^d))}^2$$ 该界确立了收敛速率为严格与空间维度 $d$ 无关的 $\mathcal{O}(N^{-1/2})$，空间维度 $d$ 仅以多项式形式进入常数项，彻底打破了高维逼近中维数灾难指数爆炸的限制。

4. 非线性算子残差控制：从函数空间逼近到物理方程动力学自洽 求解 PDE 时优化的并非函数本身的 $L^2$ 距离，而是不可直接观测的微分残差。针对强非线性算子，本文利用 Sobolev 乘法代数性质与连续嵌入定理，将网络输出与其导数的高阶逼近误差串联。以多孔介质方程（PME）$\partial_t u - \Delta(u^m) = 0$ 和一维可压缩 Navier-Stokes 系统为例，网络导数的高阶光滑性保证了系数 $L$ 有限；结合马尔可夫不等式，证明了对任意置信度 $1-\delta$，仅需解的初始正则性满足经典要求（如可压缩 Navier-Stokes 初值在 $H^5$ 内），宽为 $N$ 的 RaNN 所产生的连续 PINN 动力学残差均严格满足 $\mathcal{J}_{\text{PDE}} \le \mathcal{O}\left(\frac{1}{N\delta}\right)$，从数理上闭环了随机特征方法用于物理信息驱动学习的收敛一致性。

损失函数 / 训练策略¶

在理论构建中，输出层权重采用由 Ridgelet 变换直接计算的理想投影权重；在数值实现与实践操作中，为了避免高维网格数值数值积分的高昂代价，采用离散配点法与凸优化闭式求解策略： 1. 网络架构与特征映射：隐层神经元采用带有 Fourier 特征的随机正弦/余弦基函数： $$u_W(t, \mathbf{x}) = \beta + \sum_{i=1}^N \Big(a_i \cos(\tau_i t + \mathbf{a}_i \cdot \mathbf{x} + b_i) + c_i \sin(\tau_i t + \mathbf{a}_i \cdot \mathbf{x} + b_i)\Big)$$ 参数 $\tau_i, \mathbf{a}_i$ 随机初始化后冻结，在数值实验中从高斯分布 $\mathcal{N}(0, \sigma_\omega^2)$ 中采样（PME 设方差为 $10^2$，Navier-Stokes 设方差为 $3.5^2$）。 2. 优化目标：仅对输出线性系数向量 $\mathbf{W}$ 求解带有 $L^2$ 正则化的岭回归（Ridge Regression）损失： $$\mathcal{L}(\mathbf{W}) = \frac{1}{M} \sum_{i=1}^M \|\hat{\mathbf{u}}(t_i, \mathbf{x}_i) - \mathbf{y}_i\|_2^2 + \lambda \|\mathbf{W}\|_2^2$$ 其中正则化超参数 $\lambda \in [10^{-5}, 10^{-3}]$。配点总数 $M$ 按过采样倍数设定为 $M = 10N \sim 2000N$。 3. 闭式解加速：借助 Cholesky 分解直接求得解析最优解 $\mathbf{W}^* = (\mathbf{\Phi}^T \mathbf{\Phi} + \lambda M \mathbf{I})^{-1} \mathbf{\Phi}^T \mathbf{Y}$，完全跳过随机梯度下降（SGD）或 Adam 等迭代优化器，消除优化局部极小困扰。

实验关键数据¶

主实验¶

论文在多孔介质方程（PME, $m=2$）的不同空间维度（$d=1$ 至 $d=5$）以及一维可压缩 Navier-Stokes 方程行波冲击解（$d=1$）上进行了详细验证，通过评估随机网络在不同隐层神经元宽度 $N$ 下的相对 $L^2$ 均方根误差 $\mathcal{R}(u, \hat{u}) = \|\hat{u}-u\|_{L^2} / \|u\|_{L^2}$，全面检验了收敛率与理论预期的吻合程度。

方程系统与空间维度	隐层宽度 $N$ 范围	相对 $L^2$ 误差随 $N$ 的经验衰减斜率	理论上界速率	理论与实验一致性结论
PME ($d=1$)	$10 \sim 1000$	紧密贴合 $\mathcal{O}(N^{-0.50})$	$\mathcal{O}(N^{-1/2})$	严格吻合，误差平稳沿 $C/\sqrt{N}$ 带状下降
PME ($d=2$)	$10 \sim 1000$	紧密贴合 $\mathcal{O}(N^{-0.49})$	$\mathcal{O}(N^{-1/2})$	严格吻合，对数双对勾曲线呈标准线性
PME ($d=3$)	$10 \sim 1000$	紧密贴合 $\mathcal{O}(N^{-0.51})$	$\mathcal{O}(N^{-1/2})$	严格吻合，三维空间依然保持无维数衰减
PME ($d=4$)	$10 \sim 1000$	紧密贴合 $\mathcal{O}(N^{-0.48})$	$\mathcal{O}(N^{-1/2})$	高维区域收敛斜率依然保持在 $-0.5$ 附近
PME ($d=5$)	$10 \sim 1000$	紧密贴合 $\mathcal{O}(N^{-0.50})$	$\mathcal{O}(N^{-1/2})$	验证了收敛速率的维度独立性（Dimension-free）
可压缩 Navier-Stokes ($d=1$)	$10 \sim 250$	紧密贴合 $\mathcal{O}(N^{-0.50})$	$\mathcal{O}(N^{-1/2})$	强非线性双曲-抛物冲击过渡带依然严格遵循 $-1/2$ 率

消融实验¶

为了探究权重初始化分布、采样配点策略以及 Fourier 特征频率方差对逼近质量的影响，论文设计了关键组件的对比分析：

实验配置变体	核心参数设置	相对 $L^2$ 误差与收敛表现	机制分析说明
理论重尾分布先验 $\pi$	Cauchy 型代数衰减核	渐近速率严格为 $\mathcal{O}(N^{-1/2})$	理论证明所依赖的标准分布，保证可积上界
经验高斯权重采样（主方案）	$\mathbf{a}_i \sim \mathcal{N}(0, \sigma^2)$	渐近速率依然保持 $\mathcal{O}(N^{-1/2})$	证实 $\mathcal{O}(N^{-1/2})$ 速率在标准正态初始化下依然稳健成立
混合局部重要性配点	50% 均匀 + 50% 核心支集紧致采样	均方误差方差极小，拟合稳定性极佳	消除 Barenblatt 边界非光滑奇异区域的欠拟合风险
纯全域均匀配点	100% 全域均匀随机配点	边界误差明显升高，标准差波动扩大约 2.3 倍	高维稀疏区域解支撑面退化导致采样效率降低
Fourier 特征尺度 $\sigma_\omega = 10$ (PME)	高方差正弦/余弦嵌入	能够精准捕捉多孔介质解高曲率扩散前锋	高频嵌入有效打破了传统神经网络的低频偏置
Fourier 特征尺度 $\sigma_\omega = 3.5$ (NS)	中等方差正弦/余弦嵌入	稳定平滑刻画间断激波过渡 profile	激波结构相比多孔介质奇异前沿更规则，适中频率防止过拟合

关键发现¶

收敛速率的维度无关性（Dimension-Free Rate）：在多孔介质方程 $d=1$ 至 $d=5$ 的系统评测中，所有对数误差曲线的斜率均稳定落在 $[-0.51, -0.48]$ 区间内，方差阴影带极窄，充分证实了定理中 $\mathcal{O}(N^{-1/2})$ 逼近速率与物理空间维度的解耦性质。
高斯初始化的泛化超前性：虽然理论证明依赖于具备严格代数重尾衰减的分布 $\pi$，但数值实验表明更为常用的高斯权重初始化同样具备完全相同的 $\mathcal{O}(N^{-1/2})$ 经验收敛率，表明该理论框架对先验权重分布具备极强的结构鲁棒性。
非线性冲击波捕捉稳定性：在可压缩 Navier-Stokes 冲击波方程实验中，即使在粘性项极小（$\epsilon=10^{-3}$）导致的剧烈梯度变化区域，RaNN 依然通过简单的岭回归快速获得了高精度拟合，证明了线性解空间叠加应对强对流占优问题的可行性。

亮点与洞察¶

调和分析与物理神经网络的严密嫁接：首次将 Lizorkin 空间下的对偶 Ridgelet 重构理论推广至各向异性混合时空 Sobolev 空间 $H^p_t H^q_x$，为演化型偏微分方程建立了首个严格的无偏随机神经网络逼近理论。
打通函数逼近向微分方程残差传递的理论鸿沟：克服了传统理论仅能控制函数自身范数的缺陷，结合 Sobolev 乘法不等式与嵌入定理，严格证明了在网络宽度 $N \to \infty$ 时，非线性 PDE 的连续 PINN 动力学残差以概率 1 收敛至零。
计算模式的范式迁移潜力：展示了随机特征网络以极小的计算代价（无需任何反向传播，仅求解一次小规模线性方程组）逼近复杂流体解的有效性，为高维大规模科学计算中替代缓慢的端到端深度优化提供了兼具理论与速度的替代路线。

局限与展望¶

解正则性要求的理论门槛：理论界要求目标方程解具有稍高于微分阶数的微弱额外正则性（空间阶数 $s_2 > (d+2)/2$），对于完全不可微的激波解或弱解，理论假设尚无法严格覆盖。
常数项对维度的隐式依赖：尽管指数收敛率为无维数的 $-1/2$，但式 (14) 中的比例系数 $\mathcal{M}_\psi$ 仍包含随维度多项式增长的几何与代数因子，在极高维极端情境下的常数衰减仍待进一步收紧。
随机特征的谱偏差机理待解：实验虽然引入 Fourier 特征缓解了低频偏差，但随机神经网络在面对超高雷诺数强湍流流动时，高频能量耗散尺度的重构能力尚缺乏系统的理论量化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立混合时空 Sobolev 空间下非线性 PDE 的无维数随机网络逼近理论与 PINN 残差收敛界。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 1-5 维多孔介质方程与一维 Navier-Stokes 激波解，对数误差曲线与收敛率验证充分。
写作质量: ⭐⭐⭐⭐⭐ 调和分析推导逻辑缜密，定理表述清晰规范，数学工具与物理问题紧密呼应。
价值: ⭐⭐⭐⭐⭐ 为科学机器学习（Scientific ML）中随机网络与 PINN 算法的收敛性提供了极其关键的理论底座。

方程系统与空间维度	隐层宽度 \(N\) 范围	相对 \(L^2\) 误差随 \(N\) 的经验衰减斜率	理论上界速率	理论与实验一致性结论
PME (\(d=1\))	\(10 \sim 1000\)	紧密贴合 \(\mathcal{O}(N^{-0.50})\)	\(\mathcal{O}(N^{-1/2})\)	严格吻合，误差平稳沿 \(C/\sqrt{N}\) 带状下降
PME (\(d=2\))	\(10 \sim 1000\)	紧密贴合 \(\mathcal{O}(N^{-0.49})\)	\(\mathcal{O}(N^{-1/2})\)	严格吻合，对数双对勾曲线呈标准线性
PME (\(d=3\))	\(10 \sim 1000\)	紧密贴合 \(\mathcal{O}(N^{-0.51})\)	\(\mathcal{O}(N^{-1/2})\)	严格吻合，三维空间依然保持无维数衰减
PME (\(d=4\))	\(10 \sim 1000\)	紧密贴合 \(\mathcal{O}(N^{-0.48})\)	\(\mathcal{O}(N^{-1/2})\)	高维区域收敛斜率依然保持在 \(-0.5\) 附近
PME (\(d=5\))	\(10 \sim 1000\)	紧密贴合 \(\mathcal{O}(N^{-0.50})\)	\(\mathcal{O}(N^{-1/2})\)	验证了收敛速率的维度独立性（Dimension-free）
可压缩 Navier-Stokes (\(d=1\))	\(10 \sim 250\)	紧密贴合 \(\mathcal{O}(N^{-0.50})\)	\(\mathcal{O}(N^{-1/2})\)	强非线性双曲-抛物冲击过渡带依然严格遵循 \(-1/2\) 率

实验配置变体	核心参数设置	相对 \(L^2\) 误差与收敛表现	机制分析说明
理论重尾分布先验 \(\pi\)	Cauchy 型代数衰减核	渐近速率严格为 \(\mathcal{O}(N^{-1/2})\)	理论证明所依赖的标准分布，保证可积上界
经验高斯权重采样（主方案）	\(\mathbf{a}_i \sim \mathcal{N}(0, \sigma^2)\)	渐近速率依然保持 \(\mathcal{O}(N^{-1/2})\)	证实 \(\mathcal{O}(N^{-1/2})\) 速率在标准正态初始化下依然稳健成立
混合局部重要性配点	50% 均匀 + 50% 核心支集紧致采样	均方误差方差极小，拟合稳定性极佳	消除 Barenblatt 边界非光滑奇异区域的欠拟合风险
纯全域均匀配点	100% 全域均匀随机配点	边界误差明显升高，标准差波动扩大约 2.3 倍	高维稀疏区域解支撑面退化导致采样效率降低
Fourier 特征尺度 \(\sigma_\omega = 10\) (PME)	高方差正弦/余弦嵌入	能够精准捕捉多孔介质解高曲率扩散前锋	高频嵌入有效打破了传统神经网络的低频偏置
Fourier 特征尺度 \(\sigma_\omega = 3.5\) (NS)	中等方差正弦/余弦嵌入	稳定平滑刻画间断激波过渡 profile	激波结构相比多孔介质奇异前沿更规则，适中频率防止过拟合