Learning Orthonormal Bases for Function Spaces¶

会议: NeurIPS 2026
arXiv: 2605.19959
OpenReview: https://openreview.net/forum?id=6ZYEKF9qcC
代码: https://github.com/HamidrezaKmK/Learning-ONBs
领域: 学习理论
关键词: 正交基学习, 函数空间, 李群积分器, 神经算子, 奇异值分解

一句话总结¶

将函数空间无限维正交基的参数化重构为无限维正交李群流形上的 ODE 路径，利用低秩反对称积分核与 Cayley 保结构积分器，实现了保能量、无离散化误差且可端到端优化的连续基底学习。

研究背景与动机¶

无限维正交基（ONB）展开是数值分析、物理仿真以及函数数据分析的核心基石。传统的解析正交基（如实数傅里叶级数、小波基）具备严格正交、内积分解为系数点积以及无离散网格依赖等天然优势，但它们通常形式固定，无法针对具体数据分布或动力学算子进行自适应变形。在数据挖掘与连续场建模中，若要获得紧凑表征，往往需要依据具体问题求解特征基底（如主成分分析中的协方差算子特征函数，或物理系统中的动力学模态）。

然而，现有的两类求解思路均存在根本矛盾。传统数值方法依赖将连续算子离散化为网格矩阵并调用代数特征求解器，不仅受制于奈奎斯特（Nyquist）采样频率截止，还面临高维维数灾难与离散化误差；而新兴的隐式神经表示（INR）和无约束连续特征神经网络（如 Spectral Inference Networks、NeuralEF）虽然摆脱了固定网格，却无法在连续空间中严格维持正交约束与线性代数结构，导致基函数之间发生退化或正交性瓦解。

面对正交流形高度非线性、难以直接参数化的困境，本文提出了从李代数切入的视角：与其直接在流形上优化受限的正交算子，不如将任意目标正交基视为由初始参考基（如经典傅里叶基）沿无限维正交李群流形连续旋转演化到达的终点。核心 idea：将无限维正交基的学习转化为正交李群上的常微分方程（ODE）积分路径，用神经网络参数化时变低秩反对称生成元，并证明二秩生成元即可在希尔伯特-施密特拓扑下稠密逼近任意正交旋转，最终借助 Cayley 保结构积分器实现严格无损的正交基端到端优化。

方法详解¶

整体框架¶

本文的核心框架构建于紧支撑度量测度空间 $(\Omega, \mu)$ 上的可分实希尔伯特空间 $H = L^2(\Omega, \mu)$。任意目标正交基 $\{\phi_i\}_{i=1}^\infty$ 与初始完备参考正交基 $\{\varphi_i\}_{i=1}^\infty$ 之间，必然由一个保内积的正交基变换算子 $Q: H \to H$（满足 $Q^* Q = I$）相联系。为了让网络搜索空间在无约束欧氏空间中展开，方法通过李代数将 $Q$ 展开为微分方程系统 $\frac{d}{dt}Q(t) = K_\theta(t) Q(t)$，其中 $K_\theta(t)$ 为时变反对称算子（$K^* = -K$）。

输入参考傅里叶基函数后，系统在时间区间 $[0, T]$（实验中取 $T=1$）内进行连续旋转演化，输出自适应目标基底 $\phi_i^\theta = Q_\theta \varphi_i$。在实现中，反对称生成元由低秩分解架构参数化，时间推进采用二阶 Cayley 保结构时间步进，并通过 Woodbury 矩阵恒等式将稠密积分求解的计算复杂度降低至关于空间采样点数线性的水平。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["参考正交基输入<br/>无离散化傅里叶基 φ_i"] --> B["低秩反对称生成元参数化<br/>K_θ(t) = U_θ^* (M_θ - M_θ^T) U_θ"]
    B --> C["Cayley保结构流形积分<br/>(I - Δt/2 K)^(-1) (I + Δt/2 K)"]
    C --> D["Woodbury线性复杂度加速<br/>O(r^3 + r^2 D) 快速求逆"]
    D --> E["变分目标反向传播优化<br/>算子对角化 / Koopman匹配"]
    E --> F["任务自适应正交基输出<br/>严格保内积连续基底 φ*_i"]

关键设计¶

1. 低秩反对称生成元参数化：将流形约束转化为无约束网络输出 直接在希尔伯特-施密特正交群 $\mathcal{SO}(HS)$ 约束流形上进行参数化和梯度下降极难保持流形正交性。本文利用反对称算子的线性空间性质，将演化生成元分解为显式反对称核： $$K_\theta(t) = U_\theta^*(t)\bigl(M_\theta(t) - M_\theta(t)^\top\bigr)U_\theta(t)$$ 其中 $U_\theta(t): H \to \mathbb{R}^r$ 为空间投影网络，它输入空间坐标与正弦时间编码输出 $r$ 维向量（由一个结合多尺度随机傅里叶特征的 4 层 MLP 与可学习傅里叶低通残差项相加组成）；$M_\theta(t) \in \mathbb{R}^{r \times r}$ 为无约束的时变内部混合网络。二者差分自动保证 $K_\theta(t)$ 处处严格反对称。理论上，本文证明了即使秩低至 $r=2$，时变反对称生成元在时间区间 $[0, T]$ 积分所得的正交算子集合 $\mathcal{Q}_T$ 仍在 $\mathcal{SO}(HS)$ 中关于希尔伯特-施密特范数拓扑稠密（即任意无限维正交旋转均可由 Givens 平面旋转的连续拼接近似）。

2. Cayley 保结构积分与 Woodbury 高效求解：根除离散漂移并保障计算可扩展性 直接采用显式 Euler 或隐式 Euler 等通用 ODE 积分器求解正交群流动会导致能量灾难：显式 Euler 的更新步在反对称扰动下每步将范数放大 $\sqrt{1+(\Delta t \sigma_K)^2} > 1$，导致数值迅速发散；而隐式 Euler 则每步衰减范数造成严重耗散。本文采用基于中点法则的 Cayley 积分变换： $$\widehat{Q}_\ell = \left(I - \frac{\Delta t}{2}\widehat{K}_\ell\right)^{-1} \left(I + \frac{\Delta t}{2}\widehat{K}_\ell\right)$$ 该变换代数上恒等满足 $\widehat{Q}_\ell^* \widehat{Q}_\ell = I$，使基函数在任意数值积分步长下均严格保持单位范数与正交性。针对离散正交积分在 $D$ 个空间求积点上直接求逆代价高昂（高达 $\mathcal{O}(D^3)$）的问题，设计巧妙结合 $K_\theta$ 的低秩结构，利用 Woodbury 矩阵求逆恒等式将逆算子分解到内部小维度 $r \times r$ Gram 矩阵 $G = \widehat{U} \widehat{U}^\top$ 上： $$\left(I - \frac{1}{2}\widehat{K}_\ell\right)^{-1} = I + \frac{1}{2}\widehat{U}^* \widehat{S}\left(I_{r \times r} - \frac{1}{2} G \widehat{S}\right)^{-1}\widehat{U}$$ 从而将求解代价剧降至 $\mathcal{O}(r^3 + r^2 D)$，在单步计算开销和显存占用上实现了与空间采样点数 $D$ 的完全线性扩展。

3. 算子对角化与动力学匹配变分准则：引导李流形探索的自适应泛函 为将旋转算子驱动至下游所需的自适应基底，本文建立了广义二次型迹优化变分准则。若要寻找自伴正半定紧算子 $A$ 的特征函数基，给定严格递减正权值序列 $\{p(i)\}_{i=1}^\infty$（满足 $\sum p(i)=1$），通过最大化加权 Rayleigh 熵 $\mathbb{E}_{i \sim p} \langle Q_\theta \varphi_i, A Q_\theta \varphi_i \rangle$，理论上被证明当且仅当 $\phi_i = Q_\theta \varphi_i$ 精确对齐 $A$ 的特征函数（且按降序排列）时取到极大值。在连续函数 PCA 中，该目标特化为对中心化随机过程投影能量的最大化；在动力系统建模中，针对保体积状态映射 $\Psi$，通过最小化 $\mathbb{E}_{i \sim p} \|Q_\theta \varphi_i - \varphi_i \circ \Psi\|^2$ 使得正交基直接拟合保能量的 Koopman 算子模态。

损失函数 / 训练策略¶

训练采用 Adam 优化器，学习率设为 $10^{-3}$，并施加梯度截断 $\|\nabla\|_2 \le 1$。为了在反向传播时不让显存随时间步数 $L$ 线性累加，整个 Cayley 积分链启用了梯度检查点（Gradient Checkpointing）。对于变分期望 $\mathbb{E}_{\mathbf{i} \sim p}[\cdot]$，采用分层尾部采样估计器：将高频截断概率分界线 $\tau$ 以上的高概率低频分量作为精确层计算，对长尾分量执行 Monte-Carlo 采样，兼顾无偏性与极低方差。

实验关键数据¶

主实验¶

论文在多维连续函数 PCA 任务上对所学正交基的拟合与能量捕获能力进行了严密评估。在 1D 间断函数族（在 $x=0.5$ 处存在跳跃间断点）、MNIST INR 连续图像数据集（SIREN 权重函数空间）以及真实 CelebA 连续场（RGB 多通道）上全面对比了基准解析傅里叶基与传统有限网格 PCA：

数据集 / 任务	评估指标	本文方法 (Learned ONB)	傅里叶基线 (Fourier)	优势提升与对比机制
1D 间断函数 PCA (100基底)	重建对数均方误差 $\log_{10}(\text{MSE})$	$\approx -3.2$	$\approx -2.1$	误差下降超 1 个数量级，完全消除吉布斯振荡
1D 间断函数 PCA (超采样)	奈奎斯特截止限制	完全无截止限制（连续）	存在高频衰减	突破传统有限 PCA 的固定网格 Nyquist 限制
MNIST (INR Zoo) 连续重建	累积捕获能量占比 (前10个基)	显著领先（曲线斜率极陡）	上升缓慢且离散受限	用极少基底捕获手写数字大部分形态方差
CelebA 人脸场 (RGB 多通道)	重建视觉 PSNR (前50个基)	高保真平滑特征人脸	仅捕获粗糙低频色块	多通道统合内积实现跨颜色通道能量自适应混合
泰勒-格林涡 (Koopman仿真)	长时轨迹系统 $L^2$ 能量保持率	严格恒等于 1.000	随步数剧烈发散或耗散	传统数值积分能量漂移，本文严格保持能量守恒

消融实验¶

消融实验重点验证了不同 ODE 积分器在维持函数内积、正交性以及能量范数稳定演化方面的表现：

求解器积分配置	范数保持性 ($\\|\phi_\ell\\|_2$)	内积正交性误差	说明与失效机理
Cayley 积分器 (本文配置)	严格保持 1.000	$< 10^{-7}$ (仅受浮点精度限制)	严格位于正交李群流形上，全流程无能量漂移
显式 Euler 积分 (Forward Euler)	迅速爆炸 ($> 10^3$)	彻底瓦解 ($> 1.0$)	反对称更新步使模长放大 $\sqrt{1+(\Delta t \sigma_K)^2} > 1$
隐式 Euler 积分 (Backward Euler)	迅速衰减至 0 ($\approx 0.05$)	发生秩亏与基底退化	耗散步导致范数被压缩 $1/\sqrt{1+(\Delta t \sigma_K)^2} < 1$
无结构保持的标准 Neural ODE	漂移不稳定	正交性随时间退化	累积截断误差脱离 $\mathcal{SO}(HS)$ 约束曲面

关键发现¶

积分器类型决定优化成败：如果放弃 Cayley 结构保持变换而使用通用 Runge-Kutta 或 Euler 求解器，梯度反传过程会因基底范数膨胀或坍缩而直接崩溃。
低秩足以逼近复杂拓扑演化：在实验中将生成元秩数设定在 $r \in [10, 50]$、时间离散步数 $L \in [20, 50]$ 即可捕获极复杂的连续图像场与流体涡旋动态，印证了二阶即稠密的理论结论。
连续函数空间求解有效消除了固定网格对高频细节的涂抹，在 NTK 决策边界对角化中，成功解析出离散网格求解器丢失的局部纤细特征。

亮点与洞察¶

巧妙的李代数视角转化：将高度非线性、难以直接用神经网络参数化的无限维正交群约束，等价转化为无约束线性空间中的反对称核积分生成元，从数学源头消除了正交性硬约束的优化难度。
二秩生成元稠密性定理：借用代数中的 Givens 平面旋转级联理论，在无限维函数空间严格证明了低秩时变反对称流在希尔伯特-施密特算子拓扑下的稠密性，给低秩神经网络参数化提供了坚实的理论地基。
算子计算的无缝降阶：利用 Woodbury 恒等式将 $D \times D$ 积分求逆映射到 $r \times r$ 内部隐空间，使得连续函数空间的神经网络训练在显存与耗时上具备极佳的工程可行性。

局限与展望¶

长时间积分视野优化难度：虽然理论上需要长积分轨迹逼近高奇异值变换，但深层 ODE 积分反传容易面临梯度消失或曲折优化动力学，限制了更大规模基底的快速收敛。
空间求积点采样方差：在高维物理空间或复杂几何流形（如非欧流形）中，随机求积点采样可能面临方差增大的问题，需要更高效的拟蒙特卡洛或重要性采样支撑。
未来拓展包括将框架推广至流形上的拉普拉斯-贝尔特拉米算子对角化，以及与复杂流体力学的高阶动态模态分解（DMD）紧密结合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从李群流动与反对称低秩生成元视角解决连续函数空间无限维正交基的学习问题，构思极其优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1D 跳跃信号、2D MNIST INR、CelebA RGB 人脸、NTK 对角化及泰勒-格林涡旋仿真，验证全面严谨。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰，理论构造与算法实现丝丝入扣，附录证明完整。
价值: ⭐⭐⭐⭐⭐ 为科学计算、神经算子与物理驱动机器学习提供了一种严格保结构且无离散化误差的全新基底学习范式。

数据集 / 任务	评估指标	本文方法 (Learned ONB)	傅里叶基线 (Fourier)	优势提升与对比机制
1D 间断函数 PCA (100基底)	重建对数均方误差 \(\log_{10}(\text{MSE})\)	\(\approx -3.2\)	\(\approx -2.1\)	误差下降超 1 个数量级，完全消除吉布斯振荡
1D 间断函数 PCA (超采样)	奈奎斯特截止限制	完全无截止限制（连续）	存在高频衰减	突破传统有限 PCA 的固定网格 Nyquist 限制
MNIST (INR Zoo) 连续重建	累积捕获能量占比 (前10个基)	显著领先（曲线斜率极陡）	上升缓慢且离散受限	用极少基底捕获手写数字大部分形态方差
CelebA 人脸场 (RGB 多通道)	重建视觉 PSNR (前50个基)	高保真平滑特征人脸	仅捕获粗糙低频色块	多通道统合内积实现跨颜色通道能量自适应混合
泰勒-格林涡 (Koopman仿真)	长时轨迹系统 \(L^2\) 能量保持率	严格恒等于 1.000	随步数剧烈发散或耗散	传统数值积分能量漂移，本文严格保持能量守恒

求解器积分配置	范数保持性 (\(\\|\phi_\ell\\|_2\))	内积正交性误差	说明与失效机理
Cayley 积分器 (本文配置)	严格保持 1.000	\(< 10^{-7}\) (仅受浮点精度限制)	严格位于正交李群流形上，全流程无能量漂移
显式 Euler 积分 (Forward Euler)	迅速爆炸 (\(> 10^3\))	彻底瓦解 (\(> 1.0\))	反对称更新步使模长放大 \(\sqrt{1+(\Delta t \sigma_K)^2} > 1\)
隐式 Euler 积分 (Backward Euler)	迅速衰减至 0 (\(\approx 0.05\))	发生秩亏与基底退化	耗散步导致范数被压缩 \(1/\sqrt{1+(\Delta t \sigma_K)^2} < 1\)
无结构保持的标准 Neural ODE	漂移不稳定	正交性随时间退化	累积截断误差脱离 \(\mathcal{SO}(HS)\) 约束曲面