NOFE – Neural Operator Function Embedding¶

会议: NeurIPS 2026
arXiv: 2605.11970
OpenReview: https://openreview.net/forum?id=tQ6I4ZWHFJ
代码: https://anonymous.4open.science/r/NOFE-FCB2/
领域: 物理/科学计算
关键词: 神经算子, 降维, 层论, 图核算子, 连续域表征

一句话总结¶

针对传统降维方法将数据孤立为无序离散点云而忽视物理连续域拓扑结构与采样无关性的缺陷，本文提出神经算子函数嵌入（NOFE），从层态射（Sheaf Morphism）视角利用图核算子学习函数到函数的低维映射，实现任意查询点网格无关评估与局部拓扑保真。

研究背景与动机¶

在现代科学计算、地球物理气象观测、遥感遥测与生物医学影像中，分析的数据集通常由数百甚至上千维连续物理过程的空间或时间离散采样构成（如 ERA5 气象场重分析变量、4D 弥散磁共振 dMRI 信号或高光谱卫星影像）。降维算法的核心目标是从高维观测中提取出保持本质几何与内在模式的低维紧凑表达，以赋能快速计算、低维可视化与下游预测。然而，主成分分析（PCA）、t-SNE、UMAP 以及扩散映射（Diffusion Maps）等经典降维技术，其数学假设本质上将数据视作高维欧氏空间中孤立的离散点云集合，完全抛弃了数据赖以生存的连续底层流形与物理域拓扑结构。

这种物理域意识的缺失引发了严重的系统性缺陷：其一，传统降维严重依赖输入点集的全局离散分布，当从连续空间的不同局部子区域（Patches）分别独立采样并降维拼接时，由于各区域坐标系失调与邻域畸变，拼缝边界会出现剧烈的人工跳变与颜色突变（Patch Discontinuity）；其二，离散点云方法无法内生支持跨分辨率泛化，面对高分辨率任意查询坐标只能做后验插值，易引入伪影与过平滑，并经常诱发虚假聚类（Overclustering）；其三，传统流形学习缺乏局部相容性，无法满足开覆盖局部截面在重叠区域可自然胶合（Gluing）的物理几何自洽性。

针对这些痛点，本文提出了全新的切入视角：降维不应当是离散样本点到低维点的逐点孤立映射，而应当是在连续无穷维函数空间之间学习算子，即直接将高维函数空间映射到低维函数空间。本文将降维问题形式化为层论（Sheaf Theory）中的层态射，并构建基于图核算子（Graph Kernel Operator, GKO）的连续降维架构。核心 idea：将连续域降维建模为约化茎维度的局部层态射，以物理域邻域图为拓扑基底、函数观测值为节点特征，借助图核算子实现无网格连续函数到函数的降维映射，并在跨子域拼接中严格保证局部几何保真度与层胶合相容性。

方法详解¶

整体框架¶

NOFE 将高维物理观测抽象为流形 $\mathcal{M}$ 上的连续截面 $f: \mathcal{M} \to \mathbb{R}^{d_f}$，目标是学习一个神经降维算子 $\mathcal{R}$，将其映射至低维连续函数空间 $g = (\mathcal{R}f): \mathcal{M} \to \mathbb{R}^{d_g}$（其中 $d_g \ll d_f$），并满足与限制映射可交换的层态射条件。在离散实现中，空间采样点集 $X \subset \mathcal{M}$ 构成拓扑图节点，节点特征为高维函数值 $y_i = f(x_i)$，物理域空间邻域构成图边，并附带包含绝对与相对坐标的边特征 $e_{ij}$。模型通过提升层、多轮局部图核消息传递与投射层，输出低维连续函数值 $z_i = g(x_i)$。针对任意未观测查询点，NOFE 进一步构建源节点图与目标查询图的双图交叉传递机制，实现超分辨率无网格评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高维物理采样场<br/>坐标 X 与观测值 Y=f(X)"] --> B["域感知图拓扑构建<br/>物理域 kNN 边与坐标属性 e_ij"]
    B --> C["高维特征提升与图核传递<br/>Lifting + GKO 消息传递"]
    C --> D["双图交叉消息传递与超分辨率<br/>源图到目标查询图单向传递"]
    D --> E["域局部 Student-t 亲和度匹配<br/>计算局部 KL 散度损失"]
    E --> F["低维连续函数输出<br/>网格无关嵌入 z_q=g(x_q)"]

关键设计¶

1. 连续层态射理论表征：将降维建模为函数空间茎维度约化

经典层神经网络（SNN）依赖离散图上的细胞层（Cellular Sheaves），通过节点/边向量空间与限制映射定义层拉普拉斯算子，但无法建模真正的连续物理域。NOFE 将其推向连续极限：将底层物理空间 $\mathcal{M}$ 上的连续函数集合赋予连续函数层结构 $\mathcal{F}_{d_f} \subseteq \mathcal{C}_{d_f}(\mathcal{M})$，降维算子 $\mathcal{R}$ 是一个作用于全局截面上的映射，使得对于任意开集包含 $V \subseteq U \subseteq \mathcal{M}$，满足层限制映射的交换图式 $\mathcal{R}_V \circ \rho_{U,V}^{\mathcal{F}_{d_f}} = \rho_{U,V}^{\mathcal{F}_{d_g}} \circ \mathcal{R}_U$。同时，为保证在任意子域上的独立降维结果能够在重叠处无缝胶合，算子必须具备局部性（Locality），即若两截面在开集 $U$ 上相等，则其降维输出在 $U$ 上严格一致。NOFE 在理论上证明了紧支撑局部核算子对这一连续层态射的有效逼近，打破了点云降维的局部坐标系不一致僵局。

2. 域感知图核算子架构：网格无关的函数到函数消息传递

为了使网络能无视网格离散形式直接处理连续域上的函数，NOFE 采用图核算子（GKO）结构。给定物理空间邻域内构建的图边集合 $E = \{(i,j): x_j \in B_r(x_i)\}$，每条边赋予物理域特征向量 $e_{ij} = \{x_i, x_i - x_j\}$。算子前向过程包含三个串联步骤：首先由线性提升层 $L: \mathbb{R}^{d_f} \to \mathbb{R}^{d_h}$ 将节点特征映射至隐藏维度 $h_i^{(0)} = L y_i$；随后进行 $T$ 轮参数化图核消息传递迭代： $$h_i^{(t+1)} = \text{ReLU}\left(W h_i^{(t)} + \sum_{j \in N(i)} K(i,j) h_j^{(t)}\right)$$ 其中核矩阵 $K(i,j) \in \mathbb{R}^{d_h \times d_h}$ 由以边几何属性 $e_{ij}$ 为输入的小型多层感知机（MLP）动态预测；最后通过投射层 $P: \mathbb{R}^{d_h} \to \mathbb{R}^{d_g}$ 得到目标维度嵌入 $z_i = P h_i^{(T)}$。这一机制使学习到的变换由物理域度量驱动，摆脱了固定网格约束。

3. 物理邻域约束的双 Student-t 局部亲和度匹配损失

传统 t-SNE 仅在无结构的高维特征空间中通过高斯/Student-t 核计算成对距离，使物理域相距甚远的样本因特征偶然相近而被强行拉拢，产生虚假聚类。NOFE 反其道而行之，强行施加物理空间邻域拓扑约束：亲和度概率仅在物理域图边 $(i, j) \in E$ 上定义。高维输入空间与低维嵌入空间统一采用 Student-t 分布核计算归一化转移概率： $$p_{ij} = \frac{(1+\|y_i - y_j\|^2)^{-1}}{\sum_{(i,k)\in E, k\neq j}(1+\|y_i - y_k\|^2)^{-1}}, \quad q_{ij} = \frac{(1+\|z_i - z_j\|^2)^{-1}}{\sum_{(i,k)\in E, k\neq j}(1+\|z_i - z_k\|^2)^{-1}}$$ 最终通过最小化离散边缘 KL 散度 $\mathcal{L} = \sum_{(i,j)\in E, i\neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}$ 优化网络参数。双侧统一使用 Student-t 核避免了传统高斯核在空间局部高维特征变化微弱或剧烈时方差敏感崩溃的问题，并确保局部邻域内特征差异在降维后获得高保真拓扑保留。

4. 双图交叉超分辨率算子：任意查询坐标的直接函数评估

为实现在任意未知高维物理量采样点 $X_q \notin X_i$ 上的超分辨率函数求值，NOFE 设计了双子图解耦传递范式。源观测节点构成图 $A$，目标查询点集构成图 $B$。目标节点初始特征仅利用反距离权重（IDW）粗略插值自邻近源节点，同时构建从源图指向目标图的有向跨图边集 $E_{cross} = \{(p, i): i \in N_{cross}(p)\}$。在每一轮传递中，除了两图各自内部的局部消息传递外，目标节点单向吸收源节点的高阶核聚合表征： $$h_p^{t(t+1)} = \text{ReLU}\left(h_p^{t(t+1)} + \sum_{i \in N_{cross}(p)} K_{cross}(p, i) h_i^{s(t+1)}\right)$$ 最终直接从目标节点投射输出 $z_p^t = P h_p^{t(T)}$。信息流单向单导的设计杜绝了未知点对已知观测场的污染，实现了无插值伪影的连续超分辨率函数推断。

损失函数 / 训练策略¶

训练目标由限制在物理邻域图边拓扑上的 Kullback-Leibler 散度构成，使用 AdamW 优化器进行端到端优化，初始学习率设为 $1 \times 10^{-5}$，每 10 个 epoch 乘以衰减因子 0.5，共训练 25 个 epoch。隐藏提升维度设为 $W=64$，核预测 MLP 包含 2 个隐层（宽度 $KW=16$），邻居数固定为 $k=5$，消息传递轮数 $T=3$，目标嵌入维度 $d_g=3$。超分辨率场景下，损失函数由目标图内的边集亲和度监督。

实验关键数据¶

主实验¶

评估在欧洲区域 ERA5 气候重分析数据集（550 hPa 高度层，包含 11 个气象物理变量，分辨率 $180 \times 180$）上开展，输入降维至 3 维。对比基线包括 PCA、t-SNE 与 UMAP。评估指标包含拼接拼缝误差（$S_{\text{ESE-local}}$ 与 $S_{\text{ESE-region}}$）、全局应变（Kruskal Stress-1）、局部邻域应变（Stress-local）以及重叠区域胶合均方误差（Gluing MSE）。

方法	$S_{\text{ESE-local}} \downarrow$	$S_{\text{ESE-region}} \downarrow$	Stress-1 $\downarrow$	Stress-local $\downarrow$	Gluing MSE $\downarrow$
NOFE（本文）	0.823 ± 0.047	13.035 ± 0.852	0.379 ± 0.014	0.111 ± 0.119	0.080 ± 0.047
PCA	0.843 ± 0.110	22.180 ± 4.887	0.268 ± 0.014	0.398 ± 0.168	1.369 ± 0.701
t-SNE	0.892 ± 0.097	59.030 ± 14.271	4.495 ± 0.736	0.773 ± 0.629	1.642 ± 0.586
UMAP	1.126 ± 0.199	267.586 ± 48.483	0.472 ± 0.068	0.791 ± 0.190	1.827 ± 0.884

在超分辨率实验中，从 $N_i=100$ 输入点直接映射预测 $N_q=1000$ 个任意空间查询点嵌入：

方法	超分 Stress-1 $\downarrow$	超分 Stress-local $\downarrow$	方案机制
NOFE（本文）	0.466 ± 0.026	0.560 ± 0.530	双图跨域 GKO 算子直接函数评估
PCA	0.388 ± 0.020	1.262 ± 1.109	离散投影后空间线性插值
t-SNE	1.356 ± 0.247	2.330 ± 4.102	离散投影后空间线性插值
UMAP	0.604 ± 0.1437	2.573 ± 4.770	离散投影后空间线性插值

消融实验与参数扫描¶

在固定 $KD=2$ 和 $k=5$ 条件下，对节点提升维度 $W \in \{16, 64\}$、核网络宽度 $KW \in \{16, 64\}$ 与迭代步数 $T \in \{3, 6\}$ 进行 8 组正交组合扫描，分析 5000 采样点下的性能表现：

模型配置	$W$	$KW$	$T$	验证损失 $\downarrow$	成对相关系数 $\uparrow$	Stress-local $\downarrow$	训练耗时 (min)
Model 1	16	16	3	38.350	0.779 ± 0.036	0.093 ± 0.107	20
Model 2（主选配置）	64	16	3	33.026	0.790 ± 0.028	0.013 ± 0.147	44
Model 3	16	64	3	38.127	0.784 ± 0.035	0.116 ± 0.104	32
Model 4	64	64	3	33.471	0.789 ± 0.031	0.101 ± 0.107	56
Model 5	16	16	6	38.802	0.780 ± 0.037	0.127 ± 0.163	36
Model 6	64	16	6	33.990	0.789 ± 0.032	0.077 ± 0.071	81
Model 7	16	64	6	38.539	0.783 ± 0.032	0.157 ± 0.157	30
Model 8	64	64	6	32.078	0.791 ± 0.031	0.073 ± 0.097	108

关键发现¶

提升维度 $W$ 决定模型拟合上限：当提升维度从 $W=16$ 提升至 $64$ 时，验证损失呈现阶跃式下降（平均下降超过 5 个点），而 $KW$ 增加对拟合提升边际递减。
消息传递深度 $T$ 存在过平滑风险：迭代轮数从 $T=3$ 增加至 $6$ 会使训练开销翻倍，但在大部分指标上未能带来显著收益，甚至导致局部应变发生轻微退化，验证了深层 GNN 类算子在局部几何传递中的敏感性。
跨子域拼接误差降低达 20 倍：相比于 UMAP 产生的严重边界缝合错位（$S_{\text{ESE-region}}$ 达 267.586），NOFE 仅为 13.035，误差降低至其 $1/20$；在胶合误差测试中，NOFE 的 MSE 仅为 0.080，相较 UMAP（1.827）和 PCA（1.369）展现出近两个数量级的层兼容优势。

亮点与洞察¶

层论赋能降维的范式突破：首次从代数拓扑中的连续层（Sheaf）与层态射视角重新严谨审视降维任务，证明了局部图核算子能够严格实现连续截面上的茎维度约化与重叠胶合，将传统仅适用于离散图的 SNN 成功扩展到了连续函数域。
打破采样密度与网格绑定的函数式嵌入：通过神经算子的连续逼近特性，NOFE 摆脱了传统降维“只能对输入离散点降维”的死穴，利用双子图有向传递机制原生实现了高物理保真度的超分辨率查询，使降维结果转变为可解析计算的连续场。
局部拓扑约束重塑对比学习目标：舍弃全局特征盲比对，将 Student-t 亲和度矩阵精准约束于空间流形拓扑邻域，从源头上杜绝了 t-SNE 与 UMAP 在复杂连续物理场中破坏空间连续性与人为夸大聚类边界的通病。

局限与展望¶

计算复杂度受空间采样规模制约：图构建与核矩阵生成对于大尺度稠密网格（如高分辨率三维场）会显著增加图边的显存占用与迭代计算开销，尤其是双子图交叉传递机制在超高分辨率下的计算负担较重。
超参数敏感性与局部度量假设：图构建高度依赖于预先定义的欧氏距离度量与近邻数 $k$。当底层流形具有复杂非欧曲率或内部几何时，直接采用欧氏空间度量构建边会导致局部邻域失真，未来需结合测地线距离或黎曼度量。
后续拓展方向：进一步引入自适应网格细化（AMR）机制以动态调整核算子分辨率；将连续层态射理论推广至具有奇异性、非连续冲击波前或非平凡拓扑结构的复杂流形物理系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将连续层态射理论与图核神经算子结合，重构了连续场函数的降维范式]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 ERA5 大气科学、4D 弥散磁共振 dMRI 与高光谱卫星遥感三大连续物理场，设计了 patch 拼接、超分辨、胶合误差与 Lipschitz 连续性多维度完备验证]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨自洽，从层论概念到算子离散化逻辑清晰，实验量化与定性对比极具说服力]
价值: ⭐⭐⭐⭐⭐ [为物理科学计算、时空连续数据与高维科学观测的降维与可视化提供了全新的数学基石与实用工具]