Neural Modal Decomposition: Architectural Priors from Observables¶

会议: NeurIPS 2026
arXiv: 2609.14402
OpenReview: https://openreview.net/forum?id=rRvz8kblVv
论文: https://arxiv.org/abs/2609.14402
领域: 物理/科学计算
关键词: 物理先验网络, 线性时不变系统, 模态分解, 极点留数形式, 零样本端口泛化

一句话总结¶

针对多端口线性时不变系统传统直接回归面临的 $\mathcal{O}(N^2)$ 端口扩展维度爆炸与极点拟合病态问题，Neural Modal Decomposition (NMD) 将极点-留数典范解作为架构先验，仅通过系统级可观测响应端到端训练，实现了无监督物理特征模态自发发现与训练时未见端口配置的零样本泛化。

研究背景与动机¶

在射频空腔、无源微波网络、集成光子分束器以及超导量子芯片微波环境等前沿硬件系统中，底层物理控制方程形式各异，但它们的端口级线性响应均遵循线性时不变（LTI）系统的统一物理规律。多端口系统的频域响应矩阵在代数上均可精确表达为有限个本征谐振模态叠加的极点-留数典范形式（pole-residue form）。在此类工程设计的正向评估与逆向寻优中，工程师真正关心的核心指标是端口级的系统可观测响应（如阻抗矩阵 $Z(\omega)$、散射矩阵 $S(\omega)$ 或光学透射谱），内部连续高维场分布往往只是计算开销极大且非直接设计目标的中间态。

然而，构建能跨任意几何结构和任意端口配置预测响应的神经代理模型一直面临两难瓶颈。传统的直接回归方案直接拟合散射参数，输出维度随端口数呈现 $\mathcal{O}(N^2)$ 刚性增长，不仅无法迁移到训练时未见的新端口数量与排布，还需为每种端口拓扑重复耗时采集全波电磁仿真数据；而尝试引入模态分解的显式监督方案（如 Neuro-Transfer-Function 与 Vector Fitting 拟合管线）则受阻于极点-留数参数本质上的非单射与非平滑数学病态——在跨样本拟合时模态阶数跳变、留数存在正负符号与连续相位不确定性，导致直接回归模态参数的优化过程极易崩溃。

本文跳出对模态参数进行显式监督的旧思路，将极点-留数物理结构直接硬编码进神经网络的前向计算通路中，仅以系统级可观测响应误差进行端到端优化。核心 idea：将多端口 LTI 响应的极点-留数代数形式内化为神经网络归纳偏置，通过几何编码器、端口无关极点预测器与端口依赖耦合预测器的正交解耦，配合锚点规范约束消除符号简并，仅凭系统级散射与阻抗可观测数据实现模态自发涌现与任意端口配置的零样本外推。

方法详解¶

整体框架¶

Neural Modal Decomposition (NMD) 面向多端口频域响应，以微波空腔几何与待查询端口坐标为输入，在前向传播中直接构造阻抗矩阵 $Z(\omega)$ 的极点-留数求和，并经双线性变换映射至可观测的散射参数 $S(\omega)$。其核心洞察在于阻抗表征具备子矩阵一致性（Submatrix Consistency）：在系统开路端接未选端口时，任意端口子集上的阻抗子矩阵与全系统完全一致，即系统的谐振极点 $p_k$ 完全由腔体物理几何内禀决定，与观测端口的数量和位置完全解耦；只有耦合留数依赖于具体端口。

整个网络前向计算流水线分为三个紧密协同的神经网络模块：结构编码器（CavityNet）、本征极点预测器（PoleNet）以及左右端口耦合强度预测器（AmpNet）。系统仅依赖 $N=2$ 的端口观测数据进行监督，在推断阶段面对任意 $N \ge 3$ 的未见端口配置时，直接遍历查询各端口并解析组合，实现零样本端口扩展。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN_G["空腔几何图样 g (18×18)"] --> CAV["几何图样编码器 CavityNet<br/>CNN骨干提取 20 个本征腔体特征 token"]
    CAV --> POL["端口无关极点预测器 PoleNet<br/>交叉注意力机制 + Softplus 稳定输出 K 个复极点"]
    IN_P["待查询端口坐标对 (xi, xj)"] --> AMP["端口依赖耦合预测器 AmpNet<br/>行嵌入与列位置编码映射左右耦合向量"]
    CAV --> AMP
    POL --> SYN["极点-留数代数综合层 Synthesis<br/>逐元素构造阻抗矩阵 Zij 并变换为散射参数 S"]
    AMP --> SYN
    SYN --> LOSS["双可观测标量损失与锚点规范正则项<br/>S参数MAE + 对数阻抗MAE + 锚点零相位约束"]

关键设计¶

1. 几何图样编码器 CavityNet 与解耦表征：分离内禀结构特征与观测拓扑 传统方法将几何网格与端口编号拼接处理，混淆了结构固有共振态与测量观测条件。CavityNet 专门接收尺寸为 $16 \times 18$ 的空腔内部金属二值像素矩阵 $g$，完全不输入任何端口位置信息。网络通过 4 组由 $3 \times 3$ 卷积、BatchNorm、GELU 和 MaxPool 构成的 VGG 式下采样卷积块，将通道宽度逐步提升为 64、128、256、384，输出 $4 \times 5$ 的空间特征图并展平为 $n=20$ 个维度 $D_t=384$ 的本征特征 token，最后叠加可学习的位置编码 $E$。这一纯几何表征仅捕获空腔内部电磁边界条件，为极点与端口场耦合的解耦提供了严格的基础。

2. 端口无关极点预测器 PoleNet：物理稳定性约束与共振特征发现 极点表征着物理系统的固有本征频率与能量耗散阻尼率，其取值在拓扑上独立于测量端口。PoleNet 设置了一组 $K=32$ 个可学习的查询嵌入向量 $Q \in \mathbb{R}^{K \times D_t}$，通过 2 层标准 Transformer 多头交叉注意力块（4 头，FFN 隐层 512 维）查询 CavityNet 输出的几何 token。线性输出头为每个模态预测两个实数 pre-activation 参数 $(u_k, v_k)$，并通过带有物理约束的解析公式显式构造复数极点： $$p_k = -\gamma_k + j \omega_k, \quad \text{其中 } \gamma_k = \text{softplus}(u_k) > 0, \; \omega_k = v_k$$ 通过将实部衰减阻尼 $\gamma_k$ 强制约束在严格大于 0 的开区间，使得所有极点自然严格位于复 $s$ 平面的左半开平面，在架构层面上杜绝了因数值漂移导致的非因果非稳定发散解。

3. 端口依赖耦合预测器 AmpNet 与乘积分解：消除符号多义性与无序阶数匹配 阻抗矩阵元由左右端口耦合标量乘积构成：$Z_{ij}(\omega) = \sum_{k=1}^K \frac{l_{k,i} r_{k,j}}{j\omega - p_k}$。对于互易系统 $l_{k} = r_{k}$，但为兼容非互易微波与量子拓扑，网络实例化为两套独立参数的左、右 AmpNet。面对位于上下边缘的端口坐标 $(r_i, c_i)$，由于行坐标仅在顶底边缘取值，标准正弦编码退化失效，网络引入 64 维的可学习行嵌入向量 $\text{row\_emb}(r_i)$，与采用 12 频带正弦位置编码的列坐标 $\text{col\_pe}(c_i)$ 拼接，投影至 384 维后通过 3 层 Transformer 交叉注意力块与几何 token 交互。两组并行线性头分别预测每个模态的幅值（Softplus 保证非负）与自由相位。这种 $l_{k,i} r_{k,j}$ 的乘积分解自动消除了离散符号反转 $(l_k, r_k) \to (-l_k, -r_k)$ 对损失函数的影响，彻底免除了传统显式拟合方案必须对齐极点顺序与规范相位的棘手问题。

4. 锚点规范损失：打破样本内端口间符号与相位简并 虽然乘积分解使得单一矩阵元对 $(\pm l_k, \pm r_k)$ 保持不变，但在构建全 $N \times N$ 矩阵时，若不同端口独立查询时陷入相互矛盾的规范选择，会破坏整体外积一致性。为了为整个系统锚定唯一的模态参考基准，模型将底部边缘（$r_{\text{anchor}}=17$）选定为锚点基准线。对所有落在此基线上的端口，对其预测的模态复振幅 $a_k$ 施加单模态规范惩罚： $$\ell_{\text{gauge}}(a_k) = 1 - \frac{\mathrm{Re}(a_k)}{|a_k| + \varepsilon_{\text{anchor}}}$$ 该惩罚在模态相位位于正实轴（相位为 0）时取得极小值 0。通过仅在底边单一固定参考线上规范基准相位，模型在打破 $\mathbb{Z}_2^K$ 简并的同时，保留了顶底两边缘之间表征真实模态场强分布的相对幅度与相位自由度。

损失函数 / 训练策略¶

模型在端到端优化中完全不提供任何真实极点或留数的监督标签，总损失函数直接在系统级可观测响应上构建： $$\mathcal{L} = \|S_{\text{pred}} - S_{\text{gt}}\| + \lambda_Z \|\log(|Z_{\text{pred}}| + \varepsilon) - \log(|Z_{\text{gt}}| + \varepsilon)\| + \lambda_g \mathcal{L}_{\text{gauge}}$$ 其中 $\mathcal{L}_S$ 衡量 $N=2$ 端口散射矩阵在 36 个频点处的平均绝对误差（MAE），在远离共振时提供平滑的梯度引导；$\mathcal{L}_{Z,\log}$ 采用对数幅值绝对误差（$\varepsilon=10^{-2}, \lambda_Z=0.1$），有效平衡了阻抗矩阵在共振频点附近高达数个数量级的动态范围；锚点规范损失权重设为 $\lambda_g=0.5$。

训练全程采用 AdamW 优化器（学习率 $3 \times 10^{-4}$，权重衰减 $10^{-3}$，批大小 256），在单张 H200 GPU 上历时约 1 小时完成 200 个 epoch 的训练。整个模型参数量仅为 14.5M（CavityNet 4.11M，PoleNet 1.99M，两个 AmpNet 各 4.20M）。

实验关键数据¶

主实验¶

实验基于电磁仿真软件 EMX 对 $18 \times 18$ 像素（物理尺寸 $300 \times 300\,\mu\text{m}^2$）的微波空腔在 30–100 GHz（36 个频点）下的响应展开评估。模型仅在包含 291,435 个样本的 2 端口数据集上训练，在保持参数完全冻结的前提下，直接在包含 1,000 个未见全新空腔几何与全新拓扑的 3 端口、4 端口与 5 端口测试集上进行零样本泛化测试。对比基线包含同等规模下的端到端直接回归 CNN。

模型 / 评估配置	训练端口数	测试端口数	测试集样本数	S参数 MAE (Mean)	S参数 MAE (Median)	S参数 MAE (Std)
Direct Regression CNN [1]	2p	2p	26,430	0.0100	-	-
Direct Regression CNN [1]	2p	3p / 4p / 5p	1,000	无法运行 (维数固定)	无法运行	无法运行
NMD (Ours)	2p	2p (同分布)	26,430	0.0281	0.0221	0.0267
NMD (Ours)	2p	3p (零样本)	1,000	0.0405	0.0258	0.0627
NMD (Ours)	2p	4p (零样本)	1,000	0.0433	0.0250	0.0602
NMD (Ours)	2p	5p (零样本)	1,000	0.0445	0.0245	0.0570

消融实验¶

消融实验重点验证了模态极点数目 $K$ 的取值敏感性以及锚点规范项 $\mathcal{L}_{\text{gauge}}$ 在表征对齐中的核心作用。

实验配置模型	模态数 $K$	规范项权重 $\lambda_g$	2p MAE (同分布)	3p MAE (零样本)	4p MAE (零样本)	5p MAE (零样本)	说明
模态严重不足	8	0.5	0.0752	0.0995	0.0944	0.0887	模型欠参数化，各端口全面失效
模态轻度不足	16	0.5	0.0306	0.0533	0.0533	0.0569	频内精度回升，外推误差显著偏高
完整模型 (默认)	32	0.5	0.0281	0.0405	0.0433	0.0445	各端口外推与频内重构达到最优平衡
移除规范项	32	0.0	0.0333	0.0439	0.0438	0.0453	2p 误差恶化约 16%，多端口外推基本持平
模态过参数化	64	0.5	0.0279	0.0423	0.0431	0.0458	边际收益饱和，多余极点吸收高频背景贡献

关键发现¶

真实物理模态的无监督自发发现：论文引入有理逼近权威数学算法 AAA 算法提取物理参考极点。尽管训练全程没有任何极点位置监督，通过模态对阻抗 Frobenius 范数的贡献度排序选出的前 5 个主导极点，在复频平面（共振频率 $\omega_k$ 与阻尼率 $\gamma_k$）上与 AAA 算法拟合的物理本征模式严格重叠，证明了网络捕获的是真实物理规律而非数值黑盒伪相关。
长尾主导的零样本泛化误差分布：在 3 端口至 5 端口的外推测试中，中位数 MAE（2p: 0.0221, 3p: 0.0258, 4p: 0.0250, 5p: 0.0245）及下四分位数 p25（~0.018）几乎完全保持平缓，表明对于绝大多数典型空腔，零样本端口扩展几乎是无损的；均值 MAE 的轻微上升主要来源于极少数复杂异形几何在极点预测偏移下形成的重尾效应（p95 从 2 端口的 0.0612 扩展至 5 端口的 0.1925）。
轻量正则化的锚点规范机制：消融数据显示，移除规范项后多端口外推能力依然稳健存在，证明子矩阵一致性先验本身已经足以支撑端口外推；但规范项消除了端口间的相位随机游走，使 2 端口频内 S 参数重构 MAE 显著提升了 16%。

亮点与洞察¶

可观测代数先验替代不可微场监督：相较于物理信息神经网络（PINN）与神经算子（Neural Operator）动辄需要在昂贵的三维连续场空间上计算偏微分方程残差，NMD 证明了利用物理系统的输入-输出代数典范形式（如极点-留数展开与子矩阵一致性）足以构建极为紧凑、鲁棒且支持结构外推的神经网络。
解构维度灾难的零样本归纳偏置：直接回归模型受制于固定的张量维度，面对 $N$ 端口网络必须重新训练 $N(N+1)/2$ 维度的独立模型。NMD 将端口响应解耦为全局标量极点与局部端口场耦合向量查询，把 $\mathcal{O}(N^2)$ 的网络映射复杂度压缩为单次前向的轻量级解析乘加，开创了高自由度微波无源拓扑敏捷设计的新范式。
格林函数连续场拓扑迁移潜力：正如作者在讨论中指出的，极点-留数展开本质上是离散采样的谱格林函数 $G(\mathbf{x}, \mathbf{x}', \omega) = \sum_k \frac{\phi_k(\mathbf{x}) \phi_k(\mathbf{x}')}{j\omega - p_k}$。当查询坐标从离散端口扩展至连续空间坐标时，相同的架构先验可直接自然泛化至无网格三维电磁场模式重建。

局限与展望¶

离散谱与线性假设局限：模型深度绑定于线性时不变（LTI）系统的离散模态谱展开，对于强非线性系统、连续辐射谱或高损耗开边界开放电磁系统，其数学极点-留数假定不再严格成立。
固定模态容量超参：当前固定设定 $K=32$ 作为截断模态数，超出实际物理主导模态数。虽有多余极点自发漂移至频带外吸收静态平坦响应，但缺乏动态自适应确定模态阶数机制。
复杂三维空间与非均匀端口扩展：当前实验仅验证了在规则网格矩形空腔顶底边缘分布端口的二维像素几何，向任意不规则三维共形端口、非规则异构介质与多层微波器件的几何通用泛化性仍有待未来工作深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用极点-留数形式与子矩阵一致性作为架构归纳偏置，实现端到端模态自发涌现与零样本端口外推，设计极具物理美感。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖大规模电磁仿真数据集、多端口零样本外推指标分布统计、AAA算法物理极点交叉对齐验证以及详尽的模态数消融分析。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰，对微波网络理论、算子散射理论以及系统级可观测性质的物理洞察论述极其深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为射频微波器件、集成光子芯片乃至超导量子电路的物理代理建模与敏捷逆向设计提供了具备理论突破性的范式参考。