OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems¶

会议: NeurIPS 2026
arXiv: 2606.19145
OpenReview: https://openreview.net/forum?id=DXi8r1Jvin
代码: https://github.com/richtertill/OrthoReg
领域: 其他
关键词: 动力系统、混合建模、符号回归、正交正则化、分布外泛化

一句话总结¶

针对符号回归与神经网络混合建模在稀疏发现下因连续惩罚收缩导致神经残差重学符号结构的重叠失效问题，本文提出直接惩罚二者经验内积的正交正则化（OrthoReg），在保持符号可解释性的同时显著提升外推泛化能力。

研究背景与动机¶

动力系统建模是自然科学与生命科学的基础基石，但在经典建模范式中始终存在着内在的权衡取舍：由领域专家手工机理推导构建的符号模型具备天生的可解释性，但在面对复杂未知效应时往往过于简化且存在严重的设定偏差（misspecification）；而具备强拟合能力的数据驱动神经网络（如 Neural ODE）虽然擅长拟合复杂轨迹，却完全缺乏物理机理与物理一致性。混合动力系统建模（Hybrid Modeling）由此应运而生，其核心构想是将已知的物理机理先验（参数化符号基函数）与表达能力灵活的神经网络残差相加结合，期望符号部分承载已知物理规律，神经网络残差仅拟合无法被符号库覆盖的未知扰动。

然而，当领域知识不完整、符号结构本身需要通过稀疏符号回归（如 SINDy 风格的候选基函数库发现）从观测数据中动态学习时，混合建模面临着根本性的几何失效。在现有先驱工作（如 APHYNITY）中，假定物理模型类是完全先验固定的闭线性子空间，此时仅对神经网络施加标准 $L^2$ 范数正则即可证明残差正交于物理子空间。但一旦符号分量通过连续稀疏惩罚（如 $L^1$ 正则化）从候选库中动态筛选，系数收缩（shrinkage bias）会导致符号拟合不再是无偏的正交投影，从而在符号库的张成空间内遗留下未能完全拟合的残余分量。此时，即便施加较小的 $L^2$ 范数约束，神经网络残差依然能够轻易吸收并重学这些残余符号方向，最终引发物理分量与神经残差的功能重叠和冗余，破坏符号项的可解释性并使物理结构被神经残差所吞噬。

为了打破这一由于稀疏优化收缩导致的耦合困境，本文从内积空间的几何本质切入，放弃只约束残差范数大小的传统间接思路，直接在优化目标中对神经网络分量与符号库基函数的经验内积施加正交性惩罚。核心 idea：通过引入经验正交正则化（OrthoReg）直接惩罚神经网络残差与符号基函数库之间的经验内积，从优化机制上杜绝神经网络对符号张成结构的冗余吸收，在稀疏动态发现下实现互补的正交误差分解。

方法详解¶

整体框架¶

本文针对一阶定常（autonomous）微分方程系统的状态轨迹观测，目标是学习一个能够准确描述状态导数 $\dot{x} = f(x)$ 的混合连续向量场 $\hat{f}(x)$。模型由两部分显式加和构成：符号机理部分 $\hat{f}_{\mathrm{phy}}(x; w) = \sum_{j=1}^M w_j \phi_j(x)$（其中 $\{\phi_j\}_{j=1}^M$ 为预先构建的固定符号基函数候选库，如多项式基与傅里叶基，权重向量 $w \in \mathbb{R}^M$ 具备连续稀疏性），以及灵活的神经网络增益分量 $\hat{f}_{\mathrm{aug}}(x; \vartheta)$。在模型训练过程中，数据拟合损失驱动整体预测逼近真实动力学导数；$L^1$ 范数促使符号权重选择紧凑的物理基函数子集；经验正交惩罚项则强制神经残差在数据采样点上正交于整个符号候选库。

方法的整体计算与优化数据流如下流程图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["状态观测轨迹数据<br/>{x_i, y_i ≈ dx/dt}"] --> B["符号库展开与神经前向<br/>计算 φ_j(x_i) 与 f_aug(x_i; ϑ)"]
    B --> C["加和向量场与拟合评估<br/>f_hat = f_phy(w) + f_aug(ϑ)"]
    C --> D["经验内积正交约束 (OrthoReg)<br/>g_j = ⟨f_aug, φ_j⟩_D"]
    D --> E["联合目标反向传播<br/>L_fit + μ||w||_1 + λ∑ g_j^2"]
    E --> F["互补解耦动力系统<br/>稀疏符号机理 + 正交神经残差"]

关键设计¶

1. 经验正交正则化项：直接阻断神经残差对符号基函数张成空间的重学习 传统混合模型依赖于神经增益项的最小 $L^2$ 范数惩罚 $\lambda_2 \|\hat{f}_{\mathrm{aug}}\|_{\mathcal{D}}^2$，当符号项受 $L^1$ 惩罚收缩产生库内误差残留时，最小范数无法防止残差在符号子空间投影分量非零（即 $P_{\mathcal{F}_{\mathrm{phy}}}^{\mathcal{D}}(\hat{f}_{\mathrm{aug}}) \neq 0$）。OrthoReg 彻底改变了约束范式，直接对神经残差与符号库中每一个候选基函数 $\phi_j$ 之间的经验半内积施加二次方惩罚： $$\mathcal{L}_{\mathrm{reg}}^{\perp}(\vartheta) = \lambda \sum_{j=1}^{M} \left( \frac{1}{N} \sum_{i=1}^{N} \hat{f}_{\mathrm{aug}}(x_i; \vartheta)^\top \phi_j(x_i) \right)^2$$ 当该惩罚项逼近于零时，从代数上严格保证了 $\hat{f}_{\mathrm{aug}} \perp \operatorname{span}\{\phi_1, \dots, \phi_M\}$。这使得神经网络残差被强制限制在符号库的正交补空间中，不再能通过拟合库内基函数来讨好数据拟合损失，倒逼稀疏符号系数 $w$ 充分吸收库内所有能解释的物理结构。

2. 互补正交误差分解：分离机理误差与未知外生效应 当施加严格经验正交约束时，动力系统向量场的总平方拟合误差在经验内积空间下自然实现勾股定理般的正交拆分： $$\|f - (\hat{f}_{\mathrm{phy}} + \hat{f}_{\mathrm{aug}})\|_{\mathcal{D}}^2 = \|P_{\mathcal{F}_{\mathrm{phy}}}^{\mathcal{D}}(f) - \hat{f}_{\mathrm{phy}}\|_{\mathcal{D}}^2 + \|f - P_{\mathcal{F}_{\mathrm{phy}}}^{\mathcal{D}}(f) - \hat{f}_{\mathrm{aug}}\|_{\mathcal{D}}^2$$ 这一分解建立了几何上的清晰分工：前半部分纯粹是符号分量逼近数据在符号库上的经验最佳投影 $P_{\mathcal{F}_{\mathrm{phy}}}^{\mathcal{D}}(f)$ 的误差；后半部分则是神经网络分量逼近正交补动力学分量 $f - P_{\mathcal{F}_{\mathrm{phy}}}^{\mathcal{D}}(f)$ 的拟合误差。两个分量在几何上相互独立，消除了解空间中的冗余混叠。

3. 全局优化器下的惩罚界保证：有限样本下的正交违反收敛性 在理论保障层面，定理 4.1 证明了对于联合优化问题的任意全局极小点 $(w^*, \vartheta^*)$，正交性违反的上界严格受到纯符号最优拟合损失的控制： $$\sum_{j=1}^{M} \langle \hat{f}_{\mathrm{aug}}(\cdot; \vartheta^*), \phi_j \rangle_{\mathcal{D}}^2 \leq \frac{1}{\lambda} \left( \mathcal{L}_{\mathrm{fit}}(w_{\mathrm{sym}}, \vartheta_0) + \mu \|w_{\mathrm{sym}}\|_1 \right)$$ 随着惩罚超参数 $\lambda \to \infty$，经验正交违反量以 $\mathcal{O}(1/\lambda)$ 的速率收敛到零。而在小批量（minibatch）训练场景下，利用 Hoeffding 不等式，单批次内积估计相对于经验全数据集内积的偏差以 $\mathcal{O}(B^{-1/2})$ 速率高概率收敛，每次迭代的额外计算开销仅为 $\mathcal{O}(BnM)$，完全不改变网络反向传播的计算复杂度量级。

损失函数 / 训练策略¶

OrthoReg 的联合训练目标函数定义为： $$\min_{w, \vartheta} \mathcal{L}_{\mathrm{fit}}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^{M} \langle \hat{f}_{\mathrm{aug}}(\cdot; \vartheta), \phi_j \rangle_{\mathcal{D}}^2$$ 在实际实现中，针对导数观测可获得的系统，数据拟合项采用向量场均方误差损失 $\mathcal{L}_{\mathrm{vf}}(w, \vartheta) = \frac{1}{N} \sum_{i=1}^N \|y_i - \hat{f}(x_i)\|^2$（其中 $y_i \approx \dot{x}(t_i)$ 通过二阶 Savitzky-Golay 平滑有限差分计算）；针对仅有状态轨迹的系统，则采用单步 ODE 步进预测损失 $\mathcal{L}_{\mathrm{step}}$。网络参数 $\vartheta$（3 层宽度 128 的 MLP，采用 $\tanh$ 激活函数）与稀疏符号系数 $w$ 采用 Adam 优化器联合端到端训练 2000 个 epoch，学习率设为 0.0089。训练完成后对符号权重 $w$ 施加 $10^{-3}$ 的阈值截断以滤除收缩残余项，计算物理项的最终支持集。

实验关键数据¶

主实验¶

在代表性动力系统基准上，本文系统评估了纯符号回归（Pure Symbolic/SINDy）、标准 $L^2$ 正则化混合模型（Hybrid $L^2$）以及正交正则化混合模型（OrthoReg）。下表展示了含非库内外生强迫项的修改阻尼单摆系统（Modified Damped Pendulum，中等难度缺失动力学）的主要对比结果（$\mathrm{e}{k}$ 表示 $10^k$ 缩放因子）：

评价维度	指标	Pure	Hybrid $L^2$	OrthoReg (本文)
分布内拟合 (ID)	$\mathrm{MSE}(\dot{x}_{\mathrm{ID}}, \mathrm{e}{-2}) \downarrow$	1.27 ± 0.07	1.41 ± 0.05	1.89 ± 0.01
分布内状态积分	$\mathrm{MSE}(x_{\mathrm{ID}}, \mathrm{e}{-2}) \downarrow$	0.74 ± 0.43	0.31 ± 0.02	3.65 ± 0.36
时间外推 (ID,ext)	$\mathrm{MSE}(\dot{x}_{\mathrm{ID,ext}}, \mathrm{e}{2}) \downarrow$	19.45 ± 12.89	5.00 ± 2.42	0.13 ± 0.07
初始条件外推 (OOD-T2)	$\mathrm{MSE}(x_{\mathrm{OOD,T2}}, \mathrm{e}{0}) \downarrow$	1.02 ± 0.07	1.07 ± 0.02	1.01 ± 0.01
参数扰动外推 (OOD-T3)	$\mathrm{MSE}(\dot{x}_{\mathrm{OOD,T3}}, \mathrm{e}{2}) \downarrow$	34.00 ± 22.22	7.90 ± 4.02	0.02 ± 0.00
机理辨识质量	$\mathrm{F1} \uparrow$	0.43 ± 0.09	0.61 ± 0.03	0.93 ± 0.15
符号项数量	$\text{#Terms} \downarrow$	11.4 ± 2.9	6.8 ± 0.4	3.6 ± 1.3

在具有双稳态对称吸引域的达芬振子（Duffing Oscillator）跨吸引盆（cross-basin）分布外泛化任务中，训练集仅采样正吸引盆轨迹，测试集在未见过的负吸引盆（OOD-T2）及参数扰动（OOD-T3）下评测：

评价维度	指标	Pure	Hybrid $L^2$	OrthoReg (本文)
分布内预测	$\mathrm{MSE}(x_{\mathrm{ID}}, \mathrm{e}{-1}) \downarrow$	4.75 ± 0.13	5.36 ± 0.14	5.59 ± 0.09
跨吸引盆外推 (OOD-T2)	$\mathrm{MSE}(x_{\mathrm{OOD,T2}}, \mathrm{e}{0}) \downarrow$	11.03 ± 6.09	7.46 ± 6.20	4.93 ± 0.35
参数外推 (OOD-T3)	$\mathrm{MSE}(x_{\mathrm{OOD,T3}}, \mathrm{e}{-1}) \downarrow$	3.70 ± 0.21	3.44 ± 0.12	3.46 ± 0.05
机理辨识质量	$\mathrm{F1} \uparrow$	0.40 ± 0.05	0.59 ± 0.04	0.63 ± 0.05
符号项数量	$\text{#Terms} \downarrow$	11.0 ± 1.4	3.8 ± 0.4	3.4 ± 0.5

消融实验¶

针对符号库失配程度（缺失动力学强度）、时间采样非均匀性以及正交惩罚强度的消融表现如下：

配置 / 实验条件	$\mathrm{MSE}(\dot{x}_{\mathrm{OOD,T3}}, \mathrm{e}{0}) \downarrow$	$\mathrm{F1} \uparrow$	说明
中等缺失动力学 (Full OrthoReg)	2.45 ± 0.43	0.93 ± 0.15	正交约束完美分离库外强迫项与真实机理
低度缺失动力学 ($\beta$ 较小)	0.58 ± 0.06	0.86 ± 0.00	物理库基本满足需求，各方法差距收窄但外推仍占优
高度缺失动力学 ($\beta=2.0$)	26.4 ± 4.8 (e-1)	0.52 ± 0.07	未知动力学占据主导，所有方法均有退化，OrthoReg 仍具韧性
非规则时间采样 ($\Delta t \in [0.01, 0.05]$)	37.4 ± 0.5 (e0)	0.31 ± 0.01	数值积分与梯度方差增大导致普遍性能受挫，OrthoReg 保持最优
弱正则化 ($\lambda \to 0$)	79.0 ± 40.2 (e0)	0.61 ± 0.03	退化为标准 $L^2$ 混合模型，残差重学符号项造成过拟合
过强正则化 ($\lambda \gg 1$)	性能显著下降	符号收缩受阻	严重抑制神经网络表达能力，损害残差补偿效应

关键发现¶

分布内与分布外的本质权衡：OrthoReg 在分布内（ID）的均方误差略高于过度自由拟合的 Hybrid $L^2$ 基线，但换来了在极端分布外（OOD-T3 参数扰动与跨盆泛化）下多达两个数量级的外推误差降低，印证了正交误差分解牺牲虚高的数据拟合来换取坚实的结构迁移性。
机理结构恢复近乎翻倍：在单摆实验中，OrthoReg 的物理项支持集恢复 F1 分数由基线的 0.61 跃升至 0.93，选取的有效基函数项数由 6.8 项显著精简到真实的 3.6 项，成功剔除了被神经残差扰乱的虚假多项式项。
对部分失配场景收益最为显著：消融表明，当真实物理系统部分超出预设库表达范围时，OrthoReg 的正交引导收益最大；若物理系统完全可由库表达或被未知强噪声彻底淹没，则正则化带来的增益相应减小。

亮点与洞察¶

抓住稀疏诱导重叠的本质死穴：敏锐地指出并严格构造反例证明了 APHYNITY 投影定理在稀疏回归场景下的破绽——$L^1$ 诱导的系数收缩残留落入库内张成空间，使 $L^2$ 约束的神经残差不可避免地重学物理。这一洞察具有高度的理论纯粹性与启发意义。
以极其轻量的代数约束实现几何正交：通过将经验内积平方和直接作为正交正则项加入目标函数，以每批次仅 $\mathcal{O}(B n M)$ 的微小开销实现了函数空间的几何垂直，兼具理论严密性与工程落地可行性。
可复用的模块解耦范式：这种"结构化先验 + 正交数据驱动残差"的构想，能够天然迁移到具身智能控制中的前馈-反馈混合建模、气象气候多尺度残差修正等任何存在"已知机理 + 未知效应"的混合动力学学习任务中。

局限与展望¶

理论保证局限于经验内积与加和结构：作者承认当前理论主要建立在训练观测点集的经验半内积上，从经验正交性推广到连续状态空间总体分布测度的理论泛化界（Population Orthogonality）仍需依赖假设复杂的函数类均匀收敛理论。
对非定常（Non-autonomous）系统存在输入表征错配：当前的神经增益项仅以状态 $x$ 为输入，若动力学系统中存在显式时间依赖因子（如 Lotka-Volterra 与 SIR 模型中的时变周期强迫），定常网络残差只能强行学习时间包络，后续需显式扩展为时变输入。
依赖连续松弛与固定基函数库：方法强依赖于梯度可微的连续 $L^1$ 惩罚框架，尚未直接覆盖 STLSQ 等硬阈值重拟合离散算法或基于遗传编程、Transformer 的自由生成式符号回归管线。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次指明了稀疏发现与混合增益耦合下的几何重叠问题，提出了优雅且理论闭环的经验正交正则化。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖阻尼单摆、达芬振子、Lotka-Volterra 及 SIR 模型，全方位覆盖了不同失配等级、非规则采样及噪声消融。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨周密，反例直观清晰，叙述深入浅出且理论与算法紧密呼应。
价值: ⭐⭐⭐⭐⭐ 为科学机器学习（SciML）领域混合建模与符号发现提供了至关重要的正则化范式与坚实理论基石。

评价维度	指标	Pure	Hybrid \(L^2\)	OrthoReg (本文)
分布内拟合 (ID)	\(\mathrm{MSE}(\dot{x}_{\mathrm{ID}}, \mathrm{e}{-2}) \downarrow\)	1.27 ± 0.07	1.41 ± 0.05	1.89 ± 0.01
分布内状态积分	\(\mathrm{MSE}(x_{\mathrm{ID}}, \mathrm{e}{-2}) \downarrow\)	0.74 ± 0.43	0.31 ± 0.02	3.65 ± 0.36
时间外推 (ID,ext)	\(\mathrm{MSE}(\dot{x}_{\mathrm{ID,ext}}, \mathrm{e}{2}) \downarrow\)	19.45 ± 12.89	5.00 ± 2.42	0.13 ± 0.07
初始条件外推 (OOD-T2)	\(\mathrm{MSE}(x_{\mathrm{OOD,T2}}, \mathrm{e}{0}) \downarrow\)	1.02 ± 0.07	1.07 ± 0.02	1.01 ± 0.01
参数扰动外推 (OOD-T3)	\(\mathrm{MSE}(\dot{x}_{\mathrm{OOD,T3}}, \mathrm{e}{2}) \downarrow\)	34.00 ± 22.22	7.90 ± 4.02	0.02 ± 0.00
机理辨识质量	\(\mathrm{F1} \uparrow\)	0.43 ± 0.09	0.61 ± 0.03	0.93 ± 0.15
符号项数量	\(\text{#Terms} \downarrow\)	11.4 ± 2.9	6.8 ± 0.4	3.6 ± 1.3