Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling¶
会议: NeurIPS 2026
arXiv: 2604.12806
OpenReview: https://openreview.net/forum?id=DTEngzO4Ry
代码: https://anonymous.4open.science/r/COSINE-6D43
领域: 优化/理论
关键词: 关系推断, 符号回归, 神经符号AI, 动力系统发现, 大语言模型
一句话总结¶
提出了 COSINE 框架，通过可微符号消息传递将图结构与动力学稀疏回归联合优化，并引入大语言模型外循环自适应演化符号基函数库，在未知图拓扑下实现了高精度的拓扑恢复与可解释物理机制发现。
研究背景与动机¶
从多体系统的观测动力学轨迹中反演未知的实体间潜在交互图拓扑，是物理学、生物化学反应网络、流行病学和复杂网络动力学等领域的经典逆问题。尽管实际场景中由于观测成本或物理限制往往无法直接测量网络拓扑，但系统状态的时序轨迹通常可测。现有的主流神经关系推断方法（如 NRI、GDP、RIVA 等）通常采用黑盒图神经网络或 Transformer 架构作为动力学拟合代理，并通过端到端训练联合预测边概率与下一时刻状态。然而，这类黑盒模型拥有极高的参数容量，极易利用过参数化效应去拟合虚假边（spurious edges），即通过过拟合观测数据来掩盖错误的拓扑推断，导致其完全丧失物理机制的可解释性，在数据稀缺或分布外泛化时表现脆弱。
与黑盒方法相反，符号回归（Symbolic Regression）致力于直接提取简洁显式的控制微分方程，具有极强的归纳偏置和紧凑性约束，这种泛函层面的紧致性理论上可以天然阻止模型利用冗余参数吸纳错误连边。然而，现有的网络动力学符号回归方法几乎全部预先假设网络拓扑是已知的，当图结构与动力学方程形式同时未知时，解空间将面临组合爆炸式的耦合搜索难题。传统的稀疏动力学识别算法（如 SINDy 及其图扩展变体）虽然将搜索转化为基函数库上的稀疏线性回归，但它们严格受限于预先固定的人工设计基函数字典（closed-world assumption）；一旦基库未涵盖真实相互作用形式或引入噪声项，便会诱发严重的结构伪影。
解决上述矛盾的切入点在于构建一个兼顾自适应机制搜索与可微结构优化的闭环双层系统：内层约束动力学必须由稀疏符号基构成从而保证结构可识别性，外层则动态打破固定字典的局限。核心 idea：将网络动力学解耦为可复用的符号消息与节点状态更新两阶段，通过双层可微优化联合学习潜在邻接矩阵与基函数系数，并由外循环大模型依据残差和权重反馈自适应剪枝与扩展符号假设空间，实现无领域模板预设下的拓扑恢复与机制发现。
方法详解¶
整体框架¶
COSINE（Co-Optimization of Symbolic Interactions and Network Edges）的整体处理流程分为内外两层闭环。给定 \(N\) 个节点在离散时间序列上的多维状态观测 \(\mathbf{X}=(\mathbf{x}^0, \dots, \mathbf{x}^{T-1}) \in \mathbb{R}^{T \times N \times D}\)，模型的目标是同时恢复出潜在二元交互拓扑 \(\mathbf{A} \in \{0, 1\}^{N \times N}\) 以及支配各节点状态演化的显式数学机制。
在内层优化循环中，系统保持当前符号基函数库 \(\Theta = \{\Theta_{\text{msg}}, \Theta_{\text{upd}}\}\) 固定，通过可微的温度退火 Gumbel-Softmax 对连续变分参数进行采样获得软连边权重，同时计算两阶段符号消息传递特征：先由消息基库计算边定向消息并按软邻接矩阵加权聚合，再由更新基库结合当前状态与聚合信息生成状态单步增量残差。结构参数与动力学回归系数在负对数似然、KL 先验和 \(\ell_1\) 稀疏正则的联合损失下进行梯度共优化。在内循环收敛后，外层循环将当前基函数的平均绝对值权重、残差特征和验证集损失作为反馈提示词输入给 LLM 监督器，由大语言模型执行渐进式的剪枝（淘汰零权重项）与变异扩展（引入高阶非线性或有理项），并通过严格的 validation gate（仅当验证损失下降时接受候选库）驱动基函数库进化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["多体时序观测轨迹 X"] --> SGM["Gumbel-Softmax 图生成模块<br/>采样可微软邻接矩阵 A"]
In --> SSMP["可微稀疏符号消息传递<br/>消息聚合与节点更新增量"]
SGM --> SSMP
SSMP --> Pred["单步状态预测 x_hat^(t+1)"]
Pred --> JLoss["多任务联合共优化损失<br/>NLL预测 + KL图先验 + L1稀疏约束"]
JLoss -->|内循环梯度反传更新参数| SGM
JLoss -->|内循环梯度反传更新系数| SSMP
JLoss --> OuterFeed["内循环收敛统计与残差反馈<br/>基项平均绝对权重 & 验证损失"]
OuterFeed --> LLMEvol["LLM 符号假设空间演化<br/>基于奥卡姆剃刀的剪枝与非线性扩展"]
LLMEvol -->|Validation Gate 验证集择优更新| SSMP关键设计¶
1. Gumbel-Softmax 图生成模块：通过连续松弛构建端到端可微的潜在边采样
针对离散图结构无法直接接入基于梯度的动力学回归反向传播的障碍，该模块为每一对有序节点对 \((i, j)\) 分配实数可训练变分参数 \([\Psi_{ij}^0, \Psi_{ij}^1] \in \mathbb{R}^2\)，分别对应无连边与有连边的非标准化对数几率。为了在训练期间保持梯度的可导性并兼顾探索性，模块引入温度控制的 Gumbel-Softmax 重参数化技巧生成软邻接权重：
$\(A_{ij}^a = \frac{\exp((\Psi_{ij}^a + g_{ij}^a) / \tau)}{\sum_{b \in \{0, 1\}} \exp((\Psi_{ij}^b + g_{ij}^b) / \tau)}, \quad a \in \{0, 1\}\)$
其中 \(g_{ij}^a \sim \text{Gumbel}(0, 1)\) 为独立同分布的重参数化噪声，\(\tau > 0\) 为退火温度参数。在训练初期，较大的温度使图连边采样呈现软分布，允许梯度流经所有潜在边通路以充分探索拓扑假设；随着温度逐步退火降低，采样分布趋向于尖锐的双峰峰值，逼近离散确定性图结构。生成的软边权 \(A_{ij}^{\text{soft}} = A_{ij}^1\) 直接作为后续符号消息流汇聚的实数权重。
2. 可微稀疏符号消息传递：两阶段因子分解约束物理归纳偏置
传统 GNN 使用深层多层感知机来参数化边传递与节点更新，过大的自由度使得模型即使在拓扑结构严重推断错误时，也能通过参数过拟合强制拟合轨迹。为从根本上杜绝该问题，COSINE 将动力学分解为空间对称、跨节点可复用的边交互流（Message）与节点状态自演化流（Update），并将其投影到两个符号基函数字典上：
$\(\mathbf{e}_{ij}^t = \sum_{m=1}^{M} \mathbf{W}_{\text{msg}}[m] \odot \phi_m^{\text{msg}}(\mathbf{x}_i^t, \mathbf{x}_j^t) \in \mathbb{R}^D, \quad \mathbf{h}_i^t = \sum_{j=1}^N A_{ij}^{\text{soft}} \mathbf{e}_{ij}^t\)$
$\(\Delta \mathbf{x}_i^t = \sum_{n=1}^{U} \mathbf{W}_{\text{upd}}[n] \odot \phi_n^{\text{upd}}(\mathbf{x}_i^t, \mathbf{h}_i^t, k_i) \in \mathbb{R}^D\)$
其中 \(\Theta_{\text{msg}} = \{\phi_m^{\text{msg}}\}_{m=1}^M\) 仅依赖于配对状态 \((\mathbf{x}_i, \mathbf{x}_j)\) 及其差分，\(\Theta_{\text{upd}} = \{\phi_n^{\text{upd}}\}_{n=1}^U\) 依赖于节点本体状态 \(\mathbf{x}_i\)、汇聚消息 \(\mathbf{h}_i\) 以及入度 \(k_i = \sum_j A_{ij}^{\text{soft}}\)。单步预测通过显式欧拉差分给出：\(\hat{\mathbf{x}}_i^{t+1} = \mathbf{x}_i^t + \Delta \mathbf{x}_i^t\)。由于系数向量 \(\mathbf{W}_{\text{msg}}, \mathbf{W}_{\text{upd}}\) 受到严格的 \(\ell_1\) 正则化惩罚，模型必须在字典中挑选极少数主导算子来解释时序增量，强行破坏了错误边通过复杂非线性自由吸收误差的能力，大幅增强了网络拓扑的可识别性。
3. LLM 符号假设空间演化：以数值优化反馈为导向的闭环符号剪枝与扩展
为了克服 SINDy 式固定字典（Closed-World）带来的表达力瓶颈与领域先验依赖，外循环引入大语言模型作为符号监督器。每一轮内循环优化结束后，系统汇总当前最优库 \(\Theta^\star\) 中各算子的均值绝对权重、时序拟合残差模式以及历史最近3轮的演化轨迹，填入高度形式化的 Prompt 中引导 LLM 推理。Prompt 强行约束模型仅输出符合 PyTorch 语法且维度严格对齐的 JSON 表达式，禁止使用控制流和未经 epsilon 保护的奇异算子。LLM 执行双重逻辑：若基项的回归权重接近于零则直接剪枝移除；若拟合残差维持高位或平台期，则依据奥卡姆剃刀与复杂度阶梯原则（线性 \(\to\) 多项式 \(\to\) 三角/激活函数 \(\to\) 有理分式饱和项）定向变异提出新的非线性算子。所有新生成的候选基库 \(\widetilde{\Theta}\) 均需进入内循环训练，唯有当其验证集损失严格优于当前历史最优时（\(\mathcal{L}_{\text{val}}(\widetilde{\Theta}) < \mathcal{L}_{\text{val}}(\Theta^\star)\)）才被接纳，构成了带有拒绝机制的贪心演化策略，杜绝了无序幻觉对数值收敛的干扰。
损失函数 / 训练策略¶
系统的内层端到端训练采用多任务联合损失函数： $\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{nll}} + \beta_{\text{KL}} \mathcal{L}_A + \lambda_W \mathcal{L}_W\)$ 其中各项定义如下： 1. 预测对数似然损失：假设观测具有固定各向同性高斯方差 \(\sigma^2\)，等价于单步平方误差： $\(\mathcal{L}_{\text{nll}} = \frac{1}{2\sigma^2} \sum_{i=1}^N \|\hat{\mathbf{x}}_i^{t+1} - \mathbf{x}_i^{t+1}\|_2^2\)$ 2. 图拓扑分布先验正则：对边采样分布 \(q(\mathbf{A})\) 与目标先验分布 \(r\)（如倡导稀疏度的伯努利先验或无先验均匀分布）计算 KL 散度：\(\mathcal{L}_A = \text{KL}(q(\mathbf{A}) \parallel r)\)。 3. 符号项稀疏诱导正则：施加于所有基函数系数上的 \(\ell_1\) 范数和，迫使次要基函数系数精确收敛至零：\(\mathcal{L}_W = \|\mathbf{W}_{\text{msg}}\|_1 + \|\mathbf{W}_{\text{upd}}\|_1\)。
优化器采用 Adam，对图变分参数使用较大步长（\(\text{lr}_a = 0.1\)）以加速拓扑探索，对回归系数使用精细步长（\(\text{lr} = 0.005\)）。超参数默认配置为 \(\tau = 0.3\)、\(\beta_{\text{KL}} = 0.1\)、\(\lambda_W = 0.1\)。每个外循环轮次在内层执行 1000 个 inner epochs，最多演化 10 轮。
实验关键数据¶
主实验¶
在涵盖生物生化（Michaelis-Menten kinetics, MM）、热流扩散（Diffusion, Diff）、经典力学弹簧（Spring, Spr）、相位同步（Kuramoto, Kura）、意见博弈（Friedkin-Johnsen, FJ）以及混沌时空映射（Coupled Map Network, CMN）等 6 种代表性动力系统上，跨越三种典型拓扑图结构（Erdős-Rényi, ER; Barabási-Albert, BA; Watts-Strogatz, WS，节点数 \(N=50\)），与经典统计方法（GC, MI, TE）、神经变分关系推断（NRI, GDP）和注意力机制模型（RIVA）进行系统对比。评价指标为主流的边恢复 AUC（%）。
| 动力系统 | 图拓扑 | 数据量 (Traj×Step) | GC | MI | TE | NRI | GDP | RIVA | 本文 (COSINE) |
|---|---|---|---|---|---|---|---|---|---|
| MM | ER-50 | \(50 \times 10\) | 60.24 | 77.84 | 53.66 | 96.25±2.22 | 98.31±1.41 | 52.17±1.15 | 99.63±0.12 |
| MM | BA-50 | \(50 \times 10\) | 62.79 | 88.04 | 63.96 | 82.67±1.81 | 93.02±3.94 | 52.83±1.22 | 98.07±0.45 |
| MM | WS-50 | \(50 \times 10\) | 80.33 | 97.77 | 57.56 | 99.83±0.15 | 56.77±2.55 | 53.65±1.40 | 99.10±0.25 |
| Diff | ER-50 | \(50 \times 10\) | 63.84 | 56.00 | 57.63 | 91.87±7.80 | 93.44±4.87 | 53.02±1.35 | 99.36±0.10 |
| Diff | BA-50 | \(50 \times 10\) | 75.54 | 72.06 | 61.71 | 94.16±11.62 | 94.41±3.23 | 52.89±1.18 | 96.55±1.05 |
| Diff | WS-50 | \(50 \times 10\) | 73.63 | 76.39 | 90.04 | 99.31±0.55 | 56.68±3.12 | 53.72±1.25 | 100.00±0.00 |
| Spr | ER-50 | \(15 \times 10\) | 50.61 | 72.24 | 76.05 | 99.84±0.47 | 99.99±0.02 | 52.82±1.50 | 100.00±0.00 |
| Spr | BA-50 | \(15 \times 10\) | 54.53 | 91.16 | 84.67 | 98.17±5.40 | 99.88±0.36 | 54.16±1.62 | 100.00±0.00 |
| Spr | WS-50 | \(15 \times 10\) | 55.44 | 50.40 | 51.83 | 96.77±1.25 | 99.94±0.05 | 55.20±1.45 | 100.00±0.00 |
| Kura | ER-50 | \(30 \times 30\) | 54.94 | 64.69 | 64.76 | 82.09±19.14 | 94.93±12.94 | 75.98±2.34 | 99.99±0.01 |
| Kura | BA-50 | \(30 \times 30\) | 51.50 | 55.46 | 61.87 | 69.70±18.16 | 90.13±12.38 | 76.06±2.15 | 99.85±0.14 |
| Kura | WS-50 | \(30 \times 30\) | 59.27 | 100.00 | 96.63 | 50.17±1.05 | 100.00±0.00 | 98.19±0.55 | 100.00±0.00 |
| FJ | ER-50 | \(20 \times 10\) | 93.00 | 53.66 | 83.64 | 97.67±1.06 | 99.82±0.47 | 52.55±1.10 | 100.00±0.00 |
| FJ | BA-50 | \(20 \times 10\) | 92.87 | 52.32 | 86.88 | 91.62±4.67 | 92.63±13.46 | 52.64±1.32 | 99.98±0.02 |
| FJ | WS-50 | \(20 \times 10\) | 99.81 | 66.14 | 95.37 | 68.76±5.25 | 89.51±3.44 | 52.89±1.45 | 100.00±0.00 |
| CMN | ER-50 | \(20 \times 10\) | 52.89 | 87.39 | 64.35 | 89.76±2.59 | 97.58±3.38 | 50.84±0.95 | 99.75±0.15 |
| CMN | BA-50 | \(20 \times 10\) | 53.44 | 87.84 | 71.51 | 83.35±2.30 | 88.83±6.19 | 53.87±1.67 | 93.23±2.45 |
| CMN | WS-50 | \(20 \times 10\) | 61.08 | 98.94 | 86.70 | 69.21±4.12 | 51.51±1.10 | 55.96±1.88 | 99.05±0.55 |
消融与灵敏度分析¶
1. LLM 模型参数规模对推断精度的影响（AUC %）
| 外循环 LLM 模型 | 参数规模 | Spr | Kura | MM | CMN |
|---|---|---|---|---|---|
| DeepSeek-R1 | 8B | 1.00 | 1.00 | 0.53 | 0.51 |
| Qwen3 | 8B | 1.00 | 1.00 | 0.54 | 0.66 |
| DeepSeek-R1 | 14B | 1.00 | 0.99 | 0.88 | 1.00 |
| GPT-OSS (默认) | 20B | 1.00 | 0.99 | 1.00 | 1.00 |
| DeepSeek-R1 | 32B | 1.00 | 1.00 | 0.94 | 1.00 |
| Qwen3 | 32B | 1.00 | 0.83 | 0.99 | 0.90 |
| Qwen2.5 | 72B | 0.99 | 1.00 | 1.00 | 1.00 |
| GPT-OSS | 120B | 1.00 | 1.00 | 0.96 | 1.00 |
2. 极低数据量机制下的关系推断表现（\(10 \times 10\) 样本点，AUC %）
| 动力系统 | 图结构 | GC | MI | TE | GDP | NRI | RIVA | 本文 (COSINE) |
|---|---|---|---|---|---|---|---|---|
| MM | ER-50 | 54.65 | 64.90 | 53.84 | 52.85 | 59.84 | 52.31 | 73.21 |
| Diff | WS-50 | 63.66 | 55.68 | 67.76 | 56.16 | 91.17 | 54.97 | 98.21 |
| Spr | ER-50 | 50.15 | 50.13 | 52.51 | 98.67 | 78.00 | 51.18 | 99.39 |
| Kura | BA-50 | 60.03 | 92.25 | 68.86 | 58.02 | 67.39 | 55.45 | 96.06 |
| FJ | ER-50 | 87.34 | 54.87 | 75.65 | 53.19 | 51.00 | 50.55 | 96.26 |
| CMN | WS-50 | 58.63 | 96.12 | 81.11 | 81.02 | 62.45 | 56.43 | 85.35 |
关键发现¶
- 显著超越神经网络基线：在高度非线性的 Kuramoto（BA 图）和复杂耦合的 CMN（WS 图）中，传统黑盒模型 NRI 与 GDP 由于过参数化导致拓扑预测方差极大或跌至 chance level（如 NRI 在 Kura-WS 上仅 50.17%，GDP 在 MM-WS 上仅 56.77%），而 COSINE 凭借紧凑的符号强归纳偏置均保持 99% 以上的极高 AUC。
- 机制发现的原语对齐能力：在控制方程主项恢复评估中（Term Accuracy），Update 模块在 6 个系统上均实现了 100% 的真实原语捕获（准确提取出度归一化算子 \(h_i / (k_i + 1)\) 或 \(h_i / (k_i + \epsilon)\)），而在 Message 模块上成功定位了线性差分 \(x_j - x_i\)、正弦差分 \(\sin(x_j - x_i)\) 与乘积耦合 \(x_i x_j\) 等核心相互作用项。
- 参数规模相变临界点：在符号假设复杂度较低的系统（Spring、Kuramoto）中，8B 参数量级小模型即可完美支撑基库演化；而在涉及生化饱和（MM）与混沌映射（CMN）的复杂场景中，8B 模型在探索有理项与复杂多项式时失灵（AUC 仅 ~0.53），必须达到 14B~20B 以上规模才能稳定激发出正确的非线性符号猜想。
- 极小样本下的绝对鲁棒性：当轨迹观测极度受限至仅 \(10 \times 10\) 时，深度学习代理因参数欠拟合产生性能骤崩，而 COSINE 的显式稀疏形式大幅降低了统计估计方差，在各图上持续大幅度领跑所有基线。
- 计算开销与显存缩放优势：得益于使用轻量级符号线性回归替代了厚重的全连接与图卷积网络，COSINE 在节点规模扩展至 \(N=200\) 时，单轮训练耗时与显存峰值均比 NRI 降低了一个数量级以上，展现出优异的计算扩展性。
亮点与洞察¶
- 将关系推断转化为稀疏回归问题：利用符号回归的紧凑性天然充当拓扑学习的“正则化屏障”，彻底解决了黑盒神经网络依靠高容量参数过拟合虚假连边的核心顽疾。
- 数值与符号搜索的闭环解耦：构建了“大模型仅负责提出假设、可微优化严格负责检验筛选”的非对称架构，通过 Validation Gate 规避了大模型的幻觉与退化风险，让符号搜索在受控的确定性空间内稳健演化。
- 真实流行病传播机制的可解释挖掘：在全美四州（亚利桑那、康涅狄格、伊利诺伊、密歇根）COVID-19 真实疫情数据中，不仅反演了反映地理通勤与核心-边缘层级的隐式传播网络，还在无需物理先验的前提下自主发现了经典质量作用定律（\(x_i \cdot x_j\) 乘积接触项）与局域 Logistic 饱和控制机制。
局限与展望¶
- 复杂动力学对大模型探索能力的强依赖：对于超越常规基原语的高阶耦合或非连续奇异系统，外循环大模型若无法在有限轮次内提出正确的符号骨架，内层数值优化将陷入次优代偿陷阱。
- 有限噪声观测下的符号等价性非唯一问题：在有限噪声数据下，多个不同的非线性算子组合可能产生高度接近的时序数值轨迹，导致模型选出与真实物理机制数学等价但形式略有偏差的代理算子。
- 未来改进方向：可进一步引入多尺度积分数值格式（如显式 Runge-Kutta 展开）以替代一阶欧拉差分，同时探索在连续时间神经常微分方程（Neural ODE）框架中无缝嵌入多级符号树自适应变异机制。
相关工作与启发¶
- vs 经典统计与信息论方法 (Granger Causality, MI, Transfer Entropy)：统计方法仅评估成对统计关联，无法刻画具有强非线性与间接调控的动力学机制；COSINE 通过显式动力学建模从根本上剥离间接关联。
- vs 神经关系推断方法 (NRI, GDP, RIVA)：神经方法采用黑盒图网络拟合状态转移，缺乏机制透明性且容易拟合虚假边；COSINE 引入稀疏符号字典，以物理可解释性换取更强的拓扑辨识度与极高的数据利用效率。
- vs 传统动力学符号回归 (SINDy, SINDyG, ND2, LaSR)：传统符号发现大多预先假定交互图拓扑已知，且 SINDy 严重依赖人工闭集基库；COSINE 实现了拓扑与动力学的联合全自动发现，并由 LLM 自适应扩展假设空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙将大模型引导的符号回归与可微图学习结合，打破了关系推断的黑盒局限与符号回归拓扑已知的假定。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 种经典动力系统、3 类拓扑图、极低样本实验、大模型尺度消融及真实 COVID-19 疫情数据。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密自洽，形式化表达精确，图表信息充实且论证深入透彻。
- 价值: ⭐⭐⭐⭐⭐ 为复杂系统网络反演与可解释科学发现（AI for Science）提供了极具实用价值的范式参考。