LRIM: a Physics-Based Benchmark for Provably Evaluating Long-Range Capabilities in Graph Learning¶

会议: ICLR 2026
OpenReview: https://openreview.net/forum?id=IAZXEX1dVV
代码: https://github.com/iJorl/lrim_graph_benchmark
领域: 图学习 / 长程依赖基准 / 物理建模
关键词: 长程依赖, Ising 模型, 图神经网络, 图 Transformer, 消息传递, 可证明基准

一句话总结¶

用统计物理里被研究透了的长程 Ising 模型造出一个可证明、可控的图学习长程基准（10 个数据集、256→65k 节点），任务是预测每个自旋翻转的能量变化 ∆E，其真值在数学上必然依赖远距离节点，从而第一次让"长程建模有提升"的论断有了靠得住的衡量标尺。

研究背景与动机¶

领域现状：图神经网络（GNN）靠反复聚合局部邻居信息来扩大"感受野"，但很多真实任务（蛋白折叠、mRNA 剪接、分子性质）的真值依赖于图上远距离节点之间的交互，也就是所谓的长程依赖。为评估模型能否捕捉长程信息，社区造了一批基准，最流行的是 LRGB（Long-Range Graph Benchmark）。

现有痛点：现有长程基准分两类，都不靠谱。① 真实数据集（如 LRGB 的多肽分类/回归）——因为任务的真实映射函数未知，根本无法保证任务确实依赖长程信息；后续工作（Tönshoff 等）甚至发现只要好好调参，经典 GNN 和图 Transformer 在 LRGB 上打平，先前"图 Transformer 更强"的结论被推翻。② 合成数据集（拷贝/检索远距离信息、预测连通性/直径等）——大多是二值化反馈信号，模型要么完美解出要么得零分，缺乏细粒度区分度。

核心矛盾：要评估长程能力，必须知道任务到底依赖多远的信息有多重要；但机器学习任务的真值映射通常是未知的，于是"长程性"无从证明，所有长程改进的论断都建立在沙地上。

本文目标：造一个任务真值可证明依赖长程信息、且长程程度可通过物理参数精确调控、反馈信号连续可微的基准，让长程能力的评估有据可依。

核心 idea：[借物理之力] 直接搬用统计物理里研究了近一个世纪的 Ising 模型——它的能量函数由自旋间的幂律相互作用 \(J_{ij}=1/r_{ij}^{d+\sigma}\) 显式定义，指数 \(\sigma\) 一调就能连续控制"作用有多长程"。把"预测每个自旋翻转的能量变化 ∆E"设为图节点回归任务，真值天然由远距离自旋决定，长程性既可证明（有 oracle 退化曲线 + 误差下界 + 长程度量三重论证）又可控（调 \(\sigma\) 和系统尺寸 \(L\) 即可）。

方法详解¶

整体框架¶

基准把 \(L\times L\) 的二维周期网格 Ising 系统翻译成图：每个格点是节点，只连 4 个最近邻（4-正则网格图），节点唯一特征是自旋 \(s_i\in\{-1,+1\}\)，任务是节点级回归——预测翻转该自旋带来的能量变化 \(\Delta E_i\in\mathbb{R}\)。虽然图拓扑只是局部网格连接，但 ∆E 的真值由幂律势 \(J_{ij}\) 耦合全图自旋，因此任务依赖长程而拓扑只给局部边，正好逼模型自己学会聚合远处信息。数据通过蒙特卡洛（单簇 Wolff 变体）在伪临界温度下采样，使自旋在全尺度强关联。

flowchart LR
    A["二维周期 Ising 系统<br/>幂律耦合 J_ij=1/r^(d+σ)"] --> B["伪临界温度 T_c<br/>蒙特卡洛单簇采样"]
    B --> C["L×L 周期网格图<br/>4-正则, 节点特征=自旋±1"]
    C --> D["节点回归任务<br/>预测能量变化 ΔE_i"]
    D --> E["评估: LogMSE + 计算复杂度<br/>三重长程证据"]
    F["调 σ (长程强度)<br/>调 L (系统尺寸)"] -.控制难度.-> A

关键设计¶

1. 幂律 Ising 哈密顿量：把"长程"焊进任务真值。系统能量定义为 \(H(\{s_i\})=-\tfrac12\sum_{ij}J_{ij}s_is_j\)，其中 \(J_{ij}=1/r_{ij}^{d+\sigma}\) 是随距离 \(r_{ij}\) 衰减的幂律势。指数 \(\sigma\) 是整套基准的"旋钮"：\(\sigma<1\) 时系统处于平均场区、关联跨越所有尺度；\(1<\sigma<\sigma_\times\) 时临界指数 \(\eta=2-\sigma\) 随 \(\sigma\) 连续变化；\(\sigma\) 很大时退化为短程最近邻模型。论文取 \(\sigma=0.6\) 为"难"、\(\sigma=1.5\) 为"易"，于是同一套网格拓扑下，只换一个数就能造出长程性截然不同的任务。把 ∆E 而非别的量设为目标，是因为蒙特卡洛模拟中 \(\Delta E_i=s_i\sum_j s_jJ_{ij}\) 的计算本身就是物理仿真的核心瓶颈，任务因此既有现实意义又自带连续标签。

2. 伪临界温度采样：制造全尺度关联的样本。光有长程的能量函数还不够，输入的自旋构型也得"有戏"。论文在有限尺寸系统的伪临界温度 \(T_c(\sigma,L)\) 下采样——这是关联长度最长、自旋簇呈分形的相变点，此时连通关联函数 \(C(r)=\langle s_is_j\rangle-\langle s_i\rangle\langle s_j\rangle\sim r^{-\eta}\) 代数式缓慢衰减，自旋在所有距离上都非平凡地相关。这保证了采样出的构型不是随机噪声，而是带有大尺度空间结构、真正考验模型长程聚合能力的"硬"输入。采样用单簇 Wolff 算法，先平衡再充分去关联以保证样本独立，按 80/10/10 划分训练/验证/测试。

3. 三重长程性论证：从经验、理论、度量三方面证明任务真的长程。这是本基准"可证明"的核心。其一，oracle 退化曲线：让一个掌握真实能量函数但只能看 \(r\) 跳邻域的 oracle 去预测，随 \(r\) 从 1 增到图直径，LogMSE 平滑下降（图 2）——越小的 \(\sigma\)、越大的 \(L\) 需要越大的邻域才能达到同样精度，这是模型无关的硬证据，证明局部信息不够用，且平滑性提供了训练/评估都能用的连续反馈。其二，最坏误差下界（Lemma 5.1）：任何只看半径 \(r\ll D\) 邻域的模型 \(f_\theta\)，必存在一个构型 \(X'\) 使其预测无法区分但真值偏差 \(\geq n^{-\sigma}\)，从数学上钉死"只看局部必然有不可消除的误差"。其三，长程度量（命题 5.2/5.3）：套用 Bamberger 等人的范围度量 \(\rho_u(F)=\sum_v |\partial F_u/\partial x_v|\,d_G(u,v)\)，论文推出它在 LRIM 上的解析表达式，并证明当 \(\sigma\le1\) 时度量随 \(L\to\infty\) 发散、\(\sigma>1\) 时收敛，从第三个独立角度验证了长程性的存在与可控性。

4. 强制汇报计算复杂度的评估协议。长程改进往往以暴涨的算力为代价（如全注意力的 \(O(L\cdot N^2)\)），若只看精度会误导。基准要求所有方法必须透明汇报运行时复杂度与预处理开销（如标准 MPNN 的 \(O(L\cdot E)\)、位置编码的预计算成本），并以 \(\log_{10}\) MSE（LogMSE）作为统一性能指标。这把"用多大算力换多少精度"摆到台面上，逼后续工作正视可扩展性，而不是靠堆算力刷分。

实验关键数据¶

主实验表格（LRIM-16/32，3 次运行，LogMSE↓）¶

模型	预处理	计算复杂度	16-hard	32-hard	16-easy	32-easy
GIN	-	\(O(L\cdot E)\)	-2.533	-2.249	-3.564	-3.446
GatedGCN	-	\(O(L\cdot E)\)	-3.844	-4.087	-4.817	-4.940
GatedGCN-VNG	\(O(N)\)	\(O(L\cdot E+L\cdot N)\)	-4.068	-3.243	-4.612	-4.322
GPS-Base	-	\(O(L\cdot N^2)\)	-4.211	-4.044	-5.296	-5.134
GPS-RWSE	\(O(k\cdot N^2)\)	\(O(L\cdot N^2)\)	-4.011	-4.134	-5.133	-5.103
GPS-LapPE	\(O(k^2\cdot E)\)	\(O(L\cdot N^2)\)	-4.334	-4.032	-5.154	-4.858

可见：① easy 与 hard 一致拉开差距，验证 \(\sigma\) 的难度调控有效；② 算力更省的消息传递模型（GIN/GatedGCN）普遍弱于二次复杂度的图 Transformer（GPS），凸显"算力—性能"权衡；③ 所有模型都远未达 oracle 的全局精度。

迁移/扩展实验（LRIM-16-hard 训练，零额外训练迁移到更大系统，LogMSE↓）¶

模型	16-hard	32-hard	64-hard	128-hard	256-hard
GIN	-2.406	-1.043	-0.774	-0.703	-0.903
GatedGCN	-3.919	-1.050	-0.781	-0.708	-0.952
GPS 系列	…	…	…	…	OOM

系统越大误差越大；消息传递模型 LogMSE 很快饱和（相对误差已很高）；朴素全注意力的 GPS 在 LRIM-256 上即便 batch=1、仅做推理也要约 160GB 显存，A100 80GB 直接 OOM——把可扩展性短板暴露无遗。

关键发现¶

局部信息不够用：oracle 限制在 \(r\) 跳邻域时性能随 \(r\) 平滑退化，达到低误差需要覆盖图的相当大一部分，模型无关地证明了任务的长程性。
难度双维可控：减小 \(\sigma\) 或增大 \(L\) 都能精确加大长程依赖与任务难度。
现有模型离最优很远：经典 MPNN 与图 Transformer 都远未触及 oracle 上界，尤其是复杂度可扩展（线性）的方法表现最差，说明"既要长程又要可扩展"仍是开放难题。

亮点与洞察¶

拿物理当尺子：用研究了近百年的 Ising 模型当真值生成器，第一次让"任务依赖长程"从"我觉得应该"变成"数学上可证明 + 物理参数可调"，从根上解决了长程基准最致命的不可信问题。
连续反馈信号：相比以往合成任务非黑即白的二值反馈，∆E 是连续量、oracle 退化曲线也平滑，既能细粒度排名模型，又能在训练中提供有梯度的监督信号。
三重证据闭环：经验（oracle 曲线）+ 理论（误差下界 Lemma）+ 度量（长程范围度量发散/收敛）三个独立视角互相印证，论证扎实，不是单点拍脑袋。
强制汇报算力：把计算复杂度纳入评估协议，戳破"堆全注意力刷分"的泡沫，引导社区关注真正稀缺的可扩展长程方法。

局限与展望¶

合成而非真实：Ising 模型虽与物理/化学相关，但终究是合成任务，模型在 LRIM 上的强弱能否完全外推到真实分子/蛋白任务仍需验证。
拓扑单一：目前只用二维周期网格、4-正则连接，缺乏异质拓扑、不规则图、动态图等更复杂的图结构变体。
基线有限：实验只覆盖 GIN/GatedGCN/GPS 等代表模型，且大系统因算力限制只做迁移评估而非直接训练，尚缺对最新可扩展长程架构（状态空间、图采样、稀疏注意力等）的系统评测。
展望：作者明确把基准定位为"催化剂"，期待社区在此之上开发能在受控算力预算内有效建模长程交互的新方法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ — 用 Ising 模型把"长程可证明 + 可控 + 连续反馈"三件难事一次性解决，是长程图学习评估范式的实质性突破。
实验充分度: ⭐⭐⭐⭐ — 10 个数据集覆盖 256→65k 节点、双难度，oracle/迁移/度量分析扎实；但基线种类有限、大系统只做迁移而非直接训练。
写作质量: ⭐⭐⭐⭐ — 动机层层递进、三重论证逻辑清晰、图表（oracle 退化曲线、范围度量）直观；物理背景部分对非物理读者门槛稍高。
价值: ⭐⭐⭐⭐⭐ — 给长程图学习社区提供了一把可信的"尺子"，有望终结长程改进论断难以证伪的乱象，基准价值高、影响面广。