Flowette: Flow Matching with Graphette Priors for Graph Generation¶

会议: NeurIPS 2026
arXiv: 2602.23566
OpenReview: https://openreview.net/forum?id=d3pAaxyrAY
代码: https://github.com/xxx
领域: 图学习
关键词: 图生成, 流匹配, Graphette 先验, 融合Gromov-Wasserstein, 置换等变性

一句话总结¶

Flowette 提出了融合可控子图编辑的 Graphette 结构先验、融合 Gromov-Wasserstein 拓扑对齐耦合与端点一致性正则的连续流匹配框架，实现了拓扑保真度极高且化学有效的高效图生成。

研究背景与动机¶

图生成在分子药物设计、社交网络建模、生物系统及组合优化等领域扮演着核心角色。然而，图数据普遍具备复杂的置换对称性以及具有明确领域语义的高阶重复模态（如分子的芳香环与化学价键约束、社交网络中的集线器星形结构、生物网络的无环树状拓扑）。传统自回归模型依赖人工指定的节点排序而破坏置换不变性且推理开销巨大；现有一步生成式模型（如基于离散或连续扩散、标准流匹配的方法）大多采用简单的高斯噪声或标准 graphon 作为源分布，并在配对时使用随机独立配对或欧氏距离匹配，忽略了源噪声图与目标真实图在节点置换与图规模变化下的拓扑相容性。

这种拓扑失配带来了严重的训练矛盾：当强制连续流模型在拓扑相差甚远的图对之间线性插值时，速度场回归的目标位移方差极大且高度不一致；同时，在有限步数值求解 ODE 的过程中，局部的局部速度误差容易逐级累积，导致积分终点生成大量违反物理或化学规则的畸变图结构。

本文认为，实现结构感知的连续图流匹配必须同时满足三大核心要素：源噪声图必须具备领域导向的结构归纳偏置、训练配对必须保证跨置换的拓扑结构对齐、训练目标必须显式约束全局轨迹的终点连贯性与领域可行性。核心 idea：引入基于图编辑函数的可控结构先验 Graphette，结合融合 Gromov-Wasserstein 拓扑匹配构建保结构的低方差整流插值对，并通过置换等变 GNN Transformer 与终点一致性/化学正则联合学习连续时间速度场。

方法详解¶

整体框架¶

Flowette 旨在学习一个从结构化噪声先验分布 $\mathcal{W}$ 输运到目标图数据分布 $\mathcal{D}$ 的连续时间速度场。整个生成管线包括三个核心阶段：首先，利用带有特定模态编辑算子的 Graphette 先验采样与目标节点预算精确匹配的初始噪声图拓扑，并采样离散属性先验；其次，利用冻结的轻量级 GIN 提取结构嵌入，计算小批量内源图与目标图之间的融合 Gromov-Wasserstein（FGW）距离，并通过匈牙利匹配建立一一对应的最优结构耦合配对；最后，在连续松弛表征空间中构建整流线性插值轨迹，由置换等变的边感知 GNN Transformer 联合预测邻接矩阵、节点特征及边特征的速度场，并在有限步欧拉数值积分后通过确定性投影映射回离散图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["结构先验与输入图<br/>Graphette 先验 G0 与真实图 G1"] --> B["1. 结构感知的 FGW 最优传输耦合<br/>GIN 嵌入 + FGW 距离 + 匈牙利匹配"]
    B --> C["2. 连续整流插值与置换等变速度场预测<br/>线性路径 At, Xt, Ft + GNN Transformer"]
    C --> D["3. 联合优化与正则化目标<br/>局部速度匹配 + 终点一致性 + 化学软约束"]
    D --> E["有限步数值积分与终端投影<br/>K 步欧拉积分 + 确定性价键剪枝输出"]

关键设计¶

1. 结构感知的 FGW 最优传输耦合：消除跨置换拓扑失配引起的监督方差

传统流匹配在批次内随机配对或仅基于特征距离配对，极易将拓扑差异极大的图强行插值，导致速度向量场方向混乱、方差剧增。Flowette 提出基于融合 Gromov-Wasserstein（FGW）的结构对齐耦合机制。首先使用预训练且冻结的轻量级 GIN 编码器 $f_{\mathrm{enc}}$ 提取图节点的结构嵌入 $Z = f_{\mathrm{enc}}(G)$，定义图内拓扑代价矩阵 $C(Z_a)_{ik} = \|z_i^a - z_k^a\|_2^2$ 与跨图节点特征代价矩阵 $M(X_0, X_1)_{ij} = \|x_i^0 - x_j^1\|_2^2$。通过平衡参数 $\alpha \in [0, 1]$ 求解最优传输方案： $$T^\star = \arg\min_{T \in \Pi(p, q)} (1-\alpha) \langle T, M(X_0, X_1) \rangle + \alpha \sum_{i,k=1}^{n_0} \sum_{j,\ell=1}^{n_1} (C(Z_0)_{ik} - C(Z_1)_{j\ell})^2 T_{ij} T_{k\ell}$$ 在批次级别，利用各对图的 FGW 距离构建代价矩阵 $D_{ij} = \mathrm{FGW}(G_0^i, G_1^j)$，通过匈牙利算法（Hungarian Matching）求解全局最优的一对一双射置换 $\pi^\star = \arg\min_{\pi \in \mathfrak{S}_B} \sum_{i=1}^B D_{i, \pi(i)}$。理论上证明了该距离具有置换不变性且在同构图上为零，从而为整流插值提供了方差最低且拓扑对齐的监督基准。

2. 连续整流插值与置换等变速度场预测：联合演化节点、边与连续松弛邻接

为了在连续时间框架下平滑演化离散图结构，Flowette 对配对图 $(G_0, G_1)$ 进行连续松弛，使得初始图 $G_0 = (A_0, X_0, F_0)$ 与目标图 $G_1 = (A_1, X_1, F_1)$ 在共享节点预算下构建线性插值路径：$A_t = (1-t)A_0 + tA_1$，$X_t = (1-t)X_0 + tX_1$，$F_t = (1-t)F_0 + tF_1$。理想的速度场为常数位移矢量 $(\Delta A, \Delta X, \Delta F) = (A_1 - A_0, X_1 - X_0, F_1 - F_0)$。模型使用一个精心设计的边感知 GNN Transformer 参数化时变速度场 $v_\theta(A_t, X_t, F_t, t) = (v_A, v_X, v_F)$。网络通过多层交替的节点-边交叉注意力层更新隐状态：注意力权重将节点投影内积与当前连续邻接值 $A_t(i,j)$ 相加偏置，边表征则由两端节点隐状态与边特征拼接后通过 MLP 演化。数学归纳证明了整个速度场对于任意节点置换矩阵 $P_\pi$ 严格满足置换等变性（$v_X' = P_\pi v_X$，$v_F' = P_\pi v_F P_\pi^\top$，$v_A' = P_\pi v_A P_\pi^\top$），确保生成过程与节点的人工排序无关。

3. 联合优化与正则化目标：终点轨迹一致性与领域化学约束

仅依靠中间时刻的瞬时速度均方误差 $\mathcal{L}_{\mathrm{vel}}$ 容易导致误差在有限步积分下累积漂移。为此，Flowette 构建了复合训练目标： $$\mathcal{L}(\theta) = \mathcal{L}_{\mathrm{vel}} + \beta_{\mathrm{end}} \mathcal{L}_{\mathrm{end}} + \beta_{\mathrm{val}} \mathcal{L}_{\mathrm{val}} + \beta_{\mathrm{atom}} \mathcal{L}_{\mathrm{atom}}$$ 其中终点一致性损失利用单步整流外推预测终点 $\hat{A}_1 = A_t + (1-t)v_A$、$\hat{X}_1 = X_t + (1-t)v_X$、$\hat{F}_1 = F_t + (1-t)v_F$，并惩罚其与真实数据 $(A_1, X_1, F_1)$ 的 Frobenius 范数偏差 $\mathcal{L}_{\mathrm{end}}$。理论证明，联合最小化 $\mathcal{L}_{\mathrm{vel}}$ 与 $\mathcal{L}_{\mathrm{end}}$ 保证了在欧拉积分下能够精确重构终点。针对分子图生成，进一步施加可微的软化学价键惩罚 $\mathcal{L}_{\mathrm{val}}$（抑制超过最大允许价键的过度成键）和原子类型边际分布匹配损失 $\mathcal{L}_{\mathrm{atom}}$（防止全局原子类型比例漂移），从训练阶段约束物理可行性。

4. Graphette 结构先验族：通过可控子图编辑泛化 Graphon

标准 graphon（图极限）生成的图在节点趋于无穷时严格为稠密图（边数呈 $\mathcal{O}(n^2)$ 增长），无法表示真实世界稀疏图，且缺乏显式模态控制。Flowette 提出了一类新型概率图先验家族 Graphette，定义为三元组 $\mathcal{W} = (W, \rho_n, f)$，其中 $W$ 为紧致区间上的对称可测函数（graphon），$\rho_n \to 0$ 为稀疏化缩放因子，$f$ 为图编辑函数（GEF）。采样过程先从稀疏 graphon $\rho_n W$ 中生成基底图 $G'$ 并提取最大连通分量，再通过 $f$ 注入或移除特定子图模态：如针对分子图使用环注入函数 $f=R$（添加苯环等环状拓扑）、针对社交/集线器网络使用星形添加函数 $f=S$、针对树状结构使用环消除函数 $f=h$、对块模型使用恒等映射 $f=I$。理论证明了星形与环编辑函数能精确保持三角覆盖图（Triangle-covered graphs）的同态密度不变性，使得先验分布能无缝解耦并注入关键拓扑偏置，彻底替代手工设计的特定任务网络架构。

损失函数 / 训练策略¶

训练采用 AdamW 优化器，学习率为 $1\times 10^{-3}$，隐藏层维度 $H=128$，批次大小 $B=32$ 或 $512$。速度匹配项权重设为 $\lambda_x = \lambda_e = 0.5$；FGW 权衡参数 $\alpha = 0.5$。在分子基准（QM9、ZINC250K、Guacamol）上，正则项权重配置为 $\beta_{\mathrm{val}}=0.5$、$\beta_{\mathrm{atom}}=0.5$、$\beta_{\mathrm{end}}=1.0$；在 MOSES 上为 $\beta_{\mathrm{val}}=0.3$、$\beta_{\mathrm{atom}}=0.4$、$\beta_{\mathrm{end}}=0.8$；合成图数据上则关闭化学正则项（$\beta_{\mathrm{val}}=\beta_{\mathrm{atom}}=0$）。推理阶段采用步长 $h=1/K$ 的显式欧拉数值积分器（$K=200$），最后对连续输出执行确定性非负对称化与贪心价键剪枝投影，无需拒绝采样即可保证 100% 的化学合法性。

实验关键数据¶

主实验¶

Flowette 在合成图结构（Tree、SBM、Ego-small）以及主流分子生成基准（QM9、ZINC250K、Guacamol、MOSES）上进行了全面评测，展现出卓越的高阶拓扑保真度与化学分子生成能力。

数据集	指标	本文 (Flowette)	之前 SOTA	增益 / 优势
QM9	Valid (%) ↑	99.81 ± 0.09	99.88 (GBD) / 99.73 (GraphBFN)	极具竞争力（99.81% 对比 99.30% DeFoG）
QM9	Unique (%) ↑	99.30 ± 0.05	98.46 (GDSS) / 96.90 (GruM)	显著领先主流生成基准（+0.84% vs GDSS）
QM9	NSPDK ↓	0.0003 ± 0.002	0.0001 (SID) / 0.0002 (GruM)	保持在极低的一流水平
ZINC250K	Valid (%) ↑	99.90 ± 0.10	99.50 (SID) / 99.22 (GraphBFN)	达到最高有效率 (+0.40% vs SID)
ZINC250K	Unique (%) ↑	100.00 ± 0.0	99.99 (DeFoG) / 99.97 (DiGress)	实现完美全唯一生成
ZINC250K	NSPDK ↓	0.0006 ± 0.004	0.0008 (DeFoG) / 0.0013 (GraphBFN)	取得目前最低结构 MMD 误差 (-25% vs DeFoG)
Tree	V.U.N (%) ↑	100.0 ± 0.0	99.0 (G2PT) / 96.5 (DeFoG)	完美实现有效、唯一且新颖的树结构生成
SBM	V.U.N (%) ↑	100.0 ± 0.0	100.0 (G2PT) / 90.0 (DeFoG)	完美匹配社区结构分布

消融实验¶

在 QM9 与 ZINC250K 数据集上针对训练目标中的各正则化组件进行了系统消融（如下表），同时针对 Graphette 先验及 FGW 耦合进行了对照验证。

配置	QM9 Valid (%)	QM9 Unique (%)	ZINC250K Valid (%)	ZINC250K Unique (%)	说明
Full model	99.8 ± 0.09	99.3 ± 0.05	99.9 ± 0.10	100.0 ± 0.0	完整模型：三项正则全部启用
w/o $\mathcal{L}_{\mathrm{val}}$ (无化学价键约束)	76.0 ± 0.07	90.7 ± 0.04	88.0 ± 0.10	91.0 ± 0.05	有效率断崖式下跌，产生大量过键化学畸变
w/o $\mathcal{L}_{\mathrm{atom}}$ (无原子边际匹配)	79.0 ± 0.05	93.6 ± 0.06	92.1 ± 0.02	95.0 ± 0.08	结构有效性轻微下降，但唯一性与新颖性显著受损
w/o $\mathcal{L}_{\mathrm{end}}$ (无终点一致性)	71.0 ± 0.06	79.0 ± 0.05	79.0 ± 0.11	85.0 ± 0.04	局部速度误差在数值积分中急剧发散
仅 $\mathcal{L}_{\mathrm{vel}}$ (无任何正则化)	69.0 ± 0.10	65.0 ± 0.02	75.0 ± 0.05	83.1 ± 0.10	连续松弛空间缺乏全局拓扑与可行性约束
先验替换为标准 Graphon	75.50 ± 0.03	68.90 ± 0.05	80.00 ± 0.05	85.00 ± 0.03	失去环/星状子图先验后生成质量全面恶化
耦合替换为随机配对 (Random)	90.03	89.65	89.50	91.50	拓扑失配显著增大监督方差
耦合替换为欧氏 OT (Euclidean)	94.50	93.25	94.00	95.50	缺乏图结构几何项约束导致对齐精度下降

关键发现¶

终点一致性损失 $\mathcal{L}_{\mathrm{end}}$ 与价键约束 $\mathcal{L}_{\mathrm{val}}$ 是维持模型稳定和化学有效性的最关键支柱，移除任一项都会使生成分子的化学有效率暴跌 23%~28%。
Graphette 结构先验与 FGW 最优传输耦合为流匹配提供了决定性的归纳偏置：相比于标准 Graphon 先验，Graphette 使合成树和社区网络的 V.U.N 指标提升了 32%~38%；而 FGW 耦合相比欧氏 OT 和随机配对分别带来了 5%~10% 的全面质量增益。
推理速度与计算开销方面，Flowette 的 FGW 匹配仅在训练阶段离线或批次级执行（耗时仅占总训练时间的极小比例，如 QM9 仅需 0.56 小时），而在推理阶段完全无需 CTMC 模拟或繁琐的状态转移率矩阵计算，采样速度比 DeFoG 显著加快 20%~40%。

亮点与洞察¶

提出 Graphette 数学框架，通过在稀疏 Graphon 基底上引入代数图编辑函数，首次在连续生成流的源分布层实现了模态可控的图结构注入，兼具严谨理论性质与工程灵活性。
引入 FGW 最优传输并结合匈牙利双射匹配作为流匹配数据配对准则，在数学上证明了置换不变性与同构极小性，彻底解决了非配对图流匹配中目标位移方差过大的底层病态问题。
采用确定性终端投影与价键剪枝替代了传统扩散模型依赖的拒绝采样机制，确保了连续松弛流生成在离散化后能够百分之百严格满足化学价键规则。

局限与展望¶

FGW 距离计算具有 $\mathcal{O}(B^2 n^3)$ 的理论复杂度，在超大批次或极大稠密图场景下的预处理成本较高，未来可探索结合熵正则化的 Sinkhorn-FGW 算法加速。
目前 Graphette 的先验编辑函数仍依赖目标领域的粗粒度先验知识（例如预先获知分子含环、社交网络含集线器），未来如何从数据中自动化无监督挖掘并参数化子图编辑算子是极具潜力的方向。
化学软正则项 $\mathcal{L}_{\mathrm{val}}$ 与 $\mathcal{L}_{\mathrm{atom}}$ 目前针对分子领域定制，在通用复杂网络（如蛋白质三维接触网、超大知识图谱）上的泛化迁移规则仍需拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将 Graphette 先验族、FGW 结构耦合与置换等变连续流匹配有机融合，理论与方法创新极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个合成图数据集与 4 个经典分子基准，消融实验严格切分先验、耦合、编码器与多项正则项。
写作质量: ⭐⭐⭐⭐⭐ 概念论述严谨，数学定义、定理推导与算法伪代码一应俱全。
价值: ⭐⭐⭐⭐⭐ 为结构感知、保模态的图生成与连续生成流建模树立了全新的范式。