Offline Materials Optimization with CliqueFlowmer¶

会议: NeurIPS 2026
arXiv: 2603.06082
OpenReview: https://openreview.net/forum?id=FxdSdeIj0j
代码: https://github.com/znowu/CliqueFlowmer
领域: 其他
关键词: 计算材料发现, 离线基于模型优化, 团分解, 流匹配, 自回归生成

一句话总结¶

针对传统生成模型受限于最大似然训练而无法主动探索目标性质极值区域的问题，本文提出 CliqueFlowmer，将材料的离散晶胞组成与连续几何结构统一编码为具备团分解结构的固定维连续隐空间，结合无梯度进化策略与流匹配解码实现了计算材料发现的高效离线直接性质优化。

研究背景与动机¶

在以原子为研究对象的计算材料发现（Computational Materials Discovery, CMD）中，核心挑战在于从庞大而高维的化学与几何空间中搜寻具有极端物理或化学性能的新材料，例如用于高效能源转换催化反应的晶体结构或先进生物材料功能组分。当前受到扩散模型和连续规整化流等生成模型启发的材料生成方法，主要依托最大似然估计（Maximum Likelihood Estimation）对已有材料数据库进行分布拟合。尽管这些模型在合成符合训练分布的合理晶体结构方面表现出色，但其优化机制受限于被动采样，无法主动探索与目标性质强相关的潜在高价值空间，导致在新材料性质极值搜寻中效率极其低下。

直接对材料性质实施目标导向优化的核心难点在于材料表征的混合与跨维度复杂性。晶体材料由晶胞几何参数（晶格常数与夹角）、可变原子数量、离散元素种类以及连续分数原子坐标共同构成。传统的基于模型离线优化（Offline Model-Based Optimization, MBO）通常仅适用于规则且固定维度的标准基准任务，无法直接对这种兼具离散、连续且拓扑非固定的混合结构进行梯度或代理模型搜寻。更致命的是，若在缺乏有效结构约束的代理空间中进行简单反向传播，优化过程极易落入代理模型的对抗虚假极值（Adversarial Exploitation）并引发严重的分布偏移。

针对上述矛盾，本文提出跳出纯被动生成范式，将离线 MBO 与现代化生成模型深度融合。通过构建统一的自编码器架构，将晶胞长度、夹角、原子坐标与原子类型联合压缩进具有固定维度的连续隐空间，并在隐空间中施加团分解（Clique Decomposition）先验结构，利用重叠团因子实现性质可拼接的函数图模型建模。核心 idea：通过构建由自注意力池化编码器、团分解性质预测器、自回归元素解码器及交叉注意力条件流匹配几何解码器组成的统一架构，将材料直接搜寻转化为隐空间中的无梯度进化策略优化，实现离线数据下的目标材料性质极值探索。

方法详解¶

整体框架¶

CliqueFlowmer 由编码器、团结构性质预测器、自回归原子类型解码器以及连续几何流解码器四个紧密耦合的子模块构成。在训练阶段，模型接收包含晶胞轴长 $(a,b,c)$、轴夹角 $(\alpha,\beta,\gamma)$、原子类型序列 $\mathbf{a}$ 与分数坐标 $\mathbf{X}$ 的材料单元，通过多层感知机与 Transformer 提取特征后，利用可学习查询向量进行注意力池化，映射为隐分布的高斯参数；从该分布采样得到的隐变量 $\mathbf{z}$ 一方面被组织成重叠团矩阵以预测目标性质，另一方面作为条件驱动自回归 Transformer 生成元素序列，并利用连续规整化流解码晶胞形状与原子坐标。

在推理与性质优化阶段，算法首先使用编码器将离线材料样本投影至隐空间，接着冻结解码器与性质预测器，以目标性质最小化为导向，在隐空间中执行基于秩的进化策略（Evolution Strategies, ES）迭代更新；收敛后的最优隐变量经由束搜索（Beam Search）自回归预测元素类型，随后以流匹配的常微分方程（ODE）数值求解器结合无分类器引导恢复出完整晶胞几何结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入离线材料样本<br/>晶格参数 + 原子类型 + 分数坐标"] --> B["跨模态 Transformer 编码器<br/>MLP 投影 + 序列堆叠 + AdaLN 元素条件化"]
    B --> C["注意力池化与高斯重参数化<br/>可学习查询池化降维至固定维隐变量 z"]
    C --> D["隐空间进化策略性质优化<br/>重叠团矩阵表征 + 协方差解耦权重衰减 ES"]
    D --> E["双路解耦条件生成解码器<br/>自回归元素束搜索 + 交叉注意力几何流匹配"]
    E --> F["输出目标优化新材料<br/>晶体结构松弛与 S.U.N. 物理性质验证"]

关键设计¶

1. 跨模态注意力池化编码器：解决可变原子数到固定维隐空间的维度压缩
材料晶胞中包含原子数 $N_{\text{atom}}$ 不同的离散元素序列和三维坐标，使得不同材料的直接表示维度呈现不规则的跨维度特性。为了使离线 MBO 技术可行，编码器首先将轴长、夹角以及各个原子坐标分别输入对应的多层感知机映射至 $d_{\text{model}}$ 维隐藏向量，并在序列维度进行拼接得到形状为 $(2+N_{\text{atom}}) \times d_{\text{model}}$ 的特征输入矩阵。为了融入离散化学信息，原子嵌入通过自适应层归一化（Adaptive LayerNorm, AdaLN）对 Transformer 编码块进行条件调制。为了消除可变原子数对隐变量维度的依赖，编码器引入全局可学习查询向量 $\mathbf{q} \in \mathbb{R}^{d_{\text{model}}}$，对 Transformer 输出序列执行缩放点积注意力池化： $$ \mathbf{h}^{\text{pool}} = \operatorname{Softmax}\left(\frac{\mathbf{q}(\mathbf{K}\mathbf{H}^{\text{out}})^\top}{\sqrt{d_{\text{model}}}}\right)(\mathbf{V}\mathbf{H}^{\text{out}}) \in \mathbb{R}^{d_{\text{model}}} $$ 该池化特征经 GELU 激活函数和层归一化后，由全连接层直接输出高斯分布参数 $[\mu_{\mathbf{z}}, \log \sigma_{\mathbf{z}}]$ 并采样得到固定长度的连续向量 $\mathbf{z} \in \mathbb{R}^{d_{\mathbf{z}}}$，为后续统一向量空间内的优化提供了数学基础。

2. 团结构隐空间重组与性质可加分解：提供抗分布偏移与知识拼接归纳偏置
传统 MBO 在连续隐空间直接预测全局性质时，受限于高维空间中样本稀疏性，模型很难学习到泛化良好的复杂能量曲面。受到函数图模型理论启发，CliqueFlowmer 将连续隐向量 $\mathbf{z}$ 按照固定团维度 $d_{\text{clique}}$ 与重叠纽带（knot）维度 $d_{\text{knot}}$ 展开为由 $N_{\text{clique}}$ 个局部因子构成的重叠团矩阵 $\mathbf{Z} \in \mathbb{R}^{N_{\text{clique}} \times d_{\text{clique}}}$。每个团仅覆盖局部连续变量并与其相邻团共享边界变量，性质预测头对每个团单独建模并进行全局加性求和： $$ f_\theta(\mathbf{z}) = \sum_{c=1}^{N_{\text{cliques}}} f_\theta(\mathbf{Z}_c, c) $$ 这种分解结构极大地约束了函数假设空间，允许模型将训练集中不同样本所展现的局部优秀团结构进行组合拼接（Stitching），从而在不需要全维度外推的情况下，拼装出全局具有高潜力的全新解，有效平滑了优化景观。

3. 解耦条件几何流匹配与交叉注意力注入：保证晶胞密度不变性与结构保真度
对于材料重构中最具挑战性的连续几何恢复，模型摒弃了传统扩散模型在球谐函数等图神经网络上的沉重开销，采用高效的非因果 Transformer 连续规整化流。在物理先验方面，针对不同原子数材料密度应保持平稳的物理事实，构建了体积尺度不变的先验分布：利用标准对数正态分布采样归一化基准长度 $(\underline{a}, \underline{b}, \underline{c})$，并引入比例缩放因子 $l = \sqrt[3]{N_{\text{atom}}} \cdot \underline{l}$，使晶胞平均密度与原子总数解耦。在条件交互机制上，将团展开特征 $\mathbf{Z}$ 映射后作为键值输入，在流去噪 Transformer 的自注意力层与前馈网络之间显式插入交叉注意力层。相比于直接通过 AdaLN 注入全局扁平向量，交叉注意力允许不同几何模态自主查询特定团的局部上下文，将重构等价匹配率从 63% 提升至 80%。

4. 基于无梯度进化策略的保守隐空间优化：免疫对抗欺骗与分布越界
在隐空间寻找使得性质 $f_\theta(\mathbf{z})$ 最小的最优表征 $\mathbf{z}_\star$ 时，传统的反向传播梯度下降（BP）极易利用神经网络代理模型的局部高频拟合缺陷，导致隐向量迅速漂移出数据流形，实验中反而导致真实物理性质剧烈恶化。本文采用基于对偶采样的无梯度进化策略（ES）。在每次迭代中采样 $N_{\text{pert}}$ 对高斯噪声扰动 $\pm \sigma \epsilon^i$，在预测值集合上执行严格的非参数秩变换（Rank-based Fitness Shaping）并完成标准化，得到平滑搜索方向： $$ \hat{\nabla}^{\text{ES}}(\mathbf{z}) = \frac{1}{2\sigma N_{\text{pert}}} \sum_{i=1}^{N_{\text{pert}}} (R^i_+ - R^i_-) \epsilon^i $$ 配合解耦权重衰减（AdamW，$\lambda=0.4$），在更新方向上持续对隐向量施加朝向先验原点的收缩力，使其牢牢锚定在高概率密度支撑集内，从而彻底杜绝了对抗极值陷阱。

损失函数 / 训练策略¶

模型采用端到端联合多任务优化目标，包含元素负对数似然、几何流匹配损失、性质回归损失以及隐空间正则化项： $$ \mathcal{L}(\theta) = \mathbb{E}{\mathsf{M}\sim\mathcal{D}, \mathbf{z}\sim p\theta, \mathbf{G}0\sim p_0} \left[ \mathcal{L}}}(\mathbf{a}, \mathbf{z}) + \mathcal{L{\text{flow}}(\mathbf{a}, \mathbf{z}, \mathbf{G}, \mathbf{G}0) + \tau}} \mathcal{L}}(\mathsf{M}, \mathbf{z}) + \beta \mathcal{L{\text{lat}}(\mu) \right] $$ 其中，}}, \sigma_{\mathbf{z}$\mathcal{L}_{\text{atom}}$ 为因果序列生成的交叉熵损失；$\mathcal{L}_{\text{flow}} = \mathcal{L}_{\text{len}} + \mathcal{L}_{\text{ang}} + \tau_{\text{pos}}\mathcal{L}_{\text{pos}}$ 分别对轴长、轴角和原子坐标的速度场预测误差加权（位置损失权重设为 $\tau_{\text{pos}}=16$）；$\mathcal{L}_{\text{pred}} = (f_\theta(\mathbf{z}) - f(\mathsf{M}))^2$ 为预测误差；隐空间正则化 $\mathcal{L}_{\text{lat}}$ 计算随机抽样团 $c$ 与标准正态分布之间的 KL 散度。

训练在 MP-20 数据集（4.5 万个材料结构）上进行，批量大小为 1024，采用 Adam 优化器在初始阶段执行 $10^5$ 步线性预热，权重 $\tau_{\text{pred}}$ 与 $\beta$ 依次递增预热，总训练步数达 $7 \times 10^5$ 步。去噪时间步采用新型升阶对数正态分布（Lifted Logit-Normal Distribution）采样，重点强化中间难度区间的流去噪学习。

实验关键数据¶

主实验¶

在 MP-20 基准上，分别针对形成能（Formation Energy，由 M3GNet 评估）与带隙（Band Gap，由 MEGNet 评估）进行优化发现实验。初始样本平均形成能为 0.46 eV/atom，平均带隙为 0.57 eV。基线涵盖代表性自回归模型 CrystalFormer 以及主流扩散/流生成模型 DiffCSP、DiffCSP++、MatterGen。所有生成结构均使用 M3GNet 执行局部能量松弛，并评估稳定材料、唯一材料与新颖材料组合的 S.U.N. 达标率（Stable, Unique, Novel）。

方法	形成能 $E_{\text{form}}$ (↓)	稳定率 Stable (%) (↑)	S.U.N. 达标率 (%) (↑)	S.U.N. 形成能 (↓)	带隙 Band Gap (↓)	稳定率 Stable (%) (↑)	S.U.N. 达标率 (%) (↑)	S.U.N. 带隙 (↓)
CrystalFormer	0.71	14.1	12.8	1.06	0.52	14.1	12.8	0.37
DiffCSP	0.59	19.2	18.6	1.02	0.63	19.2	18.6	0.55
DiffCSP++	0.65	19.8	18.5	1.10	0.48	19.8	18.5	0.23
MatterGen	0.60	18.5	17.6	0.98	0.57	18.5	17.6	0.40
CliqueFlowmer	-0.81	14.5	14.4	-0.65	0.03	61.3	61.3	0.02
CliqueFlowmer-Top (Top 10%)	-0.99	13.6	13.4	-1.06	0.07	69.4	69.4	0.05

注：生成模型由于似然拟合，生成结构的形成能均在正值区间（0.59 ~ 0.71）；CliqueFlowmer 大幅下探至负能区（-0.81 与 -0.99），并在带隙最小化任务中达成了极高的 S.U.N. 稳定率（61.3% 与 69.4%）。

消融实验¶

为了剖析几何流解码条件方式与无分类器引导（CFG）强度对自编码重构能力的影响，论文在 100 个材料样本上测试了经编码后直接无优化解码的晶体结构等价匹配率（StructureMatcher match ratio）：

条件注入机制	CFG 强度 $\omega=0$ (%)	CFG 强度 $\omega=2$ (%)	CFG 强度 $\omega=4$ (%)	波动幅度 (%)
扁平 AdaLN 条件化 (Flat)	63	45	32	31 (敏感且退化)
团结构交叉注意力 (Cross-attention)	71	80	77	9 (稳定且保真)

此外，针对优化核心组件，进一步评估了不同梯度估计策略与先验结构的影响： - 反向传播（BP） vs 进化策略（ES）：BP 和带权重衰减的 BP 在 1000 步优化内导致性质严重发散（形成能恶化至极大正值）；ES 则平稳收敛，且结合权重衰减（$\lambda=0.4$）时将形成能降至最低并实现最佳结构稳定性。 - 团分解机制：在不同权重衰减强度下，带有团分解结构的隐空间优化收敛速度与目标性质均显著优于无团分解的扁平连续隐空间；无团空间在增大正则化权重时性质急剧退化。

关键发现¶

生成模型探索惰性与 MBO 激进搜索：扩散模型如 MatterGen 的性质分布严格贴合 MP-20 原始分布（峰值位于正能量区间），而 CliqueFlowmer 的优化结果集中在 -1.0 eV/atom 附近的负能区，证实离线直接优化有效突破了训练分布的被动限制。
带隙任务中的反直觉高稳定性：在带隙最小化任务中，CliqueFlowmer 的 S.U.N. 达标率攀升至 69.4%（基线仅 18% 左右）。这是因为带隙受到下界为零的硬约束，结合正则化项有效避开了多相共存竞争剧烈的极低能量区，形成了兼顾物理稳定性与零带隙特性的优质分布。
DFT 检验揭示的代理偏差：通过严谨的密度泛函理论（DFT/HSE）复核发现，CliqueFlowmer 优化的材料在 DFT 绝对性质上依然保持绝对领先（形成能达 -2.87 eV/atom vs 基线 -0.68 eV/atom），但机器学习代理模型的非物理偏差会导致基于凸包距离的绝对稳定率预测偏高。

亮点与洞察¶

解耦离散化学与连续几何的混合 Transformer 架构：通过注意力池化将跨维度晶胞压入统一向量，上层采用自回归串联流匹配双阶段生成，完全摆脱了对计算密集的等变球面谐波图网络的依赖，使得复杂晶体生成能在标准 Transformer 上高速运行。
团结构隐空间赋予的拼接泛化（Stitching）能力：将高维连续空间结构化为一维重叠团因子的加性函数图模型，让进化策略能够分别优化局部结构并完成非对抗式的全局拼接组装，完美契合材料局部配位化学的物理直觉。
推理分阶段筛选的极速计算性价比：由于隐空间 MBO 仅需评估极轻量的多层感知机，千步优化仅耗时数十毫秒，可在昂贵的几何流去噪与量子化学松弛之前快速筛选 Top 10% 候选，单结构端到端优化耗时仅约 1.2 秒。

局限与展望¶

代理模型引入的合成偏差：依赖 M3GNet 和 MEGNet 等机器学习代理模型作为性质参考，其内在的不完美能量曲面会传导至隐空间优化过程中，导致部分候选结构在经受高精度 DFT 检验时稳定性出现下降。
实验评估的目标性质具有局限性：当前验证主要聚焦在形成能与带隙这类相对容易获取机器学习代理的标准性质上，尚未扩展到催化反应自由能、热电优值或超导转变温度等工业界更迫切需要的复杂应用指标。
束搜索与流数值积分的串行开销：尽管 MBO 阶段极快，但后端的自回归元素束搜索与多步 ODE 求解仍然占据了主要时间，未来可探索并行分词策略与少步数蒸馏流加速方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将团分解离线基于模型优化（MBO）引入连续-离散混合晶体材料发现，架构构思巧妙]
实验充分度: ⭐⭐⭐⭐☆ [覆盖形成能与带隙两大任务，对比了主流生成模型并包含详尽消融与 DFT 复核，受算力限制 DFT 样本量为 100 篇]
写作质量: ⭐⭐⭐⭐⭐ [理论阐述严密，图表信息量极其丰富，方法论与物理动机叙述流畅]
价值: ⭐⭐⭐⭐⭐ [为计算材料科学从被动似然生成迈向主动离线极值优化提供了高价值的全新技术范式]