Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search¶

会议: NeurIPS 2026
arXiv: 2605.19247
OpenReview: https://openreview.net/forum?id=aRGcG80o4Z
领域: LLM 其他
关键词: 神经网络架构搜索、大语言模型、开放式搜索空间、帕累托进化算法、设计知识图谱

一句话总结¶

针对基于大语言模型的开放式神经架构搜索中知识池杂乱与搜索低效的问题，提出半自动化模型设计属性树构建知识库，并结合属性公平采样、帕累托前沿变异与多重验证反馈回路实现高效架构探索。

研究背景与动机¶

深度神经网络架构设计传统上高度依赖专家经验与耗时耗力的人工试错。传统神经架构搜索（NAS）旨在自动化这一探索过程，但多数主流方案（如 DARTS、ENAS、Once-for-All 等）均受限于专家预设的封闭搜索空间，仅能在固定的宏观拓扑结构下从有限的离散算子候选池中挑选组合，难以孕育根本性的网络拓扑革新或前所未有的新型计算算子。近期，借助大语言模型（LLM）直接生成 PyTorch 代码的新范式催生了开放式神经架构设计（Neural Architecture Design, NAD），它摆脱了封闭空间的束缚，并通过从海量前沿学术论文中挖掘外部设计知识来丰富搜索灵感。

然而，单纯的“开放”并不能直接转化为“高效”。现有基于文献知识库的开放式 NAS 方法通常以扁平、无结构的方式直接收集知识，缺乏对知识作用粒度（算子级、连接拓扑级或整网宏观级）与属性分布的细粒度梳理。这导致知识库充斥着与视觉主干无关的噪声（如特定损失函数、特定下游任务技巧），且不可避免地放大了学术热点带来的分布偏差——例如在文献抽样中高达 70% 的特征提取算子均扎堆在注意力机制上。此外，在庞大的开放式代码空间中，盲目依赖验证集性能的 Top-k 父代采样容易忽视参数量极小但相对性能出色的轻量候选，而简单丢弃超出硬件算力预算的模型更进一步剧烈压缩了搜索多样性。

针对上述瓶颈，必须在保留代码生成开放性的同时，对输入给 LLM 的文献设计知识建立层级化结构约束，并重塑进化搜索的多样性保护机制。核心 idea：通过三层属性模板与参考模型代码半自动化构建模型设计属性树，以结构化属性过滤并标注文献知识；在此基础上提出 FairNAD 框架，通过属性公平采样变异、软硬件帕累托前沿变异、LLM 迭代精炼以及兼顾模型缩放的多重反馈回路，实现开放式空间下的高效平衡探索。

方法详解¶

整体框架¶

本文提出的方法包含两大核心阶段：一是模型设计知识的半自动化结构化提取，二是基于结构化知识库的高效进化搜索框架 FairNAD。在知识准备阶段，首先根据专家预设的层级模板分析现代基准模型的源码，半自动生成涵盖算子、连接与网络层级的模型设计属性树 $\mathcal{D}_{\text{attr}}$；随后利用该属性树对论文库进行过滤与深度抽取，构建带细粒度属性标签的设计知识数据库 $\mathcal{D}_{\text{kn}}$。在进化搜索阶段，FairNAD 依次采用属性公平采样变异、帕累托前沿变异与 LLM 迭代变异生成候选代码，并通过包含执行测试、算力预算缩减和结构校验的反馈回路生成合法子网，最后加入历史评估库持续迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：论文库 + 参考模型代码"] --> B["设计知识半自动结构化<br/>构建属性树 D_attr 并标注文献库 D_kn"]
    B --> C["属性公平采样变异<br/>按主类别均衡抽取设计灵感并指定修改粒度"]
    C --> D["帕累托前沿变异<br/>NSGA-II 采样精简模型放大或超参微调"]
    D --> E["LLM 迭代变异<br/>检索优质历史记录沿相似属性连续精炼"]
    E --> F["多重验证反馈回环<br/>执行报错修复 + 超限模型缩放 + 结构防退化"]
    F --> G["输出：高性能优化模型 a*"]

关键设计¶

1. 半自动化模型设计属性树构建：解决扁平知识库的偏差与噪声 现有直接从论文爬取文本灵感的方式容易受到模型预训练偏见和流行趋势影响，导致知识池单一且充斥无效细节。本文提出三级层级化属性模板 $\mathcal{T}_{\text{attr}}$：顶层为粒度级别（算子级、模块与连接级、网络级），中层为主属性类别（如特征提取算子、归一化、激活函数、残差与多分支拓扑等共 15 类），底层为具体子属性（如分组卷积、LayerScale 等共 55 类）。顶层与中层由领域专家定义以确保架构设计的完备性，底层子属性则由 LLM 分析 14 种涵盖卷积、Transformer、MLP 及混合结构的现代 SOTA 参考模型源码自动填充。随后，系统以该属性树对学术论文进行两阶段处理：先根据摘要筛除与属性树无关的非架构论文（过滤掉超 50% 论文），再让 LLM 阅读方法章节提取具体设计点并标注三级属性标签，沉淀出高纯度结构化设计知识库 $\mathcal{D}_{\text{kn}}$。

2. 属性公平采样变异：保证开放式设计空间的无偏广泛探索 在开放代码演化中，若对知识库进行均匀随机抽样，出现频率极高的高频属性（如注意力机制）将迅速主导突变方向，压制冷门但极具潜力的拓扑探索。FairNAD 引入公平采样机制，在进化演变中强行依据 $\mathcal{D}_{\text{attr}}$ 的属性类别（主类别级别）进行均匀采样。若系统存在 $N$ 个主类别，未加约束时采样覆盖概率严重受制于文献原始分布，而公平采样使每个类别的被选概率趋近于 $1/N$，在 $n$ 次试验后每个类别的覆盖概率严格收敛于 $1 - (1 - 1/N)^n$，大幅缩减全空间覆盖所需的样本数。同时，突变提示词严格根据该灵感的粒度标签约束修改范围——算子与模块级均匀决定是替换已有组件还是新增全新组件，网络级则强制作用于宏观拓扑，确保生成代码的多样性与合法性。

3. 帕累托前沿变异：防止紧凑高性能模型在搜索中被遗漏 传统的进化架构搜索倾向于使用纯精度驱动的 Top-k 采样来选取父代模型，这导致体积偏小、浮点计算量低但单位参数效率极高的精简模型过早被淘汰，引发演化停滞。FairNAD 引入帕累托变异阶段，采用多目标遗传算法 NSGA-II 从当前代帕累托前沿上采样父代架构，根据设定的硬件预算阈值 $\tau_i$（如 FLOPs 与参数量上限的 90%）实行差异化演化： $$a_{\text{cur}}' = \begin{cases} \text{ScaleUp}(a_{\text{par}}'), & \text{if } \text{budget}_i(a_{\text{par}}') \le 0.9\tau_i \\ \text{HPTuning}(a_{\text{par}}'), & \text{otherwise} \end{cases}$$ 对于远低于阈值的精炼模型，提示 LLM 采用扩展宽度或加深网络层数的方式放大模型以挖掘性能潜力；对于接近硬件预算上限的模型，则固定拓扑尺度，转而微调卷积核尺寸、步长等超参数，在不逾越算力红线的前提下极致压榨精度。

4. 多重验证反馈回环：避免硬件超限丢弃造成的结构多样性损失 开放式代码生成中最致命的问题是代码语法错误和硬件开销不可控，直接丢弃超限模型会导致大量包含新颖设计的复杂拓扑在演化初期夭折。FairNAD 构建了闭环验证修复机制：首先进行执行验证，遇到初始化或反向传播报错时将错误追踪日志送回 LLM 进行定向调试（最多重试 2 次）；其次进行硬件预算验证，当模型的 FLOPs 或参数量超出设定上限时，并不将候选模型丢弃，而是启动模型降尺度策略（预定义的宽度/深度压缩 Prompt），引导 LLM 自适应缩小层通道或修剪网络深度（最多重试 4 次）；最后进行结构验证，确保生成的代码确实对父代进行了实质修改且维持多层深度，剔除未修改或退化为单层的无效代码。通过该反馈回环，候选模型的生成通过率从无预算校验时的 0.04 飙升至 0.56。

损失函数 / 训练策略¶

搜索过程中候选架构的训练评估严格对齐 NAS-Bench-201 官方基准规范。针对 CIFAR-10 与 CIFAR-100，使用带动量的 SGD 优化器（动量 0.9，Nesterov 开启，权重衰减 0.0005，批大小 256），初始学习率设为 0.1，配合余弦退火调度器在 200 个 epoch 内衰减至 0。对于 ImageNet16-120，保持相同的优化设置，输入裁剪尺寸调整为 $16 \times 16$ 且边缘填充为 2。所有模型生成与变异由 Qwen3-8B（亦测试了 Qwen2.5-Coder 与 Qwen3 其它尺寸）驱动，硬件预算严格限制在参数量 $\le 1.5\text{ M}$，CIFAR-10/100 上 FLOPs $\le 0.2\text{ GFLOPs}$，ImageNet16-120 上 FLOPs $\le 0.05\text{ GFLOPs}$。

实验关键数据¶

主实验¶

在标准基准 NAS-Bench-201 的三个数据集上，将 FairNAD 与手工定义搜索空间的传统 NAS 方法（参数共享类与非共享类）以及基于 LLM 的开放式代码生成方法进行系统对比。各方法在搜索指定数量架构后测试精度均值为 3 次独立运行的结果。

方法类型	搜索方法	搜索架构数	CIFAR-10 测试(%)	CIFAR-100 测试(%)	ImageNet16-120 测试(%)
基线模型	ResNet-32 (Base)	-	93.97	70.86	43.63
理论上限	NAS-Bench-201 Optimal	-	94.37	73.51	47.31
传统NAS (权重共享)	DARTS	-	54.30±0.00	15.61±0.00	16.32±0.00
传统NAS (权重共享)	PC-DARTS	-	93.41±0.30	67.48±0.89	41.31±0.22
传统NAS (权重共享)	$\beta$-DARTS	-	94.36±0.00	73.51±0.00	46.34±0.00
传统NAS (非权重共享)	Regularized Evolution (REA)	500	93.92±0.30	71.84±0.99	45.54±1.03
LLM-NAS (封闭/固有知识)	GENIUS	10	93.79±0.09	70.91±0.72	44.96±1.02
LLM-NAS (开放代码生成)	LLMatic	2000	94.26±0.13	71.62±1.73	45.87±0.96
LLM-NAS (外部文献启发)	NADER (SOTA)	500	94.62	76.00	50.52
本文方法	FairNAD (Ours)	100	94.93±0.17	76.26±0.33	49.75±0.61
本文方法	FairNAD (Ours)	500	95.46±0.10	78.17±1.25	52.87±1.32

消融实验¶

在 CIFAR-100 数据集上搜索 200 个架构，系统性验证知识来源、采样机制、变异策略与反馈回路各核心组件的增益贡献。

配置编号	知识与规划来源	突变粒度指定	采样策略	包含变异阶段	验证集精度(%)	测试集精度(%)	说明
1 (Base)	无 (ResNet-32)	-	-	-	70.42	70.86	搜索起点初始网络
2	LLM 固有先验	-	均匀采样	基础想法突变	72.48	72.31	仅依赖大模型自身参数先验
3	原始论文库 (NADER)	-	均匀采样	基础想法突变	74.78	74.55	扁平非结构化文献知识抽取
4	结构化文献知识	-	均匀采样	基础想法突变	75.25	74.92	经属性树过滤的高纯度知识库 (+0.37%)
5	结构化文献知识	✓	均匀采样	基础想法突变	75.56	75.24	增加算子/连接/网络粒度约束 (+0.32%)
6	结构化文献知识	✓	公平采样	基础想法突变	77.54	77.05	按属性类别均匀抽样消除偏置 (+1.81%)
7	结构化文献知识	✓	公平采样	想法 + 帕累托突变	77.82	77.28	纳入紧凑模型放大与超参调整 (+0.23%)
8	结构化文献知识	✓	公平采样	想法 + LLM 迭代	75.86	75.64	单独使用 LLM 迭代导致多样性骤降 (-1.41%)
9 (Full)	结构化文献知识	✓	公平采样	想法+帕累托+LLM	78.32	77.97	完整多阶段突变协同 (+0.69%)

此外，在反馈回路的消融实验中： - 完整反馈回路的生成通过率（Pass Rate）为 0.56，测试集精度达 77.97%； - 移除执行校验（w/o exec.）导致通过率降至 0.52，测试精度下滑 0.99%（76.98%）； - 移除算力预算校验（w/o budget）直接丢弃超限模型，导致通过率断崖式跌至 0.04，测试精度下滑 1.34%（76.63%），严重拖垮搜索效率； - 移除结构校验（w/o struct.）使得退化模型进入评估，测试精度下滑 1.38%（76.59%）。

关键发现¶

公平采样的杠杆效应最为显著：消融实验表明，在结构化知识基础上引入公平采样带来了高达 1.81% 的测试精度飞跃（从 75.24% 跃升至 77.05%），证明消除文献热点带来的注意力机制垄断是解锁多样化拓扑潜力的核心钥匙。
帕累托变异与 LLM 迭代变异的协同共生：孤立引入 LLM 迭代变异反而使精度倒退 1.41%，因为缺少高潜力的紧凑种子模型会导致 LLM 在局部狭窄空间无效振荡；而当帕累托变异先扩充了高性价比模型并在尺度上充分放大后，LLM 迭代精炼能进一步释放其架构潜能，带来额外 0.69% 提升。
采样粒度的层次陷阱：在主类别层级进行公平采样效果最优（77.05%），但在更碎片的 55 个子属性层级强制公平采样反而导致测试精度暴跌至 73.06%。这是因为过细的切分使得组间样本严重失衡，反而引入了人为的不自然噪音。

亮点与洞察¶

将无序文本灵感转化为可控代码算子：巧妙利用三级属性树将大模型的自由发挥收敛到可控、可组合的工程粒度上，既保住了开放式代码探索的无限想象力，又规避了无关域知识的污染。
模型缩减替代淘汰的多样性护城河：当生成的优秀架构因略微超出硬件限制而濒临淘汰时，采用反馈回路自适应缩减尺寸，成功将通过率从 4% 挽救至 56%，最大程度保留了新颖模块结构进入种群繁衍的机会。
涌现出高度创新的实用微结构：搜索得到的网络突破了传统设计范式，例如在 CIFAR-10 上发现了结合自适应均值与最大池化的 DPCA 通道注意力、跨层全局特征暂存池 FeaturePool，以及带参数的带限激活函数 BandLimitedReLU，充分验证了代码级 NAS 的演化威力。

局限与展望¶

算力开销仍集中在模型评估阶段：全量训练候选模型占据了 90% 以上的搜索时间，导致 500 次架构探索仍需数十个 GPU 日，未来亟需结合零阶代理预测器或早停策略压缩单网评估开销。
属性树对参考模型集存在先验依赖：如果初始提供的参考模型未能涵盖前沿拓扑（如状态空间模型 Mamba 或稀疏混合专家 MoE），自动化流程将无法自发抽取对应底层子属性。
搜索范围聚焦于视觉主干：目前仅探索了分类 Backbone 架构，尚未延伸至目标检测与分割任务的 Neck/Head 以及序列生成类 Transformer 的整体拓扑探索。

评分¶

新颖性: ⭐⭐⭐⭐ [半自动构建属性树实现文献知识结构化与公平采样，思路严谨且极具启发性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖基准测试、多数据集检验、多维度消融、参数敏感性分析以及实际生成代码解剖]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表详实，问题定位与解决思路丝丝入扣]
价值: ⭐⭐⭐⭐ [为大模型时代的自动化模型设计与代码进化算法提供了标准化的知识管理与搜索范式]