Accelerating Neural Architecture Search with Code Semantics¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 模型压缩
关键词: 神经网络架构搜索, 代码语义转移, 进化算法, 风险感知路由, 预评估筛选
一句话总结¶
提出首个面向神经网络架构搜索的代码语义转移评估器 ECO-SCE,通过建模父代到候选架构的代码演化效用与风险感知路由,在进入昂贵评估前安全过滤低收益突变,零样本迁移下平均节省 70.88% 的 GPU 搜索开销。
研究背景与动机¶
神经架构搜索(NAS)是实现自动化 AI 模型设计的核心技术,在强化学习、进化算法以及近年来基于大语言模型(LLM)代码重写的推动下,展现出了强大的自动化网络设计能力。然而,各类 NAS 方法普遍遵循“生成-评估-提炼”的循环迭代范式,而最大的瓶颈始终在于架构评估极其昂贵——每次评估通常需要对候选网络进行完整训练、部分训练收敛或基准数据集查询。随着基于代码重写的 LLM-NAS 快速兴起,生成一段可执行代码的门槛大幅降低,但在种群演化过程中产生的大量候选架构其实并没有带来实质性的性能增益,大量算力被浪费在评估那些低收益甚至冗余的突变代码上。
为了缓解这一瓶颈,传统加速手段通常尝试让单次评估变得更便宜,例如权重共享超网、低保真度训练、零样本代理(Zero-Cost Proxies)或基于学习的性能预测器。然而,面对基于代码演化的 NAS 范式,这些独立架构评分方案暴露出两个核心矛盾:其一,决策单元不匹配。进化与代码重写 NAS 本质上是在已有父代架构上进行局部修改,核心问题并非候选架构本身的独立绝对质量,而是本次代码修改相对于父代是否提供了有价值的增益——一个候选架构可能在独立代理评分下表现尚可,但相对于父代架构却毫无进化收益甚至发生退化;其二,传统预测器往往依赖特定下游任务的先验统计或验证集微调,若每个新任务都需要额外评估一批候选来校准预测模型,实际上只是将评估成本进行了转嫁而非真正消除。
因此,能否在不进行下游微调的前提下,仅仅依据代码修改本身的语义与结构变化,在调用评估器之前判断这次父代到候选的转移是否值得评估?本文正是从这种架构转移建模的视角切入,利用静态程序分析与代码大模型嵌入来衡量代码演化的方向与幅度。核心 idea:将神经架构搜索加速重塑为代码语义转移效用建模任务,构建离线监督数据集 NB101-SemPair 学习父代至候选架构的代码演化效用,通过全局语义漂移、显式程序结构差异与局部近邻证据协同的轻量级估计器 ECO-SCE,在进入昂贵评估前安全过滤低收益突变并保留高潜力与高不确定性候选。
方法详解¶
整体框架¶
ECO-SCE 被无缝插入在架构生成器与昂贵评估器之间。对于生成器基于父代架构 \(a_p\) 突变产生的候选架构 \(a_c\),传统 NAS 流水线会直接将其送入评估器以获取任务真实得分 \(s(a_c)\);而 ECO-SCE 首先抽取父子架构演化对 \(\tau = (a_p, a_c)\) 的代码语义与结构演化特征,预测后验进化收益 \(\Delta(\tau) = s(a_c) - s(a_p)\) 的分布,并通过风险感知路由策略进行分流:明确判断为负向或极低收益的转移被直接丢弃并保留父代档案,而高潜力或高不确定性的转移则交由完整评估器进行精准评分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["父代代码与新候选架构代码<br/>(a_p, a_c)"] --> B["多维代码演化表征<br/>全局语义漂移+结构差异+稀疏重叠"]
B --> C["双界回归与局部证据估计器<br/>双边界分类+幅度回归+KNN证据库"]
C --> D["风险感知分流路由策略<br/>判定拒绝/不确定/值得评估状态"]
D -->|低收益转移拒绝| E["跳过评估<br/>丢弃候选并保留父代档案"]
D -->|高潜力或不确定分支| F["昂贵真实评估器<br/>训练/验证/基准测评分数"]
F --> G["更新架构档案与种群<br/>指导后续LLM或进化搜索"]
关键设计¶
1. 多维代码演化表征:统一稠密语义漂移、细粒度结构差异与稀疏重叠特征
针对稠密代码嵌入容易忽略局部算子编辑、而纯语法树/Diff 指标又缺乏高维语义功能理解的痛点,ECO-SCE 提出了一种联合表征向量 \(x(\tau) = [x_{\text{dense}}; x_{\text{code}}; x_{\text{sparse}}] \in \mathbb{R}^{1316}\),从不同抽象层级刻画代码变更: - 全局语义漂移 \(x_{\text{dense}} = \text{Embed}_{\text{dense}}(C_c) - \text{Embed}_{\text{dense}}(C_p) \in \mathbb{R}^{1024}\),采用高表达力的代码嵌入模型抽取父子代码演化区 \(C_p\) 与 \(C_c\) 的向量差,捕获宏观功能重写的语义演进方向; - 显式结构编辑 \(x_{\text{code}} \in \mathbb{R}^{285}\),解析 AST 语法树模式、词元统计、行级替换、模块调用类型以及变量定义-使用(def-use)关系,精确捕捉跳跃连接、通道投影及归一化等具体程序修改; - 稀疏语义重叠 \(x_{\text{sparse}} \in \mathbb{R}^7\),对比稀疏嵌入空间的非零维度计数、交并集大小、Jaccard 相似度以及稀疏余弦距离,有效区分微小局部修饰与激进的架构重写。 提取后利用训练集统计量完成标准化,并经由主成分分析压缩至低维正交空间 \(z(\tau) = \text{PCA}_{64}(\text{Std}(x(\tau))) \in \mathbb{R}^{64}\),确保后续推断在毫秒级内完成。
2. 双界回归与局部证据估计器:结合全局演化方向判定、幅度回归与近邻残差标定
面对跨任务零样本迁移时绝对分数值域漂移严重的问题,ECO-SCE 并不直接预测候选架构的绝对精度,而是解耦为演化方向分类、变化强度回归与局部可靠性校准三个轻量级模块: - 双边界分类器引入变化裕度 \(m = 0.02\),定义负向劣化标签 \(y_{\text{bad}}(\tau) = \mathbb{I}[\Delta(\tau) \le -m]\) 与正向增益标签 \(y_{\text{good}}(\tau) = \mathbb{I}[\Delta(\tau) \ge m]\),训练两个线性逻辑回归器输出边界概率 \(p_{\text{bad}}(z)\) 与 \(p_{\text{good}}(z)\),将微小扰动留在裕度区间内保守对待; - 变化幅度回归器采用线性岭回归拟合绝对性能变化量 \(\hat{a}(z) \approx |\Delta(\tau)|\),并与边界概率整合得到带符号的收益估计: $\(\hat{r}(z) = (p_{\text{good}}(z) - p_{\text{bad}}(z))\hat{a}(z)\)$ - 局部证据库(KNN Evidence Bank)在 PCA 隐空间中检索 \(K=80\) 个最近邻历史训练样本 \(N_K(z)\),统计局部劣势支撑度 \(s_{\text{bad}}(z) = \frac{1}{K}\sum_{i \in N_K(z)} y_{\text{bad}}(\tau_i)\) 与优势支撑度 \(s_{\text{good}}(z)\),并提取近邻残差的 90% 分位数作为局部不确定性度量 \(u(z) = \text{Quantile}_{0.9}(\{|\Delta(\tau_i) - \hat{r}(z_i)|\})\)。该模块将全局参数化估计与局部非参数样本证据相互印证,有效防止估计器在特征外推区域产生过分自信的误判。
3. 风险感知分流路由策略:依托保守拒识门限与不确定性回退保障搜索安全
在线搜索中最致命的失效不是漏评了平庸网络,而是误将潜在的重大改进架构拦截。为此,ECO-SCE 制定了严苛的拒绝准则与不确定性回退机制,将转移划分为拒绝(reject)、不确定(uncertain)与值得评估(eval-worthy)三种状态。只有当全局与局部证据高度一致证实其有害时才触发拒绝: $\(R_{\text{rej}}(z) = 1 \iff p_{\text{bad}}(z) \ge \tau_{\text{bad}} \land p_{\text{good}}(z) \le \tau_{\text{protect}} \land s_{\text{bad}}(z) \ge p_{\text{bad}}(z) \land \hat{r}(z) + \lambda u(z) < 0\)$ 针对超参数的选择,本文提出可行高原代表得分(FPRS)准则,在预先设定的安全约束范围(错过改进率 \(\le 10\%\)、错误接受率 \(\le 10\%\)、前 10% 优质候选保留率 \(\ge 90\%\))内,选取靠近最大缩减高原的代表参数配置 \((\tau_{\text{bad}}, \tau_{\text{good}}, \tau_{\text{protect}}, \lambda) = (0.40, 0.40, 0.40, 0.25)\)。凡不满足绝对拒绝条件的候选,均作为不确定或值得评估的样本安全回退给真实评估器,从机制上构筑了搜索质量的安全底线。
一个完整示例¶
在 CLRS-DFS 图推理算法搜索任务中,父代处理器包含基于张量外积的标准三元组分支(Triplet Branch)。某轮迭代中生成器提出了两种候选代码:
- 候选 A 仅在原有三元组消息路径后引入一个基于图上下文全局特征调控的高阶门控(triplet_gate),其余消息传递主干保持原样。ECO-SCE 提取特征后计算出较低的稠密语义漂移与清晰集中的局部结构改动,\(p_{\text{bad}} = 0.12\),\(p_{\text{good}} = 0.68\),KNN 证据库显示同类改动在历史上大多带来微调稳定增益,路由判定为 eval-worthy 送入评估,最终实测准确率显著提升至 60.01%;
- 候选 B 则激进地重构了多头三元组投影,并并行引入边门控、方向门控、邻接修正以及针对 DFS 特异性的激活门控。其特征向量显示出巨大的全局语义漂移与混乱的 AST 结构差异,KNN 近邻残差表明局部不确定性较高且 \(p_{\text{bad}} = 0.82 \ge \tau_{\text{bad}}\),触发安全过滤机制被立即跳过,避免了一次耗时且易过拟合的完整训练评估。
损失函数 / 训练策略¶
ECO-SCE 从 NAS-Bench-101 构建了包含 10,000 个定向架构演化对的 NB101-SemPair 数据集,按 60%/20%/20% 划分训练/验证/测试集。训练阶段仅需在 CPU 上拟合标准化均值方差、64 维 PCA 投影矩阵、两个线性二分类逻辑回归与一个岭回归器,耗时不足 1 秒。在线部署时单次推断平均仅耗时 126.17 ms(100 轮演化总开销仅 15.23 秒),所有模型参数与超参数在离线确定后直接以零样本方式应用于所有跨领域下游任务,搜索过程中不进行任何权重更新。
实验关键数据¶
主实验¶
在涵盖算法推理、序列分类、文本分类与强化学习控制等 7 个跨领域下游基准上,将 ECO-SCE 零样本插入 OpenEvolve 进化算法流水线中,搜索轮数固定为 100 轮,对比纯 OpenEvolve 的 GPU 耗时与最终任务表现:
| 数据集 | 任务类型 | OpenEvolve 耗时 | +ECO-SCE 耗时 | GPU 时间缩减 | 任务基线得分 | +ECO-SCE 得分 | 表现变化 |
|---|---|---|---|---|---|---|---|
| CLRS | 算法推理 (30 tasks) | 6.01 h | 1.74 h | -71.01% | 62.69 | 86.10 | +23.41 |
| MNIST1D | 1D 序列分类 | 0.74 h | 0.20 h | -72.97% | 70.25 | 80.10 | +9.85 |
| MNIST1D-shuffle | 乱序 1D 序列分类 | 1.03 h | 0.31 h | -69.90% | 61.65 | 67.48 | +5.83 |
| 20 Newsgroups | 文本分类 | 0.29 h | 0.13 h | -55.17% | 57.10 | 57.91 | +0.81 |
| CartPole-v1 | RL 智能体控制 | 0.73 h | 0.09 h | -87.67% | 377.60 | 500.00 | +122.40 |
| Yeast | 生物信息表格分类 | 0.21 h | 0.18 h | -14.29% | 61.78 | 62.63 | +0.85 |
| Breast Cancer | 医学诊断表格分类 | 0.13 h | 0.01 h | -92.31% | 96.90 | 96.81 | -0.09 |
| 平均 / 总结 | – | 1.31 h | 0.38 h | -70.88% | – | – | 6/7 项胜出 |
在 CLRS 算法推理基准测试的所有 30 个任务上,在 CLRS-DFS 上搜索后做跨任务零样本泛化测试:
| 方法 | 模型参数量 ↓ | DFS 搜寻任务准确率 ↑ | 30 任务平均准确率 ↑ | 排除 DFS 跨任务平均 ↑ | 最优任务胜场数 (Wins) ↑ |
|---|---|---|---|---|---|
| Triplet-GMPNN | 467.3 K | 47.79% | 75.98% | 76.95% | 1/30 |
| OpenEvolve (基线) | 498.6 K | 32.54% | 62.69% | 63.73% | 1/30 |
| EvoPrompting | 478.2 K | 68.14% | 80.88% | 81.32% | 2/30 |
| Spark | 470.2 K | 83.74% | 83.91% | 83.92% | 10/30 |
| OpenEvolve + ECO-SCE (本文) | 485.9 K | 60.01% | 86.10% | 87.00% | 16/30 |
在 NB101-SemPair 受控过滤测试中(固定跳过 75.02% 评估预算),对比不同策略保留高收益候选的能力:
| 过滤策略 | 错过改进率 (Missed Imp.) ↓ | 前 10% 优选保留率 (Top-10 Kept) ↑ | 评估跳过比例 (Eval. Red.) |
|---|---|---|---|
| Random 随机过滤 | 74.97% | 25.53% | 75.02% |
| Rule-based 启发式规则过滤 | 64.08% | 38.80% | 75.02% |
| Acc. Pred. 独立绝对精度预测 | 54.54% | 99.40% | 75.02% |
| ECO-SCE (本文) | 8.98% | 94.80% | 75.02% |
消融实验¶
在 MNIST1D-shuffle CNN 架构族演化设置下(固定 100 轮搜索)进行核心组件消融:
| 配置 | 运行通过数 | 完整评估调用数 ↓ | 过滤跳过数 ↑ | GPU 耗时 ↓ | 最佳测试准确率 ↑ |
|---|---|---|---|---|---|
| OpenEvolve 原始基线 | 100 | 100 | 0 | 1.27 h | 59.10% |
| Full ECO-SCE (完整模型) | 93 | 10 | 83 | 0.46 h | 72.40% |
| w/o Evidence (移除 KNN 证据库) | 85 | 26 | 41 | 1.30 h | 71.40% |
| w/o Magnitude (移除变化幅度回归器) | 98 | 19 | 71 | 0.88 h | 71.80% |
| w/o Boundary (移除双边界分类器) | 89 | 24 | 59 | 1.11 h | 66.50% |
特征表征层级消融(在离线测试集上):
| 特征配置 | AUROC ↑ | Macro-F1 ↑ |
|---|---|---|
| 仅代码语义特征 (Semantic only) | 76.34% | 51.05% |
| 仅代码结构特征 (Structural only) | 82.34% | 60.25% |
| 联合特征 (Semantic + Structural) | 86.09% | 66.13% |
关键发现¶
- 双边界分类器是维系搜索性能质量的生命线:移除双边界分类器会导致准确率从 72.40% 骤降至 66.50%(下降 5.9 个百分点),表明方向性判断是区分有益演化与有害突变的最核心信号;
- 局部近邻证据库是压缩评估开销的决定性屏障:去掉 KNN 证据库后,真实评估调用次数从 10 次大幅反弹至 26 次,GPU 耗时由 0.46h 飙升至 1.30h(翻倍以上),说明非参数化近邻残差标定为激进跳过平庸网络提供了关键的置信依据;
- 语义与结构特征具备高度互补性:纯结构特征在单项判别上优于纯语义特征(82.34% vs 76.34% AUROC),但两者融合后 AUROC 进一步跃升 3.75 个百分点、Macro-F1 跃升 5.88 个百分点,证实了结合宏观功能意图与显式 AST 编辑的必要性;
- 真实有效代码过滤率极高:在 93 个通过语法检查的可运行候选程序中,ECO-SCE 成功筛除了 83 个低收益突变(跳过率达 89.25%),仅用 10 次真实评估即逼近甚至超越了全量评估的演化收敛边界。
亮点与洞察¶
- 从评估单个架构转向评估代码转移效用:跳出二十年来给单个架构打绝对分数的思维定势,抓住进化与代码重写中“父代已知”的本质先验,将问题重构成有监督的双代码差分演进预测,兼顾了高效性与抗分布漂移能力。
- 全局概率、局部近邻与不确定性回退的三道安全闸门:巧妙构建了由参数化分类回归、非参数化 KNN 残差和保守拒绝门限组成的风险感知控制闭环,确保在大幅跳过评估的同时不对高质量突变产生误杀。
- 完全解耦于下游任务的零样本即插即用范式:在 NAS-Bench-101 离线训练的轻量化参数,无需任何目标任务代码微调或验证集标注,即可直接嵌入到各类 LLM 代码进化循环中,真正实现评估算力的实质性缩减。
局限与展望¶
- 长代码与复杂代码库表征开销与噪声:目前的方法高度依赖提取清晰的演化函数代码切片,若架构定义高度分散在多个文件或嵌套复杂封装中,代码嵌入提取的代币开销与 AST 分析难度将急剧上升;
- 离线训练空间集中于卷积微搜索空间:NB101-SemPair 主要脱胎于 NAS-Bench-101 的单元结构微空间,未来仍需探索在 Transformer、扩散模型等现代大模型代码演化空间上的扩展;
- 边界保守性仍存在潜在优选截断:为了确保安全性,不确定性回退机制在某些极度复杂的突变下仍可能过于保守地放行评估,如何在动态搜索过程中增量更新证据库是值得深入的方向。
相关工作与启发¶
- vs 零成本代理 (Zero-Cost Proxies, 如 SynFlow, NASWOT):零成本代理通过初始化梯度或激活流估计单模型质量,但无法衡量局部修改相对于父代模型的边际收益,且经常在细微重构上失效;本文利用代码级多维语义差异,直接建模相对转移增益。
- vs 性能预测器 (Performance Predictors, 如 BRP-NAS):传统预测器需要使用目标任务的先验标注样本进行回归微调,存在昂贵的冷启动成本;本文采用差分表征与风险分流,实现真正的下游零样本即插即用。
- vs 代码级 LLM 架构生成器 (如 EvoPrompting, LLMatic, Spark):生成类工作专注于如何产生更多样、更优质的代码突变,但缺乏廉价可靠的后验门控;本文与此类生成方法完全正交互补,可直接充当其下游演化评估的加速过滤器。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳脱单模型评分传统,提出基于代码语义差异的相对转移建模与风险感知路由。
- 实验充分度: ⭐⭐⭐⭐⭐ 兼顾离线受控过滤、跨 7 个异质领域的下游进化搜索实验与详尽的组件/超参消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,方法脉络清晰,公式符号节制且定义严密。
- 价值: ⭐⭐⭐⭐⭐ 为解决 LLM 代码演化与 NAS 中评估昂贵这一核心痛点提供了轻量实用的生产级加速方案。