PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents¶

会议: NeurIPS 2026
arXiv: 2605.07039
OpenReview: https://openreview.net/forum?id=5EofrdzApA
领域: 其他
关键词: 进化搜索智能体、测试期学习、强化学习、顾问模型、搜索动态对齐

一句话总结¶

提出解耦策略思考与代码落地的顾问模型强化学习框架 PACEvolve++，通过动态混合群组相对优势与前沿边际贡献优势，在昂贵评估场景下实现了稳定高效的测试期进化搜索策略自适应。

研究背景与动机¶

以大语言模型为驱动的进化程序搜索（如 FunSearch、AlphaEvolve 等）在算法发现、组合优化与符号回归等开放式问题中展现出了巨大潜力。在标准的进化搜索范式下，智能体基于当前最优程序、历史表现度量与搜索轨迹生成突变候选，并通过反复的评估与筛选保留更优后代。近年来的系统（如 PACEvolve、AdaEvolve）通过引入层次化上下文压缩、动量回溯和岛屿化协作等脚手架工程，显著提升了长程搜索的可靠性。然而，现有系统大都依赖固定参数、仅靠 Prompt 提示激发的推理策略：有价值的搜索经验虽然累积在外部脚手架中，但从未真正内化为模型自身的决策偏好，导致智能体无法根据特定任务动态调整搜索行为。

在实际的机器学习工程与科研探索任务（如专家并行负载均衡、序列推荐模型架构设计、多位点蛋白质突变适应度外推）中，对自适应搜索策略的需求尤为迫切。这类现实任务的候选评估极度昂贵，单次检验往往需要经过多卡 GPU 训练、全量仿真或千万级数据评测，耗时数分钟乃至数小时，因此每次进化迭代只能支持极小的采样批量（例如 8 个候选）。若采用传统的端到端强化学习直接训练代码变异策略（如 ThetaEvolve 或 TTT-Discover），较小参数量的开源模型不仅难以同时兼顾高层搜索思考与底层复杂系统代码的正确实现，还会导致执行崩溃与算法思想质量严重纠缠，奖励信号极度嘈杂。更关键的是，长程进化过程具有典型的非平稳性：在搜索初期解空间开阔、候选多样，群组相对差异提供了密集的探索信号；而在搜索后期，代际演进收敛到局部强解附近，候选程序多为近邻变体，奖励差距急剧压缩，此时 GRPO 类相对优势估计极易放大微小噪声导致梯度爆炸，而基于熵权的目标又容易过早坍缩到局部最优。

针对上述核心矛盾，本文提出解耦高层搜索决策与底层代码实现，并在非平稳搜索过程中实施阶段自适应的优势信用分配。核心 idea：构建“顾问-执行”解耦架构，由轻量顾问模型负责假设生成与候选筛选，由前沿大模型执行代码落地；同时设计阶段自适应强化学习算法，在探索期利用群组相对反馈发掘多样变异方向，在精炼期动态转向基于留一法的前沿边际贡献反馈，使策略更新与进化的对数边际收益动态精确对齐。

方法详解¶

整体框架¶

PACEvolve++ 的整体工作流将进化搜索循环、解耦决策架构与测试期强化学习紧密结合。在每次进化迭代中，搜索环境提供当前的父代程序、累积搜索轨迹、历史评估指标以及同步屏障。整个流程首先由可训练的顾问模型（Advisor Model）分析历史搜索动态并提出高层变异假设与候选方案；随后将其交给能力更强的前沿实现模型（Frontier Implementation Model）编译为具体的代码补丁；接着由任务评估沙箱执行测试并反馈真实度量；最后，系统将结果录入进化种群，并依据当前搜索阶段动态计算混合优势函数更新顾问模型参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前父代程序与搜索历史<br/>代码状态 + 指标轨迹"] --> B["1. 顾问与实现解耦<br/>轻量顾问模型生成并筛选突变假设"]
    B --> C["前沿代码实现模型<br/>转换为可执行代码补丁"]
    C --> D["任务环境评估<br/>真实评测指标与进度归一化"]
    D --> E["更新进化种群与外部脚手架<br/>记录最优解前沿"]
    D --> F["3. 进度归一化奖励塑形<br/>方向自适应映射至 [0, 5] 标量"]
    F --> G["2. 阶段自适应优势估计<br/>动态混合群组相对与前沿边际贡献"]
    G --> H["优化更新顾问模型参数<br/>PPO 裁剪与不对称探索更新"]
    H -->|参数同步| B

关键设计¶

1. 顾问与实现解耦：分离搜索策略思考与底层代码编写

在复杂的机器学习工程任务中，高层次的科学搜索决策与底层的代码落地具有完全不同的模型能力需求。直接对 4B-8B 规模的紧凑开源模型进行端到端微调，使其同时输出完整的代码修改，极易因为复杂的工程依赖、API 细节和语法规范导致代码崩溃，使得环境反馈的奖励更多反映了代码实现的容错率，而非算法假设本身的价值。PACEvolve++ 将两者彻底解耦：将强化学习仅施加于轻量级的顾问模型上，专门负责分析过往失败模式、评估新颖性、生成搜索假设与选择最具潜力的变异方向；而将选定假设的实际代码编写工作交由能力更强的冻结前沿模型（如 Gemini 3.1 Pro Preview）执行。这种设计使紧凑模型专注于内化特定领域的动态搜索先验，避免了实现噪声对策略梯度的污染。

2. 阶段自适应优势估计：对齐长程进化动态的双阶段信用分配

进化搜索具有天然的非平稳性：前期解空间多样性高，边际提升大；后期收敛到高分前沿，候选程序高度相似且得分差距极小。传统的单一强化学习目标在微小批量（$N=8$）下极易失效：GRPO 在后期会将微小的数值波动放大为剧烈的梯度尖峰，而 Pass@k 优化（PKPO）在前期又会迅速压制探索熵。PACEvolve++ 提出了随迭代步数线性退火的阶段自适应优势分配机制。在搜索前期的探索阶段（$\alpha_t \to 0$），采用去除了标准差方差爆炸隐患的群组相对优势估计器： $$\hat{A}_i^G = R_i - \bar{R}$$ 在搜索后期的精炼阶段（$\alpha_t \to 1$），算法平滑转向基于 Pass@k 边界贡献的单样本留一（SLOO）估计器： $$\hat{A}_i^{\text{top-k}} = w_i^{\text{SLOO}} = \frac{1}{\binom{N}{k}} \sum_{\substack{I \subseteq \{1,\ldots,N\}\\ |I|=k, \, i \in I}} \left(\max_{j \in I} g_j - \max_{b \in I \setminus \{i\}} g_b\right)$$ 该估计器显式衡量候选样本 $i$ 对子集前沿最大值的实质贡献（非前沿胜出者贡献严格为 0）。为了消除两个分支不同数值尺度对策略裁剪的影响，PACEvolve++ 在混合前对各分支在当前批次 $\mathcal{G}_t$ 内实施群组标准化： $$\tilde{A}_i^{(\cdot)} = \frac{\hat{A}_i^{(\cdot)} - \mu_{\mathcal{G}_t}(\hat{A}^{(\cdot)})}{\sigma_{\mathcal{G}_t}(\hat{A}^{(\cdot)}) + \epsilon_{\mathrm{num}}}$$ 最终得到动态调和的标量优势： $$A_i^{\text{mix}}(t) = (1 - \alpha_t) \tilde{A}_i^G + \alpha_t \tilde{A}_i^{\text{top-k}}$$ 当分支方差低于阈值 $\epsilon_{\text{skip}}$ 时自动跳过更新，避免拟合数值噪声。理论分析证明（定理 1），在奖励缩放压缩 $g_i(\delta) = c + \delta r_i$ 下，标准化后的两个分支平方 $L_2$ 范数均有界于 $N$，且 SLOO 分支具有仿射不变的保序性质，彻底稳定了压缩阶段的梯度范数。

3. 进度归一化奖励塑形：跨多任务异构度量的通用标量化映射

不同工程与科研任务的评估指标差异极大（如负载均衡的均衡度与延迟均值、推荐系统的 NDCG、蛋白质预测的皮尔逊相关系数与 Top-5 精度），且包含最大化与最小化两类截然不同的优化方向。为了给测试期强化学习提供一致稳定的标量反馈，PACEvolve++ 引入了方向感知的进度归一化变量 $u(y)$。对于最大化指标任务： $$u(y) = \operatorname{clamp}\left(\frac{y - y_{\min}}{y_{\max} - y_{\min}}, \, 0, \, 1\right)$$ 若为最小化任务则分子替换为 $y_{\max} - y$。基准区间 $[y_{\min}, y_{\max}]$ 由任务初始值 $y_{\text{init}}$ 与预设目标值 $y_{\text{target}}$ 确定。强化学习的标量奖励定义为线性放缩后的进度分值： $$R_{\text{RL}}(y) = 5.0 \cdot u(y)$$ 对于因超时（如超出 600s/1200s 预算）、语法异常或运行崩溃而无法解析的候选，统一赋以惩罚奖励 $R = -1.0$。这种处理将离散异构的评测结果统一映射至固定的区间，消除了跨任务调试超参数的负担。

损失函数 / 训练策略¶

在得到每个采样回复的综合标量优势 $A_i^{\text{mix}}(t)$ 后，系统将其广播至该回复生成的所有有效 token 步 $(i, \tau) \in \mathcal{T}_t$ 上，即 $A_{i, \tau}^{\text{tok}} = A_i^{\text{mix}}(t)$。顾问模型的优化目标采用带掩码的 PPO 裁剪代理损失，并结合 DAPO 的非对称裁剪阈值以保护低概率但高潜力的探索 token： $$\mathcal{L}(\theta) = -\mathbb{E}_{(i, \tau) \sim \mathcal{T}_t} \left[ \min \left\{ r_{i, \tau}(\theta) A_{i, \tau}^{\text{tok}}, \, \operatorname{clip}(r_{i, \tau}(\theta), \, 1 - \epsilon_{\text{lo}}, \, 1 + \epsilon_{\text{hi}}) A_{i, \tau}^{\text{tok}} \right\} \right]$$ 其中重要性权重比率为 $r_{i, \tau}(\theta) = \frac{\pi_\theta(a_{i, \tau} \mid s_{i, <\tau})}{\pi_{\theta_{\text{old}}}(a_{i, \tau} \mid s_{i, <\tau})}$，裁剪超参数设为 $\epsilon_{\text{lo}} = 0.2, \, \epsilon_{\text{hi}} = 0.28$。优化器采用 AdamW，学习率设为 $1 \times 10^{-6}$，权重衰减为 0.1。训练过程为完全在线（On-policy），每次迭代由 $N=8$ 条并行搜索线程收集样本并在单步梯度更新后同步参数至各推理节点。

实验关键数据¶

主实验¶

评估在三项高难度机器学习系统与科学发现任务上展开： 1. EPLB（MoE 专家并行负载均衡）：基于 DeepSeek-V3 生产环境真实追踪数据，变异设备分配映射算法，综合评估均衡度（Balancedness）与执行速度（Speed = 1/Latency）。 2. KuaiRec（序列推荐模型演进）：基于快手短视频全观测数据集，在 FuXi-Linear 架构上变异特征构造与序列混合模块，评估全量推荐排序的 NDCG@10、NDCG@50、HR@10、HR@50 和 MRR。 3. Multi-Evolve（多突变蛋白质适应度外推）：利用单/双突变数据训练，外推预测高阶突变蛋白适应度，评估 Pearson 相关系数与 Top-5 精度（P@5）。

下表展示了在 DeepSeek-R1-0528-Qwen3-8B（顾问）与 Gemini-3.1-pro-preview（代码实现）配置下，不同强化学习策略与基线的最优候选结果对比：

任务	评估指标	PACEvolve++ (本文)	GRPO (ThetaEvolve)	Max@k (PKPO)	TTT-Discover
EPLB	均衡度 (Bal.)	0.510	0.478	0.458	0.443
EPLB	执行速度 (Speed)	0.035	0.056	0.080	0.050
KuaiRec	NDCG@10	0.110	0.107	0.104	0.103
KuaiRec	NDCG@50	0.145	0.138	0.136	0.134
KuaiRec	HR@10	0.166	0.159	0.156	0.155
KuaiRec	HR@50	0.327	0.303	0.309	0.302
KuaiRec	MRR	0.104	0.101	0.098	0.097
Multi-Evolve	Pearson $r$	0.733	0.688	0.697	0.703
Multi-Evolve	Precision@5	0.452	0.456	0.448	0.415

在紧凑型开源模型 Qwen3.5-4B 上测试同样表现出压倒性优势：在 KuaiRec 上 NDCG@10 达到 0.102（对比 GRPO 0.101、TTT-D 0.073），Multi-Evolve 上 Pearson $r$ 达到 0.726（对比 GRPO 0.675、Max@k 0.630），展现出跨模型尺度的通用自适应增益。

消融实验与动态诊断¶

为了分析阶段自适应策略及各组件对训练稳定性的影响，论文在 Multi-Evolve 与 KuaiRec 任务上深入追踪了策略熵、梯度范数与收敛速度的变化情况：

配置 / 机制变体	最终综合收益	梯度范数表现	策略熵演进趋势	训练稳定性说明
PACEvolve++ 完整配置	最优 (最高收敛值)	稳定收敛于 ~1.0 窄带	初期高熵维持探索，后期温和收敛	无梯度尖峰，兼顾早期广度与后期深度
纯 GRPO (群组相对)	次优	频繁出现梯度尖峰 (>4.0)	中期剧烈震荡	后期奖励差距压缩致方差爆炸，训练失稳
纯 Max@k (PKPO)	较低	梯度较小但早衰	从 1.0 单调骤降至 <0.4	早期缺乏探索机制，过早陷入局部次优
TTT-Discover (熵权+KL)	最差	不规律大幅抖动	发生多次灾难性坍缩	密集奖励分布下极易被单个离群异常样本带偏
无 RL 纯脚手架 (PACEvolve)	接近最优 (需 2x 步数)	N/A (无参数更新)	静态 Prompt 固定分布	需耗费全量 1000 步才能达到饱和性能

关键发现¶

收敛速度大幅提升：在 EPLB 任务上，非强化学习基准虽然最终也能搜到高分近优解，但 PACEvolve++ 仅消耗了其 50% 的进化算力预算（约 500 轮对比 1000 轮）即达到相同性能界限，极大地节约了昂贵的真机评测开销。
阶段自适应彻底熨平了训练病态：诊断追踪显示，GRPO 晚期由于近邻变体分差过小，经常产生大于 4.0 的梯度范数异常激增；而 Max@k 由于仅看极值胜率，策略熵在 200 步内便单调坍缩至 0.4 以下丧失变异多样性。PACEvolve++ 凭借线性退火的优势混合，使策略梯度范数全程平稳维持在 1.0 附近，同时保留了充分的决策熵。
帕累托前沿探索特异性：在细分指标中，不同算法在帕累托前沿上展现出独特的偏好（如 EPLB 中速度与均衡度的权衡、KuaiRec 中头部命中率与长尾召回的权衡）。PACEvolve++ 能够在综合目标收益最大化的同时，取得更全面的综合前沿指标。

亮点与洞察¶

搜索决策与代码执行的智能解耦：将大模型强化学习从端到端“写代码”的泥潭中解脱出来，使可训练的小模型专注于变异假设的科学直觉与前沿判断，由大模型负责确定性代码转换，极大降低了复杂工程任务测试期微调的进入门槛。
与非平稳进化动态一致的信用几何学：精准捕捉了进化搜索“早期广度探索、晚期局部微调”的对数递减规律，从理论上证明了标准化群组相对优势与留一法前沿贡献优势的尺度不变性，为黑盒搜索环境下的强化学习设计提供了扎实的数学支撑。
即插即用的轻量化适配：完全兼容现有的长程上下文管理、程序数据库和多分支回溯等脚手架系统，可无缝增强任意现存的 LLM 进化优化算法。

局限与展望¶

计算资源开销与长程限制：由于每个候选程序的评估都需要在真实环境中执行模型训练或密集系统评测，单次完整进化实验的物理耗时极长，本文未能对更长进化步数（如 >2000 轮）或重复试验方差进行全量扩展验证。
实现模型黑盒依赖：当前系统依赖云端前沿商业模型（Gemini 3.1 Pro Preview）保证代码落地成功率，在离线、私有部署或高度特异的编译环境中可能受限，未来有待探索轻量开源实现模型的针对性协同微调。
静态退火调和的粗粒度性：优势混合系数 $\alpha_t$ 采用简单的线性时间步调度，未来可进一步探索基于当前种群适应度停滞程度或动态多样性指标的自适应感知退火。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出顾问解耦与阶段自适应前沿优势估计，精准切中测试期进化搜索痛点。
实验充分度: ⭐⭐⭐⭐☆ 覆盖系统调度、推荐与生物计算三大极具挑战的真实 MLE 场景，诊断曲线详实完备。
写作质量: ⭐⭐⭐⭐⭐ 理论分析严密，问题提出自然，框架与实证逻辑自洽清晰。
价值: ⭐⭐⭐⭐⭐ 为推动大模型在复杂科学探索与自动化算法设计中的落地提供了关键范式支撑。