PACE: Two-Timescale Self-Evolution for Small Language Model Agents¶

会议: NeurIPS 2026
arXiv: 2605.23019
OpenReview: https://openreview.net/forum?id=oJZW5RKOB4
领域: LLM Agent
关键词: 小语言模型智能体, 自我演化, 双时间尺度优化, 控制逻辑演化, 留出集验证

一句话总结¶

针对小语言模型（SLM）在参数冻结场景下演化易出现语法有效但语义退化的问题，本文提出双时间尺度自我演化框架 PACE，先在内层快速迭代低风险提示词，待收益饱和后再触发出题评估与留出集验证把关的高风险控制逻辑更新，在 3 个 SLM 底座和 4 个基准上相对原始智能体取得最高 9.2% 的准确率提升。

研究背景与动机¶

基于语言模型的智能体在复杂推理、工具调用与多步决策中展现出显著潜力，但在实际业务中部署这些智能体往往面临严峻工程挑战。传统生产级智能体高度依赖人工精调提示词、输出解析器、验证重试模块以及动态路由逻辑，维护成本高昂。现有自我演化框架（如基于前沿大模型的反射与代码自我重写）通常假设底层模型具备极强的自我诊断与代码纠错能力，能自主判断自身提议是否合理。

然而，在边缘部署、高并发低延迟或隐私敏感场景下，参数规模小于等于 14B 的冻结小语言模型（SLM）才是更具性价比的选择。受限于模型容量，SLM 存在明显的“双重脆弱性”：一方面，纯提示词演化（Prompt Evolution）虽然稳定且低成本，但模型对复杂上下文的消化能力有限，往往经过几轮修改后便迅速陷入收益饱和；另一方面，若允许 SLM 直接修改可执行的控制逻辑（Control Logic），模型极易生成“语法合法但语义严重退化”的代码（例如重写 solver 时意外漏掉核心任务上下文或破坏分支逻辑），造成隐蔽的性能倒退。

这种稳定与退化并存的矛盾表明，提示词优化与控制逻辑调整承担着性质截然不同的改进角色，不可作为无差别的动作在同等频率下联合搜索。必须建立一种兼具探索深度与鲁棒性的多层演化调度机制。核心 idea：构建双时间尺度的自主演化框架 PACE，将低风险的提示词精调作为高频默认迭代路径，并在检测到提示词收益饱和后才进入控制逻辑结构搜索，且所有生成的代码候选必须通过留出集经验验证与资源预算约束后方可提交。

方法详解¶

整体框架¶

PACE 面向参数完全固定的冻结小语言模型 $M_\theta$，优化目标是在给定的资源开销预算 $B$ 下，最大化智能体配置在任务分布 $\mathcal{T}$ 上的预期效用： $$\max_{P,C} \mathbb{E}_{\tau \sim \mathcal{T}} \left[ U(\tau, A(\tau; M_\theta, P, C)) \right] \quad \text{s.t.} \quad \mathrm{Cost}(A) \le B$$ 其中 $P$ 为文本类提示词配置（包含角色描述、任务指令、格式约束与采样超参），$C$ 为可执行控制逻辑代码（包含输出解析、校验规则、重试机制、推理时配置与多路回退策略）。

整个演化系统由一个中心化智能体控制器统一驱动，包含快慢两个时间尺度的循环协同。在快时间尺度内，控制器固定控制逻辑 $C$，高频调用提示词优化工具进行局部精调；当监测到提示词验证收益衰减至饱和阈值以下时，控制器触发慢时间尺度，通过失败归因分析生成受约束的求解器控制逻辑提案，并通过留出集交叉比对与预算守卫决定是否合并代码更新。一旦控制逻辑更新被接受，系统重新进入提示词演化循环，使提示词适应新的代码架构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["初始智能体 A=(P0, C0) 与任务定义"] --> PE["1. 快速提示词演化<br/>突变、反思与交叉生成候选前沿"]
    PE --> Gate1{"2. 演化信用分配<br/>ΔUP >= ε ?"}
    Gate1 -->|是: 收益未饱和| PE
    Gate1 -->|否: 提示词饱和| FA["3. 结构化失败归因<br/>提取/格式/推理错误分类"]
    FA --> CE["4. 受限控制逻辑提议<br/>基于安全代码接口生成 candidate solver C'"]
    CE --> Gate2{"5. 留出集经验验证<br/>ΔUC > δ 且 Cost <= B ?"}
    Gate2 -->|通过: 接受更新| Commit["提交代码 C <- C'<br/>重置提示词演化基线"]
    Gate2 -->|未通过: 拒绝更新| Reject["丢弃候选 C'<br/>保持原有控制逻辑"]
    Commit --> PE
    Reject --> Out["输出最优已验证智能体 A*"]

关键设计¶

1. 快速提示词演化：在固定代码拓扑下以极低成本穷尽文本空间收益
针对 SLM 代码生成极易出错但文本微调相对平稳的特点，PACE 将提示词演化作为默认的高频内循环。该机制在固定的控制逻辑 $C$ 下运行多步，每轮通过三条互补通道衍生候选提示词：人工设计的轻量扰动算子（调整角色、推理指令与采样温度）、失败驱动的反思候选（模型首先对上一轮执行失败输出单句归因分析，再由提议调用生成针对性修正），以及基于当前 Pareto 前沿最优候选的双亲交叉重组。所有候选在训练小批次上评估，并维护在权衡准确率与 Token 成本的 Pareto 前沿上。采样下一代父节点时根据失败案例的覆盖多样性进行轮盘选择，最终选出留出验证集上表现最优的提示词配置 $P^*(C)$。

2. 演化信用分配：利用饱和度监测避免过早扰动控制逻辑
传统代码自演化方法往往在搜索初期便频繁修改执行逻辑，而此时提示词尚未对齐，微小代码修改极易与劣质提示词耦合引发系统崩溃。PACE 引入了基于增量收益的信用分配触发器。定义提示词边际改进为当前轮次与上一轮次在验证集 $\mathcal{V}$ 上的经验效用差值： $$\widehat{\Delta U}_P^{(t)} = \widehat{U}(A(P_t, C); \mathcal{V}) - \widehat{U}(A(P_{t-1}, C); \mathcal{V})$$ 当 $\widehat{\Delta U}_P^{(t)} \ge \epsilon$ 时，系统判定纯文本调整仍有红利，严格禁止进入代码修改阶段；仅当 $\widehat{\Delta U}_P^{(t)} < \epsilon$（默认 $\epsilon=0.01$）时，控制器才判定提示词已达到表达极限，此时遗留的失败往往来源于输出格式脆弱、缺乏自校验或重试机制缺失等结构性瓶颈，系统据此放行控制逻辑搜索。

3. 结构化失败归因与安全求解器接口：引导定向且语法合法的代码探索
在触发控制逻辑修改后，盲目重写整个智能体模块会导致极高的语法错误率和无序搜索。PACE 首先调用失败分析工具，将近期错误样本分类为三类：提取与运行时错误、格式与约束违背、推理与内容错误。随后，模型在预定义的安全编辑边界内调用 action_adjust_logic 修改 solver 函数或辅助类。该机制对核心 LLM 调用原语（如 action_call_llm）设置不可变写保护，屏蔽黑名单原语（禁止休眠与外部破坏性调用），并在代码编译期先进行语法树校验，确保生成的候选代码 $C'$ 严格符合求解器契约接口。

4. 留出集经验验证把关：杜绝自评幻觉与语义回归代码合入
由于 SLM 自身常常出现评估幻觉，会误将退化代码当成优质代码，PACE 严格分离了“代码提议”与“代码合入”，禁止模型主观判断。系统引入专门的对比动作 action_compare_variants，在动态重采样的留出验证集 $\mathcal{V}$ 上并行执行当前智能体 $A_{\text{old}}=(P, C)$ 与候选智能体 $A_{\text{new}}=(P, C')$。候选逻辑被正式接受且提交的充要条件为： $$\widehat{U}(A_{\text{new}}; \mathcal{V}) > \widehat{U}(A_{\text{old}}; \mathcal{V}) + \delta \quad \text{且} \quad \mathrm{Cost}(A_{\text{new}}) \le B$$ 阈值 $\delta$（默认设为 0.02）设定了统计显著性缓冲带，有效过滤掉因小样本随机波动带来的虚假增益。若验证集提升未达标或推理开销超标，该提案立即被废弃并触发安全回滚，保证智能体演化过程在期望上严格单调不退化。

损失函数 / 训练策略¶

PACE 是完全基于推理期代码与上下文搜索的免微调框架，模型权重 $\theta$ 全程冻结，不计算反向传播梯度。算法超参数设置包括：外循环最大轮数 $K=20$，提示词演化内循环最大步数 $L$，信用分配饱和阈值 $\epsilon=0.01$，验证把关门限 $\delta=0.02$。单次演化实验包含 200 个训练样本用于内循环提示词评估，留出验证集在每次比较时动态采样以防过拟合。在推理开销控制上，内循环 Pareto 选择与外循环验证门限联合惩罚只涨 Token 不提分的臃肿结构，引导 SLM 自主发现带有提前退出机制（如共识达标提前终止）的高效推理模式。

实验关键数据¶

主实验¶

在 4 个经典基准（MMLU、MGSM、HotpotQA、IFEval）和 3 种冻结 SLM 底座（4B 到 14B）上，PACE 在全部 12 个组合中均刷新了当前适配方法的最高得分，显著超越 Vanilla、纯提示词演化（+PE）、纯控制逻辑演化（+CE）以及现有自动化优化器（GEPA、MIPROv2、Gödel Agent、ACE）。

底座模型	方法	MMLU	MGSM	HotpotQA	IFEval
Frontier Ref.	DeepSeek-V3.2 (685B)	0.908	0.932	0.779	0.865
Qwen3-4B	Vanilla	0.771	0.795	0.775	0.691
	MIPROv2	0.771	0.795	0.758	0.691
	GEPA	0.771	0.802	0.775	0.676
	ACE	0.800	0.808	0.775	0.711
	Gödel Agent	0.797	0.812	0.772	0.705
	+CE (仅控制逻辑)	0.797	0.821	0.770	0.722
	+PE (仅提示词)	0.788	0.815	0.775	0.705
	+PACE (本文)	0.818 (+6.1%)	0.831 (+4.3%)	0.776 (+0.0%)	0.727 (+5.2%)
Qwen3.5-9B	Vanilla	0.818	0.858	0.754	0.697
	MIPROv2	0.797	0.861	0.739	0.697
	GEPA	0.832	0.878	0.741	0.704
	ACE	0.805	0.889	0.771	0.718
	Gödel Agent	0.835	0.864	0.780	0.732
	+CE (仅控制逻辑)	0.835	0.904	0.752	0.725
	+PE (仅提示词)	0.832	0.872	0.789	0.718
	+PACE (本文)	0.889 (+8.6%)	0.909 (+5.9%)	0.803 (+6.5%)	0.761 (+9.2%)
Ministral-3-14B	Vanilla	0.800	0.770	0.596	0.781
	MIPROv2	0.833	0.783	0.583	0.801
	GEPA	0.825	0.775	0.625	0.816
	ACE	0.818	0.785	0.605	0.788
	Gödel Agent	0.797	0.825	0.659	0.810
	+CE (仅控制逻辑)	0.836	0.880	0.654	0.828
	+PE (仅提示词)	0.832	0.814	0.709	0.816
	+PACE (本文)	0.854 (+6.7%)	0.908 (+17.9%)	0.774 (+29.8%)	0.837 (+7.2%)

消融实验¶

在 Qwen3.5-9B 上对演化信用分配阈值 $\epsilon$（控制何时由提示词转入代码搜索）和验证门限 $\delta$（控制代码合入门槛）进行网格敏感性分析。

消融配置	MMLU 得分	IFEval 得分	配置说明
默认完整 PACE ($\epsilon=0.01, \delta=0.02$)	88.9	76.1	最佳平衡配置，过滤噪声并捕获有效结构增益
$\epsilon=0$ (退化为纯提示词演化)	83.2	71.8	完全不进行控制逻辑演化，在结构性瓶颈处饱和
$\epsilon=0.005$	87.9	73.4	提示词搜索过度压榨，转换偏慢
$\epsilon=1.0$ (第一轮即解锁结构搜索)	88.4	72.5	未充分优化提示词即改代码，早期噪声较大导致掉点
$\delta=-1$ (无验证门禁，任意代码全合入)	88.3	72.3	语法合法但语义退化的代码合入，IFEval 大幅回退 3.8%
$\delta=0$ (仅要求非负增益)	88.8	74.6	容易被验证集随机波动带偏，引入边际劣质修改
$\delta=0.05$ (过严把关门槛)	88.9	75.2	过滤掉中等但真实的结构收益，次优收敛

关键发现¶

双轴演化互补性突出：+PE 能低成本解决提取和浅层格式错误，而残存的复杂约束和多步逻辑推理错误则必须依赖 +CE。例如在 Qwen3.5-9B 的 IFEval 上，+PE 提升 3.0%，+CE 提升 4.0%，而 PACE 双时间尺度协同带来了 9.2% 的相对提升。
验证把关是稳定性基石：在测试统计的全部控制逻辑提议中，4B 与 9B 模型分别有大量提案虽能执行但产生负向收益（4B 在 MMLU/MGSM 上分别有 7 个和 11 个退化代码被拦截），验证门禁 $\delta$ 成功阻断了几乎所有非正收益代码合入。
自主涌现任务特化推理架构：在无人工预设模板的情况下，PACE 自主在选择题（MMLU）上演化出“3 路采样 + 多数投票 + 一致性校验”结构，而在约束生成（IFEval）上演化出“生成 + 约束打分验证 + 针对性定向重写”结构，且都自主加入了阈值达标提前退出的降本机制。

亮点与洞察¶

双时间尺度分流机制：巧妙将低风险连续搜索（提示词空间）与高风险离散跃迁（Python 控制流空间）解耦，利用边际收益衰减作为调度信号，从机制上解决了小模型自写代码易发散的致命弱点。
自研架构无需教师模型或微调：完全在冻结的 4B-14B 参数模型上闭环运行，既不依赖 GPT-4/Claude 等昂贵的前沿教师模型提供反馈，也不改变底层权重，仅需 2M-3M Token 的单次演化成本即可长期受益。
推理期自适应计算分配：演化后的智能体在简单样本上触发早停（如 MMLU 一致性达成时直接返回，规避二次验证），在复杂样本上调用多路校验，使得平均 Token 增加可控的同时将性能推至逼近甚至超越前沿大模型的水平（如 Qwen3.5-9B 在 HotpotQA 上达到 0.803，超越 DeepSeek-V3.2 的 0.779）。

局限与展望¶

作者承认的局限：目前控制逻辑的编辑空间主要限定在单个任务求解器 solver 的输入输出封装、采样策略、打分及重试流程，尚未涉及多智能体拓扑动态重构；此外在极端困难的多跳推理任务（如 4B 模型在 HotpotQA 上）中，模型固有知识储备成为绝对天花板，演化收益有限。
审读发现的局限：演化过程在动态留出集上的开销虽为一次性，但在多轮对话评测（如 $\tau$-bench）中，每次验证评估耗时极长（单域 4 轮评测约需 8 小时），难以在资源极其紧缺的实时在线系统上持续演化。
未来改进方向：可利用 PACE 沉淀下来的“提议-留出验证”轨迹构建成对的偏好数据集（Accepted vs. Rejected 代码），通过强化学习离线训练专用的演化控制器（Meta-Controller），进一步提高代码提议的成功率。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向冻结 SLM 智能体的双时间尺度演化架构，解耦提示词与控制逻辑更新并引入基于饱和度的信用分配。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4B 到 14B 的 3 种开源骨干模型、4 大离线基准与动态工具交互基准 $\tau$-bench，包含细致的方差分析、Token 开销解构与门禁消融。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，数学定义与算法伪代码清晰，消融实验与失效模式演进分析极为详实。
价值: ⭐⭐⭐⭐⭐ 为轻量级端侧及私有化部署的大模型智能体提供了切实可行的免微调自进化落地范式，工程借鉴意义显著。

消融配置	MMLU 得分	IFEval 得分	配置说明
默认完整 PACE (\(\epsilon=0.01, \delta=0.02\))	88.9	76.1	最佳平衡配置，过滤噪声并捕获有效结构增益
\(\epsilon=0\) (退化为纯提示词演化)	83.2	71.8	完全不进行控制逻辑演化，在结构性瓶颈处饱和
\(\epsilon=0.005\)	87.9	73.4	提示词搜索过度压榨，转换偏慢
\(\epsilon=1.0\) (第一轮即解锁结构搜索)	88.4	72.5	未充分优化提示词即改代码，早期噪声较大导致掉点
\(\delta=-1\) (无验证门禁，任意代码全合入)	88.3	72.3	语法合法但语义退化的代码合入，IFEval 大幅回退 3.8%
\(\delta=0\) (仅要求非负增益)	88.8	74.6	容易被验证集随机波动带偏，引入边际劣质修改
\(\delta=0.05\) (过严把关门槛)	88.9	75.2	过滤掉中等但真实的结构收益，次优收敛