SePO: Self-Evolving Prompt Agent for System Prompt Optimization¶

会议: NeurIPS 2026
arXiv: 2606.04465
OpenReview: https://openreview.net/forum?id=cJX1IpMwgF
代码: https://github.com/taowangcheng/SePO
领域: LLM Agent
关键词: 系统提示词优化, 自演化智能体, 开放式进化搜索, 自指闭环, 跨任务泛化

一句话总结¶

提出基于自指闭环架构的自演化系统提示词优化框架 SePO，打破传统优化器系统提示词人工固定的上限，通过多任务预训练与单任务微调的两阶段开放式进化搜索，使提示词优化能力成为可跨任务积累与迁移的通用技能。

研究背景与动机¶

大语言模型智能体已广泛应用于复杂推理、代码生成、多步决策等实际场景中。在不修改底层模型权重的前提下，系统提示词优化（System Prompt Optimization）因具备高可解释性、模型无关以及即插即用等优势，成为调优智能体行为的关键手段。现有的自动提示词优化范式通常引入一个专门的“提示词智能体”（Prompt Agent），由其读取任务智能体（Task Agent）在验证集上的评测反馈，并针对性地迭代生成更优的系统提示词。

然而，现有方法存在一个隐蔽而根本的不对称性矛盾：优化器（提示词智能体）自身的系统提示词始终是人工静态编写的，其优化逻辑在面对海量不同任务时无法自适应升级。即便是引入元提示词进化机制的方法（如 PromptBreeder），其元层级最顶层的超变异提示词依旧由人工硬编码锁定，形成未闭合的元栈；而跨任务元学习方法（如 MetaSPO）的元优化器同样处于学习循环之外，且仅产出单一的全局静态提示词，难以兼顾不同垂直任务的独特推理需求。由于优化器无法积累提示词工程经验，其优化能力上限始终被受限于人类专家的经验直觉。

为了从根本上消除优化器与被优化目标之间的层级割裂，本文提出将提示词智能体自身视作一个特殊的任务智能体，其执行的任务正是“优化智能体提示词”，从而让同一套进化流程既能优化下游任务智能体的提示词，也能优化提示词智能体自身的提示词。核心 idea：构建自指闭环进化框架 SePO，将提示词智能体的自身提示词同样纳入开放式演化搜索目标，并通过“多任务预训练积累通用提示词优化技能 + 目标任务微调定向赋能”的两阶段训练范式，将提示词工程从静态启发式工具转化为可跨任务泛化的通用演化能力。

方法详解¶

整体框架¶

SePO 将系统提示词优化建模为两阶段开放式进化搜索流水线。整个系统分为两个阶段：预训练阶段（Pre-training）与微调阶段（Fine-tuning）。在预训练阶段，提示词智能体在多任务任务池（SePO-Generalist）或单任务池（SePO-Specialist）上运行自指闭环搜索，将其初始种子提示词 $\tilde{p}^{(0)}$ 自主演化为具备通用提示词优化能力的强力提示词 $\tilde{p}^{\star}$；在微调阶段，提示词智能体冻结使用演化出的 $\tilde{p}^{\star}$ 作为自身系统提示词，驱动下游任务智能体的系统提示词从初始种子 $p^{(0)}$ 进化到目标任务专属的最优提示词 $p^{\star}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph STAGE1["第一阶段：提示词智能体多任务预训练"]
        direction TB
        A1["多任务预训练任务池<br/>𝒟̃ (多样性与相关性贪心选择)"] --> B1["自指闭环自演化机制<br/>提示词智能体优化自身副本 p̃"]
        B1 --> C1["开放式进化搜索档案库<br/>自适应温度采样 + keep_better 准入"]
        C1 --> D1["产出通用优化能力系统提示词 p̃⋆"]
    end
    subgraph STAGE2["第二阶段：目标任务智能体定向微调"]
        direction TB
        D1 --> E2["载入预训练提示词 p̃⋆<br/>冻结作为提示词智能体系统提示词"]
        E2 --> F2["任务评估批次反馈<br/>平衡失败与成功样本 (~1:1)"]
        F2 --> G2["任务系统提示词进化演变<br/>p 迭代生成专属引导工作流"]
        G2 --> H2["输出目标任务最优系统提示词 p⋆"]
    end

关键设计¶

1. 自指闭环自演化机制：消除优化层级边界 传统方法将提示词智能体视为外部黑盒算子，其系统提示词 $\tilde{p}$ 恒定不变，仅更新任务提示词 $p$。本文通过定义形式化的“提示词任务” $\tilde{T}=(\tilde{\mathcal{D}}, \tilde{S})$，将两层优化统一至同构数学形式。提示词任务的数据集 $\tilde{\mathcal{D}}$ 包含输入元组 $\tilde{x}=(T, A, E)$（包含当前任务定义、任务智能体配置及包含成功与失败样本的评估批次 $E$），评分函数 $\tilde{S}$ 衡量新提示词 $p'$ 相对父代 $p$ 在任务 $T$ 上的精度提升。在此定义下，提示词智能体的优化目标为： $$\tilde{p}^{\star} = \arg\max_{\tilde{p}} \mathbb{E}_{(T,A,E)\sim\tilde{\mathcal{D}}}\left[\tilde{S}\left(T, A, E, \tilde{A}_{(\tilde{p},\tilde{M},\tilde{W})}(T,A,E)\right)\right]$$ 该公式与下游任务提示词的优化目标结构完全对同。在预训练的每次演化迭代中，当前父代提示词 $\tilde{p}$ 直接作为提示词智能体自身的系统提示词去生成新的子代候选 $\tilde{p}'$，实现了“智能体修改自身副本”的自指闭环，彻底摆脱了传统元优化栈需要更高阶人工规则兜底的递归困境。

2. 开放式进化搜索档案库：防止退化与逃离局部最优 针对贪心线性搜索容易陷入局部最优和灾难性遗忘的问题，SePO 维护一个由优良候选提示词组成的非空演化档案库 $\mathcal{A}$。每代进化包含父代采样、并行生成子代与档案库准入三个步骤。为了平衡高质量提示词的深度挖掘与探索的多样性，从档案库中采样父代提示词 $a \in \mathcal{A}$ 遵循带子代惩罚的自适应温度 Softmax 分布： $$\Pr(a) \propto \exp\left(\frac{s_{a} - \max_{b} s_{b}}{\tau}\right) \cdot \frac{1}{(1+c_{a})^{0.4}}, \quad \tau = \max\left(\frac{2}{3}(\max_{b} s_{b} - \min_{b} s_{b}),\, 0.05\right)$$ 其中 $s_a$ 为提示词 $a$ 相对其生成基线的精度增益得分，$c_a$ 为该候选已被选为父代生成子代的历史次数，指数因子 $0.4$ 有效抑制频繁选中的热点节点，引导算力流向未被充分探索的潜在跳板（stepping stones）。在准入机制上，采用 keep_better 策略，仅当子代在评估批次上的实测得分不低于其直接父代时，方可被接收入库，从而构建起平滑上升的演化台阶。

3. 多任务贪心任务选择策略：构建高迁移预训练任务池 在通用配置（SePO-Generalist）中，多任务池的组合构成直接决定了预训练提示词的泛化宽度与对抗过拟合能力。SePO 采用多任务贪心选择算法构建预训练集合。给定候选任务池 $\mathcal{P}$、目标评测任务集 $\mathcal{T}$ 和用于快速评估的代理任务集 $\mathcal{V}$（选取高难度与专精特征显著的 AIME'25 和 ARC-AGI-1），算法利用 LLM 裁判针对任务对评估技能相似度 $\mathrm{TaskSim}$ 与格式相似度 $\mathrm{FormatSim}$ 计算综合相关度 $\mathrm{Rel}(d, t)$，并引入多样性增益惩罚冗余任务： $$\mathrm{Score}(d \mid M) = \lambda \sum_{t\in\mathcal{T}} \mathrm{Rel}(d, t) + (1-\lambda)\left(1 - \max_{d'\in M}\mathrm{Sim}(d, d')\right)$$ 通过贪心逐项扩充，并基于代理任务集 $\mathcal{V}$ 验证精度确定最佳集合规模（实验证实大小为 4 时取得最佳平衡，避免任务过多导致优化信号稀释，或任务过少导致泛化不足），构建出包含 STEM、ARC-AGI-1、LIMO 与 MBPP 的高迁移预训练组合。

损失函数 / 训练策略¶

SePO 的核心驱动基于离散文本空间的演化策略，不涉及底层模型的梯度反向传播。在进化搜索评估阶段，每个候选提示词的评估批次固定设置为 16 个样本，且按照约 1:1 的比例混和失败样本与成功样本（优先填充失败用例），有效避免仅看失败样本引发的“矫枉过正/灾难性回退”以及仅看成功样本导致的“缺乏改进信号”。在预训练和微调阶段，系统均设定为 $G=5$ 代，每代并行繁衍 $K=2$ 个子代候选。底层基座模型采用解耦设置：任务智能体运行 DeepSeek-V3.2（温度设为 0 以保证确定性与评测准确性），提示词智能体运行 Gemini 3.1 Pro Preview（高推理模式，温度设为 1.0 以激发多样的提示词改写策略）。

实验关键数据¶

主实验¶

在涵盖竞赛级数学推理（AIME'25）、抽象视觉推理（ARC-AGI-1）、研究生级科学多选（GPQA）、代码合成（MBPP）以及逻辑约束谜题（Sudoku）五个领域的标准基准上，对比 Manual-CoT、基于文本梯度的反向传播优化器 TextGrad 以及跨任务元学习基线 MetaSPO。任务智能体采用 DeepSeek-V3.2，提示词智能体采用 Gemini 3.1 Pro Preview。

数据集	指标	SePO-Generalist (本文)	SePO-Specialist	MetaSPO	TextGrad	Manual-CoT	相对Manual-CoT提升
AIME'25	pass@1	64.22	60.94	57.71	55.99	57.55	+6.67
ARC-AGI-1	pass@3	43.39	37.46	37.27	34.75	37.30	+6.09
GPQA	pass@1	78.18	76.72	75.51	74.44	76.46	+1.72
MBPP	pass@1	96.20	95.55	89.30	90.15	91.20	+5.00
Sudoku	pass@1	99.90	99.80	96.80	96.60	96.95	+2.95
平均 (Avg.)	-	76.38	74.09	71.32	70.39	71.89	+4.49

消融实验¶

基于 SePO-Generalist 考察提示词智能体自演化（Self-Improvement）与开放式演化搜索（Open-Ended Evolution）对系统性能的核心贡献。

配置	AIME'25	ARC-AGI-1	GPQA	MBPP	Sudoku	平均 (Avg.)	说明
SePO-Generalist (Full)	64.22	43.39	78.18	96.20	99.90	76.38	完整模型：多任务预训练自演化 + 档案库演化
w/o 自演化预训练	62.81	39.76	76.21	95.95	99.95	74.94	移除预训练自演化（使用人工种子优化器），平均下降 1.44 点
w/o 开放式进化搜索	57.24	41.58	73.74	91.10	99.55	72.64	用贪心线性搜索替换档案库，平均暴跌 3.74 点
Manual-CoT (基准)	57.55	37.30	76.46	91.20	96.95	71.89	静态手工编写初始系统提示词

关键发现¶

自演化提示词智能体有效打破了手工规则上限：去掉预训练自演化（w/o Self-Improvement）在抽象推理极其严苛的 ARC-AGI-1 上剧烈回退 3.63 点，证实演化后的提示词智能体自发总结出的“保护思维链、校准领域严密性、抵御过拟合”等元认知原则显著增强了复杂任务的指导能力。
档案库进化搜索机制是跳出局部陷阱的核心支柱：将档案库进化替换为单线贪心搜索（w/o Open-Ended Evolution）后，AIME'25 准确率暴跌 6.98 点，甚至低于未优化的 Manual-CoT（57.24 vs 57.55）。原因在于线性搜索缺乏回溯能力，在严苛数学推理中极易被偶然成功但脆弱的特化提示词带偏。
卓越的零样本与跨模型泛化鲁棒性：Sudoku 任务从未进入任何预训练池，但通用版 SePO 依旧将其准确率从 96.95 推升至 99.90；同时在更换异构基座（任务智能体切为 Gemini 3.1 Flash-Lite，提示词智能体切为 Claude Opus 4.6）的跨模型实验中，SePO 依然在所有任务上稳稳压制 Manual-CoT，平均准确率净提升 2.13 点。

亮点与洞察¶

自指闭环优雅破解元优化无限回溯困境：以往演化方法常陷入“优化器需要更上层元优化器去优化”的无穷递归。SePO 证明了通过形式化同构定义，单一提示词智能体完全能将自身作为操作对象进行自主演变与能力进阶。
预训练+微调范式在离散提示词空间的成功落地：将自然语言提示词优化抽象为可预训练、可复用、可迁移的认知资产，仅需一次 37 美元的多任务预训练，即可平摊至各类下游任务，显著拉低后续调优的算力门槛。
元认知防御原则自发涌现：经历多任务预训练自演化后，提示词智能体的系统提示词自发衍生出严格的代码命名空间冲突防御、Token 分词器截断自验、禁止竞赛拟合猜题等高级元工程规则，展现出媲美顶级人类专家的提示词设计直觉。

局限与展望¶

搜索深度扩展效应边际递减：当演化代数从 5 代继续放大时，性能收益呈现出对数级放缓趋势，提示词优化的上限可能受到底层基座模型固有参数容量和认知边界的硬性约束。
评估基准维度仍有拓展空间：当前验证任务集中在单轮推理、代码与算法谜题，尚未覆盖长期记忆多轮人机对话、具身环境长程规划以及大规模外部工具调用（Tool-use Agent）等复合场景。
向智能体全栈结构自演化延伸：未来有望将自指进化逻辑从系统提示词单点推广至智能体的工作流拓扑结构（Workflow）、工具函数集合（Tool definitions）与记忆检索策略（RAG policies）的联合自演化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思巧妙，首次在系统提示词工程中实现严格自洽的自指闭环自演化机制。
实验充分度: ⭐⭐⭐⭐⭐ 评测覆盖五大跨学科高难基准，详尽完成了消融分析、任务池贪心验证与跨模型鲁棒性检验。
写作质量: ⭐⭐⭐⭐⭐ 形式化数学定义清晰严谨，演化前后提示词定性对比透彻，论述逻辑流畅有力。
价值: ⭐⭐⭐⭐⭐ 为自主自演化智能体（Self-Evolving Agents）探索出了一条低算力消耗且高泛化性的全新落地路径。