MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens¶

会议: NeurIPS 2026
arXiv: 2609.30967
领域: 其他
关键词: 大模型评估外壳, 多目标优化, 智能体程序提议, 行为安全, Token效率

一句话总结¶

提出了基于智能体搜索的跨领域大模型外壳（Harness）优化系统 Meta-Harness 及其单阶段联合奖励方案 MoMHa，在准确率、行为安全与 Token 成本的三维帕累托前沿上全面超越现有两阶段与单目标基线。

研究背景与动机¶

大语言模型在下游任务中的实际解决能力，不仅取决于底层模型权重本身，还极大程度依赖于包裹模型的外壳程序（Harness）——即负责构建 Prompt、多轮调度路由、输出解析与异常校验的 Python 代码。一个精心设计的工程外壳能够让小规模模型达到顶尖求解水准，而简陋粗糙的外壳则可能使前沿基座模型严重失准。然而，长久以来模型外壳的编写几乎全凭工程直觉与手工试错，绝大多数自动化提示工程（如 APE、DSPy）也将目标局限于固定的骨架内进行单目标标量准确率优化。

这种传统范式面临的核心矛盾在于：外壳质量本质上是一个多目标权衡问题，高准确率的外壳如果对有害请求来者不拒，或者需要消耗高出一个数量级的 Token 算力成本，在工业实际落地中就完全不可用。现有的自动提示优化方法既无法改变程序的控制流（例如重试、动态路由与校验级联），又将反馈信号压缩为单一准确率标量，从而彻底忽视了行为安全性与推理开销；而如果采用直觉上的“先优化准确率、后压缩 Token”的两阶段流水线，又会在第一阶段将高开销的代码拓扑固化，导致后续无法探索兼顾成本与安全的新型结构。

为了解决这一两难困境，本文主张将外壳设计提升为对准确率、行为安全和 Token 成本三轴的显式多目标搜索，并赋予智能体提议器对历史代码、执行轨迹与诊断制品的全局文件系统检索能力。核心 idea：将 LLM 外壳设计建模为覆盖准确率、行为安全与 Token 消耗的三目标搜索，提出单阶段联合奖励驱动的智能体代码提议框架 MoMHa，配合三层防御体系与细粒度执行轨迹反馈，在单次搜索中自适应演化出兼顾性能与开销的动态程序拓扑。

方法详解¶

整体框架¶

Meta-Harness 采用“提议-防御拦截-评估-日志追踪”的迭代式循环（Propose-Evaluate-Log Loop）。在每一次搜索迭代中，代码提议器（Proposer，基于 Claude Code 实现）通过文件系统工具直接检视此前候选外壳的源代码、单样本执行轨迹（Traces）与打分明细，发起单次程序结构变异并生成完整的 Python 外壳类。生成的代码首先进入三层安全防护栈，通过 AST-Guard 静态分析、领域风险白名单及沙箱环境的多重审查；安全合规的代码随后由评估器（Evaluator）在 50 个搜索样本上执行，计算领域特定的准确率、U-SafeBench 行为安全及 Token 消耗，最终按单阶段联合标量效用函数计算奖励并更新帕累托候选池。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务与搜索集<br/>50个样本/领域知识技能"] --> B["智能体提议器<br/>多文件系统检索与代码变异"]
    B --> C["三层安全防御体系<br/>AST-Guard/技能白名单/沙箱"]
    C -->|AST或沙箱违规| B
    C -->|校验通过| D["多目标联合评估器<br/>准确率/行为安全/Token计算"]
    D --> E["单阶段联合奖励驱动搜索<br/>动态拓扑演化与帕累托更新"]
    E --> F["输出各领域最优外壳<br/>跨模型零样本泛化部署"]

关键设计¶

1. 单阶段联合标量效用搜索：打破两阶段优化对昂贵结构的过早固化 传统的两阶段多目标优化通常在第一阶段冻结准确率最优拓扑（如多轮思维链分解与两轮串行验证），第二阶段仅能在既有框架内微调提示词或做局部截断，极易陷入高成本局部最优。MoMHa 创新性地在单阶段中将三个维度直接暴露给提议器，定义联合搜索标量奖励： $$R(h) = \text{accuracy}(h) + \lambda_{s}\,\text{safety}(h) - \lambda_{t}\,\text{tokens}(h)$$ 其中 $\lambda_s = 1.0$，$\lambda_t$ 经尺度归一化后使得“每减少 1000 个 Token 等价于 1 个百分点的准确率提升”。提议器并非盲目面向标量黑盒盲测，而是能同步读取 scores.json 中的 tokens_used、safety_score 以及 traces.jsonl 中的各阶段调用开销，自发识别出占用了 80% 预算的 20% 异常样本或冗余调用瓶颈，从而自适应发现诸如“高置信度时跳过验证、仅在歧义时单次分解”的低开销动态拓扑结构。

2. 三层代码安全防护栈：防范生成代码沙箱逃逸与非法系统调用 由于智能体提议器输出的是任意可执行的 Python 脚本，直接运行不受限的代码存在严重的宿主破坏风险。MoMHa 构建了逐层递进的三层防御机制：第一层为基于抽象语法树（AST）的静态分析拦截器 AST-Guard，在代码解析阶段直接封禁危险导入模块（如 os、subprocess、socket、sys、shutil 等）、内置高危函数（如 exec、eval、open、__import__ 等）和敏感属性调用（如 popen、system、rmtree），并强制要求实现合规的 Harness 接口类；第二层为领域定制安全技能，按照领域风险等级（Strict/Minimal/Light）对 AST 规则实施校准，例如在数学推理领域仅受控放宽 eval() 与 compile() 供表达式求值，在代码与 SQL 领域执行最严格白名单；第三层为隔离沙箱执行环境，对每个外壳运行时施加 30 秒单次调用超时、10 万 Token 上限、200 次 API 调用上限和空环境变量约束，彻底阻断越权行为。

3. 细粒度执行轨迹诊断与模块化技能组装：提供因果归因支撑 不同于传统提示优化器仅向大模型提供标量分数或压缩摘要，MoMHa 保持了原始执行轨迹的完整可检索性。提议器通过终端命令行工具直接查阅 traces.jsonl 中每一次模型调用的输入提示、原始输出、耗时与 Token，精准定位多调用流水线中的致错根因。同时，提议器的系统提示采用三文件动态组合机制：基础搜索策略技能 proposer_skill.md、领域特定策略库 proposer_<domain>.md（沉淀领域先验如草稿验证、结构路由与错误清洗范式）以及领域安全规范 safety_<domain>.md。这种分离设计避免了冷启动阶段重复摸索通用技巧，实现了仅需替换少量领域配置文件即可横向迁移到全新任务。

损失函数 / 训练策略¶

外壳搜索为无参数训练的黑盒程序变异过程。在每个领域运行约 100 次提议迭代，每次提议需经历四道筛选门禁：AST-Guard 语法审查、MockLLMClient 的 3 样本轻量桩验证、搜索集带资源保护的预筛评测、以及相对于当前最优奖励的底线过滤（约 30% 候选能进入最终裁决）。在评估阶段，为实现跨领域综合对比，论文构建了兼顾三维特性的综合评估指标： $$J_{v,d} = \frac{\text{acc}_{v,d} \cdot \text{Safe}_{v}}{\ln(\text{tokens}_{v,d})}$$ 其中 $\text{Safe}_v$ 为在 U-SafeBench 三个行为安全领域上的对称奖励（$0.5 \times \text{refusal}_{\text{unsafe}} + 0.5 \times \text{compliance}_{\text{helpful}}$）平均值，分母的自然对数实现温和的 Token 惩罚。

实验关键数据¶

主实验¶

在 7 个合成能力领域与 3 个 U-SafeBench 用户安全领域（共 10 领域）及 12 款覆盖 Claude、GPT、Gemini 与 DeepSeek 的模型机队上进行评测，综合评分 $J$ 与分项指标如下：

方法	类别	综合均值 $J$	能力准确率	行为安全率	平均 Token/样本
MH (Lee et al., 2026)	外壳代码搜索	0.305	0.478	0.569	522
CoT (Zero-shot)	提示词基线	0.328	0.426	0.642	412
APE (Zhou et al., 2023)	提示词搜索	0.347	0.459	0.637	508
OPRO (Yang et al., 2024)	提示词搜索	0.283	0.392	0.573	496
DSPy (Khattab et al., 2024)	复合程序优化	0.363	0.542	0.641	2229
MIPROv2 (Opsahl-Ong et al., 2024)	贝叶斯提示优化	0.350	0.461	0.641	584
TextGrad (Yüksekgönül et al., 2024)	文本反向传播	0.422	0.485	0.747	618
GEPA (Agrawal et al., 2025)	遗传帕累托进化	0.381	0.488	0.669	592
AutoHarness (Lou et al., 2026)	代码拒绝采样	0.198	0.184	0.486	320
MoMHa (Ours)	多目标外壳搜索	0.482	0.539	0.781	672

在 7 个真实世界公开基准（LawBench, NuminaMath, FEVER, Spider, HumanEval, MBPP, MMLU-Pro）且零额外搜索调优的泛化测试中，MoMHa 获得 5 个领域的单项第一，整体均值达 0.461（大幅领先最强基线 DSPy 的 0.377）。

消融实验¶

在相同的提议器骨干下对比 MoMHa 家族的内部消融配置（10 领域跨模型综合评测）：

配置变体	说明与关闭组件	能力准确率	行为安全率	综合均值 $J$	平均 Token	3D超体积 (HV)
MoMHa (Full)	单阶段联合优化完整系统	0.539	0.781	0.611	572	0.481
2-phase	阶段1保准确率/阶段2压Token	0.520	0.735	0.584	667	0.425
MoMHa-ns	剥离领域安全技能文件	0.528	0.716	0.584	620	0.400
MoMHa-noTok	联合奖励移除 Token 惩罚项	0.512	0.748	0.583	641	0.412
MoMHa-scalar	仅给标量奖励，移除单样本Trace	0.539	0.754	0.604	640	0.447
MH (Base)	单目标仅优化准确率	0.478	0.569	0.492	522	0.362

关键发现¶

单阶段联合搜索彻底击败两阶段流水线：MoMHa 相比两阶段优化综合指标高出 +2.7 个点，且每个样本平均少消耗 95 个 Token；两阶段方法过早锁定昂贵的校验死循环，无法触及单阶段发现的置信度门控剪枝。
完整执行轨迹包含不可替代的因果信号：仅向提议器提供标量打分导致安全性从 0.781 降至 0.754，在反馈粒度消融中，甚至出现“标量+自然语言摘要”不如“纯标量”的反直觉现象（摘要丢失了定位致错调用的细节，诱导模型发起大面积破坏性重构）。
跨模型零样本泛化稳健：基于 Claude Haiku 搜索出的外壳直接迁移至 12 款模型，在 8 款模型上稳居第一；仅在内置长 CoT 的纯推理模型（如 o4-mini、DeepSeek-R1）上因模型内部生成 Token 过长而在以 log(token) 为分母的指标中略逊于极端简短的提示词。

亮点与洞察¶

外壳作为独立第一等设计平面：超越了单纯的系统提示词修改，将动态分支、环境嗅探、Schema 剪枝与类型校准直接交由智能体进行可执行 Python 级编程搜索。
成本项对拓扑剪枝的反哺效应：在奖励函数中引入 Token 代价不仅起到了正则化作用，还倒逼模型跳过盲目多轮自验证，在文本分类与 SQL 生成上促成了更简洁因而泛化更优的单轮高置信度方案。
动态外壳的自适应演化模式：在 Agentic Coding 任务上演化出先读取依赖环境快照再写代码的双轮启动机制，彻底消除了多次运行时环境试错的死循环。

局限与展望¶

搜索阶段算力开销：每个领域需要经历约 100 次提议评估迭代，虽然提议器调用次数可控，但多次评估基座模型依然带来了一定的 API 调用累积开销。
复杂推理模型的适配偏置：对具有强内生思维链的模型（如 DeepSeek-R1、o4-mini），外壳附加的多轮流程容易与模型内置推理逻辑发生 Token 叠加冗余，未来需要探索专门适配长内生思考流的精简外壳形态。
目标维度的进一步扩展：当前仅覆盖准确率、安全与 Token 三轴，未来可扩展至端到端时延、置信度校准度及生产环境在线流式持续进化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将大模型交互外壳程序建立为三维多目标智能体进化搜索问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 17 个领域、12 款异构模型、15 款变体以及充分的超体积与消融验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，实验图表信息极其密集，附录机制分析极为详实。
价值: ⭐⭐⭐⭐⭐ 为大模型系统的工业落地部署与高效可靠外壳设计提供了全新的自动化范式。