LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling¶

会议: NeurIPS 2026
arXiv: 2605.08083
OpenReview: https://openreview.net/forum?id=oH6xObXkeJ
代码: https://github.com/zhengkid/AutoTTS
领域: Reasoning
关键词: 测试时计算扩展, 智能体发现, 离线重放环境, 探索策略优化, 宽度深度控制

一句话总结¶

提出 AutoTTS 环境驱动发现框架，将测试时扩展策略设计转化为离线重放环境中的代码控制器合成问题，利用参数单标量化与细粒度执行轨迹反馈，以极低成本自动发现优于强人工设计策略的推理计算分配算法。

研究背景与动机¶

测试时计算扩展（Test-Time Scaling, TTS）已成为提升大语言模型复杂推理能力的关键途径。模型推理表现不仅取决于分配了多少计算量，更取决于这笔计算预算如何在不同分支与深度之间动态分配。然而，现有 TTS 策略基本处于人工启发式设计阶段：研究人员凭经验和直觉手写分支探索、早期停止、探测评估以及剪枝准则，使得计算分配空间中的大量高效模式未被探索，且针对特定任务微调超参数耗时耗力。

从统一的广义搜索空间来看，无论是通过采样多条推理路径扩展宽度的 Self-Consistency 族方法，还是通过延长单链思考推进深度的递增模型，本质上都是宽度-深度（Width-Depth）控制空间中的特化硬编码策略。然而，直接利用 LLM 智能体自动搜索更优的 TTS 控制代码面临两大阻碍：在线生成新分支调用大模型开销极大导致搜索闭环难以承受；搜索智能体容易引入过多超参数并在有限轮次内过拟合到搜索集极端阈值，同时粗粒度的准确率-成本标量标量反馈无法让智能体诊断控制流中的失败原因。

针对上述矛盾，本文从根本上重塑研究范式：将人类专家的职责从“手工设计具体启发式策略”转变为“构建可自动化发现的探索环境”。核心 idea：构建基于离线预采集轨迹与中间探测信号的无调用重放环境，引入单标量 $\beta$ 参数化单调映射约束与细粒度执行轨迹反馈，让代码智能体自动合成 Pareto 前沿更优的自适应测试时计算分配控制器。

方法详解¶

整体框架¶

AutoTTS 的核心思想是将推理时计算分配形式化为一个离线重放马尔可夫决策过程（Replay MDP）上的控制器代码合成任务。在准备阶段，针对搜索基准集预先采样固定推理轨迹池，并按固定 token 区间生成探测信号，使后续所有控制器的评估完全脱离实际 LLM 采样，实现极速且确定性的仿真重放。

在探索阶段，以 Claude Code 作为探索智能体，通过多轮迭代闭环改进控制器代码。每轮探索中，智能体审查由往轮代码、准确率-成本缩放曲线以及细粒度执行决策轨迹构成的历史记录，定位前序策略在分支保留、过早终止或算力浪费上的根因，提出新控制器代码；环境在搜索集上扫描标量 $\beta$ 评估其 Pareto 表现并将轨迹追加入历史；最终输出验证性能最优的控制器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线数据预采集<br/>固定步长区间轨迹与中间探测信号"] --> B["离线重放评估环境<br/>零LLM开销仿真执行分支控制动作"]
    B --> C["单标量 Beta 参数化映射<br/>单调映射约束防止超参数过拟合"]
    C --> D["细粒度执行轨迹诊断反馈<br/>记录分支展开/剪枝/停止动态流"]
    D --> E["Claude Code 控制器代码迭代综合<br/>提出并演进置信度动量控制器"]
    E -->|更新历史与Pareto前沿| B
    E --> F["输出发现的高效控制器 (CMC)<br/>部署于测试集与跨模型推理"]

关键设计¶

1. 离线重放评估环境：零在线推理开销的确定性控制模拟 在线评估生成的候选控制器需要对大模型反复生成分支并调用探测，计算开销极其昂贵。AutoTTS 针对每道题目预先从基底 LLM 采样 $N$ 条独立的推理路径，并将每条路径切分为长度为 $\Delta$ 个 token 的固定步长区间，在每个区间节点预先获取探测答案 $\omega_{i,k}$。控制器在状态 $s_t$ 下可执行原子动作集： $$\mathcal{A}(s_t)=\{\texttt{BRANCH}\} \cup \{\texttt{CONTINUE}(i)\} \cup \{\texttt{PROBE}(i)\} \cup \{\texttt{PRUNE}(i)\} \cup \{\texttt{ANSWER}\}$$ 所有动作均直接在预采轨迹矩阵上进行索引读取，例如 $\texttt{PROBE}$ 动作仅需查表读取预存中间答案，$\texttt{BRANCH}$ 仅需将指针激活新预采路径。单次评估仅耗费微量 CPU 内存操作，彻底免除在线大模型推理，使得多轮代码演进和多参数扫描成为可能。

2. 单标量 Beta 参数化：压缩搜索空间并消除过拟合 初期实验发现，无约束的代码生成智能体倾向于定义多达 10 个自由超参数（如针对各深度的剪枝阈值、多重停止条件），并在几轮交互内快速拟合搜索集边缘案例，演化出过度激进的剪枝规则，导致泛化性能崩溃。为解决高维控制空间塌陷问题，AutoTTS 强制规定候选控制器仅向外暴露单个标量超参数 $\beta \in [0, 1]$，并在控制器内部实现由 $\beta$ 到全部内部超参数的确定性单调映射函数（即更大的 $\beta$ 严格对应更大的 token 计算预算）。这种设计将高维启发式搜索压缩为一维连续缩放曲线，约束智能体发现内在协同的动态规则而非孤立的静态阈值。

3. 细粒度执行轨迹反馈：超越标量数字的因果诊断 单纯的准确率与消耗 token 标量无法向智能体揭示控制器为何失败——模型无法判断究竟是剪枝过早导致漏掉正确解，还是停止判定过于迟钝造成算力空转。AutoTTS 在探索历史记录中不仅记录多 $\beta$ 扫描下的准确率-成本缩放曲线，更记录包含分支扩张、探测反馈、剪枝时机与各分支存活时长的完整执行轨迹（Execution Traces）。探索智能体据此精准定位缺陷，例如在发现低成本下准确率大幅跌落时意识到剪枝容忍度不足，从而在后续轮次中引入动量平滑机制。

4. 动量置信度发现控制器（CMC）：四维协同推理分配机制 在 AutoTTS 闭环迭代下自动合成的最优控制器（Confidence Momentum Controller, CMC）展现出远超人工设计的协同精细度，由四个内生机制组成： - 动量趋势停止（Trend-based Stopping）：放弃传统基于单步瞬时置信度阈值的早期退出，转而维护候选池置信度的指数移动平均（EMA），仅当 EMA 置信水平高且变化动量非负时才允许终止，有效防止瞬时偶发一致性引发的误判早停。 - 宽度-深度动态解耦与耦合联动（Coupled Width-Depth Control）：通过 EMA 变化增量联动控制；当置信度增益强劲时抑制新分支生成，当置信度停滞或倒退时自适应唤醒宽度分支扩展。 - 共识对齐深度倾斜分配（Alignment-Aware Depth Allocation）：在每轮推进中，当前中间答案与候选池领先答案完全一致的分支获得额外的深度探测步数突发推进（burst allocation），把宝贵算力优先倾斜给潜在有效路径。 - 保守分支容忍放弃机制（Conservative Branch Abandonment）：分支只有在连续偏离主流答案达到耐心步数阈值后才被剪枝，并强制保留至少两个活跃分支，杜绝过早单链崩溃。

一个完整示例¶

以求解一道 AIME 数学难题为例，CMC 控制器设定 $\beta=0.5$ 启动推理：初始阶段，控制器调用 $\texttt{BRANCH}$ 启动 4 条分支并在首个 500 token 区间执行 $\texttt{PROBE}$。此时分支反馈答案分散，EMA 置信度低且动量斜率为负，触发宽度扩展机制，控制器追加生成 2 条新分支。在推进至 1500 token 时，发现分支 1、2、4 的中间探测答案逐步收敛至一致数值 $X$，池置信度 EMA 产生显著正向提升。系统立即触发“对齐深度倾斜”，向分支 1、2、4 连续分配深度 $\texttt{CONTINUE}$ 并追加探测步，而对偏离答案的分支 3、5 暂停深度追加并累计不匹配计数。在推进到 2500 token 时，分支 3、5 达到放弃耐心阈值被 $\texttt{PRUNE}$，但系统强制保留次优活跃分支 6。此时池内绝大多数有效分支答案高度一致，EMA 置信度跨过停止门限且变化动量非负，控制器触发 $\texttt{ANSWER}$ 动作输出多数投票结果，总耗费 token 相比全量 64 分支暴降约 70% 且成功锁定正确解。

实验关键数据¶

主实验¶

在四种规模的 Qwen3 基础模型（0.6B、1.7B、4B、8B）上进行评估。控制器仅在 AIME24 上通过 5 轮探索生成，随后直接在完全未见过的 AIME25 与 HMMT25 基准上进行零样本泛化测试，并与 Self-Consistency (SC@64)、Adaptive Consistency (ASC)、Early-Stopping SC (ESC) 及 Parallel-Probe 进行全面对比。

评估基准与基底模型	策略类型	准确率 (%)	Token 消耗	相对 SC@64 Token 节约
Qwen3-1.7B / AIME25 (Held-out)
SC @ 64	手工设计	44.4	1054.1k	-
ASC	手工设计	44.4	600.9k	43.0%
ESC	手工设计	44.4	913.8k	13.3%
Parallel-Probe	手工设计	44.7	775.8k	26.4%
AutoTTS ($\beta=0.5$)	自动发现	46.7	327.9k	68.9%
AutoTTS ($\beta=1.0$)	自动发现	49.0	612.6k	41.9%
Qwen3-4B / HMMT25 (Held-out)
SC @ 64	手工设计	43.6	1168.3k	-
ASC	手工设计	44.0	388.9k	66.7%
ESC	手工设计	43.6	990.2k	15.2%
Parallel-Probe	手工设计	44.7	872.3k	25.3%
AutoTTS ($\beta=0.5$)	自动发现	45.7	365.0k	68.8%
AutoTTS ($\beta=1.0$)	自动发现	46.5	686.8k	41.2%
跨模型平均 / Held-out Avg.
SC @ 64	手工设计	45.2	1107.9k	-
AutoTTS ($\beta=0.5$)	自动发现	45.3	338.2k	69.5%
AutoTTS ($\beta=1.0$)	自动发现	47.1	646.6k	41.6%

消融实验¶

消融实验在四种模型（0.6B、1.7B、4B、8B）跨 AIME24、AIME25 和 HMMT25 的平均表现上验证各设计组件的有效性。

实验配置	AIME24 准确率 (%)	AIME25 准确率 (%)	HMMT25 准确率 (%)	三数据集综合平均 (%)	平均 Token 消耗	发现阶段开销 ($)
AutoTTS (完整模型)	65.2	57.6	36.5	53.1	575.5k	$39.9
w/o Beta Parameterization (去单标量参数化)	60.7	54.4	31.9	49.0	93.3k	$46.4
w/o Execution Traces (去细粒度执行轨迹)	64.0	56.7	34.1	51.6	824.3k	$30.9

关键发现¶

Beta 参数化的防塌陷机制至关重要：去除 Beta 参数化后，探索智能体引入了大量离散超参数，并在搜索集上陷入极度激进的剪枝策略（Token 降至 93.3k），导致未见测试集上的综合准确率暴跌 4.1%（从 53.1% 跌至 49.0%）。
细粒度执行轨迹是有效调优的导向标：仅提供准确率与成本标量时，智能体无法洞察剪枝与停止动作的实际时序配合，导致探索出的控制器无法合理削减无效分支，Token 消耗急剧膨胀至 824.3k 且准确率下滑 1.5%。
突破人工设计的 Pareto 前沿上限：CMC 不仅在低预算（$\beta=0.5$）下以减少近 70% 算力持平强基线，在充分预算（$\beta=1.0$）下更能主动滤除噪声死路径并将算力灌注给高潜力路径，在 8 个基准测试场景中有 5 个创下超越所有手工设计的最高绝对精度。
强大的跨模型族与跨任务泛化性：在基于 Llama 架构蒸馏的 DeepSeek-R1-Distill-Llama-8B 上，CMC ($\beta=1.0$) 取得 27.2% 的准确率（高于 SC@64 的 26.7%）并将 Token 减半；在非数学的多学科推理基准 GPQA-Diamond 上，$\beta=0.5$ 仅耗费 151.0k token 便斩获 41.6% 准确率（优于 SC@64 的 41.3% 与 510.0k token）。

亮点与洞察¶

范式重构与人类角色的转移：论文不再执着于人工微调某个局部的早停阈值，而是设计出一套低成本的可复用探索环境，将人类研究员从“算法编写者”解放为“环境构建者”。
固定离线重放环境打破算力壁垒：通过预采集轨迹与状态机查表重放，将原本需要耗费数万美元且容易超时崩解的交互式在线策略搜索，压低至单次仅需 39.9 美元与 160 分钟普通计算时间。
动量平滑与宽度深度双向耦合：算法自动衍生出的 EMA 动量平滑早停策略有效规避了单步假性收敛陷阱，这种协同机制是过去单点改良算法极难通过直觉直接构想出来的。

局限与展望¶

控制动作集合较为受限：当前动作空间局限于固定 step 步长的顺序切分与二元剪枝，尚未纳入可变长 token 思考步长、树搜索回溯（MCTS-like backtrack）或动态重写前缀等更复杂的拓扑动作。
高度依赖前沿专有代码模型：探索智能体目前依赖 Claude Code，尚未验证开源小尺寸模型是否具备同等水平的控制代码诊断与自省反思进化能力。
离线重放环境的采样分布偏差：离线轨迹全部基于固定温度和前置策略采样，无法评估那些需要在推理中途动态更改采样 prompt 或温度策略的交互式 TTS 算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将测试时计算分配抽象为重放环境中的代码控制器合成，开创了环境驱动 TTS 算法发现新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种参数量、跨模型族（Qwen3、DeepSeek-R1-Distill）与跨学科任务，消融与缩放曲线详尽完整。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨自洽，将复杂的控制空间形式化表述得清晰透彻，附录代码分析详实。
价值: ⭐⭐⭐⭐⭐ 仅需极低发现成本即可输出可落地的高效推理分配策略，对工业界大规模模型部署推理加速具有重要实用意义。