Forecasting Downstream Performance of LLMs With Proxy Metrics¶

会议: NeurIPS 2026
arXiv: 2605.18607
论文: https://arxiv.org/abs/2605.18607
代码: https://github.com/McGill-NLP/proxy-metrics
领域: LLM评测
关键词: 代理指标、性能预测、大语言模型评测、缩放定律、专家轨迹

一句话总结¶

本文提出仅需候选模型对专家解题轨迹进行单次前向传播，通过聚合预测分布的细粒度统计量构建代理指标库，以极低算力高保真预测大模型下游任务性能、排序跨架构模型并指导预训练数据选择。

研究背景与动机¶

在大型语言模型（LLM）的研发与演化过程中，开发者时刻面临着一系列关键的技术选型决策：应当采用哪种模型架构、如何从海量候选语料中挑选高质量预训练数据、以及哪种后训练配方能在目标任务上带来最大收益。为了在投入数百万美元的全量算力前做出理智抉择，可靠的下游性能预测机制不可或缺。然而，目前业界广泛依赖的两种评估信号均存在根本缺陷：一方面，在通用无标注文本上计算的交叉熵损失虽然随算力增长展现出光滑可预测的外推性，但与复杂下游任务的真实表现严重脱节，拥有相近预训练损失的模型在复杂下游任务上往往表现大相径庭；另一方面，直接在下游基准上进行端到端生成式评估成本极其高昂，而在复杂推理任务的训练初期或小模型阶段，模型的生成准确率通常直接落在随机猜测的基线范围内，呈现稀疏且无区分度的全零或近零信号，无法为性能预测或排序提供有效梯度。

这种矛盾在硬核推理任务（如奥林匹克竞赛编程、前沿科学问答与高级数学竞赛）上尤为尖锐。现有的下游缩放定律尝试拟合基于算力的非线性曲线或闭集选项对数似然，但往往依赖候选模型已具备高于随机水平的初始能力，并且在跨模型家族、外推较长训练跨度时极易失真破裂。根本障碍在于，传统生成式基准仅记录最终输出的对错这一二值化结果，丢弃了推理过程中各决策步骤的连续概率信息，导致测量信号过于滞后、过于稀疏，无法灵敏捕捉模型正在萌发的推理能力。

为了打破评估成本与预测保真度之间的两难困境，本文提出了一种全新视角：利用人类专家或前沿闭源/开源强模型生成的解题轨迹作为探针，将这些轨迹输入候选模型执行一次无自回归生成的前向传播，进而从候选模型在每个 token 位置的预测分布中提取密集统计特征构建代理指标。核心 idea：利用单次前向传播中模型对专家完整推理轨迹的局部词元级预测分布（如熵、Top-k 准确率、专家词元排名），通过重要性加权构建密集且具任务特异性的代理指标库，以极低开销实现下游性能的高精度排序与跨倍率训练外推。

方法详解¶

整体框架¶

整个方法的核心流程为：针对目标任务收集少量带专家解题思维链的样本，直接将问题提示与专家轨迹拼接后送入待评测候选模型；在无需生成任何新 token 的情况下，仅依靠一次前向传播输出各位置的下一个词预测分布 logits；随后在词元维度并行计算核心指标与权重方案，加权汇总为 80 维代理指标特征向量；最后根据应用场景采用轻量排序器或幂律曲线外推模型性能。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["评测输入<br/>任务实例与专家推理轨迹"] --> B["前向传播计算<br/>无需自回归生成的单次前向传播"]
    B --> C["基础指标抽取：10类核心度量<br/>交叉熵 / Top-k准确率 / 归一化熵 / 专家Token排名 / 倒数排名 / 预测边际 / 错误置信质量"]
    B --> D["重要性加权：8种权重视角<br/>均匀分布 / 专家概率 / 分歧度 / 归一化熵 / 逆熵 / 词频 / 逆词频 / 高斯NLL核"]
    C & D --> E["加权聚合生成80维代理指标库<br/>归一化加权平均并统一正负符号"]
    E --> F["下游应用决策<br/>跨家族RankSVM模型排序 / 小规模代理预训练数据筛选 / 训练轨迹幂律外推"]

关键设计¶

1. 基础指标抽取：10类核心度量解构模型对专家决策的对齐程度

传统的评估往往只关注单一的困惑度或损失值，这掩盖了模型在不同类型决策上的表现。本文设计了覆盖三类对齐维度的 10 种核心统计指标 \(m_t\)：(1) 准确吻合程度：包括负对数似然损失 \(\mathcal{L}_t = -\log p_{\mathcal{M}}(y_t \mid \mathbf{x}, \mathbf{y}_{<t})\)，以及不同容错窗口下的 Top-\(k\) 命中率 \(\mathbf{1}[y_t \in \text{top-}k]\)（分别取 \(k \in \{1, 2, 3, 5\}\)）；(2) 预测分布集中度：词表大小归一化的预测熵 \(H_t = -\sum_{v} p(v) \log p(v) / \log|\mathcal{V}|\)，衡量模型在当前推理步的置信程度；(3) 专家未命中时的误差与竞争态势：包括专家词元的绝对排名 \(\text{rank}(y_t)\)、倒数排名 \(1/\text{rank}(y_t)\)、最高候选词概率与专家词概率之差的边际值 \(\max_v p(v) - p(y_t)\)，以及当模型预测错误（\(\text{rank}(y_t) > 1\)）时赋予最高干扰项的错误置信质量 \(\max_v p(v) \cdot \mathbf{1}[\text{rank}(y_t) > 1]\)。这组指标全面刻画了候选模型在专家轨迹上的局部拟合能力。

2. 重要性加权：8种权重视角过滤冗余并聚焦关键决策步

在长链条推理轨迹中，不同词元蕴含的诊断价值差异巨大，例如虚词、标点与样板过渡词对所有模型都极易预测，若简单平均会稀释核心推理节点的判别信号。为此，算法引入了 8 种位置权重函数 \(w_t\)：(1) 均匀权重 \(w_t = 1\)；(2) 专家概率权重 \(p_{\mathcal{M}}(y_t)\) 与 (3) 专家分歧度权重 \(1 - p_{\mathcal{M}}(y_t)\)；(4) 归一化熵权重 \(H_t\) 与 (5) 逆熵权重 \(1 - H_t\)，前者聚焦候选模型犹豫不决的分歧步，后者聚焦模型极度笃定的确定步；(6) 专家语料内的词频权重 \(\text{freq}(y_t)\) 与 (7) 逆词频权重 \(1 - \text{freq}(y_t)\)，重点加权罕见专有名词、关键数学符号与特定逻辑算子；(8) 高斯负对数似然核权重 \(w_t = \exp(-(\mathcal{L}_t - \bar{\mathcal{L}})^2 / (2\sigma_{\mathcal{L}}^2))\)，滤除因标点等造成的极低损失和畸变极高损失，聚焦于典型复杂度区间的词元。

3. 加权聚合生成80维代理指标库：单次前向完成特征空间投影

对于每一个测试样本 \((\mathbf{x}^{(i)}, \mathbf{y}^{(i)})\) 及其长度为 \(T^{(i)}\) 的轨迹，任意核心指标 \(m_j\) 与加权方案 \(w_j\) 组合为一种代理指标 \(\Phi_j\)，其单样本得分为加权平均，并由符号因子 \(s_j \in \{+1, -1\}\) 保证数值越大代表性能越优：

\[ \Phi_j(\mathcal{M}; \mathbf{x}^{(i)}, \mathbf{y}^{(i)}) = \frac{\sum_{t=1}^{T^{(i)}} s_j \cdot m_{j,t}^{(i)} \cdot w_{j,t}^{(i)}}{\sum_{t=1}^{T^{(i)}} w_{j,t}^{(i)}} \]

在整个任务数据集 \(\mathcal{T}\) 上取各样本均值即可得到任务级标量得分 \(\Phi_j(\mathcal{M}, \mathcal{T}) = \frac{1}{N}\sum_{i=1}^N \Phi_j(\mathcal{M}; \mathbf{x}^{(i)}, \mathbf{y}^{(i)})\)。在具体工程实现中，论文发现仅截取专家推理轨迹的最后 1,000 个 token 计算该指标库，效果优于使用全长轨迹，原因在于后半段通常高度富集了得出最终结论的密集推导逻辑。无需过滤轨迹中包含的少量错误推导，极大地提升了算法对多源或弱专家轨迹的鲁棒性。

4. 下游应用决策：轻量 RankSVM 排序与幂律拟合外推

在跨家族模型选型中，为了从 80 维代理特征中泛化出对未知任务的模型排序能力，系统引入了线性核与 RBF 核的 RankSVM，通过对偏序对施加铰链损失优化排序超平面；亦支持通过穷举高效筛选 3-稀疏组合代理指标。在预训练数据选择场景下，单变量的逆词频加权 Top-5 准确率可直接实现排序。而在训练过程外推场景下，选定的代理指标随步数 \(t\) 呈现出标准的连续幂律演化规律：\(f(t) = a - b t^{-c}\)，可通过前期极小步数断点直接外推中后期 checkpoint 的下游指标，有效避免了传统直接拟合生成准确率出现的平台期与饱和震荡问题。

实验关键数据¶

主实验¶

论文在六大高难度推理基准上评估了 18 款横跨 6 个开源模型家族（Qwen3、Qwen2.5、Llama3、Ministral、OLMo3、SmolLM3）及 6 种后训练配方（参数量从 0.6B 至 70B）的模型，采用 Kimi-K2.5、MiniMax-M2.5 和 Qwen3-Next-80B 产生专家轨迹。通过留 2 个任务交叉验证（Leave-2-Tasks-Out CV），检验模型在未知任务上的 Spearman 秩相关系数 \(\rho\)。

评测方法 / 代理指标方案	跨任务平均 \(\rho\)	AIME 2025	GPQA	HMMT	MMLU-Pro	SuperGPQA	USACO
FineWeb 交叉熵损失 (CE Loss)	0.36	0.37	0.25	0.25	0.52	0.54	0.25
rBridge (需专家Logprobs加权)	0.33	0.22	0.37	0.13	0.33	0.55	0.39
单变量代理指标 (Univariate)	0.54 \(\pm\) 0.08	0.44 \(\pm\) 0.09	0.57 \(\pm\) 0.05	0.42 \(\pm\) 0.04	0.62 \(\pm\) 0.12	0.64 \(\pm\) 0.17	0.53 \(\pm\) 0.13
3-稀疏代理指标组合 (3-Sparse)	0.78 \(\pm\) 0.06	0.74 \(\pm\) 0.09	0.86 \(\pm\) 0.07	0.68 \(\pm\) 0.11	0.82 \(\pm\) 0.06	0.84 \(\pm\) 0.07	0.73 \(\pm\) 0.08
RankSVM (RBF核)	0.81 \(\pm\) 0.05	0.75 \(\pm\) 0.11	0.84 \(\pm\) 0.09	0.76 \(\pm\) 0.09	0.87 \(\pm\) 0.07	0.84 \(\pm\) 0.07	0.78 \(\pm\) 0.09
RankSVM (线性核)	0.81 \(\pm\) 0.04	0.73 \(\pm\) 0.11	0.87 \(\pm\) 0.07	0.73 \(\pm\) 0.10	0.88 \(\pm\) 0.07	0.88 \(\pm\) 0.05	0.78 \(\pm\) 0.10

在预训练数据选择（DataDecide 基准测试集，评估 25 个候选语料对 1B 目标模型的影响）中，基于词频加权 Top-5 准确率的代理指标在仅消耗目标模型 \(10^{-5}\) 算力（即仅训练 4M–90M 规模的微型代理模型）的情况下，决策准确率达到 0.85 以上；若采用常规的下游任务评估基准达到相同排序保真度，需消耗目标算力的 \(10^{-1}\) 以上，节约了约 10,000 倍算力开销。

消融实验¶

下表展示了在 OLMo-3-7B 预训练过程中（利用早期 80K 步的 checkpoint 拟合曲线外推至 1.4M 步的最终 checkpoint，外推跨度达 18 倍），采用不同预测器外推 10 个 OLMES 下游基准准确率的均方根误差（RMSE）：

评测基准任务	代理指标幂律外推 (Ours)	通用 CE Loss 指数外推	算力对数 Sigmoid 外推	最优基准说明
HellaSwag	0.003	0.094	0.105	本文代理指标误差降低超 30 倍
BoolQ	0.037	0.111	0.034	代理指标与最优算力基线相当
SocialIQA	0.016	0.011	0.025	接近最优基线
Winogrande	0.010	0.078	0.018	显著优于损失基准
ARC Challenge	0.022	0.131	0.071	传统基线外推严重漂移
ARC Easy	0.049	0.001	0.036	损失基线在简单任务表现较佳
CommonsenseQA	0.004	0.023	0.129	代理指标维持高精度
MMLU	0.001	0.036	0.058	代理指标近乎完美追踪实际值
OpenBookQA	0.069	0.086	0.000	算力拟合在单任务偶然命中
PIQA	0.029	0.025	0.068	各方案表现相近
平均 RMSE	0.024	0.059	0.055	代理指标平均误差降低逾 50%

关键发现¶

通用损失与下游能力严重解耦：无论是全网文本上的交叉熵损失（\(\rho=0.36\)），还是在专家轨迹上施加专家概率加权的 rBridge（\(\rho=0.33\)），均无法建立起与真实推理性能的可靠单调性关系；而代理指标库通过 RankSVM 映射后能将相关系数直接跃升至 0.81。
关键信号高度聚焦于决策分支词元：特征选择分析表明，单变量表现最佳的是“逆词频加权的 Top-1 准确率”（衡量在罕见专业词汇上的预测准确率）；而在三稀疏组合中，“熵加权的熵”与“词频加权的 Top-5 准确率”频繁入选，这表明模型在非确定性关键分歧点（Forking Tokens）上的概率质量分布承载了模型推理能力的核心区分信号。
长跨度外推稳定性强：通用损失或单纯算力拟合容易在高步数阶段出现过度饱和或持续过冲的现象；而代理指标由于紧密锚定了任务特异性的专家轨迹，能够沿训练轨迹保持平滑的幂律形态，使 18 倍算力跨度的外推平均 RMSE 从 0.059 减半至 0.024。

亮点与洞察¶

单次前向规避生成开销：完全摒弃了传统大模型评测中代价极其高昂的多轮自回归解码与复杂的判分环境（如沙箱执行、外部工具调用与专家打分），仅需单次前向传播，计算耗时通常少于 5 分钟。
零门槛解耦专家黑盒：相比以往需要获取前沿专家模型内部完整词表概率分布（logits/logprobs）的方法，本文仅依赖专家生成的最终离散文本，因此可以无缝接入纯文本形态的人类专家题解或闭源商业前沿模型（如 Claude、GPT 系列）的输出。
平滑性与任务导向性的统一：突破了“通用预训练损失平滑但缺乏任务相关性”与“下游端到端评测具任务针对性但离散离散稀疏”的固有矛盾，使早期微小模型的微弱能力提升在连续概率空间中变得可感可知。

局限与展望¶

缺乏跨所有场景的通用单一指标：在跨家族选型、预训练数据筛选与训练步数外推三种设定下，表现最优的单一代理指标并不完全一致，实际应用中仍需依据少量先验任务选择合适的指标组合或轻量训练映射器。
评测任务类型覆盖有限：目前的主要实验集中于高难度逻辑/理科推理任务与单项选择题，尚未对长文本检索（Long-context Retrieval）、自由开放式文本生成以及多模态具身智能体（Agentic loops）等更为复杂的交互式评估展开深入探索。
专家轨迹质量对鲁棒性的影响：尽管实验证实未过滤的次优解题轨迹依然有效，但在完全缺乏高质量专家轨迹或专家答案出现大规模系统性误导的极端领域，代理指标的保真度下界仍有待进一步理论与实验刻画。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 独创性地提出将专家轨迹作为前向探针提取词元级分布统计量，构筑了连接平滑预训练损失与离散下游准确率的代理指标空间。
实验充分度: ⭐⭐⭐⭐⭐ 跨越跨家族模型排序、预训练数据挑选以及训练时间外推三大关键场景，覆盖 18 个不同架构模型与 25 种语料，验证严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，问题动机直击现有评测与缩放定律的痛点，图表与数学表达清晰明了。
价值: ⭐⭐⭐⭐⭐ 为模型训练早期决策、高效架构评估和语料清洗提供了能够节约千倍算力的实用分析工具。