跳转至

Training-free LLM Verification via Recycling Few-shot Examples

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/dongseok1220/Referi
领域: 信息检索/RAG
关键词: LLM Verification, Few-shot Learning, Best-of-N, Bayes Decomposition, In-Context Learning

一句话总结

本文提出 ReFeri 框架,首次将少样本样例同时用于输出生成与后验验证,通过贝叶斯对数似然分解结合前向置信度得分与留一法后向重构惩罚,在无需额外训练和标注的情况下显著抑制表面模式过拟合,跨 7 个复杂基准取得 8.2% 的相对性能提升。

研究背景与动机

大语言模型在多步推理、符号计算与开放式生成等复杂任务中展现了惊人的能力,然而自回归解码过程中的内在随机性使得同一输入往往产生多条推理路径并导出相互矛盾的结论。为在多个候选输出中筛选最优解,现有主流范式主要依赖基于答案提取的多数投票(如 Self-Consistency)或利用外部验证器进行 Best-of-N 重排序。然而,多数投票机制严格依赖答案能够被清晰提取与规约成离散标签,面对代码生成、个性化长文本写作与开放式问答等场景完全失效;而训练过程奖励模型(PRM)或结果验证器(ORM)又需要消耗海量带标注的推理轨迹,且极其容易在未见分布或跨领域场景中发生泛化崩塌。

为了摆脱对监督数据与额外训练的依赖,学术界转向利用大模型内在知识进行免训练验证(如 LLM-as-Judge 或基于内部 token 概率分布的不确定性度量)。然而,这些免训练方法本质上依赖模型参数内部固化的先验知识;当遭遇全新领域、复杂逻辑链条或验证器与生成器存在模型异构时,模型的置信度极易严重失准(miscalibration)。让一个对陌生领域缺乏外部指引的模型去自我评估输出,极易陷入均匀的高置信盲区,无法分辨候选解之间的细微质量差异。与此同时,在当前指令微调盛行的背景下,少样本提示(Few-shot Demonstrations)常被当成仅仅用于前向冷启动的格式引导工具,其在后验验证阶段蕴含的丰富先验与监督价值被完全忽视。

本文切入这一盲区,提出一种反常识但极具洞察力的新视角:既然少样本样例是注入人类任务先验最直接、最高效的具象载体,为何不能将其在检验阶段进行“循环回收”(Recycle)?少样本对不仅能指导模型如何作答,更能作为对抗模型内部失准的客观锚点。核心 idea:利用贝叶斯法则将候选答案的后验对数似然严格解耦为「前向置信度得分」与「后向重构惩罚」,通过留一法提示替换度量候选答案对样例表面工件的过拟合程度,实现完全免训练且抗失准的鲁棒候选选择。

方法详解

整体框架

给定测试查询 \(\tilde{q}\)、少样本样例集合 \(\mathcal{X} = \{x_i\}_{i=1}^K\)(其中每个样例为问题-答案对 \(x_i = (q_i, a_i)\))以及生成模型 \(\mathcal{M}\),首先通过标准 Few-shot CoT 提示采样生成 \(N\) 个候选答案 \(\{r_1, \dots, r_N\}\)。ReFeri 的核心使命是在免训练的条件下,利用一个白盒评估模型 \(\mathcal{P}\)(可与 \(\mathcal{M}\) 同源或为更轻量级的独立模型),通过双向概率流计算每个候选解 \(y_n = (\tilde{q}, r_n)\) 的综合质量评分,从而挑选出最优候选 \(r_{n^*}\)。

整个流水线由四个紧密协作的阶段构成:首先针对测试查询检索最相关的少样本样例作为语义锚点;随后计算评估模型在全部样例上下文下生成候选答案的前向置信度;接着采用留一法提示替换构建对抗重构上下文,评估候选答案反推恢复样例黄金答案的概率增益以形成后向惩罚;最终将两者做差获得综合得分并完成最佳解仲裁。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与多候选生成<br/>q~ 采样 N 个候选输出 r_n"] --> B["最近邻样例锚定<br/>轻量嵌入检索最相似样例 x_i†"]
    B --> C["前向置信度估计<br/>计算样例引导下的似然 S_Forw"]
    C --> D["留一法后向重构惩罚<br/>替换样例计算过拟合增益 S_Back"]
    D --> E["贝叶斯解耦决策仲裁<br/>S_Fin = S_Forw - S_Back 选最优"]

关键设计

1. 最近邻样例锚定:全局计算开销大与语义无关噪声干扰 -> 语义空间余弦最近邻匹配 -> 聚焦局部流形并使复杂度降至常数级 直接对全部 \(K\) 个少样本样例计算后向重构需要执行 \(K\) 次序列似然推断,计算开销随示例数量线性增长;更关键的是,语义遥远的少样本示例对当前问题的推理链条贡献微弱,强行纳入全集重构会引入大量与任务无关的文本表面噪声。为此,ReFeri 采用 110M 参数的轻量级句子嵌入模型 \(\mathcal{E}\)(all-mpnet-base-v2),在测试时计算查询 \(\tilde{q}\) 与各样例输入 \(q_i\) 之间的余弦相似度,精准选出单一语义最相关的核心样例: $\(i^{\dagger} = \arg\max_{i=1,\dots,K} \cos\left(\mathcal{E}(\tilde{q}), \mathcal{E}(q_i)\right)\)$ 该设计将后向惩罚评估的推断开销严格限制在 \(\mathcal{O}(1)\),使整套框架在实际部署中具备极高的计算性价比。

2. 前向置信度估计:直接估计边缘似然易在陌生领域失准 -> 结合全量少样本上下文条件化自回归似然 -> 提供扎根于提示逻辑的上下文感知打分 传统免训练方法直接依赖模型估计无提示引导的单条候选似然 \(\log \mathcal{P}(r_n \mid \tilde{q})\),在模型缺乏先验的复杂推理任务中,输出分布极易平坦化或虚高,丧失对推理过程真伪的分辨率。ReFeri 基于贝叶斯展开将第一项重构为条件在前向少样本上下文 \(\mathcal{X}\) 下的序列对数似然: $\(S_{\text{Forw}}(y_n) := \log \mathcal{P}(y_n \mid \mathcal{X}) = \frac{1}{L} \sum_{t=1}^L \log \mathcal{P}(r_{n,t} \mid \tilde{q}, \mathcal{X}, r_{n,<t})\)$ 通过将当前候选映射到人类提供的标准少样本推理规范与格式引导中,前向得分能够敏锐感知该候选是否遵循了所期望的逻辑推导流程与结构模式,显著压制未遵循解题范式的离群伪解。

3. 留一法后向重构惩罚:候选答案盲目复读样例表面工件与伪模式 -> 留一法替换样例反向推导重构真实样例答案 -> 定量惩罚复刻记忆而非真实泛化的解 若仅依赖前向得分,模型会严重偏好那些机械模仿少样本表面修饰、复读样板行话或共享特定尾缀标记的候选答案。根据贝叶斯对数分解 \(\log \mathcal{P}(y_n) = \log \mathcal{P}(y_n \mid \mathcal{X}) - [\log \mathcal{P}(\mathcal{X} \mid y_n) - \log \mathcal{P}(\mathcal{X})]\),后项度量了给定候选解后反向重构样例所获得的似然增益。一个候选若能极高地“反向预测”出少样本答案,说明它过度承载了属于样例特定分布的局部表面伪特征(Artifacts)。ReFeri 提出留一法提示替换(Leave-One-Out Replacement),构造混合提示上下文 \(\tilde{\mathcal{X}}_{i^{\dagger}} = (\mathcal{X} \setminus \{x_{i^{\dagger}}\}) \cup \{y_n\}\),进而定义逼近后向惩罚项: $\(\tilde{S}_{\text{Back}}(y_n) := \log \mathcal{P}\left(a_{i^{\dagger}} \mid q_{i^{\dagger}}, \tilde{\mathcal{X}}_{i^{\dagger}}\right) - \log \mathcal{P}\left(a_{i^{\dagger}} \mid q_{i^{\dagger}}\right)\)$ 借由保留其余示例 \(\mathcal{X}_{-i^{\dagger}}\) 维持上下文学习能力,精准捕获候选解向少样本答案“过度泄漏”的表面特征,从而作为有效的负向正则化惩罚。

4. 贝叶斯解耦决策仲裁:单一指标易受长度偏置与置信度失真误导 -> 差分融合前向指导与后向正则惩罚 -> 输出正交互补的高鲁棒质量排序 统计分析表明,后向重构项与答案正确性本身并不存在单调正相关(\(|r| \le 0.09\)),且与前向排序的决策一致率仅为 0.22(等同随机碰撞)。后向项绝非孤立的判别器,而是前向得分的矫正器。ReFeri 依据贝叶斯同一性定义最终选择准则: $\(S_{\text{Fin}}(y_n) := S_{\text{Forw}}(y_n) - \tilde{S}_{\text{Back}}(y_n), \quad r_{n^*} = \arg\max_{n=1,\dots,N} S_{\text{Fin}}(y_n)\)$ 当两个候选在前向得分上势均力敌时,真正理解逻辑本质的候选所引发的后向样例重构增益极小,而仅仅依靠投机套用样例词汇表面的错误候选则会引发巨大的后向项,因而被差分惩罚果断剔除。

评估基准与实验设计

实验全面涵盖 7 个极具挑战性的多步推理基准,涵盖符号数学(MATH500)、专家级跨学科知识(MMLU-Pro)、研究生级科学推理(GPQA-Diamond)、离散数值阅读理解(DROP)、多跳文档问答(HotpotQA)以及长程神经符号空间与关系推理(MuSR-op, MuSR-ta)。此外还拓展至开放式生成场景,包括个性化新闻与论文标题生成(LaMP-4, LaMP-5)与代码生成(LiveCodeBench)。 生成阶段采用三款主流模型:GPT-4o、GPT-4o-mini 与开源 LLaMA-3.1-8B-Instruct,采样温度统一设为 1.0 以生成 \(N=5\) 条多样化候选。免训练对比基线涵盖 Zero-shot CoT、Few-shot CoT、基于错误反思学习高阶原则的 LEAP、大模型自我裁判框架 USC、基于输出词元置信度差距的 CoT-WP 以及基于输出熵的 Self-Certainty。评估模型默认使用开源的 LLaMA-3.1-8B-Instruct,并进一步探索轻量级 LLaMA-3.2-1B-Instruct 的成本效率边界。

实验关键数据

主实验

在 7 个复杂推理基准与 3 种生成模型下的 3 次独立运行评测均值如下表所示(括号内为 DROP 与 HotpotQA 的 EM / F1 指标):

生成模型 验证/选择方法 MuSR-ta (Acc.) MuSR-op (Acc.) GPQA (Acc.) MATH500 (Acc.) DROP (EM / F1) HotpotQA (EM / F1) MMLU-PRO (Acc.) 7项平均 (Avg.)
GPT-4o Few-shot CoT (Random) 87.2 ±0.6 69.6 ±0.6 47.3 ±1.7 75.5 ±0.1 80.4 / 89.0 44.9 / 58.6 73.7 ±0.2 68.4 ±0.3
GPT-4o LEAP 88.1 ±1.6 68.0 ±1.2 47.8 ±2.8 75.2 ±0.4 81.0 / 89.4 44.5 / 57.8 73.9 ±0.2 68.4 ±0.4
GPT-4o USC (LLM-Judge) 85.9 ±1.9 71.5 ±0.7 48.2 ±1.6 77.3 ±0.3 81.8 / 90.2 45.9 / 60.2 74.9 ±0.5 69.4 ±0.5
GPT-4o CoT-WP 88.3 ±0.2 67.5 ±1.4 49.5 ±1.8 78.1 ±0.6 83.3 / 90.5 46.3 / 59.6 74.4 ±0.3 69.6 ±0.0
GPT-4o Self-Certainty 88.9 ±0.5 71.1 ±2.1 50.2 ±0.8 77.7 ±0.4 81.1 / 89.4 43.9 / 57.7 74.6 ±0.4 69.6 ±0.4
GPT-4o ReFeri (8B Estimator) 90.8 ±0.4 73.7 ±2.2 51.8 ±0.3 78.5 ±0.6 83.6 / 90.9 46.9 / 61.0 75.4 ±0.3 71.5 ±0.4
GPT-4o ReFeri1B (1B Estimator) 90.7 ±0.2 74.1 ±3.8 51.0 ±1.3 78.3 ±0.6 83.3 / 90.7 46.5 / 60.5 75.1 ±0.1 71.3 ±0.4
GPT-4o-mini Few-shot CoT (Random) 77.5 ±0.5 60.3 ±0.8 42.4 ±1.1 74.7 ±0.7 76.5 / 82.9 33.6 / 44.9 63.0 ±0.2 61.1 ±0.2
GPT-4o-mini USC 76.5 ±2.5 60.5 ±1.0 44.6 ±1.2 76.4 ±1.2 78.8 / 85.0 35.1 / 47.0 64.2 ±0.5 62.3 ±0.5
GPT-4o-mini CoT-WP 79.3 ±1.3 58.5 ±2.6 41.9 ±0.9 77.0 ±0.7 76.9 / 82.7 34.7 / 45.9 64.6 ±0.4 61.8 ±0.5
GPT-4o-mini Self-Certainty 81.7 ±1.6 60.1 ±0.6 41.6 ±2.8 76.8 ±1.0 76.7 / 83.1 34.7 / 45.9 63.9 ±0.8 62.2 ±0.1
GPT-4o-mini ReFeri (8B Estimator) 83.1 ±0.2 62.0 ±0.6 44.6 ±2.6 78.2 ±0.4 79.1 / 84.7 35.7 / 47.4 64.9 ±0.4 63.9 ±0.5
GPT-4o-mini ReFeri1B (1B Estimator) 82.8 ±0.4 62.9 ±1.4 45.3 ±1.2 77.7 ±0.2 78.3 / 83.9 35.1 / 46.6 64.6 ±0.5 63.8 ±0.2
LLaMA-3.1-8B Few-shot CoT (Random) 64.5 ±2.2 53.4 ±0.8 23.7 ±0.3 42.4 ±0.5 61.1 / 66.5 19.3 / 25.4 39.2 ±0.4 43.4 ±0.5
LLaMA-3.1-8B USC 67.7 ±4.5 54.8 ±2.2 28.1 ±3.1 48.5 ±1.2 68.6 / 74.3 25.5 / 33.4 45.8 ±0.4 48.4 ±1.1
LLaMA-3.1-8B CoT-WP 71.9 ±0.6 53.1 ±1.4 30.5 ±2.5 48.1 ±1.7 71.0 / 75.1 25.7 / 33.2 45.4 ±0.7 49.4 ±0.4
LLaMA-3.1-8B Self-Certainty 72.4 ±3.6 55.9 ±0.6 30.8 ±2.6 50.7 ±2.2 70.8 / 76.2 25.2 / 32.9 44.5 ±0.8 50.0 ±1.1
LLaMA-3.1-8B ReFeri (8B Estimator) 76.5 ±3.4 57.5 ±0.5 33.5 ±1.7 50.2 ±1.6 70.9 / 76.3 25.7 / 33.6 44.7 ±0.5 51.3 ±0.6
LLaMA-3.1-8B ReFeri1B (1B Estimator) 76.9 ±3.2 55.5 ±0.8 31.8 ±2.0 50.1 ±1.7 70.9 / 75.8 25.3 / 32.9 44.2 ±0.5 50.7 ±0.5

消融实验

为透视直接似然(Direct)、前向得分(Forward)与后向重构惩罚(Backward)各自的功能,作者在 LLaMA-3.1-8B 响应上进行了细粒度打分项消融,并在全任务及全模型维度上进行了完整解构:

打分变体 前向项 (F) 后向项 (B) 直接项 (D) MATH500 (Acc.) GPQA (Acc.) MuSR-ta (Acc.) 7项全任务平均 (Avg.)
原始随机采样 (Baseline) ✗ ✗ ✗ 42.4 23.7 64.5 43.4
纯直接边缘似然 (Direct) ✗ ✗ ✓ 50.3 32.6 68.4 49.2
仅前向置信度得分 (Forward) ✓ ✗ ✗ 50.1 32.3 76.9 51.1
仅后向重构分 (Raw Backward) ✗ ✓ (极大化) ✗ 41.0 22.4 65.1 43.0
纯反向惩罚 (−Backward) ✗ ✓ (极小化) ✗ 44.3 25.9 61.5 41.8
全量样例重构 ReFeri (Full) ✓ ✓ (全集替换) ✗ 50.1 32.7 76.8 51.0
ReFeri (最近邻留一法) ✓ ✓ (NN替换) ✗ 50.2 33.5 76.5 51.3

关键发现

  • 双向互补与反向抑制机制:直接边缘似然在常见数学任务(MATH500)尚可维持,但在陌生强约束推理(MuSR-ta)上严重退化至 68.4;前向得分虽然将 MuSR-ta 跃升至 76.9,但在数学与科学基准上容易因样式偏好而陷入局部次优。ReFeri 结合后向惩罚后,在跨模型和跨任务的全部 21 组对照组合中,性能从未低于单项打分变体,实现了 51.3 的最优综合精度。
  • 极端扰动实验证实后向项对工件过拟合的敏感性:当人为将样例黄金答案的前 \(\rho\%\) 拼接注入到原本得分低且错误的候选答案头部时,仅依赖前向得分的选择准确率从 45.29% 暴跌至 33.31%(完全被样例片段欺骗);而 ReFeri 的后向项因极度敏感于样例工件而惩罚值剧增,准确率反升至 47.48%,成功免疫表面工件注入欺骗。
  • 超轻量评估器的成本-效益前沿:当评估模型从 8B 切换为 1B(LLaMA-3.2-1B)时,CoT-WP 与 USC 发生性能崩塌,而 ReFeri 仍保持了与 8B 模型近乎持平的精度(GPT-4o 下 71.5 vs 71.3),同时在 NVIDIA RTX A6000 上的单样本评估耗时仅需极小延迟,较 8B CoT-WP 提速 2.6 倍。
  • 与多数投票完美互补:在允许规范化抽取答案的离散任务中,以 ReFeri 得分排序作为 Borda 计票权重(\(p=1\)),在 GPT-4o、GPT-4o-mini 和 LLaMA 上分别使 Self-Consistency 的平均准确率由 70.7、64.2、50.1 进一步拉升至 71.3、64.9 和 52.4。

亮点与洞察

  • 将少样本由“静态提示”升级为“动态验证基准”:打破了少样本仅存在于输入提示端的传统惯性,将其循环回收为双向贝叶斯约束,为免训练自验证开辟了全新研究范式。
  • 基于留一法替换的精巧后向惩罚设计:通过在少样本提示中用候选对动态替换目标样例,直接在自回归语言模型中具象化了后向条件似然 \(\mathcal{P}(a \mid q, \dots)\) 的评估,数学意义严谨且工程实现优雅。
  • 模型非对称配对的普适鲁棒性:即便黑盒商业大模型(GPT-4o)输出的候选分布不可控,也可以用参数公开的开源轻量级模型作为客观似然标尺,成功实现跨模型架构的白盒解耦打分。

局限与展望

  • 对少样本先验存在基本依赖:尽管消融实验证实 ReFeri 在弱质量或合成退化的少样本下依然具备相对收益,但在完全无法构造或检索到任何有效少样本的极端零样本冷启动场景下该框架无法运转。
  • 可解释性局限于全局似然数值:相比能够输出自然语言判别理由的 LLM-as-Judge 或输出单步分数的过程奖励模型(PRM),ReFeri 给出的是纯标量差分分值,无法直接告诉工程师答案具体错在第几个推理步骤。后续研究可尝试将后向重构惩罚下沉至词元(Token)或步骤级别,转化为推理错误定位工具。

相关工作与启发

  • vs Universal Self-Consistency (USC) / LLM-as-Judge:USC 将多个候选塞入上下文交由大模型判决,极易受到候选呈现顺序偏置(Position Bias,优先挑前两位)及上下文窗口限制的影响;ReFeri 将候选与判定解耦,单篇候选独立打分,彻底杜绝了排列偏置与多候选格式混淆。
  • vs CoT-WP 与 Self-Certainty:CoT-WP 与 Self-Certainty 完全依赖模型输出的局部 token 概率差或预测熵,在面对强基座模型输出的均匀高置信度分布时失效;ReFeri 引入外部样例双向对齐信号,在置信度失真严重的分布外任务上表现出卓越的抗压能力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用贝叶斯分解将少样本样例循环用于前向打分与后向防过拟合惩罚,立意极其深刻。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个推理大基准、2 个个性化开放式任务及 1 个代码基准,3 种生成器与多尺度评估器,消融与扰动分析极具说服力。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学形式化推导干净严谨,动机阐述层层递进,图表呈现信息密度极高。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量化、免训练、抗失准的大模型测试期 Scaling 验证提供了坚实的工程基石与理论启发。