Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback¶

会议: NeurIPS 2026
arXiv: 2610.18656
论文: https://arxiv.org/abs/2610.18656
领域: LLM对齐
关键词: 相似度推理, 贝叶斯推断, 测试时计算, 主动探针, 弱交互反馈

一句话总结¶

提出了无需训练的贝叶斯框架 BASIS，通过标量打分、成对偏好或验证器等弱交互反馈，在测试时联合推断候选目标与任务对齐的相似度准则，并在信息增益准则下主动选择探针。

研究背景与动机¶

大语言模型在测试阶段频繁依赖相似度进行决策，例如少样本提示中的示例检索、多候选重排序以及生成回复的迭代修正。然而，“相似”这一概念在具体任务中往往并非唯一，词汇重叠、语义关联、推理结构与行文风格可能指向完全不同的候选对象。更关键的是，真正与下游任务对齐的相似度准则会随输入实例发生动态偏移——求解数学题需要对齐的是解题操作序列而非题干实体背景，而根据用户偏好润色回答时，模型需要捕捉的是语气基调而非段落主题。如果使用静态冻结的稠密向量检索或固定的多准则混合权重，系统极易选择表面上看似相似、实际上却在任务关键维度发生错位的候选。

尽管现有系统可以在测试时接入标量评分、成对偏好或过程验证器（Verifier）等反馈信号进行重排序、查询改写与自我纠错，但这类弱反馈通常“知其然而不知其所以然”。一个正向评分可能源于结构匹配、答案一致性，亦或纯粹是风格亲和；即便大幅扩展采样计算量或使用更重型的重排序器，模型依然无法判断当前实例到底应该依据哪一种评价准则来决定排序。由于单一反馈信号可能被多种“候选目标-评价准则”组合共同解释，若不显式建模准则变量，模型极易对错误的候选赋予过高置信度。本文的核心 idea 是将弱反馈驱动的选择建模为候选目标与离散准则库的联合后验推断，并利用互信息最大化主动选择最具区分度的交互探针，实现自适应准则加权与精确定位。

方法详解¶

整体框架¶

BASIS（Bayesian Axis Selection via Interactive Signals）由三个核心组件构成：预定义的准则条件化打分库、在线贝叶斯后验更新机制，以及基于信息增益的主动探针选择策略。对于给定候选池，系统首先利用冻结编码器和轻量规则离线预先缓存各准则下的相似度分数；在测试交互过程中，系统维护候选目标 $z$ 与相似度准则（维度轴）$a$ 的联合后验分布 $p_t(z,a)$；每轮交互基于联合状态的互信息主动挑选最具区分性的探针向环境查询弱反馈，并在观测到反馈后更新后验，最终依据边际化得到的准则后验动态加权候选得分，输出任务对齐的最佳候选。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入实例与候选池"] --> B["准则条件化打分库<br/>预先计算并缓存各准则分数"]
    B --> C["联合后验状态<br/>维护候选目标与准则分布 p_t(z, a)"]
    C --> D["主动探针选择<br/>最大化互信息选取下一轮测试探针"]
    D --> E["获取弱交互反馈<br/>标量打分/成对偏好/验证器信号"]
    E --> F["贝叶斯后验更新<br/>结合显式似然函数递归更新 p_t(z, a)"]
    F --> C
    F --> G["动态效用决策<br/>依准则边际后验加权选择最优候选"]

关键设计¶

1. 准则条件化打分库与显式反馈似然建模：统一多源弱反馈的生成解释 传统检索通常假设单一向量空间足以表征相似度，导致不同维度的相关性发生不可逆的特征纠缠。BASIS 显式解耦这一过程，构建包含语义余弦、BM25 词汇重叠、实体/槽位 F1、推理结构骨架重叠、风格分类器分数以及验证器答案一致性的任务准则库 $\mathcal{A}$。对任意探针 $q$ 与候选 $z$，各准则给出归一化的相似度得分 $s_a(q,z) \in [0,1]$。为兼容现实测试时可能遇到的异构反馈，系统为三种典型弱反馈设计了参数化似然：标量打分采用高斯观测模型 $p(y_t \mid q_t,z,a)=\mathcal{N}(y_t; s_a(q_t,z), \sigma_a^2)$；成对偏好采用 Bradley-Terry 逻辑模型 $p(q_i \succ q_j \mid z,a) = \frac{\exp(\beta s_a(q_i,z))}{\exp(\beta s_a(q_i,z))+\exp(\beta s_a(q_j,z))}$；验证器二元信号则建模为 Sigmoid 似然 $p(y_t=1 \mid q_t,z,a) = \sigma(\gamma s_a(q_t,z) + b_a)$。统一的显式似然使不同形态的弱交互信号均能准确折算为联合状态的更新证据。

2. 联合后验推断与动态效用决策：解耦候选相关性与准则不确定性 单轮弱反馈往往存在观测等价性，例如高分可能来自语义重合也可能来自结构匹配。独立维护单变量后验会丢失候选与准则之间的条件依存，导致错误准则支撑错误候选。BASIS 从均匀先验 $p_0(z,a)$ 出发，在累计历史反馈 $\mathcal{D}_t$ 下进行联合递归更新： $$p_t(z,a) \propto p(y_t \mid q_t, z, a)\, p_{t-1}(z,a)$$ 通过在联合后验上分别求和边际化，获得目标后验 $p_t(z) = \sum_{a \in \mathcal{A}} p_t(z,a)$ 与准则后验 $p_t(a) = \sum_{z \in \mathcal{Z}} p_t(z,a)$。在最终做决策时，下游效用函数被定义为动态期望加权得分： $$U_t(x,z) = \sum_{a \in \mathcal{A}} p_t(a)\, s_a(x,z)$$ 相比于经验固定权重或静态网格搜索得到的混合权重 $w_a$，该效用函数能够根据测试交互历史自动收敛到当前实例实际生效的准则维度，从而使下游候选排序紧密对齐即时任务目标。

3. 互信息最大化主动探针选择：贪心熵减策略加速不确定性收敛 在交互轮次严格受限的测试阶段，盲目随机抽取或按静态启发式打分选择探针会导致大量冗余交互，无法迅速撕开不同准则之间的区分度。BASIS 将探针选择形式化为最大化联合状态熵减的贪心决策，即选取期望互信息最大的探针： $$q_{t+1} = \operatorname*{argmax}_{q \in \mathcal{Q}} \Bigl[ H\bigl(p_t(z,a)\bigr) - \mathbb{E}_{y \sim p(y \mid q, \mathcal{D}_t)} \bigl[ H\bigl(p_{t+1}(z,a \mid q, y)\bigr) \bigr] \Bigr] = \operatorname*{argmax}_{q \in \mathcal{Q}} I\bigl((z,a); y \mid q, \mathcal{D}_t\bigr)$$ 为保证计算在测试时实时可用，算法引入 Top-$K$ 目标剪枝（仅保留 $p_t(z)$ 最高的 $K=16$ 个候选）配合 $M=32$ 次蒙特卡洛反馈采样近似计算期望。这一设计使得探针选择开销几乎不随全候选池大小 $N$ 膨胀，确保系统能够在极短的交互预算内以最陡峭的信息增益曲线锁定正确准则与目标。

一个完整示例¶

以 GSM8K 数学多步推理中的一个连环比例题为例：题目要求“Walter 买来 60 个苹果，吃掉 2/5，送出剩余部分的 25%，再将最后剩余的按每只 $3 卖出”。这里关键是第二步比例是作用于“初值”还是“中间剩余量”。候选池中包含两类示例：一类题干同样是关于金钱与比例，但第二步消耗依然基于初始总数（语义极近，但推理状态转移结构错位）；另一类是关于工人修钉子，题干表述毫不相干，但第二步操作严格作用于扣除后的剩余量（语义远，但操作序列拓扑同构）。在初次检索时，语义相似度主导，静态混合机制倾向于选入金钱题，大模型推理得出错误答案 $63。而在 BASIS 交互流中，第一轮验证器反馈揭示了候选结构与解题轨迹的微弱信号差；经过主动挑选具有强烈结构分流能力的探针并获得对比反馈后，结构准则后验概率迅速由初始的 0.184 跃升至最终的 0.463，成为主导准则；BASIS 随之将修钉子题提拔至前列，使生成模型捕捉到“以中间剩余量为参考”的状态演化，最终准确生成黄金答案 $81。

损失函数 / 训练策略¶

BASIS 完全基于测试时推理，所有特征提取器（Qwen3-Embedding-4B）、推理生成器（Qwen3-8B 贪心解码）与过程验证器（Ministral-3-14B-Reasoning）均保持权重冻结，不涉及任何参数微调。理论上，论文在离散有限空间及高斯反馈假设下给出了后验收缩定理：若对所有错误配对 $(z,a) \neq (z^\star, a^\star)$ 存在隔离裕度 $\Delta$ 的探针，且在 $T$ 轮内被信息性探针覆盖 $m_T$ 次，则错误配对的后验概率上界以指数速率衰减：$1 - p_T(z^\star, a^\star) \le |\mathcal{Z}||\mathcal{A}| \exp(-c \cdot m_T \frac{\Delta^2}{\sigma^2})$，从理论层面证明了准则推断的收敛保证。

实验关键数据¶

主实验¶

在概念恢复（50 候选受控实验）、复杂推理示例检索（GSM8K、StrategyQA、BBH 宏平均，3 轮交互），以及回复对齐微调（Anthropic HH、OpenAssistant、UltraFeedback 宏平均）三个代表性测试场景下评估，主结果如下表所示。

任务场景	评价指标	BASIS (本文)	调优静态混合基线	稠密检索 / 直接排序	提升幅度
概念恢复 (6 probes)	Success@1 (%)	68.1	56.0	43.1 (语义贪心)	+12.1%
复杂推理示例选择	Macro Accuracy (%)	73.1	72.3	70.0 (稠密向量)	+0.8%
回复对齐微调 (T=3)	Win Rate (%)	63.8	61.4	57.8 (直接偏好排序)	+2.4%
概念恢复准则识别率	Criterion Acc. (%)	80.9	—	—	—
推理端到端延迟 (bs=1)	Latency (s)	7.32	5.04	4.82	+2.28s (快于Best-of-4: 7.91s)

消融实验¶

论文设计了精细的匹配消融与控制实验，系统评估隐变量推断、主动探针以及候选库扩展对性能的影响。

配置变体	概念恢复 S@1@6 (%)	推理平均准确率 (%)	对齐平均胜率 (%)	干扰项准确率跌幅 (Distr. Drop ↓)
BASIS (完整模型)	68.1	73.1	63.8	4.9
剔除隐准则推断 (No Latent Criterion)	51.9	70.9	60.7	8.8
剔除主动探针机制 (随机探针)	61.7	72.0	62.4	6.6
平均场推断近似 $q(z)q(a)$	—	72.8	63.1	5.7
单一准则边际推断 (独立探针)	—	72.5	62.4	6.4
仅保留单一语义准则 (Single Semantic)	43.1	68.9	57.9	10.8

关键发现¶

准则自适应对冲失真能力最强：在候选池中注入表面语义相似但结构冲突的干扰项时，静态混合规则的推理准确率剧烈下挫 6.5 个百分点，而 BASIS 仅下降 4.9 个百分点；若进一步放宽至 $T=5$ 轮交互，BASIS 准确率可迅速回弹至 71.4%，表明主动探针能有效识别并过滤虚假相似度。
池子规模越大，自适应准则优势越显著：在 $N=64, 128, 256$ 阶梯式扩展候选库的实验中，BASIS 相较于静态混合基线的领先优势分别由 0.8% 扩大至 2.4% 和 2.8%，证明当混淆候选增多时，依赖单一直觉打分极易崩溃，联合推断的价值随之放大。
动态联合推断优于独立准则边际推断：相比假设 $z$ 与 $a$ 条件独立的平均场推断（72.8%）和单准则边际推断（72.5%），联合推断保留了二者的强耦合依赖，在推理与对齐任务上均带来稳定的边际收益。

亮点与洞察¶

将相似度度量从静态特征工程升华为测试时因果归因：指出了语言模型在相似度匹配上的根本症结——“相关性是动态多维的，而弱反馈无法自带维度标签”，巧妙地借助贝叶斯联合后验对弱反馈进行因果逆推。
在有限准则支持集与连续反馈模型之间构建轻量高效计算闭环：通过离线缓存特征投影结合 Top-$K$ 剪枝与蒙特卡洛抽样，将单轮探针选择延迟压至 110ms，使多步贝叶斯推断具备在真实交互系统中上线的可行性。
自适应降级回退机制增强鲁棒性：设计了基于准则后验熵与预测似然的置信度监控，在预设准则集完全缺失当前任务维度的极端压力测试下，能以 0.86 的 AUROC 成功捕获并回退至基础混合策略，有效避免高置信度误判。

局限与展望¶

受限于预设有限准则库：BASIS 本质上是在已知的候选准则集合中进行选择与加权，并不具备在测试时开放式发现全新相似度维度的能力；若底层任务需要未收录的准则，后验易发生解释漂移。
对首阶段候选召回池质量存在强依赖：测试时推断发生在二阶段局部重排阶段，若全量检索库在第一阶段就将正确候选完全漏检，后验推断无法凭空生成遗失的解。
未来方向：探索结合轻量大语言模型自动从交互失败案例中归纳、扩充准则库维度的元学习机制；此外，可进一步扩展至复杂多模态情境下视觉与几何准则的在线自适应选择。

评分¶

新颖性: ⭐⭐⭐⭐☆ 形式化表述清晰，将提示选择与回复对齐升华为测试时贝叶斯准则逆向推断，构思新颖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖控制实验、复杂推理与偏好微调三大领域，配对统计检验严密，消融与分析深入。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨，动机阐述层层递进，消融与时延分析清晰客观。
价值: ⭐⭐⭐⭐☆ 为测试时计算（Test-Time Compute）与检索增强生成（RAG）中的自适应重排序提供了通用的免训练范式。