RVR: Retrieve-Verify-Retrieve for Comprehensive Question Answering¶

会议: NeurIPS 2026
arXiv: 2602.18425
OpenReview: https://openreview.net/forum?id=DfGZJUo1mT
代码: https://github.com/timchen0618/RVR
领域: LLM 其他
关键词: 综合多答案问答, 迭代检索, 检索验证检索, 答案覆盖率, 对比学习微调

一句话总结¶

针对开放域多答案问答场景下单轮检索与智能体多跳搜索难以兼顾高覆盖率与低冗余的瓶颈，本文提出了“检索-验证-检索”（RVR）迭代框架，利用 LLM 验证器过滤已检出高质量文档作为后续轮次上下文，并对检索器进行增补目标对比微调，在大幅降低搜索开销的同时显著提升完整答案召回率。

研究背景与动机¶

在现代开放域信息检索与检索增强生成（RAG）系统中，大量实际查询（例如“列出工藤工监修的所有漫画作品”或“盘点20世纪50年代的间谍喜剧电影”）对应着一个包含丰富实体的多答案集合。传统的单轮稠密检索模型（如 Contriever、Dense Passage Retriever）仅以初始问题作为输入，其排序机制倾向于聚集高语义相似度但内容高度同质化的候选文档，导致返回文档集在少数几个显性答案上过度冗余，而长尾的互补答案严重丢失。

近期基于大语言模型（LLM）的智能体搜索（Agentic Search）范式尝试通过多轮推理与动态生成新检索 Query 来逐步扩展信息边界，但现存智能体方案主要面向复杂多跳推理（Multi-hop QA）设计，其策略是沿着链式依赖线索改写查询，并不擅长针对同一主题进行广度横向枚举。更严重的是，多跳智能体在每轮调用中往往涉及反复调用黑盒模型生成 Query 与庞大的文档交互，导致计算延迟极高、显存占用激增，且极易在无限制的自由搜索中漂移偏离原题，实际覆盖率甚至不如基础检索器。

本文切入这一矛盾，提出将检索过程拆解为显式的“检出-核验-补缺”闭环：不再依赖 LLM 自由发散改写查询，而是让检索器显式感知“上一轮已经找到了哪些合法答案”，进而定向检索未被覆盖的补充文档。核心 idea：将多答案检索解耦为初始检索、LLM 细粒度过滤与基于增广上下文的补充检索三阶段，并通过构建互补正负样本微调后续检索器，以极低的验证与检索开销实现全域答案高召回。

方法详解¶

整体框架¶

RVR 的核心目标是给定查询 $q$ 与大规模语料库 $\mathcal{C}$，检索包含所有可能答案 $Y = \{y_1, \dots, y_M\}$ 的大小为 $K$ 的文档子集 $D_{\text{out}}$。整个系统由初始检索器 $f_i$、轻量 LLM 验证器 $g$ 以及后续迭代检索器 $f_r$ 协同构成。在第一阶段，初始检索器 $f_i$ 仅接收原始查询 $q$，从语料库中初筛出候选集 $D_i$。随后，LLM 验证器 $g$ 在前 $B$ 个位置的候选文档中判定其是否包含针对 $q$ 的真实有效答案，提取出高质量验证子集 $D_v$ 并存入最终输出池 $D_{\text{out}}$。

在第二阶段，系统截取验证子集中排名前 $M$ 的文档拼接入原始查询，构成增广检索上下文 $q_r = [q; \bigoplus_{d \in D_{\text{ctx}}} d]$。后续检索器 $f_r$ 以 $q_r$ 为输入执行二次检索，此时检索器被显式引导跳过上下文中已有的答案实体，专注定位语料库中尚未被检出的长尾互补文档。最后，将多轮验证累积的高质量文档与最终轮补充文档合并去重，截取 Top-$K$ 作为最终输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 q 与大规模语料库 C"] --> B["初始检索：f_i(q, C, K)<br/>基于原始问题获取候选文档集 D_i"]
    B --> C["验证过滤：g(d, q) 且 rank(d) ≤ B<br/>LLM 过滤低质噪声，提取真实答案子集 D_v"]
    C --> D["上下文增广拼接：q_r = [q; D_ctx]<br/>截取 Top-M 验证文档融入检索上下文"]
    D --> E["后续检索：f_r(q_r, C, K)<br/>定向挖掘未覆盖的互补长尾文档"]
    E --> F["合并去重输出：D_out = TopK(K, ∪ D_v ∪ D_i)"]

关键设计¶

1. 初始检索与 LLM 验证过滤：兼顾高初筛召回与精准去噪 单轮检索在长列表中极易夹带无关或误导性段落，若直接将原始检索结果用于下游推理或后续迭代，会造成严重的级联噪声污染。为此，系统采用基于预训练双编码器的初始检索器 $f_i(q, \mathcal{C}, K)$ 获取前 $K$ 个粗筛文档，并引入 LLM 验证器 $g(d, q) \in \{0, 1\}$ 对排名前 $B$ 的候选文档执行二元相关性判别。通过设定验证预算 $B$，系统将验证开销严格约束在极小范围内，同时确保进入上下文拼接池的文档集 $D_v = \{d \in D_i : g(d, q) \land \operatorname{rank}(d) \le B\}$ 均包含真实的有效实体答案，从源头上杜绝了低质文档对后续检索表征的干扰。

2. 增广上下文构建与互补检索器：跳出已知答案的定向长尾挖掘 传统多跳改写模型往往依赖提示工程诱导模型生成新的关键词，极易发生语义偏移或无法精确表述“排除集合”。RVR 采用显式上下文拼接机制，将已验证文档的文本序列有序拼接在原始查询之后生成 $q_r = [q; \bigoplus_{d \in D_{\text{ctx}}} d]$，其中 $D_{\text{ctx}} = \operatorname{TopK}(M, D_v)$ 由上下文预算 $M$ 严格截断。随后由后续检索器 $f_r(q_r, \mathcal{C}, K)$ 编码该复合表示。该表征机制赋予模型类比与差分感知能力：检索器既能紧密锚定原始问题的主题约束，又能在潜空间中抑制与已包含实体重复的文档投影，从而在后续轮次中高效捕获孤立、未现身的目标段落。

3. 增量式对比学习训练策略：面向多文档上下文与互补目标的负采样机制 为了使双编码器能够有效理解长篇拼接上下文并主动寻找“剩余文档”，本文提出了一套专为迭代补全场景设计的微调流程。在训练阶段，针对每个包含真实标注文档全集 $D^*$ 的样本，首先在区间 $[0, \min(M, |D^*|)]$ 内均匀采样上下文长度 $m$，从 $D^*$ 中随机抽取 $m$ 个正例作为输入上下文 $D_{\text{ctx}}$，将 $x = [q; D_{\text{ctx}}]$ 作为输入表示。关键设计在于：正样本 $d^+$ 严格从剩余未检索集合 $D^* \setminus D_{\text{ctx}}$ 中随机抽选，强制模型学习“寻找剩余互补答案”的目标。负样本则由语料库全局随机负例与批次内负例（In-batch Negatives）共同构成，采用带有温度系数 $\tau$ 的 InfoNCE 目标函数联合优化参数： $$ \mathcal{L}{\theta} = -\log \frac{\exp(s(f $$ 该训练目标使模型在保持基础语义对齐的同时，习得消除上下文已知冗余并强化缺失线索检索权重的能力。}(x), d^+) / \tau)}{\sum_{d \in D_{\text{batch}}} \exp(s(f_{\theta}(x), d) / \tau)

损失函数 / 训练策略¶

检索器均基于预训练开源双编码器权重初始化，包括 Contriever-MSMARCO（0.48B 维度）、Qwen3-Embedding-0.6B 以及 INF-Retriever-v1-1.5B。在 QAMPARI 训练集上微调 50k 步，优化器选用 AdamW，学习率设为 $1 \times 10^{-4}$，预热步数 1k 步，温度超参 $\tau = 0.05$。每张 GPU 批大小设为 48，梯度累积步数为 2。LLM 验证器选用参数规模达 30B 的混合专家指令模型 Qwen3-30B-A3B-Instruct（通过 vLLM 推理引擎部署），保持冻结无须微调。推理默认参数设为迭代轮数 $T=2$、验证预算 $B=100$，Contriever 上下文长度设为 $M=3$（受 512 token 长度限制），Qwen3-Embedding 与 INF-Retriever 设为 $M=6$。

实验关键数据¶

主实验¶

论文在开放域多答案问答基准 QAMPARI（测试集 $N=1000$，平均每题含 14.43 个答案与 16.58 篇标注金标准文档，语料库为 2590 万维基百科段落）上与基础单轮检索、领域内单轮微调检索（FT($D_i$)）以及主流开源 DeepResearch 智能体系统（Tongyi DeepResearch 30B、SearchR1 7B PPO）进行了严格对比评测。评价指标包括完整召回率 MRecall@100（所有答案或至少 $K$ 个答案全部覆盖的二元比例）以及宏观召回率 Recall@100（覆盖答案数占标注总答案数的比例）。

基础检索模型	方法配置	MRecall@100 (%)	Recall@100 (%)
Contriever-MSMARCO	Base $f_i$ (单轮零样本)	19.00	54.17
Contriever-MSMARCO	FT ($D_i$) (单轮领域微调)	28.60	63.19
Contriever-MSMARCO	Tongyi DeepResearch (w/ FT $f_i$)	9.80	42.09
Contriever-MSMARCO	SearchR1 (w/ FT $f_i$)	9.60	40.83
Contriever-MSMARCO	RVR: FT ($D_i$) + FT ($D_r$) (本文独立双阶段)	31.60	66.83
Qwen3-Embedding-0.6B	Base $f_i$ (单轮零样本)	16.70	52.94
Qwen3-Embedding-0.6B	FT ($D_i$) (单轮领域微调)	26.90	63.48
Qwen3-Embedding-0.6B	Tongyi DeepResearch (w/ FT $f_i$)	22.00	60.67
Qwen3-Embedding-0.6B	SearchR1 (w/ FT $f_i$)	24.30	57.82
Qwen3-Embedding-0.6B	RVR: FT ($D_i$) + FT ($D_r$) (本文独立双阶段)	31.40	67.28
INF-Retriever-v1-1.5B	Base $f_i$ (单轮零样本)	26.10	62.34
INF-Retriever-v1-1.5B	FT ($D_i$) (单轮领域微调)	29.30	65.99
INF-Retriever-v1-1.5B	Tongyi DeepResearch (w/ FT $f_i$)	21.30	58.13
INF-Retriever-v1-1.5B	SearchR1 (w/ FT $f_i$)	27.00	60.96
INF-Retriever-v1-1.5B	RVR: FT ($D_i$) + FT ($D_r$) (本文独立双阶段)	33.70	68.70

此外，在系统推理开销对比中，RVR 展现出压倒性的效率优势：以 Qwen3-Embedding 为例，Tongyi 智能体平均单题发起 15.85 次检索，耗时高达 316.39 秒；SearchR1 需 2.96 次检索，耗时 25.38 秒；而 RVR 固定执行 2 次检索调用，在 $B=100$ 下检索耗时仅 5.05 秒、验证耗时 0.97 秒，总耗时仅需 6.02 秒，提速达 4 到 50 倍。

消融实验¶

消融实验深入评估了不同检索器配置（零样本基础模型、单轮微调模型、双任务联合微调模型 FT($D_i+D_r$)、独立增量微调模型）以及不同验证器设定对检索效果的影响。

模块配置 (QAMPARI 测试集)	Contriever MR / R (%)	Qwen3 MR / R (%)	INF-Retriever MR / R (%)	机制分析与结论
Base + Base (无微调迭代)	21.30 / 58.10	20.20 / 58.12	28.50 / 65.29	零样本检索器直接迭代也有一定收益，但缺乏互补表征能力
FT($D_i$) + FT($D_i$) (共享初始模型)	28.80 / 63.59	30.30 / 66.80	31.10 / 66.76	仅依靠验证过滤即带来提升，表明消除同质化具有基础增益
FT($D_i+D_r$) + FT($D_i+D_r$) (联合微调)	31.70 / 66.12	29.20 / 65.73	32.40 / 68.04	单一模型兼顾初始与增补两类目标，性能稳步接近专用模型
Base + FT($D_r$) (仅微调补充检索器)	30.70 / 67.25	29.20 / 66.36	34.20 / 69.29	说明第二轮互补微调是提效核心，哪怕首轮用冷启动检索器亦极其强劲
FT($D_i$) + FT($D_r$) (完整独立双检索器)	31.60 / 66.83	31.40 / 67.28	33.70 / 68.70	综合表现最佳，显著突破单轮与无监督迭代的召回上限
验证器消融: 移除验证器 (TopK 替代)	26.90 / -	27.50 / -	28.50 / -	噪声未被过滤导致严重级联误导，性能大幅下跌甚至劣于单轮微调
验证器消融: 预言机验证 (Oracle Verifier)	33.80 / -	33.60 / -	36.30 / -	证明使用高精度/高质量验证器可带来极高的天花板收益空间

关键发现¶

第二轮定向增补贡献显著：在各检索底座中，首轮检索贡献了约 50 篇金标准文档与约 7 个唯一实体答案，而第二轮基于拼接上下文的 $f_r$ 能在排除首轮重复项的基础上，精准补回 22 至 26 篇新金标准文档，并新增覆盖近 1 个全新答案实体，证实了补全训练对挖掘长尾文档的直接功效。
智能体搜索策略在枚举型问题上发生泛化失效：主流智能体（Tongyi DeepResearch、SearchR1）在单答案多跳任务中表现优异，但在全域多答案检索任务中性能大幅崩溃（MRecall 普遍跌破 10%~25%）。其核心原因在于其强化学习策略专注于寻找单一路径的逻辑证据链，生成的新 Query 倾向于缩小搜索范围而非发散枚举，造成严重的覆盖遗漏。
验证器性能与预算构筑核心瓶颈：随着验证预算 $B$ 从 100 削减至 10，MRecall 呈现单调下降，但 FT($D_r$) 模型在低预算下的鲁棒性明显更强；在多轮外推实验中，采用 Qwen3-30B 验证器在超过 2 轮后收益饱和停滞，而 Oracle 验证器在 5 轮迭代中保持持续线性上升，说明目前大模型验证器在多轮后容易误选冗余文档，提升验证器辨别力是进一步释放多轮潜力的核心抓手。

亮点与洞察¶

针对推理范式定制检索器微调：以往工作大多假定检索器为静态黑盒组件、仅通过微调上层生成 Agent 来迁就检索，本文反其道而行之，将“带有历史文档上下文并寻找未覆盖目标”作为新检索场景，直接对双编码器进行适配微调，以最小的工程复杂度获得了显著的表征能力跃升。
极高能效比的工程落地性：相较于传统 Agentic Search 动辄十数次检索交互与漫长的文本思维链生成，RVR 固定在 2 轮内收敛，每轮仅消耗不到 1 秒的 LLM 验证耗时，兼顾了学术理论完整性与工业级 RAG 系统的部署时延要求。

局限与展望¶

上下文序列长度受限：受制于通用双编码器（如 Contriever）较窄的位置编码窗口，当前框架拼接的已知文档上限通常为 3 到 6 篇，难以支撑极长答案列表或大篇幅段落的完整注入。
多轮扩展时验证器误差累积：实验表明在 $T>2$ 轮次后，现有开源 LLM 验证器容易出现误判，将已包含相同实体的相似段落误标为新证据，导致第 3 轮及以后的检索收益出现平台期。
未来方向：探索支持原生超长上下文的单阶段密集/稀疏混合检索器，以及结合对比强化学习专门训练轻量级紧凑验证模型，有望彻底打破多轮退化壁垒。

评分¶

新颖性: ⭐⭐⭐⭐ [针对多答案场景创新性提出了感知已有上下文的检索器对比微调范式与两阶段验证闭环]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖三大基准评测、多种开源底座、多类 Agent 对比以及深度的验证器/预算/轮次消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑推导严谨，算法伪代码与实验分析透彻，问题定义极其明确]
价值: ⭐⭐⭐⭐⭐ [为现代 RAG 知识检索、学术综述挖掘及全景信息提取提供了兼具高效性与高召回的实用架构]

基础检索模型	方法配置	MRecall@100 (%)	Recall@100 (%)
Contriever-MSMARCO	Base \(f_i\) (单轮零样本)	19.00	54.17
Contriever-MSMARCO	FT (\(D_i\)) (单轮领域微调)	28.60	63.19
Contriever-MSMARCO	Tongyi DeepResearch (w/ FT \(f_i\))	9.80	42.09
Contriever-MSMARCO	SearchR1 (w/ FT \(f_i\))	9.60	40.83
Contriever-MSMARCO	RVR: FT (\(D_i\)) + FT (\(D_r\)) (本文独立双阶段)	31.60	66.83
Qwen3-Embedding-0.6B	Base \(f_i\) (单轮零样本)	16.70	52.94
Qwen3-Embedding-0.6B	FT (\(D_i\)) (单轮领域微调)	26.90	63.48
Qwen3-Embedding-0.6B	Tongyi DeepResearch (w/ FT \(f_i\))	22.00	60.67
Qwen3-Embedding-0.6B	SearchR1 (w/ FT \(f_i\))	24.30	57.82
Qwen3-Embedding-0.6B	RVR: FT (\(D_i\)) + FT (\(D_r\)) (本文独立双阶段)	31.40	67.28
INF-Retriever-v1-1.5B	Base \(f_i\) (单轮零样本)	26.10	62.34
INF-Retriever-v1-1.5B	FT (\(D_i\)) (单轮领域微调)	29.30	65.99
INF-Retriever-v1-1.5B	Tongyi DeepResearch (w/ FT \(f_i\))	21.30	58.13
INF-Retriever-v1-1.5B	SearchR1 (w/ FT \(f_i\))	27.00	60.96
INF-Retriever-v1-1.5B	RVR: FT (\(D_i\)) + FT (\(D_r\)) (本文独立双阶段)	33.70	68.70