🔍 信息检索/RAG

🧪 ICML2025 · 5 篇论文解读

📌 同领域跨会议浏览： 💬 ACL2026 (43) · 📷 CVPR2026 (8) · 🔬 ICLR2026 (33) · 🤖 AAAI2026 (28) · 🧠 NeurIPS2025 (30) · 📹 ICCV2025 (8)

🔥 高频主题： RAG ×3

Don't Lag, RAG: Training-Free Adversarial Detection Using RAG

本文提出 VRAG 框架，通过构建对抗补丁数据库 + 视觉检索增强生成（VRAG）+ VLM 推理的免训练 pipeline，实现对多种对抗补丁攻击的高效检测，Gemini-2.0 达到 98% 准确率，开源模型 UI-TARS-72B-DPO 达 95%。

FedRAG: A Framework for Fine-Tuning Retrieval-Augmented Generation Systems

FedRAG 提出了一个同时支持集中式和联邦式架构的 RAG 系统微调框架，填补了 RAG 生态系统中缺乏统一微调工具的空白，并通过轻量级抽象实现了从集中式到联邦式训练的无缝转换。

POQD: Performance-Oriented Query Decomposer for Multi-Vector Retrieval

提出 POQD，一个面向性能的查询分解框架，利用 LLM-based Prompt Optimizer 迭代优化查询分解 prompt，并通过交替训练算法联合优化 prompt 和下游 RAG 模型参数，在检索和端到端 QA 任务上大幅超越现有方法。

RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding

提出 RAPID，将 RAG 与 Speculative Decoding 结合：用 RAG drafter（在短检索上下文上运行的 LLM）为长上下文目标 LLM 生成候选 token，并通过推理时知识迁移增强目标分布，在长上下文推理中同时实现 >2× 加速和生成质量提升。

Understanding Synthetic Context Extension via Retrieval Heads

本文通过系统实验揭示了合成上下文扩展（synthetic context extension）为何有效的机制：合成数据训练出的"检索头"（retrieval heads）与真实数据训练出的检索头高度重叠，检索头的召回率可以预测下游长上下文任务的性能，并通过注意力剔除（attention knockout）和激活修补（activation patching）从机制层面证明了检索头的必要性。