Beyond Raw Context Transfer: Representation-based Federated Retrieval-Augmented Generation¶
会议: NeurIPS 2026
arXiv: 2609.22162
OpenReview: https://openreview.net/forum?id=lKq7IpwC03
代码: https://anonymous.4open.science/r/FedRepRAG_submit-6FAE/
领域: 信息检索/RAG
关键词: 联邦学习, 检索增强生成 (RAG), 紧凑表征交换, 两阶段投影器, 跨机构隐私保护
一句话总结¶
针对敏感分布式知识库中原始文本无法跨机构共享的瓶颈，提出 FedRepRAG 框架，通过两阶段协同训练的轻量化投影器将分布式检索嵌入映射为单个生成器软标记，在彻底规避原始上下文传输的同时将上下文长度缩短 19–398 倍并显著降低推理计算开销。
研究背景与动机¶
大语言模型 (LLM) 与视觉语言模型 (VLM) 虽在复杂推理与多模态理解中表现出强大能力，但其参数化知识不可避免地面临陈旧与幻觉问题。检索增强生成 (RAG) 成为通过外部权威知识库对齐模型输出事实性的事实标准。然而，标准 RAG 系统普遍假设存在一个全局集中的检索知识语料库，这在医疗、金融等强隐私监管的现实场景中极其不切实际——不同医院或机构的临床病历和私域文本在法规与数据治理限制下，根本无法汇总到中心服务器。
现有的去中心化或联邦 RAG 方法（如 Feb4RAG、DFAMS 等）主要聚焦于“将查询路由至哪个子客户端”，但在知识汇聚与生成环节，依然沿袭传统的基于提示词 (prompt-based) 范式：跨客户端传输检索到的可读原始文本并直接拼接入生成上下文。这种原始上下文传输机制直接导致两大核心矛盾：第一，在敏感领域直接暴露明文证据存在极高的数据泄露风险，即便引入同态加密或差分隐私等保护手段，保护冗长原始文档也会带来巨大的通信与加解密延迟；第二，跨机构检索返回的多篇长文档显著增加了生成模型的输入序列长度，导致推理时自注意力机制的计算开销与显存占用急剧膨胀。
本文的切入角度是：知识增强的本质是语义线索的引导，而非必须在生成阶段暴露人类可读的原始字符。因此，应将原始文档严格封存在本地客户端，跨节点间仅流转紧凑的隐层表征，并通过协同训练的轻量接口将其转换为生成器兼容的输入。核心 idea：提出基于表征交换的联邦检索增强生成框架 FedRepRAG，冻结检索编码器与生成器主干，通过联邦“语义对齐-任务对齐”两阶段训练轻量化投影器将检索嵌入映射为紧凑的软表征标记，彻底摒弃原始文本传输并在降低推理复杂度的同时实现高精度知识注入。
方法详解¶
整体框架¶
FedRepRAG 的系统由中央协调服务器与 \(M\) 个分布式客户端构成。每个客户端 \(m\) 维护本地私有知识库 \(\mathcal{R}^{(m)}=\{(\mathbf{z}_i^{(m)}, c_i^{(m)})\}\) 及本地任务数据集 \(\mathcal{D}^{(m)}=\{(x_i^{(m)}, y_i^{(m)})\}\)，其中原始文本 \(c_i^{(m)}\) 仅驻留在本地。全网客户端共享同一个预训练且冻结的检索编码器 \(f_e(\cdot)\) 和生成器主干网络 \(p_\phi\)。
在推理阶段，系统执行五步协同流水线：① 提问客户端将输入问题 \(x\) 通过冻结编码器映射为查询向量 \(\mathbf{q} = f_e(x)\) 并发往服务器；② 服务器向全体客户端广播 \(\mathbf{q}\)；③ 各客户端在本地进行最近邻向量搜索，返回局部前 \(K\) 个检索嵌入及其内积相似度得分；④ 服务器收集全部候选，按相似度完成全局重排序，筛选出全局 Top-\(K\) 检索嵌入 \(\mathcal{Z}^*=\{\mathbf{z}_k^*\}_{k=1}^K\) 并回传给提问客户端；⑤ 提问客户端通过两阶段协同训练得到的轻量化 MLP 投影器 \(g_\theta\)，将每个检索向量独立转换为单个生成器软标记 \(\mathbf{h}_k = g_\theta(\mathbf{z}_k^*)\)，并与原始查询标记拼接后输入冻结主干完成答案生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["提问客户端输入查询 x<br/>冻结编码器提取 q=f_e(x)"] --> B["服务器广播查询向量 q<br/>全网客户端并行局部检索"]
B --> C["客户端本地私域向量检索<br/>Top-K 候选嵌入与相似度汇聚"]
C --> D["服务器全局相似度重排序<br/>筛选全局最优嵌入 Z* 并分发"]
D --> E["两阶段协同训练投影器 g_θ<br/>检索向量映射为单 Token 软表征"]
E --> F["序列拼接与冻结主干推理<br/>X_in = [h_1;...;h_K] ⊕ Emb(x)"]关键设计¶
1. 紧凑表征跨机构交换机制：以隐层向量彻底隔离原始敏感明文
传统去中心化 RAG 往往直接跨网络传输 Top-\(K\) 文档的原始自然语言字符串，造成极大的敏感信息泄露与冗长上下文开销。FedRepRAG 设计了严格的局部-全局表征检索协议：每个客户端本地预先计算私域语料的归一化稠密向量 \(\mathbf{z}_i^{(m)}=f_e(c_i^{(m)})\in\mathbb{R}^{d_r}\)。跨节点网络传输仅流通查询向量 \(\mathbf{q}\in\mathbb{R}^{d_r}\)、局部相似度候选集 \(\{(\tilde{\mathbf{z}}_j^{(m)}, s_j^{(m)})\}_{j=1}^K\) 以及服务器优选出的全局 Top-\(K\) 嵌入集合 \(\mathcal{Z}^*\)。原始文档 \(c_i^{(m)}\) 物理上绝不离开本地存储系统。
由于每个召回文档在网络中仅表现为一个固定维度的浮点数向量，且在最终进入生成器时被精准压缩为单个 token 嵌入，这使得无论底层文档段落是数百词还是数千词，传输和生成的上下文开销均固定为常数级，阻断了原始文本的直接物理暴露。
2. 语义重建引导的第一阶段预对齐：跨空间表征映射的语义保真约束
由于密集检索编码器提取的嵌入空间 \(\mathbb{R}^{d_r}\) 与生成器主干网络的标记嵌入空间 \(\mathbb{R}^{d_g}\) 存在严重的表征分布偏移，直接拼接向量无法激活生成器的注意力机制。为此，框架设计了一个两层 GELU 激活的轻量化 MLP 投影器 \(g_\theta: \mathbb{R}^{d_r}\rightarrow\mathbb{R}^{d_g}\)。在第一阶段，模型利用各客户端海量的无标注本地文本语料 \(\mathcal{R}^{(m)}\)，采用自监督重构目标建立检索表征与语言模型输入空间之间的语义桥梁：
其中 \(c_t\) 为目标文档的第 \(t\) 个标记，\(\rho\) 为解码重建提示词。在此阶段，冻结整个大模型主干参数 \(\phi\)，仅通过梯度下降优化 \(g_\theta\)。这一设计迫使单个投影标记 \(g_\theta(\mathbf{z})\) 尽可能致密地编码源文档的完整上下文语义，不仅解决了空间对齐问题，更为后续下游任务保留了充分的实体与关系事实信息。
3. 下游任务感知的第二阶段自适应对齐：生成条件下的协同端到端调优
仅具备自监督重建能力的投影器在面对具体下游问答时，往往难以自适应地为复杂推理提供关键支撑。第二阶段在已完成语义对齐的投影器参数基础上，利用客户端本地的任务标注数据 \(\mathcal{D}^{(m)}\) 进行端到端任务适配。对于本地查询 \(x\)，客户端首先从私域语料中检索出前 \(K\) 个近邻向量，经由当前投影器映射并与查询 token 序列拼接构成输入表征矩阵：
模型在该输入条件下计算监督生成损失：
该阶段优化进一步调整软表征的注意力分布偏置，使其在冻结的 LLM/VLM 解码时发挥类似“软证据提示词 (soft evidence tokens)”的导向作用，精准引导模型生成正确答案 \(y\)。
损失函数 / 训练策略¶
训练过程采用完全去中心化的联邦优化协议。在第一阶段和第二阶段，主干模型与检索编码器均严格保持冻结状态，仅通过 FedAvg 算法协同聚合轻量投影器权重 \(\theta\)。
在通信轮次 \(r\) 中，各客户端基于本地样本量 \(S_m\)（阶段一为语料数 \(N_m\)，阶段二为 QA 样本数 \(O_m\)）进行本地优化，服务器执行加权聚合： $\(\theta^{(r+1)} = \sum_{m=1}^M \frac{S_m}{\sum_{j=1}^M S_j} \theta_m^{(r+1)}\)$ 优化器采用 AdamW，阶段一语义对齐的学习率设为较大值 \(6\times 10^{-3}\) 以实现跨模态嵌入对齐；阶段二微调学习率收敛至 \(2\times 10^{-5}\) 以防破坏已学得的通用语义表征。全过程无需交换任何私有文本或微调 LoRA 权重，通信负载极轻。
实验关键数据¶
主实验¶
实验在单张 80GB NVIDIA A100 GPU 上完成，评测涵盖两大 VQA 基准（SLAKE-EN 医疗多模态、ScienceQA 科学问答，主干为 Qwen2.5-VL-7B）与两大文本 QA 基准（PubMedQA 生物医学问答、KILT-NQ 开放域问答，主干为 Qwen3-8B）。客户端总数设定为 10，采用狄利克雷分布参数 \(\beta \in \{0.5, 0.1\}\) 严格模拟非独立同分布 (Non-IID) 异质性环境。
| 数据集与评测配置 | 评估方法 | 传输明文? | 核心指标 (%) | 检索 Tokens (\(\downarrow\)) | GFLOPs (\(\downarrow\)) |
|---|---|---|---|---|---|
| SLAKE-EN (\(\beta=0.5\)) | Direct Inference | 否 | Acc: 49.58 | 0.00 | 12,261.26 |
| Local IC-RAG (最差客户端) | 否 | Acc: 54.19 | 93.52 | 13,811.78 | |
| Centralized IC-RAG (上限) | 是 | Acc: 71.25 | 92.93 | 13,801.84 | |
| FedRepRAG (Ours) | 否 | Acc: 60.70 | 5.00 | 12,344.16 | |
| SLAKE-EN (\(\beta=0.1\)) | Direct Inference | 否 | Acc: 49.58 | 0.00 | 12,261.26 |
| Local IC-RAG (最差客户端) | 否 | Acc: 46.75 | 89.11 | 13,738.65 | |
| FedRepRAG (Ours) | 否 | Acc: 63.71 | 5.00 | 12,344.16 | |
| ScienceQA (\(\beta=0.5\)) | Direct Inference | 否 | Acc: 83.16 | 0.00 | 4,754.16 |
| Local IC-RAG (最差客户端) | 否 | Acc: 83.78 | 386.70 | 11,165.14 | |
| Centralized IC-RAG (上限) | 是 | Acc: 89.22 | 406.98 | 11,501.32 | |
| FedRepRAG (Ours) | 否 | Acc: 88.14 | 5.00 | 4,837.05 | |
| ScienceQA (\(\beta=0.1\)) | Local IC-RAG (最差客户端) | 否 | Acc: 82.36 | 434.46 | 11,956.88 |
| FedRepRAG (Ours) | 否 | Acc: 88.19 | 5.00 | 4,837.05 | |
| PubMedQA (\(\beta=0.5\)) | Direct Inference | 否 | Acc: 54.00 | 0.00 | 1,534.98 |
| Local IC-RAG (最差客户端) | 否 | Acc: 15.40 | 1,217.69 | 21,482.53 | |
| Centralized IC-RAG (上限) | 是 | Acc: 82.20 | 1,194.05 | 21,095.27 | |
| FedRepRAG (Ours) | 否 | Acc: 58.40 | 3.00 | 1,583.70 | |
| PubMedQA (\(\beta=0.1\)) | Local IC-RAG (最差客户端) | 否 | Acc: 14.40 | 1,227.15 | 21,637.47 |
| FedRepRAG (Ours) | 否 | Acc: 59.40 | 3.00 | 1,583.70 | |
| KILT-NQ (\(\beta=0.1\)) | Direct Inference | 否 | EM: 17.73 / F1: 29.82 | 0.00 | 1,333.94 |
| Local IC-RAG (最差客户端) | 否 | EM: 19.42 / F1: 30.99 | 70.49 | 2,488.73 | |
| Centralized IC-RAG (上限) | 是 | EM: 35.11 / F1: 45.82 | 69.88 | 2,478.66 | |
| FedRepRAG (Ours) | 否 | EM: 21.85 / F1: 33.41 | 3.00 | 1,382.72 |
在 300 题子集对比最新参数化联邦基线 FedMosaic 时，FedRepRAG 取得显著优势：EM 达到 25.33% vs 10.00%，F1 达到 36.17% vs 16.20%，同时免去了 FedMosaic 为每批文档单独微调与分发 LoRA adapter 的高昂开销。
消融实验与分析¶
在 SLAKE-EN (\(\beta=0.1\)) 上的两阶段协同训练消融验证了各模块不可或缺的互补性：
| 训练阶段配置 | 开放式问答准确率 (%) | 闭合式问答准确率 (%) | 平均准确率 (%) | 机制分析 |
|---|---|---|---|---|
| 无投影 (Direct Inference) | 36.90 | 69.23 | 49.58 | 基线无外部知识注入 |
| 仅 Stage 1 (语义对齐) | 47.13 | 72.60 | 57.12 | 语义空间映射完成，多 Token 开放生成能力大幅提升 (+10.23%) |
| 仅 Stage 2 (任务微调) | 33.80 | 74.28 | 49.67 | 欠缺通用表征映射基座，单标记选择增强但长文本生成退化 |
| Stage 1 + Stage 2 (完整) | 58.14 | 72.36 | 63.71 | 两阶段协同，兼具深层语义保留与下游任务对齐 (+14.13%) |
在检索有效性检验中，若将全局 Top-\(K\) 嵌入替换为随机文档向量或乱序查询召回结果，SLAKE-EN 准确率分别骤降至 50.61% 和 49.58%，ScienceQA 骤降至 86.09% 和 86.32%，证明投影器绝非退化为固定的软提示模板，而是切实精准解码了与当前 Query 强相关的证据表征。
关键发现¶
- 异质分布下本地检索存在严重失真：在极端非 IID 分布 (\(\beta=0.1\)) 下，PubMedQA 的本地 IC-RAG 准确率甚至暴跌至 14.40%（低于不检索的 54.00%），说明缺乏关键跨域数据时本地召回的无关噪音文本会严重干扰模型生成；FedRepRAG 通过全局向量协同召回达到 59.40%，逆势提升 45.00%。
- 算力与显存开销实现数量级优化：相较于明文检索基线，FedRepRAG 将检索 token 占用从近百甚至千余 tokens 压缩至仅 \(K\) 个 tokens（3 或 5 个），使 PubMedQA 推理 GFLOPs 从 21,095 骤降至 1,583（降幅高达 92.49%）。
- 非自愿逆向重构风险显著低于明文：在诚实但好奇的攻击者视角下，直接利用共享主干逆向解码表征，部署阶段 (Stage 2) 的上下文可重构率在 PubMedQA 上低至 0.2%（与随机对照组 0.0% 相当），并在结合 DP-SGD (\(\sigma=1.0\)) 防护后将 KILT-NQ 的重构成功率压制至 0.2% 且不损失任务性能。
亮点与洞察¶
- 表征级替代明文级交互：颠覆了传统联邦 RAG 依赖明文传输的既有假设，用轻量可微投影器打通检索隐层与自回归生成空间，从系统根源上规避了明文泄露。
- 即插即用的非参数知识更新：相比 FedMosaic 需将新文本重新训练为 LoRA 权重的沉重机制，FedRepRAG 的本地文档只需离线通过冻结编码器提取一次嵌入即可动态入库，维持了传统检索库的高扩展性。
- 解耦的联邦轻量化协同：全局大模型与编码器全程冻结，全网仅聚合一个极轻量的两层 MLP，通信网络传输量仅包含少量向量与矩阵参数，极契合低带宽现实网络。
局限与展望¶
- 表征层残留逆向泄露隐患：虽完全避免了原始文档的显式共享，但在没有强密码学加持下，短文本表征在内部对抗者面对仍存在微弱的可逆概率，构建端到端严格加密的联邦表征生成体系仍有待探索。
- 路由效率缺乏粗粒度预筛选：当前系统仍向全网所有客户端广播查询向量，当联邦规模扩展到成百上千个机构时，全网检索广播将带来显著的网络与计算延迟，亟待引入基于原型或聚类的高效客户端路由策略。
相关工作与启发¶
- vs Federated IC-RAG (Feb4RAG 等): 后者侧重去中心化路由但依然回传长篇人类可读文本，带来直接隐私暴露与生成计算瓶颈；FedRepRAG 仅传输单个向量表征，实现性能与隐私效率兼顾。
- vs FedMosaic: 后者采用参数化 LoRA 适配器编码文档，知识库增删需重新微调且通信负担巨大；FedRepRAG 保持非参数向量库，兼具动态更新能力与极低的协同训练开销。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将紧凑表征投影机制规范化引入联邦 RAG 框架，摆脱传统文本交换框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模态 VQA 与开放域 QA、多骨干模型泛化、重构攻击与差分隐私防御全流程。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义直切要害，架构图与理论推导清晰完整，消融论证严密。
- 价值: ⭐⭐⭐⭐⭐ 为医疗影像、临床病历等强合规分布式知识增强应用提供了极具落地可行性的范式基准。