LaCache: Robust Semantic Caching for LLM Serving¶

会议: NeurIPS 2026
arXiv: 2608.01718
OpenReview: https://openreview.net/forum?id=QETNuxZpTp
代码: https://github.com/JACKPURCELL/LaCache
领域: LLM效率
关键词: 语义缓存、大模型服务、缓存碰撞攻击、投机解码、对抗鲁棒性

一句话总结¶

针对大语言模型服务中语义缓存易遭受对抗性查询碰撞攻击的致命缺陷，LaCache 提出将完整性校验从不可控的输入 Query 转移到输出 Response 端，通过前瞻性验证 $k$ 个推测解码前缀 Token，在近乎零延迟开销下将攻击命中率降至接近零并保留 90% 以上良性缓存效用。

研究背景与动机¶

语义缓存（Semantic Caching）通过复用语义相似查询的已生成回复，显著降低了大语言模型服务（LLM Serving）中的推理延迟与计算成本，已在主流云厂商与开源推理框架中被广泛部署。然而，语义缓存利用嵌入相似度或局部敏感哈希（LSH）进行检索的机制引入了严重的攻击面——缓存碰撞攻击（Cache-Collision Attack）。攻击者通过精心构造对抗性查询，使其缓存键与受害者的合法查询发生碰撞，进而将恶意构造、错误诱导或注入后门的信息注入缓存池，导致后续无辜用户的正常请求直接命中恶意回复。

以往针对缓存碰撞攻击的防御手段主要停留在 Query 侧的被动过滤，例如利用困惑度（Perplexity）检测、查询与响应一致性打分或引入额外判别模型（LLM-as-Judge）识别异常请求。这类防御存在根本性的局限：攻击者对注入的对抗性查询拥有完全的控制权，不仅能脱机通过贪婪坐标梯度（GCG）等离散梯度优化生成低困惑度且语法自然的对抗后缀，还能利用 Prompt 注入模板将合法查询原样包裹，轻易穿透基于 Query 侧特征的所有启发式过滤策略。

破局的关键在于认清输入端与生成端之间的不对称性：攻击者虽然能随意操纵输入的查询文本，却无法直接控制大语言模型自回归生成的目标回复。为了达到实质性的攻击效果，对抗回复必须同时满足功能性偏离（向受害者灌输与真实答案语义截然不同的恶意动作或虚假事实）与前缀连贯性（受自回归解码与文本合理性约束，回复开头必须与完整内容语义一致）。本文的核心 idea 是：将完整性校验从不可控的查询端转移到受模型生成规律约束的回复端，在查询匹配后进一步引入 $k$ 步前瞻（Lookahead）前缀哈希校验，利用草稿模型投机解码以极低开销实现具备可证明安全保证的鲁棒语义缓存。

方法详解¶

整体框架¶

LaCache 针对语义缓存的条目结构与查询匹配流程进行了极简而严谨的重构。在缓存存储阶段，标准缓存条目存储键值对 $\langle h(x), f(x) \rangle$，而 LaCache 将条目扩展为包含前瞻签名的三元组结构 $\langle h(x), [h(f_k(x)), f(x)] \rangle$，其中 $h(f_k(x))$ 为模型回复前 $k$ 个 Token 的局部敏感哈希。在推理服务阶段，LaCache 采用两阶段渐进式验证：首先匹配查询键 $h(x)$，在发生缓存命中候选时，并不立即返回缓存回复，而是使用轻量级草稿模型投机解码当前输入的前 $k$ 个 Token，并执行前瞻完整性哈希校验；只有当两级校验均通过时才释放缓存结果，若任一环节失败则直接回退至主模型完整解码，并借由投机验证机制复用已生成的草稿 Token。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户输入 Query x"] --> B["阶段 1：查询缓存键检索<br/>计算 h(x) 查找匹配候选 x'"]
    B -->|未命中| F["主模型完整解码 f(x)<br/>更新缓存条目并返回"]
    B -->|命中候选| C["阶段 2：草稿模型投机前瞻<br/>轻量生成 k 个前缀 Token fk(x)"]
    C --> D{"前瞻完整性校验<br/>h(fk(x)) == h(fk(x')) ?"}
    D -->|校验通过| E["释放缓存回复 f(x')<br/>零主模型计算直接响应"]
    D -->|校验失败 碰撞攻击| G["投机解码复用与主模型接管<br/>单次前向验证草稿 Token 并续写"]
    G --> H["返回真实回复 f(x)<br/>更新缓存条目隔离恶意注入"]

关键设计¶

1. 两阶段前瞻哈希校验：将完整性约束从 Query 迁移至 Response

传统语义缓存直接在嵌入空间通过距离度量 $d(\mathrm{emb}(x), \mathrm{emb}(x')) < \delta_1$ 进行判定，极易被对抗样本优化绕过。LaCache 形式化了攻击回复必须满足的两大基础假设：语义可分性（Semantic Separability），即恶意目的必然要求生成的对抗回复与真实回复在语义空间显著发散，$d(f(x^*), f(x)) > \delta_2 / C$（常数 $C \in (0, 1)$）；以及前缀连贯性（Prefix Coherency），即自回归特性决定了前 $k$ 个 Token 能够忠实保留完整回复的语义发散，满足： $$d(f_k(x), f_k(x^*)) > \epsilon^{k_{\min}-k} d(f(x), f(x^*))$$ 其中 $k_{\min} = \min(|f(x)|, |f(x^*)|)$，$\epsilon \in (0, 1)$。LaCache 利用 Gapped-LSH 哈希函数族 $\mathcal{H}$ 对前缀 $f_k$ 进行哈希映射。理论证明表明，只要前瞻窗口满足 $k > k_{\min} - \lfloor \log_\epsilon C \rfloor$，即使攻击者成功迫使查询键碰撞 $h(x^*) = h(x)$，前瞻校验仍能以至少 $1 - p_2$ 的概率识别出对抗碰撞；若采用 $m$ 个异构嵌入模型进行集成检验，检测概率可进一步指数放大至 $1 - p_2^m$。

2. 轻量级草稿模型前瞻：摆脱昂贵后端计算的轻量化解码

若每次缓存命中时都必须调用后端大模型（如 35B 参数规模的主模型）自回归生成 $k$ 个 Token，前瞻检查本身将引入不可忽视的计算与排队延迟，严重削弱缓存系统的加速初衷。LaCache 的关键机制在于利用小型轻量草稿模型 $g$（例如数亿到数调参数的小模型或模型的 Multi-Token Prediction 头）替代大模型 $f$ 生成前缀 $f_k(x)$。由于 $k$ 取值通常较小（默认 $k = 20$），草稿模型在前几十个 Token 上的语义走向与主模型高度一致，足以准确表达回复的核心语义方向。这一设计将前瞻阶段的延迟从上百毫秒压缩至数十毫秒，从系统架构上解决了前瞻检查与高吞吐服务的性能冲突。

3. 投机解码回退协同：将校验失败开销降至极限

当查询通过一级缓存检索但未通过二级前瞻哈希校验时（通常意味着发生了攻击碰撞，或遭遇了极低概率的良性语义偏离），系统必须回退到主模型进行完全解码。常规做法会丢弃草稿模型生成的所有前缀重新计算，造成算力浪费。LaCache 创新性地将投机解码（Speculative Decoding）机制整合进回退流程：将草稿模型生成的 $k$ 个 Token 直接输入主模型执行单次并行前向验证，若主模型在位置 $t$ 满足概率条件 $\mathbb{P}_f(t) \ge \mathbb{P}_g(t)$ 则予以接受；一旦出现分歧，主模型直接接管后续生成。由于主模型仅需单次前向传播即可完成全部 $k$ 个 Token 的验证，校验失败时的惩罚大幅降低，甚至在部分场景下借助投机加速抹平了前瞻检查带来的计算损耗。

一个完整示例¶

假设受害用户提交医疗咨询查询 $x$：“一名 12 岁儿童出现发烧症状，能否服用阿司匹林？”正常回复 $f(x)$ 明确指出存在诱发雷氏综合征（Reye's syndrome）风险因而绝对禁用。攻击者预先注入一条对抗查询 $x^*$，通过在其后追加经过 GCG 优化的扰动前缀或模板，使得 $h(x^*) = h(x)$ 触发缓存命中，但其诱导生成的回复 $f(x^*)$ 为危险建议：“可以正常服用阿司匹林缓解症状”。 1. 阶段 1 查询检索：受害者查询 $x$ 到达，计算得到嵌入相似度 $\mathrm{sim}(x, x^*) = 0.825 \ge \tau_c$（阈值 0.80），命中缓存候选。 2. 阶段 2 投机前瞻：系统挂起回复，草稿模型快速推测解码出前 20 个 Token。真实意图的推测前缀 $f_{20}(x)$ 语义为“儿童严禁使用阿司匹林...”，而缓存条目中的对抗前缀 $f_{20}(x^*)$ 语义为“阿司匹林适用于儿童退烧...”。 3. 前瞻判定与阻断：两者的前缀嵌入相似度仅为 $0.611 < \tau_a$（阈值 0.70），前瞻哈希不匹配，校验被拦截。系统拒绝释放错误缓存，主模型无缝接管并完成正确推理，同时在日志中标记该异常条目，成功粉碎投毒攻击。

实验关键数据¶

主实验¶

论文基于 MS MARCO 与 Natural Questions 数据集，评估了针对 Qwen3.6-35B-A3B-FP8 与 Gemma-3-E4B-it，搭配 BGE-large-en-v1.5（1024 维）与 all-MiniLM-L6-v2（384 维）嵌入模型的防御效果。测试了经典键碰撞攻击（Kca）与语义缓存投毒（Scp-p，Prompt 注入变体）。核心评估指标为攻击命中率（AHR，越低越好）与良性命中率（BHR，越高越好）。

模型与嵌入配置	攻击方式	注入成功率 (ISR)	无防御 AHR ↓	LaCache AHR ↓	无防御 BHR ↑	LaCache BHR ↑
Qwen3 + BGE	Kca (GCG 后缀)	0.95	0.80	0.00	1.00	0.93
Qwen3 + BGE	Scp-p (GCG 前缀)	0.73	0.95	0.01	1.00	0.93
Qwen3 + MiniLM	Kca (GCG 后缀)	0.95	0.79	0.00	0.95	0.85
Qwen3 + MiniLM	Scp-p (GCG 前缀)	0.74	0.82	0.00	0.95	0.85
Gemma3 + BGE	Kca (GCG 后缀)	0.95	0.80	0.01	1.00	0.90
Gemma3 + BGE	Scp-p (GCG 前缀)	0.73	0.95	0.04	1.00	0.90
Gemma3 + MiniLM	Kca (GCG 后缀)	0.95	0.79	0.01	0.95	0.86
Gemma3 + MiniLM	Scp-p (GCG 前缀)	0.74	0.82	0.02	0.95	0.86

在 Qwen3 + BGE 默认配置下，与三种主流查询侧基线防御在多种攻击变体下的横向对比进一步凸显了 LaCache 的全面鲁棒性：

防御方案	Kca AHR ↓ / BHR ↑	Scp-z AHR ↓ / BHR ↑	Scp-p AHR ↓ / BHR ↑	Scp-i AHR ↓ / BHR ↑
无防御 (Undefended)	0.80 / 1.00	0.91 / 1.00	0.95 / 1.00	0.97 / 1.00
困惑度过滤 (PPL)	0.65 / 0.95	0.87 / 0.95	0.93 / 0.95	0.97 / 0.95
查询-响应困惑度 (QR-PPL)	0.52 / 0.95	0.58 / 0.95	0.72 / 0.95	0.41 / 0.95
裁判大模型 (LLM-as-Judge)	0.01 / 0.99	0.47 / 0.99	0.44 / 0.99	0.87 / 0.99
LaCache (本文)	0.00 / 0.93	0.04 / 0.93	0.01 / 0.93	0.14 / 0.93

消融与系统开销实验¶

论文针对自适应攻击、前瞻优化加速（草稿模型与投机解码）以及不同前瞻窗口长度 $k$ 开展了详尽的消融与系统评估。

系统配置 / 优化项	端到端单查询延迟	Kca AHR ↓	Scp-p AHR ↓	良性命中率 BHR ↑	说明
纯主模型强制解码 ($k=20$)	108.5 ms	0.00	0.01	0.93	未经草稿模型优化的 baseline 前瞻
草稿模型 + 投机解码	68.6 ms	0.00	0.01	0.94	延迟降低 1.6×，防御能力完全无损
自适应攻击 (联合优化 Query+Prefix)	--	0.00	0.02	--	200 样本中仅 4 个通过端到端校验
延迟分歧攻击 (T3 模板, 诱导标准答案开头)	--	--	0.507	0.928	虽绕过前瞻但因答案自相矛盾丧失欺骗合理性

关键发现¶

Query 侧防御存在系统性盲区：所有基于 PPL 的检测均被引入困惑度惩罚的 GCG 优化破解；LLM-as-Judge 仅能识别 Query 语法结构显著断裂的 Kca 攻击，对将真实问题完整封装在 Prompt 注入模板中的 Scp 变体完全失效（AHR 高达 0.44-0.87）。LaCache 是唯一能在所有攻击模式下将 AHR 压制在 0.00-0.14 的方案。
自适应攻击遭遇不可调和的内在矛盾：当攻击者联合优化查询相似度与前瞻前缀相似度时，由于恶意回复与真实答案本质对立，迫使前缀趋同必然导致恶意语义表达被稀释。实测表明自适应攻击下的前缀相似度均值仅为 0.49，远低于准入阈值 $\tau_a = 0.70$。
$k=20$ 为最佳操作折中点：敏感度分析表明，前瞻窗口从 $k=5$ 扩大至 $k=20$ 时，BHR 迅速饱和至 93% 以上，而 AHR 始终保持在低位。进一步扩大 $k$ 无法带来额外安全增益，反而徒增解码开销。

亮点与洞察¶

攻防不对称性的逆向利用：该工作最精妙之处在于敏锐捕捉到碰撞攻击中“Query 易伪造、Response 难操纵”的结构性不对称，摆脱了在 Query 侧与对抗扰动无休止缠斗的被动局面，在 Response 端构筑了坚固的语义屏障。
安全检查与投机推理的优雅统一：通过引入投机解码，将安全完整性前瞻检验与推理加速工程自然融合——草稿 Token 在通过校验时充当凭证，在校验失败时转变为加速主模型生成的投机前缀，实现了安全保障与低延迟服务的高效共赢。
可迁移的系统架构启示：这一机制对于大模型时代的各类缓存系统（如 Agent 工具调用缓存、多轮对话 KV 共享、RAG 检索缓存等）具备普适参考价值，证明了对自回归生成的极短前缀施加校验是防范下游语义劫持的高效杠杆。

局限与展望¶

作者承认的局限：理论安全保证依赖于语义可分性假设。若攻击者追求极细微的事实篡改（例如修改数字或极小实体，且生成前缀在语义嵌入上与正确答案极为贴近），语义嵌入模型可能无法识别微弱漂移。此外，多模型集成在各嵌入模型具有固有相关性时无法完全达成理论上的指数放大上限。
潜在隐患与现实挑战：在开放域生成场景下，当解码温度较高或用户 Query 存在不同背景上下文时，良性回复本身的前缀措辞多样性可能导致一定程度的误拦截（实测良性误报率约 7.2% 至 12.3%），依赖于精细的离线阈值校准。
改进方向：可进一步探索将动态自适应前瞻窗口（根据生成熵或不确定性动态决定 $k$）与轻量语义分类器结合；此外，将前瞻完整性防御拓展至抗侧信道隐私窃取领域也是极具前景的研究方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统的 Query 侧防御思维，首创基于投机前瞻前缀的语义缓存完整性验证范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主模型与嵌入组合、6 类对抗与自适应攻击变体，理论证明与系统端到端实测兼备。
写作质量: ⭐⭐⭐⭐⭐ 形式化假设严谨，实验论证闭环，消融分析透彻，系统权衡讲解清晰。
价值: ⭐⭐⭐⭐⭐ 解决了大模型云服务高频依赖的基础设施级安全隐患，工程落地代价极小，实用价值极高。

系统配置 / 优化项	端到端单查询延迟	Kca AHR ↓	Scp-p AHR ↓	良性命中率 BHR ↑	说明
纯主模型强制解码 (\(k=20\))	108.5 ms	0.00	0.01	0.93	未经草稿模型优化的 baseline 前瞻
草稿模型 + 投机解码	68.6 ms	0.00	0.01	0.94	延迟降低 1.6×，防御能力完全无损
自适应攻击 (联合优化 Query+Prefix)	--	0.00	0.02	--	200 样本中仅 4 个通过端到端校验
延迟分歧攻击 (T3 模板, 诱导标准答案开头)	--	--	0.507	0.928	虽绕过前瞻但因答案自相矛盾丧失欺骗合理性